简单回归模型的基本假设.ppt

《简单回归模型的基本假设.ppt》由会员分享，可在线阅读，更多相关《简单回归模型的基本假设.ppt（98页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、简单回归模型的基本假设 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望YxiF(Y)Population regression line我們假設在母體中，對於每一個xi值而言，其相對應的yi值遵循某種機率分配，且期望值為與x相對應的一組y，其期望值剛好落在一條直線上我們假設這些分配有相同的變異數22我們對於上面的迴歸模型有以下的假設（限制）：linearity依變項Yi與自變項之間的關係為線性：Normality:ei為常態分配(或依變數為一常態分配）eiN or

2、 YiNZero conditional mean:對於每個xi，E(ei|Xi)=0 殘差項的平均數為零 Independence of ei and Xi:殘差值與Xi不相關Cov(ei,X)=0 or E(ei,X)=0 簡單迴歸模型的基本假設3簡單迴歸模型的基本假設Homoscedasticity:Var(ei)=2變異數齊一性每組的殘差項的變異數均相等。而每一組的變異數實際上是指X=xi條件下的Y之變異數，因此2也可以表為2Y|X綜合以上：eiN(0,2)YiN(b0+b1Xi,2)No serial correlation:ei彼此不相關 Cov(ei,ej)=0X為一固定變數或事

3、前決定之變數，Y為一隨機變數4簡單迴歸模型的基本假設linearity:假設依變項Yi與自變項之間的關係為線性：我們假設隨機誤差項ei有下列的性質：Normality:ei為常態分配Zero conditional mean:對於每個xi，E(ei|xi)=0 Independence of ei and xi:殘差值與xi不相關Homoscedasticity:Var(ei)=2No serial correlation:ei彼此不相關5Residuals Sum to Zero兩邊除以n6YXF(Y)E(e|xi)=0given X,the mean of the distribution

4、 of “other factors”is zero無論xi為什麼數值，ei的平均值皆為0其他因素與X無關7殘差值與xi不相關08殘差值與xi不相關9No serial correlation:ei彼此不相關兩個殘差值不相關表示它們彼此之間為獨立(independent)，由於我們抽取的是隨機樣本，因此每一個觀察值之間彼此沒有關連。也就是說，某一戶人家的娛樂支出不會影響另一戶人家的育樂支出。10YXF(Y)Estimation of e2前面我們假設Homoscedasticity:Var(ei)=2每一個相對應於x值的y不但為常態分配，且有相同的變異數222(Xi,Yi)are indepe

5、ndently and identically distributed11YxiF(Y)Population regression line我們假設在母體中，對於每一個xi值而言，其相對應的yi值遵循某種機率分配，且期望值為12YXF(Y)Sample regression line從樣本中可以推估出0,1的估計值，也可以建構出樣本迴歸線由於母體參數0,1為未知數，因此母體迴歸線必須透過觀察到的樣本(xi,yi)來推估由於觀察到樣本點(xi,yi)不會剛好落在母體迴歸線上，因此yi與E(yi|xi)會有所差距。13區分母體與樣本迴歸線由於我們是從樣本中來估計迴歸線，用來估計迴歸線的截距b0及斜

6、率b1 的估計式(estimator)為具有抽樣分配(sampling distribution)的隨機變數。觀念母體迴歸線樣本迴歸線14截距與斜率的抽樣分配我們想進一步知道從樣本中估計的截距b0及斜率b1 是不是能夠正確的反映出母體的參數B0及B1。雖然每一次從樣本中估計出來的迴歸線都不同，但我們如果我們知道估計式的抽樣分配，則可以用統計檢定的方式來對我們的樣本參數進行統計的推估。因此我們第一步需要知道為截距b0及斜率b1 的抽樣分配為何？也就是說他們的期望值及標準差為何？觀念15迴歸的統計檢定統計檢定包含兩部分:(1)對截距與斜率的檢定(2)迴歸方程式的配適度16區分母體與樣本迴歸線17區

7、分母體與樣本迴歸線因此每一個實際的觀察值可以表為母體迴歸線的函數或是樣本迴歸線的函數我們經常用可觀察的殘差值ei(residual)來推估未知的i18截距與斜率的抽樣分配其中截距0及斜率1 為參數，xi為已知常數，且觀念由於yi為常態分配的線性組合(i為常態分配)，故yi亦為一常態分配19斜率b1的抽樣分配b1分配的型態為何？E(b1)=?Var(b1)=?觀念=0由於xi為已知常數，因此b1的分配為常態分配yi的線性組合，故b1為常態分配20斜率b1的抽樣分配E(b1)=?觀念21斜率b1的抽樣分配觀念樣本觀察值與平均數之差的總合為零22斜率b1的抽樣分配觀念等於零b1為1的不偏估計式unb

8、iased estimator23斜率b1的抽樣分配觀念常數24斜率b1的抽樣分配觀念25斜率b1的抽樣分配觀念26斜率b1的抽樣分配觀念從以上的討論得知：b0的抽樣分配證明略未知數27Estimation of e2令真正的變異數(true variance)可分別表為2b0及2b1。一般而言，2b0及2b1通常為未知數(因為2未知)，必須從樣本中估計求得，以符號S2b0及S2b1來表示估計的變異數。同理，我們以b0及b1來表示b0及b1的真正標準誤差，以Sb0及Sb1來表示估計的標準誤差(estimated standard error)。觀念28Estimation of e2如何估計2

9、?一個簡單的方法為利用Sum of Square Error(SSE)來估算29Estimation of e2但實際上，因為我們不知道真正的母體迴歸線，所以也就無法知道真正的殘差值ei（更正式的寫法為i)。因此我們必須以估計的殘差值來取代30Estimation of e2在迴歸式中，SSE的自由度為樣本個數減去估計係數的數目Se為迴歸線的估計標準差(estimated standard error of the regression)，代表每一個相對應於x值的Y，分佈於迴歸線上的變異狀況。Se愈小，表示Y的散佈愈集中31Estimation of e2在簡單迴歸中：32Estimation

10、 of e2=033Estimation of e234Estimation of e235公式整理36Estimation of e237Estimation of e238Estimating standard error of b0 and b1 觀念截距b0及斜率b1的變異數的公式39Estimating standard error of b0 and b1觀念由於2未知Estimated standard error of b1Estimated standard error of b040Hypothesis Testing in the Linear Regression Mo

11、del觀念若以S2e來推估2，則知道b1的分配及標準誤差後，我們可以進行統計推論41Hypothesis Testing in the Linear Regression Model觀念在迴歸的統計檢定中，我們想要知道自變數x是否對於解釋y有用，也就是說x與y之間是否具有線性關係？一般而言，如果x與y之間存在一線性關係，則1042Hypothesis Testing in the Linear Regression Model觀念我們要檢驗下列的虛擬假設：One-side test 學歷與薪資的關係One-side test 私校學費與註冊人數之關係Two-side test 父母的收入與兒女

12、的在校成績43Hypothesis Testing in the Linear Regression Model觀念我們也可以檢驗斜率等於某特定值*：每增加一年的學歷薪水增加$200044Hypothesis Testing in the Linear Regression Model觀念斜率的單邊假設檢定：45Hypothesis Testing in the Linear Regression Model觀念斜率的單邊假設檢定：46Hypothesis Testing in the Linear Regression Model觀念斜率的雙邊假設檢定：47例題上例收入與支出的關係，以=.0

13、1檢定H0:1=0 vs.1 0 48例題上例收入與支出的關係，以=.05檢定H0:1=.90 vs.1.90 49截距的檢定例題續上例，以=.05檢定H0:0=0 vs.0 0 50Confidence Intervals for the Regression Coefficientst依循自由度為(n-2)的t分配:51Confidence Intervals for the Regression Coefficients上述公式指出，如果我們重複抽樣來計算樣本迴歸線的斜率，則1的值有100(1-)%的機率會落於以下區間：其中t值得自當自由度為=(n-2)時的t分配,上述的區間稱為1的10

14、0(1-)%信賴區間。同理，我們可以找出截距的信賴區間：52例題求下列迴歸線斜率的90%信賴區間，(n=10):53迴歸方程式的解釋力當我們計算出迴歸線後，我們想進一步知道迴歸曲線與資料間的適合度(goodness of fit)。母體迴歸線告訴我們x與y有下列線性關係上式告訴我們有兩個因素會影響Y值的變異：Y值會隨著xi值的改變而變：這一部份的變異為被迴歸線解釋的變異。Y值會隨著ei值而變：這一部份為迴歸線無法解釋的變異。54簡單迴歸模型被解釋的變異未被解釋的變異總變異量沒有解釋能力的回歸線55變異數的分解未被解釋的變異稱為殘差值residual，第i個觀察值的殘差值定義為:56變異數的分解

15、57變異數的分解總變異量Sum of Square Total解釋變異量Regression Sum of Square 未解釋變異量Sum of Square Error58變異數的分解兩邊除SSTR2愈大，表示X對Y的解釋能力愈強判定係數為可解釋變異量佔總變異量的比例，表示X對Y的變異之解釋能力。59變異數的分解60變異數的分解61變異數的分解以樣本變異數來計算62求R2?6364F-檢定F檢定統計量可檢定下列假設:H0:迴歸方程式無解釋能力(1=0)H1:迴歸方程式有解釋能力(1 0)6566r=0.994 r2=0.98967r=0.921 r2=0.84968Page 13669r2

16、Variance of value y=5.30091Variance of predicted y=5.241357071例題求迴歸線yi=b0+b1xi+ei 的斜率與截距並計算R2及兩個係數的估計標準誤差。72例題畫出迴歸線：73例題74例題75例題1987年USA Today報導一研究發現懷孕時吸煙的母親，其兒女在三歲時的IQ比不吸煙的母親平均少5分，你想驗證上述的假設，記錄母親懷孕時每日的吸煙根數(xi)及兒女在三歲時的IQ(yi)，你心中假設的模型為：抽取父母親IQ相當的20個樣本家庭，計算樣本迴歸模型如下：請分析這個結果76例題斜率為-0.60如何解釋？代表樣本中，母親每吸一根菸

17、，baby的智商減少0.60分截距為104如何解釋？代表不吸煙母親的子女的智商預測值為10477例題可不可以將樣本所得的結果推論至母體(概化)？必須檢定母親的吸煙對兒女智商無影響的假設，即78例題The 95%confidence interval:表示在95%的信心水準下，我們可以說真正的1值介於此區間中。79例題R2=0.17 說明母親的吸煙數量解釋了17%的兒女IQ變異量。或者說，尚有83%的IQ變異無法由抽煙與否來解釋。80Prediction using the regression model迴歸線可以用來估計在某一特定x值之下，Y的預測值：我們可以用迴歸線來估計在xi下的”新”觀

18、察值Y我們也可以用迴歸線來估計在xi下的Y的期望值81Prediction using the regression model由於我們不知道母體迴歸線，因此Yi及E(Y|xi)最好的預測值為雖然特定Yi的預測值與預測的期望值E(Yi|xi)相同，皆為b0+b1xi。但兩者的抽樣誤差不同，因為估計Yi的期望值不需要考慮隨機誤差項ei。82Prediction using the regression modelEffects of Sampling Error:預測Yi的期望值E(Yi|xi)會有來自於用樣本迴歸線來估計母體迴歸線所造成的抽樣誤差。估計83Prediction using th

19、e regression modelEffects of Sampling Error:預測單獨Yi的值會有來自於用樣本迴歸線來估計母體迴歸線所造成的抽樣誤差+用0來推估i 的誤差。估計84YXF(Y)Confidence Interval for Predictions我們希望知道樣本迴歸線的預測值(y-hat)的抽樣分配，才能對E(Y|xi)從事統計推論85區分母體與樣本迴歸線86E(Y|xi)之估計與檢定=某特定值xp時，Yp的期望值?87E(Y|xi)之估計與檢定=某特定值xp時，Yp的變異數=?88E(Y|xi)之估計與檢定因此E(Yp|xp)的抽樣分配為以se來取代e89E(Y|x

20、i)之估計與檢定在一特定xp值下，其相對應的期望值E(Yp|xp)的(1-)的信賴區間為90E(Y|xi)之估計與檢定在一特定xp值下，其相對應的預測值Yp的(1-)的信賴區間為91E(Y|xi)之估計與檢定其他條件不變，樣本數n愈大，預測值的信賴區間愈小，我們對預測的信心隨著樣本數的增加而增加。92E(Y|xi)之估計與檢定其他條件不變，se愈大，預測值的信賴區間愈大。Se為e的估計，代表依變項觀察值Yi與及其期望值之間的差異，se愈大，表示Yi愈不集中於母體迴歸線的週遭。93E(Y|xi)之估計與檢定其他條件不變，sx2 愈大，我們對x值的分佈知道的愈廣，因而對Y的預測會愈準。94E(Y|xi)之估計與檢定特定的xp值離x分佈的中心值愈遠，則我們的預測越不準。CI最窄的部分出現在95例題汽車保養費Yi與車齡xi呈線性關係，取15輛車來估計迴歸線得求當xp=1,2,3,49時，Yi期望值得95%信賴區間96例題97例題特定的xp值離x分佈的中心值愈遠，則我們的預測越不準。CI最窄的部分出現在x-bar98