双变量线性回归.ppt

《双变量线性回归.ppt》由会员分享，可在线阅读，更多相关《双变量线性回归.ppt（140页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章第二章 双变量线性回归双变量线性回归1Xianghong Shirley Wang-modified from Professor Anderson回归分析概述回归分析概述 模型的基本假设模型的基本假设 模型的参数估计模型的参数估计 模型的统计检验模型的统计检验 模型的预测模型的预测 实例实例主要内容主要内容2Xianghong Shirley Wang2.1 回归分析概述回归分析概述 变量间的关系及回归分析的基本概念变量间的关系及回归分析的基本概念 总体回归函数（总体回归函数（PRF）随机扰动项随机扰动项 样本回归函数（样本回归函数（SRF）3Xianghong Shirley Wan

2、g 确定性关系或函数关系：研究的是确定确定性关系或函数关系：研究的是确定 现象非随机变量间的关系。现象非随机变量间的关系。统计依赖或相关关系：研究的是非确定统计依赖或相关关系：研究的是非确定现象随机变量间的关系。现象随机变量间的关系。一、变量间的关系及回归分析的基本概念一、变量间的关系及回归分析的基本概念变量间的关系包括：变量间的关系包括：4Xianghong Shirley Wang对变量间统计依赖关系的考察主要是通过相关对变量间统计依赖关系的考察主要是通过相关分析分析(correlation analysis)或回归分析或回归分析(regression analysis)来完成的。来完成的

3、。相关分析对称地对待任何（两个）变量，两个相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的。回归分析对变量的处变量都被看作是随机的。回归分析对变量的处理方法存在不对称性，即区分因变量（被解释理方法存在不对称性，即区分因变量（被解释变量）和自变量（解释变量）：前者是随机变变量）和自变量（解释变量）：前者是随机变量，后者不是。量，后者不是。5Xianghong Shirley Wang回归分析的基本概念回归分析的基本概念回归分析回归分析(regression analysis)是研究一个变量是研究一个变量关于另一个（些）变量的具体依赖关系的计关于另一个（些）变量的具体依赖关系的计算方法

4、和理论。算方法和理论。其目的在于通过后者的已知或设定值，去估其目的在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。计和（或）预测前者的（总体）均值。被解释变量被解释变量（Explained Variable）或因变量或因变量（Dependent Variable）。解释变量解释变量（Explanatory Variable）或自变量或自变量（Independent Variable）。6Xianghong Shirley Wang 回归分析构成计量经济学的方法论回归分析构成计量经济学的方法论基础，其主要内容包括：基础，其主要内容包括：根据样本观察值对经济计量模型参数进根据样本

5、观察值对经济计量模型参数进行估计，求得回归方程；行估计，求得回归方程；对回归方程、参数估计值进行显著性检对回归方程、参数估计值进行显著性检验；验；利用回归方程进行分析、评价及预测利用回归方程进行分析、评价及预测。7Xianghong Shirley Wang二、总体回归函数（二、总体回归函数（PRF）回归分析关心的是根据解释变量的已知或给回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解定值，考察被解释变量的总体均值，即当解释变量取某个确定值时，与之统计相关的被释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。解释变量所有可能出现的对应值的平

6、均值。8Xianghong Shirley Wang例：例：一个假想的社区有一个假想的社区有100户家庭组成，要研户家庭组成，要研究该社区每月家庭消费支出究该社区每月家庭消费支出Y 与每月家庭可支与每月家庭可支配收入配收入X 的关系。的关系。即如果知道了家庭的月收入，即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水平。能否预测该社区家庭的平均月消费支出水平。为达到此目的，将该为达到此目的，将该100户家庭划分为组内收户家庭划分为组内收入差不多的入差不多的10组，以分析每一收入组的家庭消组，以分析每一收入组的家庭消费支出。费支出。9Xianghong Shirley Wang10X

7、ianghong Shirley Wang由于不确定性因素的影响，对同一收入水平由于不确定性因素的影响，对同一收入水平 X，不，不同家庭的消费支出并不完全相同；同家庭的消费支出并不完全相同；但由于调查的完备性，给定收入水平但由于调查的完备性，给定收入水平 X 的消费支的消费支出出 Y 的分布是确定的，即以的分布是确定的，即以 X 的给定值为条件的的给定值为条件的 Y 的条件分布（的条件分布（Conditional distribution）是已知）是已知的，例如：的，例如：P(Y=561|X=800）=1/4。11Xianghong Shirley Wang因此，给定收入因此，给定收入 X 的

8、值的值 Xi，可以得到消费支出，可以得到消费支出Y的的条件均值条件均值（conditional mean）或或条件期望条件期望（conditional expectation）：）：E(Y|X=Xi)。该例中：该例中：E(Y|X=800)=605描出散点图发现：随着收入的增加，消费描出散点图发现：随着收入的增加，消费“平均平均地说地说”也在增加，且也在增加，且 Y 的条件均值均落在一条的条件均值均落在一条正斜率的直线上。这条直线称为正斜率的直线上。这条直线称为总体回归线总体回归线。12Xianghong Shirley Wang050010001500200025003000350050010

9、00150020002500300035004000每月可支配收入X（元）每月消费支出Y（元）13Xianghong Shirley Wang在给定解释变量在给定解释变量 Xi 条件下被解释变量条件下被解释变量 Yi 的期望轨的期望轨迹称为迹称为总体回归线总体回归线（population regression line），），或更一般地称为总体回归曲线（或更一般地称为总体回归曲线（population regression curve）。）。相应的函数：相应的函数：称为（双变量）称为（双变量）总体回归函数总体回归函数（population regression function,PRF）。）。

10、14Xianghong Shirley Wang含义：总体回归函数含义：总体回归函数（PRF）说明被解释变量说明被解释变量 Y Y 的平均状态（总体条件期望）随解释变量的平均状态（总体条件期望）随解释变量 X X 变变化的规律。化的规律。函数形式：可以是线性或非线性的。函数形式：可以是线性或非线性的。例例子子中，将居民消费支出看成是其可支配收入的中，将居民消费支出看成是其可支配收入的线性函数时线性函数时:为一线性函数。其中，为一线性函数。其中，0 0，1 1是未知参数，称为是未知参数，称为回归系数回归系数（regression coefficients）。）。15Xianghong Shirl

11、ey Wang “线性线性”一词的含义（有两种解释）一词的含义（有两种解释）1、模型就、模型就变量变量而言是线性的而言是线性的2、模型就、模型就参数参数而言是线性的而言是线性的例例例如：例如：注：在计量经济学中，从回归理论的发展、注：在计量经济学中，从回归理论的发展、参数的估计方法来说，主要考虑的是模型就参数的估计方法来说，主要考虑的是模型就参数参数而言是线性的情形。而言是线性的情形。16Xianghong Shirley Wang三、随机扰动项三、随机扰动项w总体回归函数说明在给定的收入水平总体回归函数说明在给定的收入水平 Xi 下，该社区家下，该社区家庭庭平均的平均的消费支出水平。消费支出

12、水平。w但对某一个别的家庭，其消费支出可能与该平均水平存但对某一个别的家庭，其消费支出可能与该平均水平存在偏差。在偏差。w 称为观察值围绕它的期望值的称为观察值围绕它的期望值的离差离差（deviation），它是一个不可观测的随机变量，又称为），它是一个不可观测的随机变量，又称为随机扰动项随机扰动项（stochastic disturbance）或）或随机误差项随机误差项（stochastic error）。）。17Xianghong Shirley Wang 上例中，给定收入水平上例中，给定收入水平 Xi,个别家庭的支出可表示为个别家庭的支出可表示为两部分之和：两部分之和：w该收入水平下所有

13、家庭的平均消费支出该收入水平下所有家庭的平均消费支出E(Y|Xi)，称为，称为系统性（系统性（systematic）或确定性（）或确定性（deterministic)部分；部分；w其他随机或非确定性（其他随机或非确定性（nonsystematic)部分为部分为 ui。w 称为总体回归函数称为总体回归函数（PRF）的随机设定形式。表明被解释变量除了受解释）的随机设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。由变量的系统性影响外，还受其他因素的随机性影响。由于方程中引入了随机项，成为计量经济学模型，因此也于方程中引入了随机项，成为计量经济学模型，因此也称为总体回归

14、模型。称为总体回归模型。18Xianghong Shirley Wang随机误差项的意义随机误差项的意义理论的模糊性理论的模糊性数据的欠缺数据的欠缺核心变量与周边变量核心变量与周边变量人类行为的内在随机性人类行为的内在随机性糟糕的替代变量糟糕的替代变量节省原则节省原则（Occams razor）错误的函数形式错误的函数形式19Xianghong Shirley Wang四、样本回归函数四、样本回归函数（SRF）问题：问题：是否能从一次抽样中获得总体的近似的信息？如果可是否能从一次抽样中获得总体的近似的信息？如果可以，如何从抽样中获得总体的近似信息？以，如何从抽样中获得总体的近似信息？例：例：在

15、上例的总体中有如下一个样本，能否从该样本估计总在上例的总体中有如下一个样本，能否从该样本估计总体回归函数体回归函数PRF？回答：能回答：能20Xianghong Shirley Wang该样本的散点图（该样本的散点图（scatter diagram)如下：如下：画一条直线以尽好地拟合该散点图，由于样本取自总体，画一条直线以尽好地拟合该散点图，由于样本取自总体，可以将该直线近似地代表总体回归线。该直线称为可以将该直线近似地代表总体回归线。该直线称为样本回归线样本回归线（sample regression lines）。）。21Xianghong Shirley Wangw样本回归线可以看成总体回

16、归线的近似替代。样本回归线可以看成总体回归线的近似替代。w样本回归线的函数形式为：样本回归线的函数形式为：即为即为样本回归函数样本回归函数（sample regression function，SRF）。）。为为 E(Y|Xi)的的估计量；估计量；为为 i 的估计量，的估计量，(i=0,1)。22Xianghong Shirley Wang样本回归函数的随机形式样本回归函数的随机形式/样本回归模型：样本回归模型：同样地，样本回归函数也有如下的随机形式：同样地，样本回归函数也有如下的随机形式：由于方程中引入了随机项，成为计量经济模由于方程中引入了随机项，成为计量经济模型，因此也称为型，因此也称为

17、样本回归模型样本回归模型（sample regression model）。23Xianghong Shirley Wang 回归分析的主要目的：根据样本回归函数回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数，估计总体回归函数PRF。即，根据即，根据估计估计24Xianghong Shirley Wang2.2 模型的基本假设模型的基本假设 仍以家庭收入仍以家庭收入X X与消费支出与消费支出Y Y之间的关系为例，之间的关系为例，每个家庭的消费支出每个家庭的消费支出Y Y主要取决于该家庭的收入主要取决于该家庭的收入X X，但是也受其他因素的影响。但是也受其他因素的影响。高收入家庭，

18、消费支出的离散性比较大高收入家庭，消费支出的离散性比较大(方差较大方差较大)低收入家庭，消费支出的离散性比较小低收入家庭，消费支出的离散性比较小(方差较小方差较小)通常，消费支出通常，消费支出Y Y 的分布函数是多种多样的，的分布函数是多种多样的，不一定是正态分布，也不一定是相同的分布。分布不一定是正态分布，也不一定是相同的分布。分布函数的方差、均值都不相同，分布函数的形式也不函数的方差、均值都不相同，分布函数的形式也不同。同。25Xianghong Shirley Wang家庭消费支出家庭消费支出Y是家庭收入是家庭收入X的条件概率函数的条件概率函数P(Y|Xi)。这个概率函数有三个明显特征：

19、这个概率函数有三个明显特征：对于不同的对于不同的X，条件概率条件概率P(Y|Xi)的分布函数形式不同的分布函数形式不同 对于不同的对于不同的X，条件概率条件概率P(Y|Xi)的方差不同的方差不同 对于不同的对于不同的X，条件概率条件概率P(Y|Xi)的均值的均值E(Y)一般不在一般不在同一条直线上同一条直线上26Xianghong Shirley Wang对于这样的概率函数进行数学分析是非常困难的，对于这样的概率函数进行数学分析是非常困难的，目前还没有较好的解决办法。为了简化数学分析，通目前还没有较好的解决办法。为了简化数学分析，通常对实际情况进行抽象，做一些假设：常对实际情况进行抽象，做一些

20、假设：1)假设概率函数假设概率函数P(Y|X)的分布函数形式相同。的分布函数形式相同。例如服从正态分布；例如服从正态分布；2)假设概率函数假设概率函数P(Y|X)的分布函数的方差相同，的分布函数的方差相同，均为常数均为常数 u2，即，即Var(Yi)=Var(ui)=u2，i=1,2,n3)对于不同的对于不同的X，Y的均值的均值E(Y)在同一条直线上。在同一条直线上。即即E(Yi)=0+1Xi，i=1,2,n这个假设是满足一元线性回归要求的。这个假设是满足一元线性回归要求的。满足这些假设条件的满足这些假设条件的Y的概率分布函数如图所示。的概率分布函数如图所示。27Xianghong Shirl

21、ey WangP(Y|X)oY x2 x3x4X iiXYE10)(+=X128Xianghong Shirley Wang 1）重复抽样中，解释变量）重复抽样中，解释变量 是一组固定的值或是一组固定的值或虽然是随机的，但与干扰项虽然是随机的，但与干扰项 独立；独立；一、一、对变量和模型的假定对变量和模型的假定2）无测量误差；无测量误差；3）模型设定正确（不存在设定误差）模型设定正确（不存在设定误差）29Xianghong Shirley Wang假定假定1：随机误差项随机误差项ui的数学期望（均值）为的数学期望（均值）为0，即，即二、对随机扰动项二、对随机扰动项 （或分布（或分布 ）的假定）

22、的假定30Xianghong Shirley Wang假定假定2：随机误差项：随机误差项ui的方差与的方差与i无关，为一个常数，无关，为一个常数，又称为同方差性。又称为同方差性。Var(ui)=E(uiE(ui)2=E(ui2)=u2,i=1,2,n 如果误差项的方差不同，那么与其对应的观如果误差项的方差不同，那么与其对应的观测值测值Yi的可靠程度也不相同。的可靠程度也不相同。这会使参数的检验和利用模型进行预测复杂这会使参数的检验和利用模型进行预测复杂化。而满足同方差假设，将使检验和预测简化。化。而满足同方差假设，将使检验和预测简化。31Xianghong Shirley Wang假定假定3：

23、无自相关假定，即：无自相关假定，即 表示不同的误差项之间互相独立，同时，表示不同的误差项之间互相独立，同时，不同的被解释变量在统计上也是互相独立的。不同的被解释变量在统计上也是互相独立的。Cov(ui,uj)=E(uiE(ui)(ujE(uj)=E(uiuj)=0 ，ij，i，j=1,2,n32Xianghong Shirley Wang假定假定4：扰动项与解释变量之间不相关（相互独立）：扰动项与解释变量之间不相关（相互独立）Cov(ui,Xi)=E(uiE(ui)(XiE(Xi)=E(ui(XiE(Xi)=E(uiXi)E(ui)E(Xi)=E(uiXi)=033Xianghong Shir

24、ley Wang假定假定5：随机扰动项服从正态分布：随机扰动项服从正态分布 如果只利用如果只利用OLS进行参数估计，不需要该假设。但是若进行参数估计，不需要该假设。但是若要进行假设检验和预测，就必须知道总体要进行假设检验和预测，就必须知道总体Yi的分布情况。的分布情况。如果如果Xi为非随机变量，总体为非随机变量，总体Yi与误差项与误差项ui服从相同的分布，服从相同的分布，Yi与与ui之间只有均值之间只有均值E(Yi)的差别。的差别。根据中心极限定理，当样本容量趋于无穷大时，假定根据中心极限定理，当样本容量趋于无穷大时，假定5对于任何实际模型都是满足的。对于任何实际模型都是满足的。34Xiang

25、hong Shirley Wang 以上假定以上假定1 14 4也称为线性回归模型的也称为线性回归模型的经典假设或高斯（经典假设或高斯（Gauss）假设，满足该）假设，满足该假设的线性回归模型，也称为经典线性假设的线性回归模型，也称为经典线性回归模型（回归模型（Classical Linear Regression Model,CLRM）。）。35Xianghong Shirley Wang2.3 模型的参数估计模型的参数估计 参数估计参数估计最小二乘法（最小二乘法（OLS）最小二乘估计量的性质最小二乘估计量的性质36Xianghong Shirley WangXY(Xn,Yn)(X1,Y1)

26、(X2,Y2)(Xi,Yi)一、最小二乘法（一、最小二乘法（OLS）寻找实际值与拟合值的寻找实际值与拟合值的残残差平方和为最小的回归直线。差平方和为最小的回归直线。残差平方和为：残差平方和为：37Xianghong Shirley Wang根据微积分中求极值的原理根据微积分中求极值的原理 正规方程组正规方程组（normalequations）38Xianghong Shirley Wang解方程组解方程组得得截距项截距项 ：当解释变量为零时，被解释变量的取值；：当解释变量为零时，被解释变量的取值；斜率项斜率项 ：当解释变量每变动一个单位时，被解释变量：当解释变量每变动一个单位时，被解释变量 平

27、均平均变动变动 个单位。个单位。注：令注：令或或OLS估计量的估计量的离差形式离差形式（deviationform）39Xianghong Shirley Wang样本回归函数可以记作：样本回归函数可以记作：定义：定义：右式称为样本回归函数的离差形式。右式称为样本回归函数的离差形式。因此因此40Xianghong Shirley Wang 例例:讨论家庭收入讨论家庭收入X对家庭消费支出对家庭消费支出Y的影响问题。的影响问题。如果通过调查得到一组数据：（百元）如果通过调查得到一组数据：（百元）187.76461.621211144132320134002604302290066054021160

28、08406502725001350770384900266089039810035109100551000060501012066144007920合计540299.74300822893.641Xianghong Shirley Wang42Xianghong Shirley Wang二、最小二乘估计量的性质二、最小二乘估计量的性质当模型参数估计出后，需考虑当模型参数估计出后，需考虑参数估计值的精度，即是否能代表参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参总体参数的真值，或者说需考察参数估计量的统计性质。数估计量的统计性质。43Xianghong Shirley Wang 一

29、个用于考察总体的估计量，可以从以下几个一个用于考察总体的估计量，可以从以下几个方面考察其优劣性：方面考察其优劣性：（1）线性性，即它是否是随机变量）线性性，即它是否是随机变量 Yi 的线性函数；的线性函数；（2）无偏性，即它的均值或期望值是否等于总体的真实值；）无偏性，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线性无偏估计量中具有最小）有效性，即它是否在所有线性无偏估计量中具有最小方差。方差。这三个准则也称作估计量的这三个准则也称作估计量的小样本性质小样本性质。拥。拥有这类性质的估计量称为有这类性质的估计量称为最佳线性无偏估计量最佳线性无偏估计量（best liner

30、 unbiased estimator,BLUE）。）。44Xianghong Shirley Wang 在在给给定定经经典典线线性性回回归归的的假假定定下下，最最小小二二乘乘估估计计量量是是具具有有最最小小方方差差的的线线性性无无偏估计量。偏估计量。高斯高斯马尔可夫定理马尔可夫定理 (Gauss-Markov(Gauss-Markov theorem)theorem)45Xianghong Shirley Wang线性特性是指参数估计量线性特性是指参数估计量分别为观测值分别为观测值Yi或扰动项或扰动项ui的线性组合的线性组合。（一）线性性（一）线性性46Xianghong Shirley W

31、ang47Xianghong Shirley Wang（二）无偏性（二）无偏性证：证：证：证：48Xianghong Shirley Wang（三）有效性（最小方差性）（三）有效性（最小方差性）先求先求 和和 的方差的方差证明：证明：49Xianghong Shirley Wang证明证明50Xianghong Shirley Wang再证明所求的方差为最小方差再证明所求的方差为最小方差假设假设 是总体参数是总体参数 的线性无偏估计量，有的线性无偏估计量，有51Xianghong Shirley Wang由由 是是 的线性无偏估计，所以的线性无偏估计，所以 比较等式两边，有比较等式两边，有 5

32、2Xianghong Shirley Wang其中其中53Xianghong Shirley Wang同理可证同理可证 也有最小方差。也有最小方差。为最小值为最小值，且，且 由此证明了最小二乘估计值由此证明了最小二乘估计值 的方差在的方差在 1的的各种线性无偏估计值中为最小。各种线性无偏估计值中为最小。最小二乘法也称最优线性无偏估计最小二乘法也称最优线性无偏估计(BLUE:best linear unbiased estimators)这种特性称为高这种特性称为高斯斯马尔可夫马尔可夫(GaussMarkov)定理。定理。54Xianghong Shirley Wang正态分布变量的线性组合，仍

33、为正态分布变量。正态分布变量的线性组合，仍为正态分布变量。因此因此55Xianghong Shirley Wang2.4 模型的统计检验模型的统计检验 拟合优度检验拟合优度检验 方程显著性检验方程显著性检验 变量显著性检验变量显著性检验56Xianghong Shirley Wang回归分析是要通过样本所估计的参数来代替总体的真实回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。参数，或者说是用样本回归线代替总体回归线。尽管从统计性质上已知，如果有足够多的重复抽样，参尽管从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于其总体的参

34、数真值，数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。但在一次抽样中，估计值不一定就等于该真值。那么，在一次抽样中，参数的估计值与真值的差异有多那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。大，是否显著，这就需要进一步进行统计检验。主要包括拟合优度检验、方程的显著性检验及变量的显主要包括拟合优度检验、方程的显著性检验及变量的显著性检验，其中还会涉及参数的区间估计问题。著性检验，其中还会涉及参数的区间估计问题。57Xianghong Shirley Wang一、拟合优度检验一、拟合优度检验 拟合优度检验拟合优

35、度检验：是检验模型对样本观测值的是检验模型对样本观测值的拟合程度。检验的具体方法，是构造一个可以拟合程度。检验的具体方法，是构造一个可以表征拟合程度的指标，在这里被称为统计量。表征拟合程度的指标，在这里被称为统计量。统计量是样本的函数。从检验对象中计算出该统计量是样本的函数。从检验对象中计算出该统计量的数值，然后与某一标准进行比较，得统计量的数值，然后与某一标准进行比较，得出检验结论。出检验结论。度量拟合优度的指标：判定系数（可决系度量拟合优度的指标：判定系数（可决系数）数）R258Xianghong Shirley Wang 有人也许会问，采用普通最小二乘估计方法，已有人也许会问，采用普通最

36、小二乘估计方法，已经保证了模型最好地拟合样本观测值，为什么还要检经保证了模型最好地拟合样本观测值，为什么还要检验拟合程度？验拟合程度？问题在于，在一个特定的条件下做得最好的并不问题在于，在一个特定的条件下做得最好的并不一定就是高质量的。普通最小二乘法所保证的最好拟一定就是高质量的。普通最小二乘法所保证的最好拟合，是同一个问题内部的比较，拟合优度检验结果所合，是同一个问题内部的比较，拟合优度检验结果所表示的优劣是不同问题之间的比较。表示的优劣是不同问题之间的比较。59Xianghong Shirley Wangy0 xy0 x 例如上面两图的直线方程都是由散点表示的样例如上面两图的直线方程都是由

37、散点表示的样本观测值的最小二乘估计结果，对于每个问题它们本观测值的最小二乘估计结果，对于每个问题它们都满足残差的平方和最小，但是二者对样本观测值都满足残差的平方和最小，但是二者对样本观测值的拟合程度显然是不同的。的拟合程度显然是不同的。60Xianghong Shirley Wang 1.1.总离差平方和的分解总离差平方和的分解 已知由一组样本观测值（已知由一组样本观测值（Xi,Yi），），i=1,2,n，得到样本回归直线：得到样本回归直线：总偏差总偏差(离差离差)可解释偏差可解释偏差(回归偏差回归偏差)残差残差(随机偏差随机偏差)61Xianghong Shirley WangYiX来自残差

38、来自残差来自回归来自回归 是样本回归拟和值与观测值的平均之差，可是样本回归拟和值与观测值的平均之差，可以认为是由回归直线解释的部分；以认为是由回归直线解释的部分；是实际观测值与回归拟和值之差，可以认为是实际观测值与回归拟和值之差，可以认为是回归直线不能解释的部分。是回归直线不能解释的部分。62Xianghong Shirley Wang如果如果 Yi=i 即实际观测值落在样本回归即实际观测值落在样本回归“线线”上，则上，则拟合最好拟合最好。可以认为，。可以认为，“离差离差”全部来自回归线，而与全部来自回归线，而与“残差残差”无关。无关。对于所有样本点，则需考虑这些点（观测对于所有样本点，则需考

39、虑这些点（观测点）与样本均值离差（总离差）的平方和，可点）与样本均值离差（总离差）的平方和，可以证明：以证明：63Xianghong Shirley Wang证：证：64Xianghong Shirley WangESS(Explained sum of squares)为回归平方和，为回归平方和，反映由模型中解释变量所解释的那部分离差的大反映由模型中解释变量所解释的那部分离差的大小小TSS(Total sum of squares)为总体平方和，反映样为总体平方和，反映样本观测值总体离差的大小本观测值总体离差的大小TSS=ESS+RSSRSS(Residual sum of squares)

40、为残差平方和，为残差平方和，反映样本观测值与估计值偏离的大小，也是模型反映样本观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小中解释变量未解释的那部分离差的大小65Xianghong Shirley Wang显然，显然，ESS在在TSS中所占比例越大，中所占比例越大，RSS在在TSS中所占比例越小，说明回归参数估计值的显著性越中所占比例越小，说明回归参数估计值的显著性越强。强。因此，可以选择总体平方和与回归平方和的接近因此，可以选择总体平方和与回归平方和的接近程度作为一个评判模型拟合优度的标准。程度作为一个评判模型拟合优度的标准。即样本回归线即样本回归线与样本观测值拟合与样

41、本观测值拟合TSS=ESS+RSS得越好。得越好。66Xianghong Shirley Wang 既然既然RSS反映样本观测值与估计值偏离的大小，反映样本观测值与估计值偏离的大小，是否可以直接用它作为拟合优度检验的统计量？是否可以直接用它作为拟合优度检验的统计量？作为检验统计量的一般是相对量，而不能作为检验统计量的一般是相对量，而不能用绝对量。因为用绝对量作为检验统计量，用绝对量。因为用绝对量作为检验统计量，无法设置标准。无法设置标准。RSS(残差平方和残差平方和)与样本容量关系很大，与样本容量关系很大，当当n比较小时，它的值也较小，但不能因此比较小时，它的值也较小，但不能因此而判断模型的拟

42、合优度就好。而判断模型的拟合优度就好。67Xianghong Shirley Wang回归平方和回归平方和：RSS(Regression sum of squares)或或 SSR(Sum of squares due to regression)残差平方和残差平方和：ESS(error sum of squares)或或 SSE(Sum of squares due to error)注意注意：在有些计量经济学著作中所使用在有些计量经济学著作中所使用的符号与我们相反：的符号与我们相反：68Xianghong Shirley Wang定义定义：R2表示模型拟合的程度，称为拟合优度或判定表示模型

43、拟合的程度，称为拟合优度或判定系数系数(coefficient of determination)。2.2.拟合优度的度量拟合优度的度量69Xianghong Shirley Wang因为因为 0ESS TSS，0 RSS TSS 所以所以 0 R2 1 R2 越接近越接近1，说明实际观测点离样本回归线，说明实际观测点离样本回归线越近，拟合优度越高越近，拟合优度越高。70Xianghong Shirley Wang对于双变量线性回归模型对于双变量线性回归模型71Xianghong Shirley Wang仍以上一节的例子说明XY187.72121132013430225402165027770

44、38890399100551012066合计合计540299.772Xianghong Shirley Wangw在实际应用中，在实际应用中，达到多大才算通过了检达到多大才算通过了检验，没有绝对的标准，要看具体情况而定。验，没有绝对的标准，要看具体情况而定。w模型的拟合优度并不是判断模型质量的唯一模型的拟合优度并不是判断模型质量的唯一标准。标准。w有时甚至为了追求模型的经济意义，可以牺有时甚至为了追求模型的经济意义，可以牺牲一点拟合优度。牲一点拟合优度。73Xianghong Shirley Wang对于变量之间的关系，有多种分析方法。对于变量之间的关系，有多种分析方法。除了回归分析方法之外，

45、相关分析方法也可除了回归分析方法之外，相关分析方法也可以用于分析变量之间的关系。以用于分析变量之间的关系。通常把相关分析作为回归分析的补充分析方法。通常把相关分析作为回归分析的补充分析方法。由拟合优度可以引入样本相关系数由拟合优度可以引入样本相关系数 r(sample correlation coefficient)74Xianghong Shirley Wangr 的数值与的数值与R2有关，但概念不同。有关，但概念不同。75Xianghong Shirley Wang二、方程显著性检验二、方程显著性检验方程的显著性检验，旨在对模型中被解释变量方程的显著性检验，旨在对模型中被解释变量与解释变量

46、之间的线性关系在总体上是否显著成与解释变量之间的线性关系在总体上是否显著成立作出推断。立作出推断。我们利用我们利用F统计量对方程的显著性进行检验，统计量对方程的显著性进行检验，F检验的思想来自于总离差平方和的分解式，使检验的思想来自于总离差平方和的分解式，使用的是方差分析的原理。用的是方差分析的原理。76Xianghong Shirley WangF检验的思想TSS=ESS+RSS77Xianghong Shirley WangF统计量根据数理统计的结论：因此，建立统计量我们可以利用F统计量对回归方程进行显著性检验。78Xianghong Shirley WangF检验的步骤（1）提出假设：（

47、2）利用样本值计算统计量：（3）79Xianghong Shirley Wang仍以上个例子说明（1）提出假设：（2）利用样本值计算统计量：（3）80Xianghong Shirley Wang三、变量显著性检验三、变量显著性检验回归分析是要判断解释变量回归分析是要判断解释变量X是否是被解释变是否是被解释变量量Y Y的一个显著性的影响因素。的一个显著性的影响因素。在双变量线性模型中，就是要判断在双变量线性模型中，就是要判断X X是否对是否对Y Y具有显著的线性性影响。这就需要进行变量的显具有显著的线性性影响。这就需要进行变量的显著性检验。著性检验。变量的显著性检验所应用的方法是数理统计变量的显

48、著性检验所应用的方法是数理统计学中的假设检验。计量经济学中，主要是针对变学中的假设检验。计量经济学中，主要是针对变量的参数真值是否为零来进行显著性检验的。量的参数真值是否为零来进行显著性检验的。81Xianghong Shirley Wang82Xianghong Shirley Wang83Xianghong Shirley Wangw随机误差项方差的估计随机误差项方差的估计w变量的显著性检验变量的显著性检验w总体参数的置信区间总体参数的置信区间本小节的主要内容包括本小节的主要内容包括84Xianghong Shirley Wang 残差残差ei可以看作误差项可以看作误差项ui的估计值。因此

49、，的估计值。因此，我们可以用残差我们可以用残差ei的方差作为的方差作为 2的估计值。的估计值。1.随机误差项方差的估计随机误差项方差的估计85Xianghong Shirley Wang上式中上式中 为待定的为待定的ei的自由度。的自由度。由于残差由于残差ei是由样本得到的，样本容量是由样本得到的，样本容量n总是有限的，总是有限的，并且由于残差并且由于残差ei存在约束条件，因此存在约束条件，因此ei的自由度的自由度 n。的数值由的数值由 2的估计值应该具有无偏性的条件求出。的估计值应该具有无偏性的条件求出。86Xianghong Shirley Wang所以所以根据根据87Xianghong

50、Shirley Wang其中其中88Xianghong Shirley Wang 实际上，由于最小二乘估计要求满足如下实际上，由于最小二乘估计要求满足如下两个条件：两个条件：因此，自由度必然是因此，自由度必然是n-2，2代表有两个约代表有两个约束条件。束条件。89Xianghong Shirley Wang 当当参参数数方方差差中中的的总总体体方方差差 未未知知时时，用用 的的无无偏偏估估计量计量 来代替。来代替。S 称为误差项的标准差。称为误差项的标准差。90Xianghong Shirley Wang有了有了 的方差估计，就可以对最小二乘的方差估计，就可以对最小二乘估计进行显著性检验，也可