多元线性回归分析基础.ppt

《多元线性回归分析基础.ppt》由会员分享，可在线阅读，更多相关《多元线性回归分析基础.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元线性回归分析多元线性回归分析计量经济学计量经济学 第四章第四章 重点问题重点问题v参数的最小二乘估计参数的最小二乘估计v最小二乘估计量的性质最小二乘估计量的性质v参数估计式的分布特性与检验参数估计式的分布特性与检验v多重共线性多重共线性2022/10/28主要内容主要内容v第一节第一节 模型的假定模型的假定 v第二节第二节 参数的最小二乘估计参数的最小二乘估计 v第三节第三节 最小二乘估计量的性质最小二乘估计量的性质v第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验v第五节第五节 多重共线性多重共线性v第六节第六节 预测预测2022/10/28第一节第一节 模型的假定模型

2、的假定模型 矩阵形式其中2022/10/28第一节第一节 模型的假定模型的假定In为n阶单位阵2022/10/28第二节第二节 参数的最小二乘估计参数的最小二乘估计残差向量残差平方和*式*为正规方程组，包含k个方程式2022/10/28第二节第二节 参数的最小二乘估计参数的最小二乘估计由假设条件可以证明XTX是正定的，即XTX0则最小二乘估计：2022/10/28第三节第三节 最小二乘估计量的性质最小二乘估计量的性质 一、最小二乘估计的特性1.线性特性2.无偏性2022/10/28第三节第三节 最小二乘估计量的性质最小二乘估计量的性质3.最优性2022/10/28第三节第三节 最小二乘估计量的

3、性质最小二乘估计量的性质2022/10/28第三节第三节 最小二乘估计量的性质最小二乘估计量的性质2022/10/28第三节第三节 最小二乘估计量的性质最小二乘估计量的性质2022/10/28第三节第三节 最小二乘估计量的性质最小二乘估计量的性质二、误差项方差估计 即e是U的线性变换。其中，M称为最小二乘基本等幂矩阵。2022/10/28第三节第三节 最小二乘估计量的性质最小二乘估计量的性质 M的性质：（1）对称性 MT=M（2）等幂性 Mn=M（3）M与X互相独立 MX=02022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验一、参数估计式的分布特性 在多元线

4、性回归分析中，除了要进行与一元线性回归分析中类似的单个参数的检验，还要检验多个解释变量对被解释变量Y的共同影响是否显著。通常构造F统计量进行这些检验。2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验二、参数的线性约束检

5、验与置信区间2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验1.的置信区间当 R=Ik，可以得到的置信区间2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验2.的检验（1）参数的整体检验问题H02=3=k=0 H1存在某个i0,2ik 2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验（2）单个参数的检验问题 H0i=0 H1i0 2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验三、相关分析记为复相关系数或决定系数 相关系数也可以表示为 相关系数R

6、2有一个显著特点：如果观察值 Yt不变，决定系数 R2将随解释变量的数目增加而增大。2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验 定义为修正的决定系数修正的决定系数比一般决定系数更准确地反映了解释变量对被解释变量的影响程度。因此在一般情况下，修正的确定系数比R2应用更广泛。注：修正的决定系数可能为负值2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验四、单因素方差分析1.单因素方差分析的模型其其中中，i i为为第第i i个个水水平平下下Y Yijij的的总总体体均均值值。e eijij为为Y Yijij与与均均值值之

7、之差差。2 2为为Y Yijij的的方方差差，方方差差为为常常数数。k k为为因因素素A A的的水水平平数数量量。n ni i为为从从第第i i个个水水平平A Ai i中中抽抽取的样本数量。取的样本数量。2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验2.单因素方差分析的检验H012k VS H1i不全相等2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验 定义统计量2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验五、方差分析、相关分析和回归分析的关系方差分析方法也可以应用在回归分析

8、中。把由因素 A引起的组间离差平方和ASS换成回归平方和 ESS，把由随机因素引起的组内离差平方和 RSS换成残差平方和 RSS。把 k 由代表水平数目换成代表参数数目。2022/10/28第四节第四节 参数估计式的分布特性与检验参数估计式的分布特性与检验六、用逐步引入法选择解释变量 基本思想：借助回归分析的方差分析方法，对总变差中由新增加的解释变量所带来的增加的可解释部分的方差比进行F检验，以决定新引入的解释变量的取舍。2022/10/28第五节第五节 多重共线性多重共线性多重共线性指解释变量之间存在比较强的线性相关关系。一、多重共线性造成的影响1.如果解释变量之间存在完全多重共线性，无法得

9、到参数估计式。2.严重多重共线性，即XX0时，具有下列影响(1)大大降低预测精确度由于|XX|0，引起(XX)-1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量非有效。参数估计量非有效。2022/10/28第五节第五节 多重共线性多重共线性 (2)发生弃真错误发生弃真错误 由由于于 的的方方差差很很大大，在在进进行行显显著著性性检检验验时时t统统计计量量明明显显偏偏小小，即即使使决决定系数定系数R2及及F统计量很大，也容易淘汰一些不应淘汰的解释变量。统计量很大，也容易淘汰一些不应淘汰的解释变量。(3)造成错误的模型关系造成错误的模型关系 由由于于严严重重多多重重共共线线性性是是指指

10、解解释释变变量量之之间间有有强强线线性性相相关关关关系系。因因此此，不不同同解解释释变变量量对对被被解解释释变变量量的的影影响响会会发发生生互互相相代代替替的的情情况况。如如果果采采用用逐逐步步引引入入法法选选择择解解释释变变量量，已已经经引引入入并并且且经经检检验验证证明明显显著著的的解解释释变变量量的的数数值值就就会会变变小小，t数数值值下下降降，变变为为不不显显著著的的，甚甚至至出出现现参参数数符符号号改改变变的的情情况况。原原来来模模型型中中与与被被解解释释变变量量正正(负负)相相关关的的解解释释变变量量，由由于新解释变量引入，变为负于新解释变量引入，变为负(正正)相关，从而造成错误的

11、模型关系。相关，从而造成错误的模型关系。(4)建立的回归模型的可靠程度降低建立的回归模型的可靠程度降低 参参数数估估计计值值及及其其方方差差对对样样本本很很敏敏感感，由由于于增增加加或或减减少少一一些些样样本本，参参数数估估计计值值及及其其方方差差发发生生很很大大变变化化，因因而而建建立立的的回回归归模模型型的的可可靠靠程程度度降低。降低。2022/10/28第五节第五节 多重共线性多重共线性二、多重共线性的检验1.相关系数检验法 对对样样本本中中任任何何两两个个不不同同解解释释变变量量求求简简单单相相关关系系数数，如如果果相相关关系系数数r的的绝绝对对值值比比较较大大，例例如如|r|，或或|

12、r|，就就可可以以认为这两个样本之间高度相关，因而样本存在多重共线性。认为这两个样本之间高度相关，因而样本存在多重共线性。2.逐步分析检验法 这这种种检检验验方方法法首首先先对对各各种种可可能能的的多多元元线线性性回回归归模模型型分分别别进进行行参参数数估估计计和和检检验验。先先引引入入经经济济意意义义明明显显，并并且且统统计计上上最最显显著著的的解解释释变变量量，然然后后逐逐步步引引入入其其他他解解释释变变量量。如如果果新新引引入入解解释释变变量量使使原原有有解解释释变变量量的的数数值值发发生生明明显显变变化化，甚甚至至改改变变其其符符号号，或或者者使使原原有有解解释释变变量量的的t统统计计量量明明显显变变小小，就就表表示示新新引引入入的的解解释释变变量量与与原原有有解解释释变变量量之之间间存存在在多多重共线性。重共线性。2022/10/28第五节第五节 多重共线性多重共线性三、处理多重共线性问题的方法1.保留重要解释变量保留重要解释变量2.去掉不重要的解释变量去掉不重要的解释变量3.一阶差分法一阶差分法4.主分量法主分量法2022/10/28第六节第六节 预测预测一、E(Y0)的置信区间2022/10/28第六节第六节 预测预测2022/10/28第六节第六节 预测预测二、Y0的预测区间2022/10/28第六节第六节 预测预测2022/10/28