第5章多元线性回归模型.pptx

《第5章多元线性回归模型.pptx》由会员分享，可在线阅读，更多相关《第5章多元线性回归模型.pptx（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、样本回归函数样本回归函数SRF：样本回归模型为：样本回归模型为：思考：若扩展到k变量线性回归模型，PRF、SRF、总体回归模型和样本回归模型应分别具有怎样的形式？第1页/共49页 二、基本假定 假定1 模型对参数而言是线性。假定2 解释变量X是非随机变量，在重复抽样 中固定在给定水平。假定3 随机误差项的条件期望为0 即：第2页/共49页假定假定4 随机误差项随机误差项ui具有同方差性。具有同方差性。假定5 随机误差项之间无自相关性/无序列相关。第3页/共49页假定假定6 随机误差项与每一个解释变量都不相关。随机误差项与每一个解释变量都不相关。假定假定7 样本容量样本容量n必须大于待估参数的个

2、数必须大于待估参数的个数 假定8 解释变量X的值要有变异性 假定9 正确设定了回归模型。第4页/共49页假定假定10 解释变量之间没有完全的多重共线解释变量之间没有完全的多重共线 性。性。注意：无多重共线性的假设是针对理论模型即总体回归函数PRF而言的这里只是讨论两个或多个变量之间的完全线性关系 第5页/共49页假定假定11 随机误差项服从正态分布。随机误差项服从正态分布。第6页/共49页5.2 5.2 三变量线性回归模型的普通最三变量线性回归模型的普通最小二乘估计小二乘估计一、估计量的求解一、估计量的求解若扩展到K变量回归模型呢？第7页/共49页整理得到：整理得到：上面三个式子被称为正规方程

3、组(Normal equation)第8页/共49页三变量线性回归模型对应的三变量线性回归模型对应的SRF的离差形式为：的离差形式为：第9页/共49页参数估计量为：第10页/共49页二、二、OLS估计量的性质和精度估计量的性质和精度（一）（一）OLS估计量的性质估计量的性质回归线（面）通过样本均值点回归线（面）通过样本均值点估计的估计的Yi的均值等于实际观测的的均值等于实际观测的Yi的均值的均值残差的均值为残差的均值为0残差与解释变量残差与解释变量X2i和和X3i都不相关都不相关残差与估计的残差与估计的Yi值不相关值不相关OLS估计量在估计量在CLRM假设下是假设下是BLUE。第11页/共49

4、页（二）（二）OLS估计量的精度估计量的精度记记v同理注意方差的特点第12页/共49页总体方差的估计总体方差的估计残差平方和的自由度样本容量的大小待估计的参数的个数残差平方和的自由度样本容量的大小待估计的参数的个数 第13页/共49页5.3 5.3 多元线性回归模型的统计检验多元线性回归模型的统计检验一、拟合优度检验一、拟合优度检验（一）复判定系数（一）复判定系数R2的计算公式的计算公式度量的是因变量Y的总变异中由回归模型（即解释变量联合）解释的部分所占的百分比性质第14页/共49页（二）复相关系数（二）复相关系数R测量因变量与全部解释变量在一起的关联程度。测量因变量与全部解释变量在一起的关联

5、程度。复相关系数复相关系数R永远取正值。复相关系数是复判定系数的算术根。永远取正值。复相关系数是复判定系数的算术根。第15页/共49页 问题：问题：在应用过程中发现，如果在模型中增加一个解释变量，在应用过程中发现，如果在模型中增加一个解释变量，R2往往增大（往往增大（Why?）这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。但是，现实情况往往是，由增加解释变量个数引起的但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合程度的好的增大与拟合程度的好坏无关。坏无关。第16页/共49页（三）调整/校正的复判定系数（a

6、djusted coefficient of determination）调整的思路是：将残差平方和与总离差平方和分别除以各自的自由度，以剔除解释变量个数对拟合优度的影响。第17页/共49页 由此式可以看出，由此式可以看出，即调整的复判定系数不大于未，即调整的复判定系数不大于未经调整的复判定系数，这意味着随着解释变量的增加，经调整的复判定系数，这意味着随着解释变量的增加，将越来越小于将越来越小于 。调整的复判定系数可以为负！第18页/共49页（四）不同模型之间复判定系数的比较（四）不同模型之间复判定系数的比较不能！提醒第19页/共49页二、模型的总体显著性检验二、模型的总体显著性检验 模型的总

7、体显著性检验，旨在对模型中因变量与解释变量之间的线性关系模型的总体显著性检验，旨在对模型中因变量与解释变量之间的线性关系在总体上是否显著成立作出推断。在总体上是否显著成立作出推断。可提出如下原假设与对立假设：H0：2=k=0 H1：j不全为不全为0第20页/共49页三变量线性回归模型的三变量线性回归模型的ANOVA表表第21页/共49页 k变量线性回归模型的总体显著性检验 在原假设H0成立的情况下，服从自由度为(k-1,n-k)的F分布，并根据样本数据计算F值。给定显著性水平，得到临界值F(k-1,n-k)比较 F F(k-1,n-k)或 FF(k-1,n-k)来拒绝或接受原假设H0，以判定原

8、模型总体上的线性关系是否显著成立。第22页/共49页拟合优度检验与模型显著性检验关系的讨论拟合优度检验与模型显著性检验关系的讨论 由由可推出：与检验模型的总体显著性的F检验也可以用于R2的显著性检验 第23页/共49页在表3.2收入消费的双变量模型中，在收入、财富消费的三变量模型中，第24页/共49页三、检验个别偏回归系数的统计显著性三、检验个别偏回归系数的统计显著性模型具有总体显著性模型具有总体显著性 每个解释变量对因变量的影响都是显著的每个解释变量对因变量的影响都是显著的 因此，必须对每个偏回归系数进行显著因此，必须对每个偏回归系数进行显著性检验，以决定是否将其对应的解释变量性检验，以决定

9、是否将其对应的解释变量保留在模型中。保留在模型中。这一检验是由这一检验是由t 检验完成的。检验完成的。第25页/共49页（1）对总体参数提出假设）对总体参数提出假设 H0：i=0，H1：i 0（2）构造检验统计量，并假定H0成立成立由样本计算其值（3）给定显著性水平，查t分布表，得临界值t /2(n-k)(4)比较，判断 若|t|t /2(n-k)，则拒绝H0，接受H1；若|t|t /2(n-k)，则拒绝H1，接受H0。K为待估计参数的个数第26页/共49页注意：在双变量线性回归中，t检验与F检验一致 一方面，t检验与F检验都是对相同的原假设H0：2=0 进行检验;另一方面，两个统计量之间有如

10、下关系：第27页/共49页四、受约束的最小二乘法：线性等式约束条四、受约束的最小二乘法：线性等式约束条件的检验件的检验不加任何约束的回归称为无约束回归（不加任何约束的回归称为无约束回归（unrestricted regression）；）；模型施加约束条件后进行回归，称为受约束回归（模型施加约束条件后进行回归，称为受约束回归（restricted regression）。）。第28页/共49页（一）（一）t t检验法检验法首先进行无约束回归，计算出回归参数的估计量；首先进行无约束回归，计算出回归参数的估计量；采用采用t检验的方法检验：检验的方法检验：t值与给定显著性水平下的临界值进行对比，从而

11、来判断接受还是拒绝原假设。值与给定显著性水平下的临界值进行对比，从而来判断接受还是拒绝原假设。静观后效法第29页/共49页（二）（二）F检验法检验法以以C-D生产函数模型为例生产函数模型为例假定原假设假定原假设 成立成立 则则无约束回归模型受约束回归模型第30页/共49页第31页/共49页可用RSSR RSS UR 的大小来检验约束条件的真实性 根据前面所学知识：于 是：第32页/共49页案例第33页/共49页案例分析案例分析教材教材P250 1960-1982年美国子鸡需求的例子年美国子鸡需求的例子 思考问题：思考问题：1）如何根据经济理论预测回归系数的符号？）如何根据经济理论预测回归系数的

12、符号？2）如何检验）如何检验？第34页/共49页五、模型的参数稳定性检验邹至庄检验五、模型的参数稳定性检验邹至庄检验 当利用时间序列数据进行回归时，因变量和解释变量之间的关系可能会出现结构变动(structural change)。如何检验？在 两 个 连 续 的 时 间 序 列（1,2,T）与（T+1,，T+m）以 及 整 个 时 间 序 列（1,2,T+m）中，相应的模型分别为：第35页/共49页第36页/共49页参数稳定性的检验步骤：（1）将两序列合并为一个大样本后进行回归，得到大样本下的残差平方和RSS3（2）分别以两个连续时间序列作为样本进行回归，得到相应的残差平方和：RSS1与RS

13、S2 自由度为Tmk自由度为Tm2k第37页/共49页（3）计算）计算F统计量的值，与临界值比较：统计量的值，与临界值比较：若若F值大于临界值值大于临界值 ，则拒绝原，则拒绝原假设，认为发生了结构变化，参数是非稳定的。假设，认为发生了结构变化，参数是非稳定的。该该检检验验也也被被称称为为邹邹至至庄庄参参数数稳稳定定性性检检验验（Chow test for parameter stability）。）。注意事项第38页/共49页中国城镇居民食品消费需求函数模型中国城镇居民食品消费需求函数模型 根据需求理论，居民对食品的消费需求函数大致为 Q:居民对食品的需求量X:消费者的消费支出总额P1：食品价

14、格指数P0：居民消费价格总指数 第39页/共49页例 中国城镇居民食品消费需求的邹至庄检验 19811994：RSS1=0.003240 19952001：(9.96)(7.14)(-5.13)(1.81)19812001:(14.83)(27.26)(-3.24)(-11.17)第40页/共49页 给定=5%，查表得临界值F0.05(4,13)=3.18 判断：F值 临界值，拒绝参数稳定的原假设，表明中国城镇居民食品消费需求在1994年前后发生了显著变化。第41页/共49页5.4 5.4 多元线性回归模型函数形式的多元线性回归模型函数形式的进一步扩展进一步扩展一、柯布道格拉斯生产函数模型一、

15、柯布道格拉斯生产函数模型第42页/共49页柯布道格拉斯生产函数模型的性质柯布道格拉斯生产函数模型的性质 是产出对劳动投入的是产出对劳动投入的(偏偏)弹性弹性；是产出对资本投入的是产出对资本投入的(偏偏)弹性；弹性；给出关于规模报酬的信息，即产出对投入的比例变化的反应。给出关于规模报酬的信息，即产出对投入的比例变化的反应。第43页/共49页二、多项式回归模型二、多项式回归模型（一）二阶多项式回归模型（一）二阶多项式回归模型注意事项案例第44页/共49页（二）三阶多项式回归模型（二）三阶多项式回归模型 第45页/共49页5.5 5.5 建模过程中应该注意的问题建模过程中应该注意的问题研究经济变量之

16、间的关系要剔除物价变动因素；研究经济变量之间的关系要剔除物价变动因素；第46页/共49页依照经济理论以及对具体经济问题的深入分析依照经济理论以及对具体经济问题的深入分析初步确定解释变量；初步确定解释变量；当引用数据时，要注意数据的定义是否与所选当引用数据时，要注意数据的定义是否与所选定的变量定义相符；定的变量定义相符；通过散点图确定解释变量与因变量的具体函数通过散点图确定解释变量与因变量的具体函数关系；关系；第47页/共49页应具有高度概括性；应具有高度概括性；利用回归模型预测时，解释变量的值最好不要离开样本范围太远；利用回归模型预测时，解释变量的值最好不要离开样本范围太远；世界是变化的，应该随时间的推移及时修改模型。世界是变化的，应该随时间的推移及时修改模型。第48页/共49页感谢您的观看！第49页/共49页