复旦大学-经济学院-谢识予-计量经济学-第四章-多元线性回归分析ppt课件.ppt

《复旦大学-经济学院-谢识予-计量经济学-第四章-多元线性回归分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《复旦大学-经济学院-谢识予-计量经济学-第四章-多元线性回归分析ppt课件.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。1第四章第四章 多元线性回归分析多元线性回归分析“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。2本章主要内容本章主要内容n第一节 多元线性回归模型n第二节 参数估计n第三节 回归拟合度评价和决定系数n第四节 统计推断和预测“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网

2、格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。3第一节第一节 多元线性回归模型多元线性回归模型一、模型的建立二、模型的假设“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。4一、模型的建立一、模型的建立n多元线性回归模型就是研究多因素关系，有多个解释变量的线性回归模型。一般形式是： 其中Y是被解释变量， 是K个认为对Y有显著影响的解释变量（K 2）， 是K+1个待定参数，是计量经济分析首先要估计的对象， 是随机误差项。011KKYXX2KKXX,1K,

3、0“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。5n多元线性回归模型的建立也需要有理论和现实的根据。 n多元线性回归模型中包括哪些变量、因素，哪个指标是被解释变量，有几个解释变量或哪几个指标作为解释变量，既要考虑理论分析和研究目的的需要，也应该根据所研究问题的具体情况、相关经济理论，以及以往研究经验等确定。 “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。6n

4、虽然一个经济指标受到其他几个经济指标线性影响在现实经济中是存在的，但更多的情况下多变量关系往往是非线性的，需要经过数学变换才能转化为多元线性回归模型的标准形式。n例： pppiiipiiSSZXAYeXAY11011lnlnln“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。7二、模型的假设二、模型的假设(1)、变量 和 之间存在多元线性随机函数关系 ；(2)、 对任意 都成立；(3)、 ,与 无关；(4)、误差项不相关，当 时，(5)、解释变量都是确定性的而非随机变量，且解释

5、变量之间不存在线性关系；(6)、误差项 服从正态分布。YKXX ,1KKXXY110 0iEii 2iVarji 0jiEi“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。8对假设的进一步分析n上述六条假设中（2）、（3）、（4）和（6）与两变量模型相同。 n第（1）条是关于模型基本变量关系的。 n第（5）条不仅针对的解释变量数目增加了，而且多了一个要求解释变量之间没有线性关系的假设，这是多元线性回归模型的重要特点。“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥

6、平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。9多元线性回归模型的矩阵表示多元线性回归模型的矩阵表示nKKnnKKXXYXXY1101111101nYYY1niiiXXX111lK0n1KnnKKXXXXXXlX1111111,XXXXYKK22110“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。10第二节第二节 参数估计参数估计一、最小二乘估计二、投资函数模型参数估计三、参数估计的性质和方差估计“雪亮工程是以区（县）

7、、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。11一、最小二乘估计一、最小二乘估计n参数估计也是多元线性回归模型的基本步骤。 n最小二乘法也是多元线性回归的基本方法。n对于多元线性回归模型 KKXXY110“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。12得到样本回归方程：回归残差平方和当 对 的一阶偏导数都等于0，得到正规方程组：其中 KKXbXbbY110iiKiKiiiXb

8、XbbYeV21102Kbbb,10V102211101212111110KKKKKKKKKKSbSbSbSSbSbSbSXbXbYbKjkXXXXSYYXXSjjiikkjkjiikkik, 1,0“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。13n该正规方程组有K+1个方程，未知数也是K+1个。只要满足模型假设（5），解释变量之间不存在严格线性关系，就可以解出 的唯一一组解。n该解就是 的最小二乘估计。Kbb,0K,0“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中

9、心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。14n特别地，对于两个解释变量的线性回归模型：n样本回归方程是：n可推导出参数最小二乘估计的公式如下： 22110XXY22110XbXbbY221222121121222212221212221122110)()()()()()()()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiixxxxxxxyxxybxxxxxxxyxxybXbXbYb“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安

10、全视频监控联网应用为重点的“群众性治安防控工程”。15最小二乘估计的向量、矩阵形式最小二乘估计的向量、矩阵形式n向量表示n回归方程的向量表示n回归残差向量 残差平方和Kbbb10BnYY1Ynee1eXBYXBYYYe XBXBXBYYXBYYXBYXBYeeiieV2“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。16n当 对 的一阶偏导数都等于0VKbbb,100220XBXYXBKbVbVVYXXBXYXXXB1“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指

11、挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。17二、投资函数模型参数估计n作为例子，我们估计例4-1的投资函数多元线性回归模型的参数。 n假设已获得该地区1968-1983年期间实际投资和实际GNP数据。“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。18表4.1 某地区投资和GNP数据 年份实际投资实际GNP年份实际投资实际GNP19680.161 1.058 19760.195 1.298 19690.172 1

12、.088 19770.231 1.370 19700.158 1.086 19780.257 1.439 19710.173 1.122 19790.259 1.479 19720.195 1.186 19800.225 1.474 19730.217 1.254 19810.241 1.503 19740.199 1.246 19820.204 1.475 19750.163 1.232 19830.210 1.500 “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。19投资

13、函数投资函数EViews回归输出结果回归输出结果 nDependent Variable: YnMethod: Least SquaresnDate: 07/13/04 Time: 19:44nSample: 1968 1983nIncluded observations: 16nVariable Coefficient Std. Error t-Statistic Prob. n C -0.486463 0.053836 -9.035936 0.0000n X1 -0.016593 0.001819 -9.122606 0.0000n X2 0.639117 0.052896 12.0826

14、2 0.0000nR-squared 0.958362 Mean dependent var 0.203750nAdjusted R-squared 0.951957 S.D. dependent var 0.033061nS.E. of regression 0.007246 Akaike info criterion -6.849241nSum squared resid 0.000683 Schwarz criterion -6.704381nLog likelihood 57.79393 F-statistic 149.6088nDurbin-Watson stat 1.313453

15、Prob(F-statistic) 0.000000“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。20三、参数估计的性质和方差估计n只要变量关系符合多元回归模型的假设，多元回归分析参数的最小二乘估计量也有优良的性质，也是BLUE估计和一致估计。n因此在模型假设成立的前提下，最小二乘估计也是多元线性回归分析基本的参数估计方法，并能为相关统计推断和预测分析提供基础。 “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共

16、安全视频监控联网应用为重点的“群众性治安防控工程”。21n要进一步对多元线性回归模型进行统计推断和检验，同样需要先估计参数估计量的方差。 n据最小二乘估计公式和模型假设，可以导出两个解释变量的多元回归模型各个参数的最小二乘估计量的方差。“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。22222122212121212222210)(21)(iiiiiiiiiiiiiixxxxxxXXxXxXnbVar22212221221)()(iiiiiiiiixxxxxbVar222122

17、21212)()(iiiiiiiiixxxxxbVar“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。23n上述参数估计量方差中的 是模型误差项 的方差，一般可以用多元线性回归最小二乘估计的残差序列： 加以估计，公式是： 2iKiKiiiiiXbXbbYYYe1102S32neii“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。24第三节第三节 回归拟合度评价和

18、决定回归拟合度评价和决定系数系数n分析两变量线性回归决定系数公式 n可以发现，该决定系数只与被解释变量的观测值以及回归残差有关，而与解释变量无直接关系。 n多元模型解释变量的数目有多有少，该决定系数是解释变量数目的增函数，意味着不管增加的解释变量是否真是影响被解释变量的重要因素，都会提高决定系数的数值，解释变量个数越多，决定系数一定会越大。 iiiiYYeR2221“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。25n克服决定系数上述缺陷的方法，是对决定系数进行适当的调整，采用

19、如下“调整的决定系数”： )1 (11122RKnnR111KnneYYiiii22()“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。26n根据上述公式可以看出，当n 较大和K 较小时， 和R 差别不大，但当n并不是很大而K又较大时，两者的差别是比较明显的。 n用这个调整的决定系数作为评价多元线性回归拟合度的评价标准，可以基本消除由于解释变量数目差异造成的影响。n根据上述公式计算决定系数，需要先根据回归直线计算 的理论值，然后计算回归残差序列，再结合样本数据进行计算。 2R2

20、iY“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。27第四节第四节 统计推断和预测统计推断和预测一、参数估计量的标准化二、统计推断和检验三、预测“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。28一、一、参数估计量的标准化n在满足模型假设的情况下，多元线性回归模型参数的最小二乘估计量是线性无偏估计。n参数估计量服从以参数真实值为中心的正态分布：n 可以通过下列

21、变换转化为标准正态分布的统计量： = N0，1 )var(,kkkbNbkbkZ)(kkkbseb“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。29n用无偏估计 代替误差项方差 ， 代入 得到的统计量服从自由度为n-K-1的t分布，记为 = t(n-K-1) n这个t分布统计量是对多元线性回归参数估计量进行统计推断和检验的基础。 2S2)( kbeskZkt)( kkkbesb“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理

22、为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。30二、统计推断和检验（一）单个参数的置信区间（二）参数显著性检验（三）模型总体显著性检验“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。31（一）单个参数的置信区间n对给定的或要求的置信度，下式应该成立： | |= n因此参数 置信度为 的置信区间（或称区间估计）为： - , + k1kt)( kkkbesb2/tkbkb2/t2/t)( kbes)( kbes“雪亮工程是以区（县）、乡（镇）、村（社区）三级综

23、治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。32投资函数模型参数 的区间估计 n首先根据EViews给出的回归分析结果，知道 的点估计 =0.639117， 的方差 即 =0.052896。n再通过查表得到自由度为 ，显著性水平=0.05的双侧t分布临界值n把这些数值及代入区间估计公式，可得： 222b2b)( 2bes131 Kn160. 2)13(025. 0t7533671. 05117581. 02“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全

24、视频监控联网应用为重点的“群众性治安防控工程”。33（二）参数的显著性检验n可以对多元线性回归模型的各个参数进行显著性检验，或取特定值的假设检验。 n模型参数显著性检验就是对相应参数检验原假设 ： 0。如果 =0成立，那么意味着不能排除模型中第k个假设变量是不重要的。n根据要求的置信度（95%或99%），查t分布表得到自由度为n-K-1的t分布统计量的双侧分布临界值。 0Hkk“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。34n如果假设 是真实的，那么95%或99%应该成立：

25、 = = (n-K-1)n如果t 统计量数值不满足上述不等式，意味着可以拒绝原假设，不能认为第k个解释变量是不重要的，称模型的第k个解释变量通过了显著性检验。 0Hkt)( kkkbesb)( kkbesb2/t“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。35n除了上述参数非0的显著性检验以外，也可以检验多元回归模型各个参数取非0的其他特定值的可能性。 n检验的原理与显著性检验基本相同，只要把参数的真实值 换成要检验是否成立的数值即可。 k“雪亮工程是以区（县）、乡（镇）、

26、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。36（三）模型总体显著性检验n多元线性回归模型每个参数的显著性与模型总体的显著性并不一定一致。n因此还可以进行模型总体显著性，也就是全体解释变量总体对被解释变量是否存在明显影响的检验，称为“回归显著性检验”。n回归显著性检验的基本方法，是检验模型常数项以外所有参数同时为0的假设，即检验原假设为 ： 0。0HK1“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防

27、控工程”。37n为了方便起见，实践中一般都利用 成立时模型的决定系数应为0的事实，通过检验决定系数的显著性间接检验回归显著性。n决定系数的显著性则利用下列F分布统计量进行检验： F = F (K,n-K-1) n给定显著性水平（对应置信度1-），查F 分布临界值表，得到临界值F (K,n-K-1)，若F 统计量大于F 回归是显著的，否则是不显著的。 0H) 1/()1 (/22KnRKR“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。38三、预测n预测也是多元线性回归分析的目的

28、和进一步检验模型的方法，也包括点预测和区间预测两方面。 n点预测就是求对应解释变量观测值 的被解释变量值 的估计。n得到回归直线以后，只要 把代入回归直线，得到： 就是一个点预测。 ), 1 (1KXX *Y), 1 (1KXX *YKKXbXbb110“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。39n即使模型代表的经济规律在预测时刻是严格成立的，预测 与实际发生的 一般也不会完全一样，因为预测和实际值之间存在预测误差。n但在模型假设成立的前提下，上述基于最小二乘参数估计的

29、预测是一个“线性无偏预测”，而且是具有最小方差的线性无偏预测，也称为“最优预测”。 n 是观测值 的线性组合，以 为数学期望，且服从正态分布。 *Y*Y*YY*Y“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。40n利用点预测的上述性质，我们可以构造比点预测更有意义的区间预测： se( )， + se( )*Y2/t*Y*Y2/t*Y“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群

30、众性治安防控工程”。41(例)利用投资函数模型进行预测 n假设1984年的GNP为1.52万亿元，要求预测该年该地区的总投资。 n由于1984年相当于模型中的 ，1.52万亿相当于 。把这两个解释变量的数值代入回归直线，可得到第1984年实际GNP为1.52万亿时，实际投资水平的点预测： = 0.203 171X52. 12X*Y52. 1639117. 017016593. 0486483. 0“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。42n用EViews软件进行预测时

31、，需要先把工作文件的样本范围扩大（change workfile range）至包括1984年，然后在数据库中加以编辑（edit），输入1984年的解释变量数值（17，1.52）。n进行回归以后，在回归结果窗口直接点击菜单“forcast”，并在对话框中选择预测样本区间为1968-1984，为了得到预测的标准差序列，在对话框中将其命名为SEYF。n结果可输出如下的预测图形： “雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。43投资函数预测图形投资函数预测图形 0.140.160

32、.180.200.220.240.260.28687072747678808284YF 2 S.E.“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。44n注意在回归样本区间范围内的预测实际上就是拟合，主要作用是检验模型。n对应1984年的最后一个预测值（YF）0.202918和预测标准差（SEYF）0.008896是我们真正关注的预测。“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。45n在点预测和预测标准差的基础上，很容易进一步构造区间预测了。仍然采用95%的置信度，t 分布临界值仍然是 。n将上述点预测和预测标准差代入区间预测的公式，得到 的95%置信度的区间预测为0.184，0.222。 160. 2)13(025. 0t*Y