多元回归分析-估计.ppt

《多元回归分析-估计.ppt》由会员分享，可在线阅读，更多相关《多元回归分析-估计.ppt（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三讲第三讲 多元回归分析：估计多元回归分析：估计Multiple Regression Analysis:Estimation一、基本概念一、基本概念二、二、OLS估计估计三、三、OLS估计量的性质估计量的性质一、基本概念一、基本概念基本概念基本概念多元回归分析的普遍性：一些例子多元回归分析的普遍性：一些例子因变量因变量自变量自变量猪肉需求量猪肉需求量猪肉价格；牛肉价格；收入猪肉价格；牛肉价格；收入工资工资学历；工龄学历；工龄货币需求货币需求利率；国民收入利率；国民收入学习成绩学习成绩智商；性别；学习时间；学习支出；智商；性别；学习时间；学习支出；家庭收入；父母受教育程度；家庭收入；父母受教

2、育程度；教师；班级平均成绩；学校类型教师；班级平均成绩；学校类型基本概念基本概念多元线性回归模型（多元线性回归模型（multiple linear regression model）为什么要采用多元回归分析？为什么要采用多元回归分析？o如果采用简单回归模型（如果采用简单回归模型（2），工作经验对工资的影响被），工作经验对工资的影响被放到误差项里。而工作经验与受教育水平是相关的，从而放到误差项里。而工作经验与受教育水平是相关的，从而E(u|education)0，不，不满满足足（零条件均（零条件均值值假定），因此假定），因此（2）式中）式中1的的OLS估估计计量是有偏的量是有偏的o简单简单回回归

3、归模型模型难难以做到保持其它相关条件不以做到保持其它相关条件不变变基本概念基本概念参数参数/系数（系数（parameter/coefficient）一个关键的假定：零条件均值假定一个关键的假定：零条件均值假定1.OLS的估计方法的估计方法2.拟合优度拟合优度二、二、OLS估计估计OLS的估计方法的估计方法样本回归函数（样本回归函数（SRF）n为了估计出总体回归函数中的参数，需要从总体中抽取一为了估计出总体回归函数中的参数，需要从总体中抽取一个样本。用个样本。用(X1i,Xki,Yi):i=1,n 表示从总体中得表示从总体中得到的一个样本容量为到的一个样本容量为n的随机样本。通过这个样本可以估的

4、随机样本。通过这个样本可以估计样本回归函数：计样本回归函数：OLS的估计方法的估计方法OLS的估计方法的估计方法o在本课程中，只需理解多元回归在本课程中，只需理解多元回归OLS估计的原理，不需了估计的原理，不需了解具体的计算过程，计算过程交由统计软件完成解具体的计算过程，计算过程交由统计软件完成OLS的估计方法的估计方法回归系数估计值的含义回归系数估计值的含义o多元回归分析：在非实验环境中完成受控试验，即保持其多元回归分析：在非实验环境中完成受控试验，即保持其他条件不变他条件不变OLS的估计方法的估计方法例题例题3_1（课本（课本p71，例），例）colGPA:大学平均成绩大学平均成绩hsGP

5、A：高中平均成绩：高中平均成绩ACT：大学能力测试成绩：大学能力测试成绩OLS的估计方法的估计方法例题例题3_2（课本（课本p72，例），例）OLS的估计方法的估计方法例题例题3_3：简单回归和多元回归的比较（课本：简单回归和多元回归的比较（课本p75，例），例）o多元模型多元模型o简单模型简单模型prateCoefficientmrate5.521age.243_cons80.119prateCoefficientmrate5.861 _cons83.075 拟合优度拟合优度拟合优度拟合优度o与简单回归分析类似，为了衡量根据与简单回归分析类似，为了衡量根据OLS估计得出的样本估计得出的样本回

6、归函数对真实数据的拟合程度，引入回归函数对真实数据的拟合程度，引入复判定系数复判定系数（multiple coefficient of determination）度量模型的拟合优度量模型的拟合优度度拟合优度拟合优度例题例题3_4（课本（课本p77，例），例）narr86Coefficientpcnv-0.150 ptime86-0.034 qemp86-0.104 _cons0.712 R20.0413narr86Coefficientpcnv-0.151 ptime86-0.037 qemp86-0.103 avgsen0.007 _cons0.707 R20.0422拟合优度拟合优度o增

7、加解释变量一般会使复判定系数变大。因此，不能简单地增加解释变量一般会使复判定系数变大。因此，不能简单地根据复判定系数是否增大来决定是否加入某个解释变量根据复判定系数是否增大来决定是否加入某个解释变量例题例题3_5colGPA:大学平均成绩；大学平均成绩；hsGPA：高中平均成绩：高中平均成绩ACT：大学能力测试成绩；：大学能力测试成绩；skipped:每周平均逃课数每周平均逃课数1.多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定2.OLS估计量的无偏性估计量的无偏性3.OLS估计量的方差估计量的方差4.OLS估计量的性质估计量的性质三、三、OLS估计量的性质估计量的性质多元回归

8、模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定o与简单回归分析相同，为了判断点估计的无偏性、有效性与简单回归分析相同，为了判断点估计的无偏性、有效性等性质并进行假设检验，还需对回归模型做出一些假定等性质并进行假设检验，还需对回归模型做出一些假定o多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定o完全共线性（完全共线性（perfect collinearity）：回归模型中的某些解释回归模型中的某些解释变量之间存在完全的线性关系变量之间存在完全的线性关系区别区别oMLR.3关注自变量之间的关系，关注自变量之间的关

9、系，MLR.4关注自变量与误差关注自变量与误差项之间的关系。项之间的关系。多元回归模型的高斯多元回归模型的高斯-马尔科夫假定马尔科夫假定o存在完全共线性时将无法得到存在完全共线性时将无法得到OLS估计量估计量o例题例题3_6（课本（课本p81-82）OLS估计量的无偏性估计量的无偏性OLS估计量的无偏性（证明见课本估计量的无偏性（证明见课本p106，附录），附录）o保证保证OLS估计量无偏性的关键性假定是零条件均值假定估计量无偏性的关键性假定是零条件均值假定MLR.4，这一假定成立意味着自变量与误差项不相关，这一假定成立意味着自变量与误差项不相关，此时称该自变量为此时称该自变量为外生变量（外生

10、变量（exogenous variable）；如；如果某个自变量与误差项相关，称这个自变量为果某个自变量与误差项相关，称这个自变量为内生变量内生变量（endogenous variable）。OLS估计量的无偏性估计量的无偏性违反零条件均值假定的几种常见情况：违反零条件均值假定的几种常见情况：遗漏解释变量遗漏解释变量测量误差测量误差样本选择样本选择本讲讨论第本讲讨论第1种情况，第种情况，第2种和第种和第3种情况在教材第种情况在教材第9章及章及17章讨论章讨论OLS估计量的无偏性估计量的无偏性遗漏变量对遗漏变量对OLS估计量无偏性的影响（课本估计量无偏性的影响（课本p84-88）OLS估计量的无

11、偏性估计量的无偏性遗漏变量对遗漏变量对OLS估计量无偏性的影响（课本估计量无偏性的影响（课本p84-88）OLS估计量的无偏性估计量的无偏性例题例题OLS估计量的无偏性估计量的无偏性小结小结o如果遗漏的变量与现有的自变量不相关，那么即便遗漏了如果遗漏的变量与现有的自变量不相关，那么即便遗漏了这个变量也不会影响现有自变量的这个变量也不会影响现有自变量的OLS估计的无偏性；但估计的无偏性；但如果遗漏的变量与现有的自变量相关，就会影响现有自变如果遗漏的变量与现有的自变量相关，就会影响现有自变量的量的OLS估计的无偏性估计的无偏性o遗漏相关变量的重要原因是这些变量难以观测（如能力、遗漏相关变量的重要原

12、因是这些变量难以观测（如能力、永久性收入），这时可以采用一些办法来解决，如教材第永久性收入），这时可以采用一些办法来解决，如教材第9章介绍的代理变量，第章介绍的代理变量，第15章介绍的工具变量法等。章介绍的工具变量法等。OLS估计量的无偏性估计量的无偏性包含无关变量对包含无关变量对OLS估计量无偏性的影响估计量无偏性的影响o可以证明，在模型中包含对因变量无影响的自变量不会影可以证明，在模型中包含对因变量无影响的自变量不会影响现有响现有OLS估计量的无偏性（课本估计量的无偏性（课本p84）。）。o但是如果这个无关变量与现有的自变量相关，就会增加但是如果这个无关变量与现有的自变量相关，就会增加OL

13、S估计量的方差，从而影响其有效性估计量的方差，从而影响其有效性OLS估计量的无偏性估计量的无偏性例题例题工资收入：工资收入：wage；受教育年限：；受教育年限：schooling能力：能力：ability;兄弟姐妹的数量：兄弟姐妹的数量：siblingo在工资方程中包含了兄弟姐妹的数量这个无关变量，则在工资方程中包含了兄弟姐妹的数量这个无关变量，则1的的OLS估计仍然是无偏的。但由于受教育年限可能与兄弟估计仍然是无偏的。但由于受教育年限可能与兄弟姐妹的数量相关，因此会增加姐妹的数量相关，因此会增加1的的OLS估计量的方差，从估计量的方差，从而影响其有效性。而影响其有效性。OLS估计量的方差估计

14、量的方差回归标准误：误差项标准差的估计（证明见课本回归标准误：误差项标准差的估计（证明见课本p762，附录），附录）OLS估计量的方差估计量的方差OLS估计量的方差和标准误（证明见课本估计量的方差和标准误（证明见课本p107，附录），附录）o为简便起见，以下只讨论我们最关注的斜率系数为简便起见，以下只讨论我们最关注的斜率系数OLS估计量的方差估计量的方差例题例题3_7colGPA:大学平均成绩；大学平均成绩；hsGPA：高中平均成绩：高中平均成绩ACT：大学能力测试成绩；：大学能力测试成绩；skipped:每周平均逃课数每周平均逃课数OLS估计量的方差估计量的方差OLS估计量方差的决定因素估计

15、量方差的决定因素oOLS估计量的方差越小，则表明估计量越精确，它取决于估计量的方差越小，则表明估计量越精确，它取决于三个因素三个因素OLS估计量的方差估计量的方差o如果回归模型中的某些解释变量之间存在一定程度的线性如果回归模型中的某些解释变量之间存在一定程度的线性关系，称为关系，称为多重共线性（多重共线性（multicollinearity）。o多重共线性一般来说都会存在，因此很多计量经济学家对多重共线性一般来说都会存在，因此很多计量经济学家对此颇为担心。但多重共线性不会影响此颇为担心。但多重共线性不会影响OLS估计量的无偏性，估计量的无偏性，而且而且OLS估计量的方差偏大经常来源于样本容量过

16、小，从估计量的方差偏大经常来源于样本容量过小，从而解释变量的样本变异较小。有的计量经济学家把后一种而解释变量的样本变异较小。有的计量经济学家把后一种情况称为微数缺测性（情况称为微数缺测性（micronumeriosity），并认为对多重共），并认为对多重共线性不必过分担心。线性不必过分担心。OLS估计量的方差估计量的方差对多重共线性的进一步说明对多重共线性的进一步说明o很多时候，在建立模型时引入较多的解释变量是将它们作很多时候，在建立模型时引入较多的解释变量是将它们作为控制变量，因此，如果我们最关心的解释变量与其它解为控制变量，因此，如果我们最关心的解释变量与其它解释变量相关性不强，那么即便其

17、它解释变量之间相关程度释变量相关性不强，那么即便其它解释变量之间相关程度很高，对于我们所关注的变量的参数估计也不会有太大影很高，对于我们所关注的变量的参数估计也不会有太大影响。响。o例如，我们主要关注大学里学生出勤率对期末考试成绩的例如，我们主要关注大学里学生出勤率对期末考试成绩的影响，可能会加入一些解释变量作为控制变量，如学生的影响，可能会加入一些解释变量作为控制变量，如学生的高考成绩和上一学期期末考试的成绩。显然，高考成绩和高考成绩和上一学期期末考试的成绩。显然，高考成绩和上一学期期末考试的成绩之间存在正相关的关系，但本学上一学期期末考试的成绩之间存在正相关的关系，但本学期的出勤率与高考成

18、绩和上一学期期末考试的成绩之间可期的出勤率与高考成绩和上一学期期末考试的成绩之间可能没有太大联系，因此对于出勤率这一变量的参数估计影能没有太大联系，因此对于出勤率这一变量的参数估计影响不大。响不大。OLS估计量的方差估计量的方差遗漏变量对遗漏变量对OLS估计量方差的影响（课本估计量方差的影响（课本p93-94）OLS估计量的性质估计量的性质高斯高斯-马尔科夫定理（证明见课本马尔科夫定理（证明见课本p108，附录），附录）o在这里，在这里，“线性线性”指估计量可以表示为因变量数据的线性指估计量可以表示为因变量数据的线性函数。函数。“最优最优”指最小方差指最小方差习题习题n复习复习“数学和统计学基础知识数学和统计学基础知识”中有关区间估计和假设检中有关区间估计和假设检验的验的内容（内容（p66-85）