一元线性回归的最小二乘估计教学教材.ppt

《一元线性回归的最小二乘估计教学教材.ppt》由会员分享，可在线阅读，更多相关《一元线性回归的最小二乘估计教学教材.ppt（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、我们的任务是，我们的任务是，在给定在给定X和和Y的一组观测值的一组观测值 (X1,Y1),(X2,Y2),.,(Xn,Yn)的情况下的情况下,如如何求出何求出 Yt=+Xt+ut 中中 和和 的估计值的估计值,使得使得拟合拟合(n h)的直线为最佳。的直线为最佳。一元线性回归一元线性回归(hugu)(hugu)的最小二乘估的最小二乘估计计 直观上看，也就是要求在直观上看，也就是要求在X和和Y的散点图上穿过各观测点画出的散点图上穿过各观测点画出一条一条“最佳最佳(zu ji)”直线，如下图所示。直线，如下图所示。第一页，共22页。*et *YXXt 图图 2 YtYt第二页，共22页。拟合的直线

2、 称为拟合的回归线.对于(duy)任何数据点(Xt,Yt),此直线将Yt 的总值 分成两部分。第一部分是Yt的拟合值或预测值 ：,t=1,2,n 第二部分，et 代表观测点对于(duy)回归线的误差，称为拟合或预测的残差（residuals）：t=1,2,n 即 t=1,2,n残差残差第三页，共22页。我们的目标是使拟合出来的直线在某种意我们的目标是使拟合出来的直线在某种意义上是最佳的，直观地看，也就是义上是最佳的，直观地看，也就是(jish)要求估计直线尽可能地靠近各观测点，这意要求估计直线尽可能地靠近各观测点，这意味着应使各残差尽可能地小。要做到这一点，味着应使各残差尽可能地小。要做到这一

3、点，就必须用某种方法将每个点相应的残差加在就必须用某种方法将每个点相应的残差加在一起，使其达到最小。理想的测度是残差平一起，使其达到最小。理想的测度是残差平方和，即方和，即 如何决定估计值如何决定估计值 和和?残差平方和残差平方和第四页，共22页。最小二乘法就是选择最小二乘法就是选择(xunz)一条直线，使其残差一条直线，使其残差平方和达到最小值的方法。即选择平方和达到最小值的方法。即选择(xunz)和和 ，使得，使得达到达到(d do)最小值。最小值。第五页，共22页。运用微积分知识，使上式达到(d do)最小值的必要条件为：即即第六页，共22页。整理整理(zhngl)，得：，得：此二式称为

4、正规此二式称为正规(zhnggu)方程。解此二方程，方程。解此二方程，得：得：.其中其中(qzhng)：离差离差样本均值样本均值估计量估计量第七页，共22页。（5）式和（）式和（6）式给出了）式给出了OLS法计算法计算 和和 的公式，的公式，和和 称为线性回归模型称为线性回归模型 Yt=+Xt+ut 的参数的参数 和和 的普通的普通(ptng)最小二乘估计量最小二乘估计量(OLS estimators）。）。这两个公式可用于任意一组观测值数据，以求出截这两个公式可用于任意一组观测值数据，以求出截距和斜率的距和斜率的OLS估计值（估计值（estimates)，估计值是从一组，估计值是从一组具体观

5、测值用公式计算出的数值。具体观测值用公式计算出的数值。一般说来，好的估计量所产生的估计值将相当接近一般说来，好的估计量所产生的估计值将相当接近参数的真值，即好的估计值。可以证明，对于参数的真值，即好的估计值。可以证明，对于CLR模模型，普通型，普通(ptng)最小二乘估计量正是这样一个好估最小二乘估计量正是这样一个好估计量。计量。第八页，共22页。3 例子例子(l zi)例例1 对于第一段中的消费函数，若根据数据对于第一段中的消费函数，若根据数据得到：得到：n=10,=23,=20 则有则有因而因而(yn r)第九页，共22页。例例2 设设Y和和X的的5期观测值如下表所示，试估计方程期观测值如

6、下表所示，试估计方程(fngchng)Yt=+Xt+ut 序号序号 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我们采用列表法计算。计算过程如下：解：我们采用列表法计算。计算过程如下：第十页，共22页。序号序号YtXtyt=Yt-xt=Xt-xt ytxt211410-8-2016040021820-4-1040100323301000425403103010053050820160400n=5110150003901000表表31第十一页，共22页。Eviews创建工作文件，输入(shr)数据并进行回归：Create u 1 5data x

7、 yls y c x第十二页，共22页。第十三页，共22页。第十四页，共22页。第十五页，共22页。第十六页，共22页。第十七页，共22页。第十八页，共22页。对于满足(mnz)统计假设条件(1)-(4)的线性回归模型 Yt=+Xt+ut ,，普通最小二乘估计量 (OLS估计量)是最佳线性无偏估计量（BLUE）。或 对于古典线性回归模型（CLR模型）Yt=+Xt，普通最小二乘估计量（OLS估计量）是最佳线性无偏估计量（BLUE）。3.高斯高斯(o s)-马尔柯夫定理（马尔柯夫定理（Gauss-Markov Theorem）第十九页，共22页。我们已在前面证明了无偏性，此外，由于：我们已在前面证

8、明了无偏性，此外，由于：由上段结果，由上段结果，=其中其中 这表明，这表明，是诸样本观测值是诸样本观测值Yt（t=1,2,n）的线性函数）的线性函数,故故 是线性估计量。是线性估计量。剩下的就是最佳剩下的就是最佳(zu ji)性了，即性了，即 的方差小于等于的方差小于等于的其的其他任何线性无偏估计量的方差，我们可以证明这一点，但由他任何线性无偏估计量的方差，我们可以证明这一点，但由于时间关系，从略。有兴趣的同学请参见教科书（于时间关系，从略。有兴趣的同学请参见教科书（P46-47）第二十页，共22页。我们在前面列出的假设条件（我们在前面列出的假设条件（5）表明，）表明，ut N(0,2),t=1,2,.,n 即各期扰动即各期扰动(rodng)项服从均值为项服从均值为0、方差为、方差为2的正态分布。的正态分布。考虑到假设条件（考虑到假设条件（4），即），即Xt为非随机量，则由前面结果：为非随机量，则由前面结果：=其中，其中，4.和和 的分布的分布(fnb)第二十一页，共22页。这这表表明明，是是N个个正正态态分分布布变变量量u1，u2，,un的的线线性性函函数数(hnsh)，因而亦为正态分布变量，即，因而亦为正态分布变量，即 类似的有：类似的有：第二十二页，共22页。