一元线性回归的最小二乘估计优秀课件.ppt

《一元线性回归的最小二乘估计优秀课件.ppt》由会员分享，可在线阅读，更多相关《一元线性回归的最小二乘估计优秀课件.ppt（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一元线性回归的最小二乘估计第1页，本讲稿共21页 *et *YXXt 图图 2 YtYt第2页，本讲稿共21页 拟合的直线拟合的直线 称为称为拟合的回归线拟合的回归线.对于任何数据点对于任何数据点(Xt,Yt),此直线将此直线将Yt 的总值的总值 分成两分成两部分。部分。第一部分是第一部分是Yt的的拟合拟合值或预测值值或预测值 ：,t=1,2,n 第二部分，第二部分，et 代表观测点对于回归线的误差，称为代表观测点对于回归线的误差，称为拟合拟合或预测的残差或预测的残差（residuals）：）：t=1,2,n 即即 t=1,2,n残差残差第3页，本讲稿共21页 我们的目标是使拟合出来的直线在某

2、种意我们的目标是使拟合出来的直线在某种意义上是最佳的，直观地看，也就是要求估计义上是最佳的，直观地看，也就是要求估计直线尽可能地靠近各观测点，这意味着应使直线尽可能地靠近各观测点，这意味着应使各残差尽可能地小。要做到这一点，就必须各残差尽可能地小。要做到这一点，就必须用某种方法将每个点相应的残差加在一起，用某种方法将每个点相应的残差加在一起，使其达到最小。理想的测度是残差平方和，使其达到最小。理想的测度是残差平方和，即即 如何决定估计值如何决定估计值 和和?残差平方和残差平方和第4页，本讲稿共21页 最小二乘法就是选择一条直线，使其残差平方和达到最小二乘法就是选择一条直线，使其残差平方和达到最

3、小值的方法。即选择最小值的方法。即选择 和和 ，使得，使得达到最小值。达到最小值。第5页，本讲稿共21页 运用微积分知识，使上式达到最小值的必要条件为：运用微积分知识，使上式达到最小值的必要条件为：即即第6页，本讲稿共21页整理，得：整理，得：此二式称为正规方程。解此二方程，得：此二式称为正规方程。解此二方程，得：.其中：其中：离差离差样本均值样本均值估计量估计量第7页，本讲稿共21页（5）式和（）式和（6）式给出了）式给出了OLS法计算法计算 和和 的公式，的公式，和和 称为线性回归模型称为线性回归模型 Yt=+Xt+ut 的参数的参数 和和 的普通最小二乘估计量的普通最小二乘估计量(OLS

4、 estimators）。）。这两个公式可用于任意一组观测值数据，以求出截距和这两个公式可用于任意一组观测值数据，以求出截距和斜率的斜率的OLS估计值（估计值（estimates)，估计值是从一组具体，估计值是从一组具体观测值用公式计算出的数值。观测值用公式计算出的数值。一般说来，好的估计量所产生的估计值将相当接一般说来，好的估计量所产生的估计值将相当接近参数的真值，即好的估计值。可以证明，对于近参数的真值，即好的估计值。可以证明，对于CLR模型，普通最小二乘估计量正是这样一个好估计量。模型，普通最小二乘估计量正是这样一个好估计量。第8页，本讲稿共21页3 例子例子 例例1 对于第一段中的消费

5、函数，若根据数据对于第一段中的消费函数，若根据数据得到：得到：n=10,=23,=20 则有则有因而因而第9页，本讲稿共21页例例2 设设Y和和X的的5期观测值如下表所示，试估计方程期观测值如下表所示，试估计方程 Yt=+Xt+ut 序号 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我们采用列表法计算。计算过程如下：解：我们采用列表法计算。计算过程如下：第10页，本讲稿共21页序号序号YtXtyt=Yt-xt=Xt-xt ytxt211410-8-2016040021820-4-10401003233010004254031030100530

6、50820160400n=5110150003901000表表31第11页，本讲稿共21页Eviews创建工作文件，输入数据并进行回归：Create u 1 5data x yls y c x第12页，本讲稿共21页第13页，本讲稿共21页第14页，本讲稿共21页第15页，本讲稿共21页第16页，本讲稿共21页第17页，本讲稿共21页第18页，本讲稿共21页 对于满足统计假设条件对于满足统计假设条件(1)-(4)的线性回归模型的线性回归模型 Yt=+Xt+ut ,，普通最小二乘估计量，普通最小二乘估计量 (OLS估计量估计量)是最是最佳线性无偏估计量（佳线性无偏估计量（BLUE）。）。或或 对

7、于古典线性回归模型（对于古典线性回归模型（CLR模型）模型）Yt=+Xt，普通，普通最小二乘估计量（最小二乘估计量（OLS估计量）是最佳线性无偏估计量估计量）是最佳线性无偏估计量（BLUE）。）。3.高斯高斯-马尔柯夫定理马尔柯夫定理（Gauss-Markov Theorem）第19页，本讲稿共21页我们已在前面证明了无偏性，此外，由于：我们已在前面证明了无偏性，此外，由于：由上段结果，由上段结果，=其中其中 这这表表明明，是是诸诸样样本本观观测测值值Yt（t=1,2,n）的的线线性性函函数数,故故 是线性估计量。是线性估计量。剩剩下下的的就就是是最最佳佳性性了了，即即 的的方方差差小小于于等

8、等于于的的其其他他任任何何线线性性无无偏偏估估计计量量的的方方差差，我我们们可可以以证证明明这这一一点点，但但由由于于时时间间关系，从略。有兴趣的同学请参见教科书（关系，从略。有兴趣的同学请参见教科书（P46-47）第20页，本讲稿共21页我们在前面列出的假设条件（我们在前面列出的假设条件（5）表明，）表明，ut N(0,2),t=1,2,.,n 即各期扰动项服从均值为即各期扰动项服从均值为0、方差为、方差为 2的正态分布。的正态分布。考虑到假设条件（考虑到假设条件（4），即），即Xt为非随机量，则由前面结果：为非随机量，则由前面结果：=其中，其中，4.和和 的分布的分布第21页，本讲稿共21页