第二章经典线性回归模型.ppt
《第二章经典线性回归模型.ppt》由会员分享,可在线阅读,更多相关《第二章经典线性回归模型.ppt(115页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、1第二章经典线性回归第二章经典线性回归模型模型现在学习的是第1页,共115页第一节线性回归模型的概念第二节线性回归模型的估计第三节拟合优度第四节非线性关系的处理第五节假设检验第六节预测第七节虚拟变量现在学习的是第2页,共115页第一节 线性回归模型的概念 一.双变量线性回归模型 我们在上一章给出的需求函数的例子 Q=+P+u (2.1)是一个双变量线性回归模型,模型中只有两个变量,一个因变量,一个解释变量,由解释变量的变动来解释因变量的变动,或者说用因变量对解释变量进行线性回归,因而称为双变量线性回归模型双变量线性回归模型,亦称简单线性回归模型简单线性回归模型。让我们再看一个例子。C=+D+u
2、 (2.2)这是凯恩斯消费函数,其中C为消费支出,D为个人可支配收入,u为扰动项(或误差项)。现在学习的是第3页,共115页 此模型中,方程左端的消费支出(C)为因变量(或被解释变量),方程右端的个人可支配收入(D)为解释变量(或自变量)。和是未知参数,由于双变量线性回归模型的图形是一条直线,因而和习惯上又分别称为截距和斜率。这里斜率的含义是解释变量增加一个单位所引起的因变量的变动。例如在(2.2)式中,的含义是个人可支配收入增加一个单位所引起的消费的增加量,经济学中称之为边际消费倾向(MPC)。截距的含义是解释变量为0时的值。截距有时有经济含义,但大多数情况下没有,因此,在计量经济分析中,通
3、常不大关注的取值如何。现在学习的是第4页,共115页 在教学中,我们习惯上采用Y表示因变量,X表示解释变量,双变量线性回归模型的一般形式为:Y=+X+u 在实践中,此模型被应用于因变量和解释变量的一组具体观测值 和 (t=1,2,n),因而模型表示为:=+ut t=1,2,n (2.3)它表明,对于n个时期t=1,2,n,该模型成立。更一般的形式为:=+ui,i=1,2,.,n (2.4)即模型对X和Y的n对观测值(i=1,2,n)成立。(2.3)式一般用于观测值为时间序列的情形,在横截面数据的情形,通常采用(2.4)式。现在学习的是第5页,共115页二、多元线性回归模型 在许多实际问题中,我
4、们所研究的因变量的变动可能不仅与一个解释变量有关。因此,有必要考虑线性模型的更一般形式,即多元线性回归模型:t=1,2,n 在这个模型中,Y由X1、X2、X3、XK所解释,有K+1个未知参数0、1、2、K。这里,“斜率”j的含义是其其它它变变量量不不变变的的情情况况下下,Xj改变一个单位对因变量所产生的影响。现在学习的是第6页,共115页 例例2.2 2.2 食品需求方程食品需求方程 其中,Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数 用美国1959-1983年的数据,得到如下回归结果(括号中数字为标准误差):Y和X的计量单位为10亿美元(按1972不变价格计算).现在学习的是第
5、7页,共115页多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下:价格不变的情况下,个人可支配收入每上升10亿美元(1个billion),食品消费支出增加1.12亿元(0.112个 billion)。收入不变的情况下,价格指数每上升一个点,食品消费支出减少7.39亿元(0.739个billion)现在学习的是第8页,共115页回到一般模型 t=1,2,,n即对于n组观测值,有现在学习的是第9页,共115页其矩阵形式为:其中 现在学习的是第10页,共115页第二节 线性回归模型的估计 一经典一经典线性回归模型的统计假设(1)E(ut)=0,t=1,2,n 即各期扰动项的均值(期望值)
6、均为0。均值为0的假设反映了这样一个事实:扰动项被假定为对因变量的那些不能列为模型主要部分的微小影响。没有理由相信这样一些影响会以一种系统的方式使因变量增加或减小。因此扰动项均值为0的假设是合理的。现在学习的是第11页,共115页(2)E(ui uj)=0,ij 即各期扰动项互不相关。也就是假定它们之间无自相关或无序列相关。实际上该假设等同于:cov(ui,uj)=0,ij这是因为:cov(ui,uj)=Eui-E(ui)uj-E(uj)=E(uiuj)根据假设(1)(3)E(ut2)=2,t=1,2,n 即各期扰动项的方差是一常数,也就是假定各扰动项具有同方差性。这是因为:Var(ut)=E
7、ut-E(ut)2=E(ut2)根据假设(1)现在学习的是第12页,共115页(4)Xjt是非随机量,j=1,2,k t=1,2,n(5)(K+1)n;即观测值的数目要大于待估计的参数的个数 (要有足够数量的数据来拟合回归线)。(6)各解释变量之间不存在严格的线性关系。上述假设条件可用矩阵表示为以下四个条件:现在学习的是第13页,共115页A1.E(u)=0 A2.由于 显然,仅当 E(ui uj)=0,ij E(ut2)=2,t=1,2,n 这两个条件成立时才成立,因此,此条件相当前面条件(2),(3)两条,即各期扰动项互不相关,并具有常数方差。现在学习的是第14页,共115页 A3.X 是
8、一个非随机元素矩阵。A4.Rank(X)=(K+1)n.-相当于前面(5)(6)两 条 即矩阵X的秩=(K+1)n 满足条件(A1)(A4)的线性回归模型称为经经典典线线性性回归模型回归模型或古典线性回归模型(古典线性回归模型(CLR模型)模型)。当然,为了后面区间估计和假设检验的需要,还要加上一条:A5.各期扰动项服从正态分布。,t=1,2,n现在学习的是第15页,共115页二、最小二乘估计1.最小二乘原理 为了便于理解最小二乘法的原理,我们用双变量线性回归模型作出说明。对于双变量线性回归模型Y=+X+u,我们的任务是,在给定X和Y的一组观测值 (X1,Y1),(X2,Y2),.,(Xn,Y
9、n)的情况下,如何求出 Yt=+Xt+ut 中 和 的估计值 和 ,使得拟合的直线为“最佳”。直观上看,也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线,如下图所示。现在学习的是第16页,共115页 *et *YXXt 图 2.2 Yt现在学习的是第17页,共115页残差残差 拟合的直线 称为拟合的回归线.对于任何数据点(Xt,Yt),此直线将Yt 的总值 分成两部分。第一部分是Yt的拟合值或预测值 :,t=1,2,n第二部分,et,代表观测点对于回归线的误差,称为拟合或预测的残残差差(residuals):):t=1,2,n 即 t=1,2,n现在学习的是第18页,共115页残差
10、平方和 我们的目标是使拟合出来的直线在某种意义上是最佳的,直观地看,也就是要求估计直线尽可能地靠近各观测点,这意味着应使残差总体上尽可能地小。要做到这一点,就必须用某种方法将每个点相应的残差加在一起,使其达到最小。理想的测度是残差平方和,即现在学习的是第19页,共115页最小二乘法 最小二乘法就是选择一条直线,使其残差平方和达到最小值的方法。即选择 和 ,使得达到最小值。现在学习的是第20页,共115页 运用微积分知识,使上式达到最小值的必要条件为:即现在学习的是第21页,共115页整理,得:此二式称为正规方程。解此二方程,得:其中:样本均值 离差现在学习的是第22页,共115页2多元线性回归
11、模型的最小二乘估计多元线性回归模型的最小二乘估计在多元线性回归模型的情况下,在多元线性回归模型的情况下,我们的模型是:问题是选择 ,使得残差平方和最小。残差为:现在学习的是第23页,共115页要使残差平方和 为最小,则应有:我们得到如下K+1个方程(即正规方程):现在学习的是第24页,共115页按矩阵形式,上述方程组可表示为:现在学习的是第25页,共115页=即现在学习的是第26页,共115页三.最小二乘估计量 的性质 我们的模型为 估计式为 1 的均值现在学习的是第27页,共115页(由假设3)(由假设1)即 这表明,OLS估计量 是无偏估计量。现在学习的是第28页,共115页2 的方差为求
12、Var(),我们考虑 现在学习的是第29页,共115页不难看出,这是 的方差-协方差矩阵,它是一个(K+1)(K+1)矩阵,其主对角线上元素为各系数估计量的方差,非主对角线上元素为各系数估计量的协方差。现在学习的是第30页,共115页由上一段的(2.19)式,我们有因此现在学习的是第31页,共115页 请注意,我们得到的实际上不仅是 的方差,而且是一个方差-协方差矩阵,为了反映这一事实,我们用下面的符号表示之:为方便起见,我们也常用 表示 的方差-协方差矩阵,因此上式亦可写作:需要注意的是,这里 不表示方差向量,而是方差-协方差矩阵。现在学习的是第32页,共115页4 高斯-马尔科夫定理对于
13、以及标准假设条件A1A4,普通最小二乘估计量(OLS估计量)是最佳线性无偏估计量(BLUE)。我们已在上一段中证明了无偏性,下面证明线性和最小方差性。现在学习的是第33页,共115页由OLS估计量 的公式 可知,可表示为一个矩阵和因变量观测值向量 的乘积:其中 是一个(K+1)*n 非随机元素矩阵。因而 是线性估计量。现在学习的是第34页,共115页 现设 为 的任意一个线性无偏估计量,即其中 是一个(K+1)*n非随机元素矩阵。则 显然,若要 为无偏估计量,即 ,只有 ,为(K+1)阶单位矩阵。现在学习的是第35页,共115页 的方差为:我们可将 写成 从而将 的任意线性无偏估计量 与OLS
14、估计量 联系起来。现在学习的是第36页,共115页由 可推出:即 因而有 由 从而 ,因此上式中间两项为0,我们有现在学习的是第37页,共115页 因此 最后的不等号成立是因为 为半正定矩阵。这就证明了OLS估计量 是 的所有线性无偏估计量中方差最小的。至此,我们证明了高斯-马尔科夫定理。现在学习的是第38页,共115页4 的分布的分布 我们在前面列出的假设条件(A5)表明,N(0,),t=1,2,n即各期扰动项服从均值为0、方差为 的正态分布。考虑到假设条件(A3),即 是一个非随机元素矩阵,则由前面(2.20)式:我们有:现在学习的是第39页,共115页这表明,是N个正态分布变量 的线性函
15、数,因而亦为正态分布变量,即 (2.22)由此可知,系数估计量向量的每个元素都是正态分布的,即 j0,1,k (2.23)其中cjj为矩阵中 的(j1,j1)元素(主对角线上第j1个元素)。现在学习的是第40页,共115页第三节 拟合优度一决定系数R2 在估计了线性回归模型之后,一个很自然的问题是,估计出的回归线与观测值拟合得好不好?这就是拟合优度要解决的问题。拟合优度的一个通行的测度是因变量Y的(样本)变差被模型所解释的比例,也就是因变量Y的变差被诸解释变量所解释的比例。这个统计量称为决决定定系系数数(coefficient of determination),记做 ,定义为:现在学习的是第
16、41页,共115页其中,=残差平方和 ESS为Explained Sum of Squares的缩写;RSS为Residual Sum of Squares的缩写;TSS为Total Sum of Squares的缩写。现在学习的是第42页,共115页 决定系数 R2 计量了Y的总变差中可以归因于X和Y之间关系的比例,或者说Y的变动中可以由X的变动来解释的比例。它是回归线对各观测点拟合紧密程度的测度。我们有:完全拟合,:X与Y完全不存在线性关系,现在学习的是第43页,共115页 的值越高,拟合得越好。但什么是高?并没有绝对的标准,要根据具体问题而定。此外,回归中使用时间序列数据还是横截面数据也
17、有不同的标准。对时间序列数据来说,的值在0.8、0.9 以上是很常见的事,而在横截面数据的情况下,0.4、0.5的 值也不能算低。为方便计算,我们也可以用矩阵形式表示 。现在学习的是第44页,共115页 我们有:残差 其中,残差平方和:现在学习的是第45页,共115页而 将上述结果代入R2的公式,得到:这就是决定系数R2 的矩阵形式。现在学习的是第46页,共115页二修正决定系数:残差平方和的一个特点是,每当模型增加一个解释变量,并用改变后的模型重新进行估计,残差平方和的值会减小。由此可以推论,决定系数是一个与解释变量的个数有关的量:解释变量个数增加 减小 R2 增大也就是说,人们总是可以通过
18、增加模型中解释变量的方法来增大 R2 的值。因此,用 R2 来作为拟合优度的测度,不是十分令人满意的。现在学习的是第47页,共115页为此,我们定义修正决定系数 (Adjusted )如下:现在学习的是第48页,共115页 是经过自由度调整的决定系数,称为修正决定系数。我们有:(1)(2)仅当K=0时,等号成立。即 (3)当K增大时,二者的差异也 随之增大。(4)可能出现负值。现在学习的是第49页,共115页三例子三例子 下面我们给出两个简单的数值例子,以帮助理解这两节的内容.例2.3 Yt=1+2X2 t+3X3 t+u t 设观测数据为:Y:3 1 8 3 5 X2:3 1 5 2 4 X
19、3:5 4 6 4 6 试求各参数的OLS估计值,以及 。解:我们有现在学习的是第50页,共115页现在学习的是第51页,共115页现在学习的是第52页,共115页现在学习的是第53页,共115页现在学习的是第54页,共115页 例例2.4 设 n=20,k=3,R2=0.70,求 。解:下面改变n的值,看一看 的值如何变化。我们有 若n=10,则 =0.55 若n=5,则 =-0.20 由本例可看出,有可能为负值。这与R2不同 ()。现在学习的是第55页,共115页 第四节 非线性关系的处理 迄今为止,我们已解决了线性模型的估计问题。但在实际问题中,变量间的关系并非总是线性关系,经济变量间的
20、非线性关系比比皆是。如大家所熟悉的柯布-道格拉斯生产函数:就是一例。在这样一些非线性关系中,有些可以通过代数变换变为线性关系处理,另一些则不能。下面我们通过一些例子来讨论这个问题。现在学习的是第56页,共115页一.线性模型的含义 线性模型的基本形式是:其特点是可以写成每一个解释变量和一个系数相乘的形式。线性模型的线性包含两重含义:(1)变量的线性 变量以其原型出现在模型之中,而不是以X2或X之类的函数形式出现在模型中。(2)参数的线性 因变量Y是各参数的线性函数。现在学习的是第57页,共115页二线性化方法 对于线性回归分析,只有第二种类型的线性才是重要的,因为变量的非线性可通过适当的重新定
21、义来解决。例如,对于 此方程的变量和参数都是线性的。现在学习的是第58页,共115页 参数的非线性是一个严重得多的问题,因为它不能仅凭重定义来处理。可是,如果模型的右端由一系列的X或eX项相乘,并且扰动项也是乘积形式的,则该模型可通过两边取对数线性化。例如,需求函数 其中,Y=对某商品的需求 X=收入 P=相对价格指数 =扰动项可转换为:现在学习的是第59页,共115页 用X,Y,P的数据,我们可得到logY,logX和logP,从而可以用OLS法估计上式。logX的系数是的估计值,经济含义是需求的收入弹性,logP的系数将是的估计值,即需求的价格弹性。弹性(elasticity)是一变量变动
22、1%所引起的另一变量变动的百分比。其定义为 本例中,需求的收入弹性是收入变化1%,价格不变时所引起的商品需求量变动的百分比。需求的价格弹性是价格变化1%,收入不变时所引起的商品需求量变动的百分比。现在学习的是第60页,共115页三例子例2.5 需求函数 本章1中,我们曾给出一个食品支出为因变量,个人可支配收入和食品价格指数为解释变量的线性回归模型例子(例2.2)。现用这三个变量的对数重新估计(采用同样的数据),得到如下结果(括号内数字为标准误差):回归结果表明,需求的收入弹性是0.64,需求的价格弹性是-0.48,这两个系数都显著异于0。现在学习的是第61页,共115页 例2.6 柯布-道格拉
23、斯生产函数 用柯布和道格拉斯最初使用的数据(美国1899-1922年制造业数据)估计经过线性化变换的模型得到如下结果(括号内数字为标准误差):从上述结果可以看出,产出的资本弹性是0.23,产出的劳动弹性为0.81。现在学习的是第62页,共115页例2.7 货币需求量与利率之间的关系 M=a(r-2)b这里,变量非线性和参数非线性并存。对此方程采用对数变换 logM=loga+blog(r-2)令Y=logM,X=log(r-2),1=loga,2=b 则变换后的模型为:Yt=1+2Xt+ut 现在学习的是第63页,共115页 将OLS法应用于此模型,可求得1和2的估计值 ,从而可通过下列两式求
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 经典 线性 回归 模型
限制150内