「02一元线性回归模型」.pdf

《「02一元线性回归模型」.pdf》由会员分享，可在线阅读，更多相关《「02一元线性回归模型」.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一元线性回归模型 1.一元线性回归模型 有一元线性回归模型(统计模型)如下，y=1 xt+u 上式表示变量 yt 和 x之间的真实关系。其中 yt 称被解释变量（因变量),xt称解释变量(自变量)，ut称随机误差项，0称常数项，称回归系数（通常未知)。上模型可以分为两部分。(1)回归函数部分,E(t)+1 xt,（2）随机部分,u。图 2.1 真实的回归直线 这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系;商品价格与供给量的关系;文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。以收入与支出的关系为例。假设固定对一个家庭进行观察，随着收入水平的

2、不同，与支出呈线性函数关系。但实际上数据来自各个家庭,来自各个不同收入水平，使其他条件不变成为不可能,所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。随机误差项 u中可能包括家庭人口数不同,消费习惯不同,不同地域的消费指数不同,不同家庭的外来收入不同等因素。所以在经济问题上“控制其他因素不变”是不可能的。回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，(2）人的随机行为,(3）数学模型形式欠妥,（4）归并误差（粮食的归并）（5）测量误差等。回归模型存在两个特点。（1)建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所

3、研究的经济过程。(2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象,深刻认识到该经济过程的本质。通常线性回归函数 E(yt)=1 xt 是观察不到的,利用样本得到的只是对 E(yt)=0+1 xt 的估计,即对0和1的估计。在对回归函数进行估计之前应该对随机误差项 ut做出如下假定。(1)ut 是一个随机变量,ut 的取值服从概率分布。(2）E(u)=0。(3）D（ut）Eu-E(u)2 E(ut)2=2。称 u 具有同方差性。(4）ut 为正态分布（根据中心极限定理)。以上四个假定可作如下表达。u N(,)。()Cov（ui,uj)=E(ui E(ui）)(j E(j)）E（ui

4、,j)=，(j)。含义是不同观测值所对应的随机项相互独立。称为 ui 的非自相关性。(6)xi是非随机的。(7）Co(i,xi)=E(ui-E(ui)（i-E（i)=i(-E(x)=ui xi ui E(xi)=E(u x)=0.ui 与 xi 相互独立。否则,分不清是谁对 yt的贡献。（8)对于多元线性回归模型,解释变量之间不能完全相关或高度相关(非多重共线性）。在假定（1）,（2）成立条件下有 E(yt)=E（+1 xt+ut）=0+1 xt。2.最小二乘估计（LS)对于所研究的经济问题，通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。怎样估计这条直线呢？

5、显然综合起来看，这条直线处于样本数据的中心位置最合理。怎样用数学语言描述“处于样本数据的中心位置”?设估计的直线用 ty 0+1 xt 表示。其中ty 称 y的拟合值(fitte ale),0和1分别是 和1的估计量。观测值到这条直线的纵向距离用tu 表示,称为残差。t=ty+tu 01 t+tu 称为估计的模型。假定样本容量为 T。(1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。(3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的

6、估计量还具有优良特性。(这种方法对异常值非常敏感）设残差平方和用 Q 表示,Q=Titu12=Tittyy12)(=Tittxy1210)(,则通过 Q 最小确定这条直线，即确定0和1的估计值。以0和1为变量，把 Q 看作是0和1的函数,这是一个求极值的问题。求 Q 对0和1的偏导数并令其为零，得正规方程，0Q=2Tittxy110)(（-1)=0 (）1Q=2Tittxy110)(-xt）=0 （）下面用代数和矩阵两种形式推导计算结果。首先用代数形式推导。由()、(2）式得，Tittxy110)(0 （3)Tittxy110)(x=0 (4）(3）式两侧用除 T,并整理得，0=xy1 ()把

7、（)式代入()式并整理,得，)()(11Tittxxyyx=0 (6)TittTittxxxxyy111)()(=0 (7）1 ttttxxxyyx)()(8)因为Tityyx1)(0,Titxxx1)(0,分别在（8）式的分子和分母上减Tityyx1)(和Titxxx1)(得，1=)()()()(xxxxxxyyxyyxtttttt （9)2)()(xxyyxxttt （1)下面用矩阵形式推导 0T+1(Titx1)Tity1 0Titx1+1(Titx12)=Tittyx1 2tttxxxT10=tttyxy 10=12tttxxxTtttyxy=22)(1ttxxTTxxxttt2ttt

8、yxy 这种形式在单位根检验的理论分析中非常有用。3.最小二乘估计量0和1的特性(1)线性特性 这里指0和1分别是t的线性函数。1=2)()(xxyyxxttt=2)()()(xxxxyyxxtttt=2)()(xxyxxttt 令 k 2)()(xxxxtt,代入上式得 1=kt yt 可见1是 yt的线性函数,是1的线性估计量。同理0也具有线性特性。(2)无偏性 利用上式 E（1)=E(kt y）=E kt(0+1 xt+t)E(0 t+kt t+kt)E1 kt(xt-x)k t =1 +(kt ut)=1 （）有效性 0,1的 OL估计量的方差比其他估计量的方差小。Ga-cov 定理：

9、若t满足(ut)=0,D(ut）=2，那么用 O法得到的估计量就具有最佳线性无偏性。估计量称最佳线性无偏估计量。最佳线性无偏估计特性保证估计值最大限度的集中在真值周围，估计值的置信区间最小。上面的评价是对小样本而言，若是对大样本而言还应讨论估计量的渐近无偏性,一致性和渐近有效性。先给出渐近分布的概念。渐近分布。用 T1 T2 表示连续递增样本容量。设在每个样本容量下重复抽样。则每个Ti 都应有自己的均值 E(i)与方差 Var（xT)。利用递增样本可以求得随机变量序列,xT=xT1，xT2，,xN 其中每个元素都是相应样本容量下的一个随机变量。当 T 趋于无穷大时，这些分布收敛于某一分布。则称

10、该分布为渐近分布或极限分布。渐近期望。对于期望值序列,E(x)=(xT1）,E(xT2),E(T）如随着 T ，期望值 E(x)收敛于某一常数,则称 为 xT的渐近期望。记为 )(TTxELim=(与期望概念不同）与期望值序列相对应,也可以写出方差序列。Var(x)=(T(T)）2=xT1-E(x)2,ExT2 E(xT2）,xTN-E(xTN)2 但在许多情形下,ETLim(x E(x)=0，即 xT的分布退化为一点。例如，已知x的分布是x (,T2)。当 T ,ar(x)0。为防止分布发生退化，可以用乘r（x）。当 T ，T r(x)。渐近方差。若上述随机变量序列有渐近期望，同时有新序列,

11、ET(T E(xT）2 =ET x1-E（xT1）2,E xT2-E(xT2)2,，ET xN-(xTN)2 满足 ETLim(T-E(xT)2 =v 则定义T的渐近方差为 T1ETLim(xT-E（T）)2=T1v 渐近无偏性。若的渐近期望为，则为 的渐近无偏估计量,即 )(TTELim=一致性 若满足(1）渐近无偏性，(2）)(VTTarLim=0，则具有一致性，为 的一致估计量。渐近有效性。若满足（）具有一致性,(2)与其他估计量的方差相比，的渐进方差较小，Var（T)Va(T)，则称具有渐近有效性。OS 估计量都能满足上述渐近特性，但满足渐近特性的估计量不见得是最佳线性无偏估计量。注意:分清 4 个式子的关系。(）真实的统计模型,y=0+xt ut（2)估计的统计模型,yt=0+1 +tu (3)真实的回归直线,(t)=1 x()估计的回归直线,ty=0+1 xt .回归直线的性质 （1)残差和等于零,tu=0