第四章--经典线性回归模型高级计量经济学清华大学-潘文清.ppt

《第四章--经典线性回归模型高级计量经济学清华大学-潘文清.ppt》由会员分享，可在线阅读，更多相关《第四章--经典线性回归模型高级计量经济学清华大学-潘文清.ppt（53页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章 经典线性回归模型经典线性回归模型(I)Classical Linear Regression Model(I)4.1 经典典线性回性回归模型模型Classical Linear Regression Models一、经典回归模型一、经典回归模型 Classical Regression Model 假设随机抽取一容量为n的样本(Yi,Xi),i=1,n，其中，Yi是标量，Xi=(1,X1i,X2i,Xki)，或 经典回归模型经典回归模型(classical regression model)建立在如下假设之上：假设假设1 1(linearity):Yi=0+1X1i+kXki+i

2、 =Xi+i (i=1,2,n)或 Y=X+其中，=(0,1,k),=(1,2,n)注意：注意：这里的线性性线性性指Y关于参数 是线性的。假设假设2 2（strict Exogeneity）:E(i|X)=E(i|X1,X2,Xn)=0,(i=1,2,n)注意：注意：(1)由E(i|X)=0 易推出：E()=0,E(Xji)=0 或有：Cov(Xj,i)=0 (i,j=1,2,n)(2)由于可以有ji,或ji,意味着i既不依赖过去的X，也不依赖于未来的X。因此排除了动态模型动态模型。例：例：对AR(1)模型：Yi=0+1Yi-1+i=Xi+i这里Xi=(1,Yi-1)，显然E(Xii)=E(X

3、i)E(i)=0，但E(Xi+1i)0。因此，E(i|X)0 (3)计量经济学中，关于严格外生性有其他的定义。如定义为i独立于X，或X是非随机的。这一定义排除了条件异方差性。而我们这里的假设假设2 2是允许存在条件异方差性的。如果X是非随机的，则假设假设2 2变成 E(i|X)=E(i)=0 (4)假设假设2 2的向量形式：E(|X)=0注意：注意：(1)本假设排除了解释变量间的多重共线性多重共线性(multicollinearity)(2)本假设意味着XX是非奇异的，或者说X必须满秩于k+1。因此应有k+1n。(3)由于表述了矩阵XX的相关信息，因此本假设意味着当n时应有新信息进入X，即Xi

4、不能老是重复相同的值。假设假设4 4（Spherical error variance）(a)conditional homoskedasticity:E(i2|X)=20,i=1,2,n (b)conditional serial uncorrelatedness:E(ij|X)=0,i,j=1,2,n 注意：注意：(1)假设假设4 4可写成 E(ij|X)=2ij,其中，i=j时，ij=1；ij时，ij=0 矩阵形式：E()=2I (3)假设假设4 4意味着存在非条件同方差性同方差性：var(i)=2类似地，Cov(i,j)=0 (2)由假设假设2 2，Var(i|X)=E(i2|X)-E

5、(i|X)2=E(i|X)=2同理，Cov(i,j|X)=E(ij|X)=0 (4)假设假设4 4并不意味着i与X是独立的。它充许i的条件高阶矩（如：偏度、峰度）可依赖于X。二、参数二、参数 的估计估计 Estimation of 由假设假设1 1与假设假设2 2知：E(Y|X)=0+1X1+kXk=X 其中，X=(1,X1,Xk)即线性模型Y=X+关于E(Y|X)正确设定。因此，其最佳线性最小二乘近似解最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值 0。即，min E(Y-X)2 的解为 *=0=E(XX)-1E(

6、XY)由类比法，对样本回归模型 Yi=Xib+ei i=1,2,n其中，Xi=(1,X1i,Xki),b=(b0,b1,bk)需求解极值问题 min(1/n)(ei)2 上述问题相当于求解残差平方和残差平方和(sum of squared residuals,SSR)的极小值 min SSR(b)=ei2=(Yi-Xib)2=ee=(Y-Xb)(Y-Xb)其中，e=(e1,e2,en)在假设假设3 3下，解为：b=(XX)-1(XY)该方法称为普通最小二乘法普通最小二乘法(ordinary Least Squares)(1)1阶偏导：SSR/b=-2X(Y-Xb)2阶偏导：2SSR/2b=2X

7、X 由min(XX)0 知2XX0,从而b=(XX)-1(XY)是最小值(2)由1阶极值条件可以得到所谓正规方程正规方程(normal equations):X(Y-Xb)=Xe=0 正规方程正规方程是OLS所特有的，而不论是否有E(i|X)=0注意：注意：一些有用的等式一些有用的等式 (1)Xe=0 (2)b-=(XX)-1X 因为 b=(XX)-1XY=(XX)-1X(X+)=+(XX)-1X (3)定义nn方阵：P=X(XX)-1X,M=In-P则 P=P，M=M P2=P，M2=M且 PX=X,MX=On(k+1)(4)e=MY=M SSR(b)=ee=YMY=M 三、高斯三、高斯-马

8、尔科夫定理马尔科夫定理Gauss-Markov TheoremQuestion:OLS估计量的统计性质如何估计量的统计性质如何？(1)Unbiaseness E(b|X)=,E(b)=E(b|X)=E(+(XX)-1X)|X=+(XX)-1XE(|X)=(2)Vanishing Variance Var(b|X)=E(b-)(b-)|X =E(XX)-1XX(XX)-1|X =(XX)-1E(|X)=(XX)-12I =2(XX)-1 b中第i个元素的方差：Var(bi)=2cii,cii为(XX)-1中主对角线第i个元素。对任何其元素平方和为1的(k+1)1向量,=1 Var(b|X)=2(

9、XX)-1 2max(XX)-1 =2min(XX)-1 注意：注意：Var(b|X)0还可通过Chebycheff不等式来证明：对b中的第i个元素：P|bi-i|=0 for all 0由于 b-=(XX)-1X E(e|X)=E(M|X)=ME(|X)=0故 Cov(b,e|X)=E(XX)-1X e|X =E(XX)-1XM|X =(XX)-1XE(|X)M =2(XX)-1XM =On n(3)Orthogonality between e and b Cov(b,e|X)=E(b-)(e-E(e)|X(4)Gauss-Markov theorem In the CR model,th

10、e LS coefficient vector b is the minimum variance linear unbiased estimator of parameter vector .E(b*|X)=EC(X+)|X=CX+CE(|X)=CX b*是无偏的当且仅当CX=I于是 b*=CY=C(X+)=CX+C=+C b*-=C 则 Var(b*|X)=E(b*-)(b*-)|X=ECC|X =CE(|X)C=C2IC=2CC于是 Var(b*)-Var(b)=2CC-2(XX)-1 =2CC-CX(XX)-1XC =2CI-X(XX)-1XC=2CMC =2CMMC=2(MC)(MC

11、)=2DD=positive semi-definite 设b*是另一线性无偏估计：b*=CY其中，C=C(X)为一n(k+1)只依赖于X的矩阵。只需证明 Var(b*)-Var(b)是半正定的 (1)Gauss-Markov 定理表明OLS估计量b是 的最最佳线性无偏估计量佳线性无偏估计量(best linear unbiased estimator,BLUE)；(2)由性质(1)与性质(2)还可得出，OLS估计量b依均方收敛于，因此依概率收敛于，从而是 的一致估计量。(3)由性质(1)与性质(2)知：MSE(b|X)=E(b-)(b-)|X)=Var(b|X)+bias(b|X)2 0 (

12、n)注意：注意：四、估计四、估计 2及及Var(b)Estimation of 2 and Var(b)由于2未知，而Var(b)中也有2，故需估计。由假设假设4 4，E(i2|X)=2，故可用E(ei2|X)来估计2。E(ei2|X)=E(ee|X)=E(M|X)=E(ijmijij|X)=ijmijE(ij|X)=2imii=2trace(M)而 trace(M)=trace(In-P)=trace(In)-traceX(XX)-1X =n-trace(XX)-1XX=n-trace(XX)-1XX =n-(k+1)于是 E(ei2|X)=E(ee|X)=2(n-k-1)记s2=ei2/(

13、n-k-1)=ee/(n-k-1)，则s2为2的无偏估计量五、估计条件期望及预测五、估计条件期望及预测 Estimation of conditional Expectation,and Prediction 1 1、估计条件期望、估计条件期望 2 2、Y个个值的预测值的预测六、测度拟合优度六、测度拟合优度 Measuring Goodness of FitRuc2为非中心化多元相关系数的平方非中心化多元相关系数的平方(Uncentered squared multi-correlation coefficient)Question:How well does the linear regre

14、ssion model fit the data?That is,how well does the linear regression model explain the variation of the observed data?注意：注意：(1)0 Ruc21 (2)Ruc2 的含义：Y的变化中可以由X的变化解释的部分所占的比重 称为Y的方差分解式方差分解式(analysis of variance)：观测值的离差平方和(SST)等于拟合值的离差平方和(SSE)加残差的平方(SSR):SST=SSE+SSR(3)R2是解释变量数目Xi的非递减函数。Proof:记 Yi=Xi+ui (i

15、)对应 R2 Yi=Xi+vi (ii)对应R+2其中，Xi=(1,X1i,Xki),Xi+=(1,X1i,Xki,Xk+q,i)求解min SSR()可看成在k+1=k+q=0的约束下求解min SSR(+)。有约束的(i)的残差平方和不会小于无约束的(ii)的残差平方和：e+e+ee 为避免将无解释力的解释变量纳入到X中去，引入调整的决定系数调整的决定系数(adjusted coefficient of determination):(4)决定系数仅是对样本回归线拟合样本数据的程度给予描述。而CR模型并不要求R2要有多高，CR模型关心的是对总体回归参数的估计与检验。(5)有两个常用的判别是

16、否有必要引入额外解释变量的准则（在变量数目与模型简洁性间权衡）：贝叶斯信息准则贝叶斯信息准则(Baysian information criterion,BIC)施瓦茨准则施瓦茨准则（Schwarz criterion，SC）BIC=lnee/n+(k+1)ln(n)/n赤池信息准则赤池信息准则(Akaike information criterion,AIC)AIC=lnee/n+2(k+1)/n =goodness of fit+model complexity 贝叶斯信息准则对多引入多余的解释变量给出了更重的惩罚。4.2 经典正典正态回回归一、经典正态回归模型一、经典正态回归模型Clas

17、sical Normal Regression Model 为了寻找有限样本有限样本下b的抽样分布以及对其对 的代表性进行检验，需要对随机扰动项 给出进一步的假设：假设假设5.|XN(0,2I)于是，Y=X+称为经典正态回归模型经典正态回归模型(classical normal regression model,CNR model)它并不依赖于X，即 独立于X。(ii)有假设(5)意味着就有假设(2)与假设(4)注意：注意：二、抽样分布二、抽样分布 Sampling DistributionQuestion:What is the sampling distribution of b?引理引理

18、3.4.1:多元正态分布向量的线性函数呈多元正态分布:如果z=g+Hy，这里g与H为非随机变量，且H是行满秩的，则 zN(g+H,H H)其中，=E(y),=Var(y)引理引理3.4.2:设n1向量uN(0,In)，M为nn幂等矩阵，rank(M)=rn。记w=uMu,则w2(r)Proof:由于 b=+(XX)-1X 记 HKn=(XX)-1X，则 rank(H)=rank(X)=rank(X)=K=k+1 又|XN(0,2I)，则由引理引理3.4.1b|XN+(XX)-1XE(|X),(XX)-1XVar(|X)X(XX)-1或 bN(,2(XX)-1)Theorem 1 Normali

19、ty of b:在假设1、3、5下，b|XN(,2(XX)-1)推论：推论：bj为b的第j个元素，则bjN(j,2cjj)proof:正态分布的线性组合为正态分布：E(Rb|X)=RE(b|X)=(R)J1 Var(Rb|X)=RVar(b|X)R=2R(XX)-1RTheorem 2 Normality of Rb:在假设1、3、5下，对任何非随机行满秩矩阵RJK，有 Rb|XN(R,2R(XX)-1R)Theorem 3:在假设1、3、5下，(i)(n-K)s2/2|X=ee/2|X2(n-K)(ii)s2与b相互独立。进一步关心与进一步关心与s2有关的分布形式：有关的分布形式：(1)由于

20、ee=M，而|XN(0,2In),则 (1/)|XN(0,In)由于 rank(M)=trace(M)=n-K 由引理引理3.4.2 (/)M(/)2(n-K)于是 ee/2=(n-K)s2/22(n-K)(2)s2是e的函数，而e与b相互独立，从而s2与b相互独立。注意：注意：(1)(i)意味着 E(n-K)s2/2|X=n-K=n-k-1 因此 E(s2|X)=2proof:(3)(i)与(ii)意味着 MSE(s2|X)=E(s2-2)2|X =Var(s2|X)+E(s2|X)-22 =Variance+biase 0因此，s2是2的最优估计。(2)(i)意味着 Var(n-K)s2/

21、2|X=2(n-K)即 (n-K)2/4Var(s2|X)=2(n-K)Var(s2|X)=22/(n-K)0,n表明s2|X依均方收敛，从而依概率收敛于2。再次表明s2是2的一致估计量。三、置信区间三、置信区间 Confidence Interval2未知时bj的置信区间置信区间 2往往未知，可用s2替代。这时小样本下，b的分布已不再是正态分布正态分布。引理引理3.4.3 If w=zz,where the n1 vector zN(0,I),then w2(n)引理引理3.4.4 If v=(w1/m)/(w2/n),where w12(m)and w22(n)are independen

22、t,then vF(m,n).四、假设检验四、假设检验 Hypothesis Testing 1.1.单参数检验单参数检验(test on a Single Parameter)假设有如下零假设零假设(null hypothesis)H0:j=j0 如果该假设为真，则在一次抽样中，bj远离j0的概率较小。在Tj=(bj-i0)/sbjt(n-K)的情况下，给定较小的显著显著性水平性水平(significance-level)，意味着Tj落在置信度置信度1-的置信区间置信区间外的概率只有。即 P|bj-i0|/sbjt1-/2(n-K)=因此，给定显著性水平显著性水平：Tj落在置信度置信度1-的

23、置信区间置信区间内，则接受H0:j=j0 Tj落在置信度置信度1-的置信区间置信区间外，则拒绝H0:j=j0 注意：注意：(1)在实践中，往往关注的假设是：j=0 (2)n时，tN(0,1)，这时可用标准正态分标准正态分布布的置信区间进行判断。选择适当的R，可以关注整个 向量、或 的子向量*p1，或 的某一个元素j。如，取R=(0,0,0,1,0),r=0，则 R=r 3=0 取R=(0,1,1,0,0),r=1，则 R=r 1+2=1 2.2.多参数检验多参数检验(Test on a Set of Parameters)假设有一关于 的联合零假设联合零假设(joint null hypoth

24、esis)H0:R=r其中，R是秩为J的JK矩阵，r为J1向量。如果H0为真，则在一次抽样中，b远离 的概率较小，或Rb远离r的概率较小。由于 Rb|XN(R,2R(XX)-1R)，则当R=r为真时 Rb|XN(r,2R(XX)-1R)引理引理3.4.6：对n1向量yN(,)，记w=(y-)-1(y-)则 w2(n)。(*)由于(*)式中的2往往未知，因此在小样本下并不实际使用。当用s2替代2时，采用如下F统计量:Proof:而由前述引理引理3.4.43.4.4，命题得证。注意注意:因此，大样本下可以用s2 替代2后直接用2分布 另外，容易验证有 (2)对于F分布具有如下性质：a.如果 FF(

25、p,q)，则F-1F(q,p)；b.F(1,q)t2(q)a是显然的。下面验证b：记R=(0,0,1,0,0),这里第j个元素非零，r=j0则(1,n-K)=(bj-j0)R(XX)-1R-1(bj-j0)/s2 =(bj-j0)2/R(XX)-1Rs2 (3)Alternative expression for F-Test Statistics这里，J恰为约束条件个数。记非约束OLS估计为:b=(XX)-1XY，考虑上述极值条件第一式有 因此，在一次抽样中，可根据计算的F值的大小，来检验约束条件H0:R=r的真伪。由于一般地有 SSRr SSRu 只有当只有当约束条件为真时，二者的差异变小

26、，计算的F值较小，否则F值变大。具体地，给定显著性水平显著性水平：F值落在相应的临界值临界值(critical value)左边，则接受H0 F值落在相应的临界值临界值右边，则拒绝H0 3、若干应用若干应用 Case1:Testing for the Joint Significance of Explanatory Variables检验 H0:j=0 for j=1,2,k H1:j0 at least for some j，j=1,2,k在H0下，受约束回归受约束回归：Yi=0+i 另一表达式：注意：注意：该式只能检验假设：H0：j=0 for all j1Case 2:Testing

27、for Omitted Variables假设 X=(X(1),X(2)，这里X(1)nk1，X(2)n(k1+k2+1)如果 E(Yi|Xi)=E(Yi|X(1)i)，则称X(2)i对Yi无解释能力，如果 E(Yi|Xi)E(Yi|X(1)i)，则称X(2)i对Yi有解释能力。如果X(2)i对Yi有解释能力，但却未纳入模型，则称X(2)i为遗漏向量遗漏向量(omitted vector)。Question:如何检验X(2)i是线性回归中的遗漏向量？H0:k1+1=k1+2=k1+k2=0Example:Testing for Structural Changei表示时间。检验在时间i=i0后

28、是否存在结构变化。引入哑变量Di:Di=1 if ii0 and Di=0 otherwise Yi=(0+0Di)+j=1k(j+jDi)Xji+i =0+j=1kjXji+0Di+j=1k jDiXji+I (*)因此，只需检验：H0：j=0 for all j=0,1,k 这里(*)为无约束模型，(*)为受约束模型。(*)Case 3:Testing for linear restriction Example:Testing for CRS:ln(Yi)=0+1ln(Li)+2ln(Ki)+3autonomyi+i test H0:1+2=1 restricted model:ln(Yi)=0+1ln(Li)+(1-1)ln(Ki)+3autonomyi+i Or ln(Yi/Ki)=0+1ln(Li/Ki)+3autonomyi+IF-test: