第五章 多元回归分析.pdf

《第五章 多元回归分析.pdf》由会员分享，可在线阅读，更多相关《第五章 多元回归分析.pdf（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章 多元回归分析大样本性质 小样本和大样本性质 一致估计 大样本推论 渐进有效小样本和大样本性质 小样本性质：估计量在样本大小为有限的情况下表现出来的性质。例如：无偏估计；t、F检验。大样本性质：估计量在样本大小为无限的情况下表现出来的性质。例如：大数定律；一致估计；LM检验一致性的证明 在MLR1-MLR5的假设下，OLS 是BLUE(最优的线性无偏估计）,但是在其它一些情况下，无偏估计并不总是存在的 在那些情况中，我们可能会使用一致估计。这里的“一致”指的是当n 时，估计量的分布收敛于系数的真实值当n 时样本（估计）的分布1n1n2n3n1 n2 n3OLS估计的一致性 在MLR1-M

2、LR5假设下,OLS估计值是一致的（也是无偏的）我们可用类似证明无偏性的方法来证明简单回归的一致性 一致性的证明会用概率极限(converge in probability)的方法一致性的证明()()()()()()()()()()()21111121111111111111plim,0iiiiiixx yxxnxx unxxCov x uVar xCov x u=+=+=因为一个更弱的假设 在无偏性的证明中，我们假设了条件均值为零：E(u|x1,x2,xk)=0 证明一致性，我们只要相对较弱的假设，均值为零：E(u)=0;不相关：Cov(xj,u)=0,j=1,2,k 没有这个假设，OLS就

3、是有偏和不一致的遗漏变量：一致？正如我们前面推导遗漏变量导致的有偏估计一样，现在我们来看不一致性（或者说渐进有偏）的情况。()()01 12201 122112121:,plim,yxxvyxuuxvCov x xVar x=+=+=+=+=%真实模型估计的模型因此且其中遗漏变量（续）因此，考虑渐进有偏的方向就如同分析遗漏变量导致的有偏的方向一样 两者的不同在于分析渐进有偏时使用的是总体的方差和协方差，而分析有偏时采用的是样本的相应统计量 注意：不一致性是大样本中的问题，样本量的增大并不能解决不一致性的问题大样本的检验 前面提到在经典线性模型（CLM）的假设下，样本呈正态分布，因此我们可以推导

4、出相应的t 分布和F 分布用来进行检验 这里样本的正态分布是通过假设总体的扰动项呈正态分布后得到的 这个关于扰动项的正态假设意味着在给定x的情况下y 也呈正态分布大样本的检验（续）很容易可以举出一些情况，正态分布的假设不能满足 任何偏斜的变量，如工资、储蓄、逮捕等，就不是正态分布，因为正态分布总是对称分布 OLS 是最优的线性无偏估计（BLUE）并不需要正态假设，正态假设只有在检验时才会用到中心极限定理即使没有正态假设(MLR6),根据中心极限定理我们可以证明OLS 的估计值是渐进正态的渐进正态意味着：当 n ,P(Zz)(z)，或者 P(Zz)(z)中心极限定理表明：标准化后的“任何均值为方

5、差为2的总体的平均值”渐进的服从标准正态分布,或者表示为：()1,0 NnYZaY=渐进正态()()()()()()2221222MLR1-MLR5,(i)Normal 0,plim(ii)(iii)Normal 0,1ajjjjijajjjnaanrse=在假设下其中是的一致估计渐进正态（续）因为 t 分布在很大自由度的情况下趋近于正态分布，我们可以认为：()()1knajjjtse注意：虽然我们不再需要正态分布的假设，但是我们仍然需要同方差的假设渐进的标准差如果 u 不是正态分布，我们有时把标准差称作渐进的标准差,因为()()()ncseRSSTsejjjjj=,122因此我们可以预计标准

6、差会收敛于一个与n的倒数成比例的比值拉格朗日乘子统计量 当我们使用大样本并根据渐进正态分布做检验时，我们会用到t 和 F 以外的一些统计量 拉格朗日乘子（LM）统计量是用来检验多元排除变量的假说的统计量之一 LM 要使用辅助的回归，因此也被称为nR2统计量拉格朗日乘子统计量（续）假设我们的标准模型为：y=0+1x1+2x2+.kxk+u虚拟假设为：H0:k-q+1=0,.,k=0首先，我们做符合虚拟假设的回归01 11222.,.,(),k qk qkuuyxxuuux xxLMnRR=+=%然后从以上回归中得出再用对即所有变量 进行回归其中来自第二个回归拉格朗日乘子统计量（续）222,paqqqLM从而我们可以根据分布选择一个临界值c，根据分布计算相应的 值在大样本的情况下，F 检验和LM 检验应该是相似的在单个排除变量的检验中，F 和t 检验是完全相同的；但 LM 检验和 F 检验并不相同（2）三种渐进等价检验lnL()clndLdln()LlnRL拉格朗日乘数检验沃尔德检验似然比检验渐进有效 OLS 和其它一些估计值都是一致的 但是 Gauss-Markov(即：MLT1-MLR5)假设下,OLS 估计值的渐进方差最小 因此我们说OLS 估计是渐进有效的 注意在异方差的情况下，以上命题不成立作业：pp1765.1 5.2 5.5 5.6