第四部分最小二乘(OLS)的大样本性质.31382.pdf

《第四部分最小二乘(OLS)的大样本性质.31382.pdf》由会员分享，可在线阅读，更多相关《第四部分最小二乘(OLS)的大样本性质.31382.pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四部分 最小二乘（OLS）的大样本性质 一、背景 在有限样本条件下，OLS 估计的一系列优良特性都是建立在严格的古典假定上的。显然，在现实生活中，严格的古典假定并不都能得到满足。大样本性质就是在古典假定中的残差服从正态分布这一假定不成立的条件下，利用大数定律和中心极限定理对估计量渐进性质的讨论。二、知识要点 1、矩估计、样本矩代替总体矩 2、基本的大数定律和中心极限定理 3、大样本 OLS 估计的推导和性质 三、要点细纲 1、矩估计、样本矩和总体矩 矩估计方法(Method of Moments,简称MOM)是由英国统计学家K.Pearson提出的。其基本的思想就是可以用样本矩估计替换总体矩

2、，通过求解方程组的办法来得到相应的参数估计。（1）总体矩和样本矩的概念 总体矩 定义 设 X 为随机变量，c 为常数，k 是正整数，则()kE Xc称为 X 关于 c点的 k 阶总体矩。特别的，有以下两种请况：A、0c，这时，kkEX称为 X 的 k 阶总体原点矩；B、cEX，这时，()kkE XEX称为 X 的 k 阶总体中心矩。可以看出，一阶原点矩为随机变量的期望，二阶中心矩为随机变量的方差。扩展 关于偏度和峰度 A、偏度：偏度衡量的是一个随机变量的分布是否是对称分布，这里的对称指的是关于其均值（期望）对称。偏度是用随机变量的三阶中心矩来衡量的，其公式为：33()E XEX。如果30，则称

3、分布为右偏（或者正偏），如果30，则称分布为左偏（或者负偏）。遵循可比性的原则，将度量的单位标准化得到“偏度系数”的表达式如下所示：33332222()()vE XEXvE XEX B、峰度：峰度衡量的是一个随机变量的分布在均值附近的陡峭程度如何（注意：这里的陡峭程度有一个对比的标准正态分布）。峰度用随机变量的四阶矩来衡量。其公式为：44()E XEX。很显然，如果 X 的取值在概率上很集中在 EX 的附近，4就倾向于小；反之，则4就会比较大。同样遵循可比性的原则，进行标准化，得到峰度系数的表达式：4422 22()()vE XEXvE XEX 峰度大小（也就是分布在均值附件集中程度）的衡量是

4、有一个比较标准的，这个标准就是正态分布的峰度3。如果大于 3，就是常说的“尖峰”。这在金融时间序列数据中很常见。样本矩 和总体矩相对应，关于随机变量的样本矩有如下定义：定义 设 X 为随机变量，c 为常数，k 是正整数，则11()nkiXcn称为 X 关于 c 点的 k 阶样本矩。A、0c，这时，11nkkiigXn称为 X 的 k 阶样本原点矩；B、11niicXXn，这时，11()nkkigXXn称为 X 的 k 阶样本中心矩。同样采取“替换”的思想，可以得到样本的偏度和峰度。实际上，在具体的实践操作中，总体矩总是未知的，上述统计量都是用样本矩来近似的代替总体矩。（2）总体矩和样本矩的关系

5、 可以证明，样本矩依概率收敛于总体矩。因此，在大样本情况下，样本矩可以很好的近似替代总体矩。在计量经济学中，主要指的就是样本均值和样本方差可以很好的替代总体均值和总体方差。（二阶矩）具体证明过程如下：根据定理：如果一个随机样本具有有限的总体均值和总体方差，那么样本均值是总体均值的一致估计。再根据推论：一个关于随机样本的函数()g x，如果()E g x和()Var g x是有限的常数，那么有：11lim()()niipg xE g xn 即函数的样本均值是函数总体均值（期望）的一致估计。取2()g xx，得到样本的二阶矩（方差）是总体二阶矩（方差）的一致估计。2、基本的大数定律和中心极限定理

6、关于中心极限定理的内容有很多，根据收敛条件的强弱可以分为（1）几乎处处收敛、（2）依概率收敛(convergence in probability)和（3）依分布收敛(convergence in distribution)。其中，几乎处处收敛强于依概率收敛；依概率收敛又强于依分布收敛。但是，在众多的中心极限定理中，有两种重要的区别。那就是收敛于一个确定的数，以及收敛于一个已知分布的随机变量。这两者之间有很显著的不同。在计量经济学中关注的通常是一个未知分布的随机变量收敛于另一个已知分布的随机变量（一般而言是正态分布）。这就是依分布收敛的定义和极限分布的由来。需要注意的是大数定律一般是依概率收敛

7、，而中心极限定理一般是依分布收敛。在给出依分布收敛的定义后，就产生了渐进分布的概念。简单来说，当一个未知分布的随机变量依分布收敛于另一个已知分布的随机变量时，这个已知的分布就是该随机变量的渐进分布。而该分布的均值和方差就是这个未知分布随机变量的渐进均值和渐进方差。关于渐进分布的若干运算性质详见格林教材 P907页，定理 D.16（Theorem D.16）。若干重要的极限定理如下（1）Khinchine 弱大数定律 如果(1,2,)ix in是来自独立同分布总体的随机样本，且总体均值()iE x，则limnpx。（2）Chebychev 弱大数定律(1,2,)ix in是 n 个随机样本，满足

8、()iiE x，2()iiVar x，并且有222lim(/)lim(1/)0niinnpnpn。则lim()0nnpx（3）Kolmogorov 强大数定律(1,2,)ix in是分布相互独立的随机变量序列，满足()iiE x，2()iiVar x，并且有221lim(/)ninipi。则：.0a snnx （4）Slutskys Thoerem 如果存在一个连续的关于nx的函数()nf x，且该函数与 n 无关，那么有：lim()(lim)nnpg xg px（5）定义:1,2NZN 是一个KK的随机矩阵序列，且A 是一个非随机、可逆的KK矩阵，如果有pNZA，那么以下结论成立：1NZ以概

9、率 1 存在 11pNZA 或者11limNpZA（6）定义:1,2NXN 是一个1K的随机向量，NX依分布收敛于连续的随机向量 X，当且仅当对任意的满足1c c 的1K维的非随机向量 c，都有dNc Xc X。（7）LindebergLevy 中心极限定理:1,2iw i 是 一 个 独 立 同 分 布 的1N维 的 随 机 向 量 序 列，且 有2()igE w，（1,2gN）以及()0iE w，那么:1,2iw i 满足中心极限定理，也就是说：1 21(0,)NdiiNwNormalB。其中，()iiiBVar wEw w是一个半正定矩阵。（8）LindebergFeller 中心极限定

10、理:1,2iw i 是 一 个1n维 的 随 机 向 量 序 列，如 果 有()iiE w，()iiVar w Q，并且所有的混合三阶矩存在。令：11nniin 11nniinQQ 假设11limlimnninninQQQ是一个有限正定的矩阵，并且有：111limlimnniiinninQQQQ0 那么有：1 21()(0,)ndininwNormal Q。LindbergFeller 中心极限定理的应用。主要指的是异方差时候的情形（非同分布）。该定理的条件总是假定被满足的，因为在实际的问题中通常不能认为各个不同的指标有相同方差（或者分布）。因此，该定理保证了在更弱的条件下，中心极限定理仍然成

11、立。也就是说，在定理满足的条件下样本均值趋于一个正态分布。3、大样本 OLS 估计的推导和性质 大样本性质的推导不依赖于残差项服从正态分布的假设，它仅仅假定(,)iix是一个相互独立的观测序列。并且有如下条件成立：、limnpnXXQ是一个正定的矩阵。、lim()npEnXx0 在总体方程yx两边同乘 x并取期望，得到：1()()()()EyEEEyxxx xxx 根据样本矩代替总体矩的思想，有：1111111()nniiiiiiynnnnnn XXXyXXX bx xx 上式两边取极限，有：1limlimnnppnX bQ 所以，b是的一致估计量。在同方差假定下，根据LindebergLev

12、y 中心极限定理，有：210,dNn X Q 因此，可以得到以下结论：112110,()dNn QX QQ Q 也就是：1211()0,dnNn b-QX Q 对总体方差2的估计仍然可以采用21snk M的形式。但是，在大样本情况下，有如下结果：211snknk-1 M X(X X)X nnknnnn -1 XX XX 当n 时，21sn。因此有：1221limnpsnXXQ 21.()EstVarsbX X 四、思考题 1、说明依概率收敛和依分布收敛的区别和联系，阐述 LindebergLevy 中心极限定理和 LindebergFeller 中心极限定理假设条件的不同及其应用。2、假定在线

13、性回归模型yx中，有()Ex0，2(|)Varx，但是(|)()EEx。问此时22(|)Ex是否成立？若不成立，对最小二乘估计的适用性会有什么样的影响？3、假设y和(1,2,)jxjk有有限的二阶矩，有如下的回归方程：01 10kkyxxx()0E，()0jE x(1,2,)jk（1）在(1,2,)jxjk是随机变量的条件下求y的方差2y（2）定义总体拟合优度为2221y。证明21RESS TSS 是2的一致估计。Solution:（1）2()|yVar yE Var y xVar E y x 其中，20|(|)E Var y xE VarxE Varxx|Var E y xVarx 所以，2

14、2()yVar yVarx（2）211/RSS NRRSS TSSTSS N 所以，2222111/yplim RSS NRSS NplimRplimTSS Nplim TSS N 第五部分 模型的设定和检验 一、背景 模型的设定和检验是属于模型的估计和参数检验之前的步骤，但只有在理解了古典模型的假设条件及其存在的各种问题之后，才能对模型的设定有更深入的体会。本部分所要讨论的问题是：建模的思路是什么？所建立模型的形式该取什么？如果在不同模型之间进行选择？模型选择有什么相应的判别统计量？以这些问题为主线展开本部分的内容。二、知识要点 1、建模思路 2、函数形式设定 3、嵌套模型与非嵌套模型及其检

15、验 三、要点细纲 1、建模思路 传统计量经济学主导建模思路是：从先验经济理论出发，在理论模型右边加上一个满足古典假设的误差项，然后采用某种统计方法，如普通最小二乘法，进行估计和检验。如果模型通不过检验，则通过增加变量、删除变量、更换变量、改变函数形式等方式修改模型，重新进行估计和检验，直到模型通过各种检验为止。这种从少数几个方程和变量的简单模型入手，经过不断修改和扩充，直至得到一个外形更为复杂、更多变量的一般模型，这种建模方法又被称为从“特殊到一般”的建模方法过程。动态建模（Hendry）是针对“特殊到一般”建模思路提出的一种新型方法论，其主要标志是，将计量经济模型研究重心从模型估计和检验方法

16、的研究转向模型设定的方法论探讨，从统计理论和经济理论两个方面，强调逻辑上的一致性研究。它是一个“从一般到特殊”的动态建模过程。2、函数形式的设定 所谓函数形式的设定是指关于条件期望函数（条件均值方程）的设定，即设定关于|iiE Y Xf X中.f的具体函数形式。常用的模型形式如下表：设定 函数形式 边际效应（dY dX）2的意义 线性函数 12YX 2 dYdX 线性对数 12Yln X 2X dYdXX 倒数 121YX 22X 2dYXdX 多项式（二次函数）2123YXX 232X 32dYXdX 交互作用 123YXXZ 23Z 3dYZdX 对数线性 12lnYX 2Y dYYdX

17、对数倒数 121lnYX 22YX dYYXdXX 对数多项式（对数二次函数）2122lnYXX 232YX 32dYYXdX 双对数（对数对数）12lnYln X 2YX dYYdXX 对数曲线 121YlnXY 21YY 11dYYYdX 3、嵌套模型和非嵌套模型 在多个备择模型中进行选择，按照嵌套与否为标志进行分类，具体分为嵌套模型（nested models）和非嵌套模型(non-nested models)两类,并以此进行相应的假设检验。考虑下列模型：模型 A：1223344iiiiiYXXXu 模型 B:12233iiiiYXXu 我们说，模型 B 被嵌套在模型 A 中，是因为模型

18、 B 是模型 A 的一个特殊情形：若在估计了模型 A 之后，对040H:进行检验。若不拒绝原假设，那么模型 A 就简化为模型 B。模型 C：122iiiYXu 模型 D：122iiiYZv 其中，X 和 Z 代表不同的解释变量的集合。我们说模型 C 和模型 D 是非嵌套的，是因为不能将模型 C 作为模型 D 的特殊情形而推导出来。非嵌套模型的经济学背景可被解释为：同一经济现象存在多种不同且相争持的经济理论解释。嵌套模型设定的假设检验，常用的有拉姆齐（Ramsey,1969）的回归设定误差检验（Regression specification error test,RESET）；非嵌套模型设定的

19、假设检验，主要有非嵌套 F 检验，戴维森-麦金农的 J-检验等。（1）拉姆齐 RESET 检验 RESET 检验的基本思想为：若模型估计所得的残差包含着遗漏的相关变量，那么这个残差可以通过对被解释变量拟合值的线性组合近似表示；若这个线性组合是显著的，则认为原模型的设定有误。（2）非嵌套 F 检验 非嵌套 F 检验的基本思路为，将非嵌套模型组合构造为一个综合模型，使得每个非嵌套模型是综合模型中的一个特殊情形，然后检验导致每个模型的约束。非嵌套 F 检验存在的不足主要表现为：一、综合模型中解释变量若存在多重共线性，则使得非嵌套 F-检验失效；二、选择原假设的顺序将影响模型选择结果；三、认为的综合模

20、型缺乏经济意义。（3）戴维森-麦金农 J 检验 该检验的基本思想就是，先估计一个模型，得到Y 的估计值，再将这个估计值作为解释变量代入另一个模型，如果此估计值在另一个模型中的t 检验不显著，则说明前个模型不含有能够提高后一个模型拟合优度的新的信息，所以后一个模型可以兼容前一个模型。将估计模型的顺序调换一次再作同样的检验。J-检验可能的结果如表所示。假设 30 不拒绝 拒绝 假设 30 不拒绝 同时接受 C 和 D 接受 D 而拒绝 C 拒绝 接受 C 而拒绝 D 同时拒绝 C 和 D J-检验存在的一些问题为：（1）如表所示，J-检验出现同时接受或同时拒绝模型的结果，无法得到明确的模型选择答案

21、；（2）采用 t-统计量进行检验时，小样本条件下，这个检验统计量的值不是很大，即检验中会过多地拒绝真假设。对于非嵌套模型还有个 Cox 检验，这里不作要求。第六部分 t检验、F 检验、卡方检验和三个非线性约束检验（Wald 检验、拉格朗日乘数检验和似然比检验）一、背景 我们都知道统计包括参数估计和假设检验两部分，参数估计是指利用样本信息估计总体分布或总体的某些特征值（如期望和方差），假设检验是指当我们面对某种陈述时，我们根据数理统计知识判断这个陈述的正确性，比如某工厂宣称他们生产的产品合格率在 99%以上，我们就要检验它的可信性。在计量经济学中，模型检验包括经济学检验、统计学检验和计量经济学检

22、验。计量经济学检验就包括常用的几个检验统计量：t检验、F 检验、卡方检验，另外在经济理论中我们常常需要检验带有约束条件的命题，这就是 Wald 检验、拉格朗日乘数检验和似然比检验。本章详细讲述在计量经济学中的推断和相应的检验方法。检验是贯串计量经济学始终的内容。二、知识要点 1，t检验、F 检验和卡方检验的意义及数学基础 2，三个非线性约束检验的提出背景 三、要点细纲 1、t检验、F 检验和卡方检验的意义及数学基础 在计量经济学中，设计模型估计参数之后，我们要做三个检验，经济学意义检验、统计学意义检验和计量经济学意义检验。所谓经济学意义检验比如某个参数本身的经济含义预示它必须大于 0 我们就要

23、看一下是否满足这个条件；所谓统计学检验是由于模型估计是利用样本进行因此存在一定的误差，我们要将误差控制在一定范围内，就要检验在这个显著性水平下估计出来的参数的可靠性；所谓计量经济学检验就是我们利用计量经济学模型实证分析中遇到问题的检验，包括自相关、异方差检验、结构稳定性检验和模型设定检验等等。做检验的目的是使模型更能符合总体数据并满足计量经济学中的良好性质。t检验、F 检验和卡方检验是在检验系数显著性和计量经济学检验中常用的方法。其数学基础：（1）卡方分布 定义：n 个相互独立的标准正态变量的平方和。（2）F 分布 定义：211222,12nF n nn 当分母自由度2n大于某数，例如当2n

24、时，F 分布的分母212xn，此时，可将变量,112xn F n n作为服从 21n的变量处理。（3）若干定理 1（标准正态向量的幂等二次型的分布）定理 1（标准正态向量的幂等二次型的分布）若,Nx0 I，A是幂等阵，那么 22TRankx AxAA的单位根数。定理 2（幂等二次型的独立性）若,Nx0 I，Tx Ax和Tx Bx是 x 的两个幂等二次型，那么Tx Ax和Tx Bx独立当AB0。定理 3（标准化正态向量的分布）若,Nx，则12,Nx0 I。定理 4（当,Nx0 I 1Txx的分布）若,Nx，则 12Tnxx。定理 5（线性和二次型的独立性）LA0时标准正态向量 x 的线性组合Lx和二次型Tx Ax在统计上独立。2、三个非线性约束检验的应用背景 在建立回归模型时，有时根据经济理论需对模型中变量的参数施加一定的约束条件。其中模型参数的线性约束、对回归变量增加或减少解释变量的约束、参数稳定性约束检验多采用 F 检验，这部分在模型设定检验中详细介绍，非线性约束是三个检验（Wald 检验、拉格朗日乘数检验和似然比检验）的提出背景。问题的一般性描述：对于多元回归模型的一般表达式：1223 3YXXXuiiiikki 当回归系数存在线性约束(,)023gk时，如何进行检验？（检验什么？）设模型为：111TTT k kYX 10,TTiidNI:,01HJ K KRq 其中，JK。