第四章 极大似然估计和广义矩估计优秀PPT.ppt

《第四章 极大似然估计和广义矩估计优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章 极大似然估计和广义矩估计优秀PPT.ppt（78页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章 极大似然估极大似然估计和广义矩估计计和广义矩估计第一页，本课件共有78页第一节 极大似然估计法第二节 似然比检验、沃尔德检验和拉 格朗日乘数检验第三节 广义矩（GMM）估计第二页，本课件共有78页 除普通最小二乘法（OLS）外，极大似然估计（MLE）和广义矩估计（GMM）也是计量经济学中重要的估计方法。极大似然估计法和广义矩估计法适用于大样本条件下参数的估计，它们在大样本条件下显示了优良的性质。本章主要介绍极大似然法和广义矩方法以及基于极大似然估计的似然比（LR）检验、沃尔德（W）检验和拉格朗日乘数（LM）检验。第三页，本课件共有78页第一节 极大似然估计法 极大似然估计法（Ma

2、ximum Likelihood method ML）的应用虽然没有普通最小二乘法广泛，但它是一个具有更强理论性质的点估计方法，它以极大似然原理为基础，通过概率密度函数或者分布律来估计总体参数。对于一些特殊类型的计量经济模型，如我们后面将介绍的Logit和Probit模型，最小二乘法不再适用，极大似然法成为首选的估计方法。第四页，本课件共有78页一、极大似然法的思路 极大似然估计的出发点是已知被观测现象的分布，但不知道其参数。极大似然法用得到观测值（样本）最高概率的那些参数的值来估计该分布的参数，从而提供一种用于估计刻画一个分布的一组参数的方法。第五页，本课件共有78页例例4.1 设有一枚不均

3、衡的硬币，我们关心的是在每次抛掷该硬币出现正面的概率p。抛掷该硬币N次，假设得到 N1 次正面，N N1 次反面。由于每次抛硬币都是相互独立的，根据二项分布，得到这样一个样本的概率为：上式中的表达式可看作是未知参数p的函数，被称为似然函数（Likelihood function）。对p的极大似然估计意味着我们选择使似然函数达到最大的p值，从而得到p的极大似然估计量。第六页，本课件共有78页 实际计算中，极大化似然函数的对数往往比较方便，这给出对数似然函数解之，得到p的极大似然估计量上式达到极大的一阶条件是第七页，本课件共有78页 二、极大似然原理 下面我们以一般化的数学语言来描述极大似然估计法

4、的基本原理和参数估计过程。极大似然法的思路是，设 是随机变量X的密度函数，其中 是该分布的未知参数，若有一随机样本 ，则 的极大似然估计值是具有产生该观测样本的最高概率的那个 值，或者换句话说，的极大似然估计值是使密度函数 达到最大的值。由于总体有离散型和连续型两种分布，离散型分布通过分布律来构造似然函数，而连续型分布通过概率密度函数来构造似然函数，因此二者有区别，下面分别讨论。第八页，本课件共有78页离散型随机变量极大似然原理离散型随机变量极大似然原理 若总体为离散型分布，容易求得从样本 取到观察值 的概率，亦即事件 发生的概率为：其中，是待估参数向量。这一概率随 的取值而变化，它是 的函数

5、，称为样本的似然函数。第九页，本课件共有78页极大似然估计法就是在 取值的可能范围内挑选使似然函数 ,达到最大的参数值 作为参数 的估计值，即求 ，使得一般通过微分的方法求得 ，即令 得到，有时候也可通过迭代法来求 ，具体的计算方法根据随机变量的分布来确定这样得到的 称为参数 的极大似然估计值，而相应的统计量通常记为 ，称为参数 的极大似然估计量极大似然估计量。第十页，本课件共有78页连续型随机变量极大似然原理若总体为连续型分布，其概率密度函数为密度函数的形式已知。其中，是待估参数向量。设 是来自总体的随机样本，则 的联合概率密度为 设 是相应于样本的一组样本值，则随机点（）落在点（）的邻域内

6、的概率可近似地表示为其值随 的取值而变化。第十一页，本课件共有78页 与离散型的情况一样，我们取 的估计值 使 取到极大值，但 不随 而变，故只需考虑函数 的极大值，这里 称为样本的似然函数。若 则 称为 的极大似然估计量，记为 。第十二页，本课件共有78页通常情况下，关于 可微，这时 可从方程 解得。因为 与 在同一点处取到极值，的 极大似然估计值 通常从方程 解得，式中 称为对数似然函数。为了后面内容表述方便起见，我们将对数似然函数的一阶导数向量表示为 称为score向量向量或梯度向量梯度向量，的极大似然估计通过求解 得到，因此 称为似然方似然方程程。第十三页，本课件共有78页三、极大似然

7、估计量的性质极大似然估计量（MLE）的优势在于它们的大样本性质（渐近性质）。为介绍这些渐近性质，我们用 表示参数向量 的极大似然估计量（MLE），表示参数向量的真值。如果极大似然函数被正确设定，可以证明，在弱正则条件下，极大似然估计量具有以下渐近性质：第十四页，本课件共有78页（1）一致性：）一致性：是 的一致估计量，即，（2）渐近有效性：渐近有效性：是渐近有效的且达到所有一致估计量的Cramr-Rao下界，即在所有一致渐近正态估计量（consistent asymptotically normal estimators）中具有最小方差。（3）渐近正态性：渐近正态性：即渐近地服从正态分布，其中

8、V是渐近协方差矩阵第十五页，本课件共有78页协方差矩阵V由对数似然函数的形状决定。为了说明这一点，我们引入信息矩阵信息矩阵（Information Matrix）的概念，信息矩阵定义为在适当的正则条件下，可以证明，极大似然估计量的渐近协方差矩阵等于信息矩阵的逆矩阵，即第十六页，本课件共有78页四、线性回归模型的极大似然估计 线性回归模型是计量经济学应用最为广泛的模型，因 此讨论线性模型的极大似然估计是非常必要的。下面我们在随机扰动项服从正态分布的假设下分别讨 论双变量线性回归模型和多元线性回归模型的极大似然估计。非线性模型的极大似然估计，将在第五章中介绍。第十七页，本课件共有78页双变量线性回

9、归模型的极大似然估计双变量线性回归模型：其中，为待估参数，为随机扰动项。对随机扰动项作出如下假设：即随机扰动项具有0均值、同方差、不相关和服从正态分布的性质。第十八页，本课件共有78页因此，的概率密度函数为：根据以上假设可知：由于独立同分布，因此，联合概率密度函数，即似然函数为：第十九页，本课件共有78页对数似然函数为：令：得：第二十页，本课件共有78页不难看出，前两式与用普通最小二乘法得出的正规方程相同，故我们有但最后一式表明，的极大似然估计量与最小二乘估计量不同，我们记得，最小二乘估计量 是一个无偏估计量。而 第二十一页，本课件共有78页这表明，是一个有偏估计量 不难看出，当样本容量趋向无

10、穷时，因而 是一个渐近无偏估计量。第二十二页，本课件共有78页多元线性回归模型的极大似然估计下面我们来讨论一般形式的线性回归模型的极大似然估计，并以矩阵形式表示：对随机扰动项作出如下假设：根据以上假设，我们有：因此，的概率密度函数为：第二十三页，本课件共有78页由于 独立同分布，因此，联合概率密度函数，即似然函数为：对数似然函数为：对于残差平方和有：这里最后一个等号成立是因为第二行中所有各项都是标量，且中间两项互为转置矩阵，因而相等。第二十四页，本课件共有78页 RSS对 微分，得到：这里用到了矩阵微分的以下两条规则：（1）（2），第二个等号成立的条件是A为对称矩阵。在（4.19）式中，a是

11、，A是 。第二十五页，本课件共有78页由（4.19）式的结果，使对数似然函数（4.17）达到极大的一阶条件为 解此二正规方程，得:第二十六页，本课件共有78页 因此，在随机扰动项满足标准假设条件的情况下，的极大似然估计量与普通最小二乘估计量相同，方差 的ML估计量与OLS估计量则不同。是无偏的，而 是有偏的，但在大样本下渐近无偏。第二十七页，本课件共有78页 将这些极大似然估计量代入(4.17)，就得到 lnL 的极大值：为了得到 的无偏估计量的Cramr-Rao下界，需要先计算信息矩阵 第二十八页，本课件共有78页信息矩阵是按 分块对角的，这是扰动项为正态分布的回归模型的一个重要性质，意味着

12、Cramr-Rao下界为：值得注意的是，达到了Cramr-Rao下界。在正态性的假设下，是最小方差无偏估计量（MVU），这表明，在所有无偏估计量而不仅仅是线性无偏估计量中方差最小。通过对矩阵中各项二阶偏导数的计算，我们得到第二十九页，本课件共有78页 例4.2 以简单的消费函数为例，说明极大似然估计法的估计过程。根据经济理论，消费和收入与价格密切相关，因此建立以国内生产总值GDP和消费价格指数p 为解释变量，国内总消费TC为被解释变量的消费方程。数据区间为19882007年。消费方程设定为：其中 服从正态分布。第三十页，本课件共有78页普通最小二乘估计的结果为：极大似然估计的EViews结果为

13、：可见，对于线性方程，用极大似然估计得到的系数估计值与用最小二乘法估计得到的结果完全相同。第三十一页，本课件共有78页第二节 似然比检验、沃尔德检验和拉格朗日乘数检验 似然比检验（Likelihood Ratio Test,LR）瓦尔德检验（Wald Test,W）拉格朗日乘数检验（Lagrange Multiplier Test,LM）是三种基于极大似然法的大样本检验方法。第三十二页，本课件共有78页 我们在第二章中介绍的F检验适用于检验CLR模型的线性约束条件。如果施加于模型的约束是非线性的，模型存在参数非线性，或者扰动项的分布不是正态的，在这些情况下，F检验就不再适用，通常需要采用LR、

14、W和LM这三个检验方法中的一个来检验约束条件是否成立。这三个检验方法是渐近等价的，与这些检验相联系的统计量的小样本分布是未知的，但它们每一个都渐近地服从自由度为约束条件个数的 分布第三十三页，本课件共有78页一、三种检验的基本原理 这三个检验统计量基于三个不同的原理，我们用下图来解释之。第三十四页，本课件共有78页 图中，对数似然函数（）由上面的那条曲线表示，它是要估计的参数 的函数。是使 达到极大的 值。假设要检验的约束条件是，这一条件在 这个值得到满足，从图上看，这个点是函数 与横轴 的交点。下面对这三个检验所依据的原理作出解释。第三十五页，本课件共有78页 1.LR检验检验 如果约束条件

15、为真，则在施加约束条件的情况下，的极大值 不应当显著小于 的无约束极大值 。因此，LR检验要检验的是（-）是否显著异于0。2.W检验检验 如果约束条件 为真，则 不应当显著异于0，其中 是 的无约束极大似然估计值。因此，W检验要检验的是 是否显著异于0。第三十六页，本课件共有78页 3.LM检验检验 对数似然函数 在A点达到极大，在这点 关于 的斜率为0。如果约束条件为真，则 在B点的斜率不应当显著异于0。LM检验要检验的是用约束估计值 计算的 的斜率是否显著异于0。第三十七页，本课件共有78页二、似然比（LR）检验 设 为待估计参数向量，原假设 规定施加于这些参数上的约束，为 的无约束极大似

16、然估计量，为约束极大似然估计量。如果 和 分别是用这两个估计值计算的似然函数值，则似然比（Likelihood Ratio）为：第三十八页，本课件共有78页 此函数的值位于0和1之间，因为两个似然都是正的，并且 不会大于 （约束最优不可能超过无约束最优）。如果 过于小，则有理由怀疑约束条件的正确性。LR检验的检验统计量是 ，该统计量在大样本情况下服从自由度为约束条件个数的 分布。第三十九页，本课件共有78页三、沃尔德（W）检验l在实践中似然比检验的短处是需要估计约束和无约束参数向量，也就是说，既要进行约束回归，又要进行无约束回归。在复杂模型中，其中的一个估计值可能很难计算。幸运的是，有两个可供

17、选择的方法，即沃尔德检验和拉格朗日乘数检验，可以解决这个问题。这两个检验只需要估计约束和无约束参数向量中的一个。第四十页，本课件共有78页 设 是在无约束情况下得到的参数估计值向量，要检验的原假设为：若约束条件成立，则至少 应该近似地满足它们。如果原假设是错的，则 应该比单由抽样变差所解释的情况要更远离0。W检验就是遵循这个思路构建的。W统计量是 成立和大样本的情况下，W服从自由度为约束条件个数的 分布。第四十一页，本课件共有78页 要注意的是，W统计量仅需要无约束模型的计算，但仍需要计算协方差矩阵，其估计值由下式给出：其中 和 分别表示估计和渐近。是一个 矩阵，J是约束条件的个数，K是待估计

18、参数的个数，它的第j行是第j个约束关于 的第k个元素的导数。第四十二页，本课件共有78页四、拉格朗日乘数（LM）检验 第三个检验是拉格朗日乘数（LM）检验，亦称score检验。该检验基于约束模型，无需估计无约束模型。假设我们要在施加一组约束条件 的情况下极大化对数似然函数，令 表示拉格朗日乘数向量，并定义拉格朗日函数第四十三页，本课件共有78页 约束最大化问题的解就是下式的根：其中 是矩阵 的转置。若约束成立，则加上它们不会造成对数似然函数极大值的显著差异。这意味着在一阶条件下，第二项应该很小，特别是 应该很小。我们可以直接检验之，即检验 ，这导致拉格朗日乘数检验（LM检验）。第四十四页，本课

19、件共有78页 直接检验拉格朗日乘数向量 比较困难，有另一个等价而简单一些的方法。在约束估计值处计算的对数似然函数的导数是第四十五页，本课件共有78页 如果约束条件成立，至少在抽样变差的范围内成立，则应有 。也就是说，在约束估计值处计算的对数似然的导数应该近似为0。应该记得，对数似然的一阶导数向量是Score向量 。由于我们的检验基于这个向量，因而被称为Score检验，但大多数文献中还是称之为拉格朗日乘数检验。第四十六页，本课件共有78页 一阶导数向量的方差是信息矩阵 ，我们用它来计算极大似然估计量的渐近协方差矩阵。LM检验统计量是 在原假设下，LM统计量渐近服从自由度为约束条件个数的 分布。第

20、四十七页，本课件共有78页 实际应用中，LM统计量有一个很简单的公式：其中N是观测值数目，是用一个元素均为1的列 向量对在约束估计值 处计算的对数似然函数的诸导数（即Score向量）进行线性回归得到的非中心 。非中心 的含义是，在计算总平方和TSS时，因变量不减去其均值，即 。第四十八页，本课件共有78页 用这种方法计算LM统计量非常容易，但对于小样本来说不可靠，犯第一类错误的可能性很大。Davidson和MacKinnon（1983）提出了计算LM统计量的另一种方法，该方法克服了上述方法的缺点，而保持了其计算简便的优点，尽管计算中需要执行他们所称的双长度回归（double-length re

21、gression,DLR）。第四十九页，本课件共有78页五、实践中三种检验法的选择问题 l当面临具有相同渐近性质的几种统计量时，计量经济学家通常根据它们的小样本性质来进行选择。然而实践中在LR、W和LM的选择上，计算成本往往起着关键作用。l计算LR统计量，的约束和无约束估计值都要计算，如果二者都不难计算，则LR检验是三种检验中最具吸引力的。第五十页，本课件共有78页l计算W统计量仅需要无约束估计值。如果约束估计值的计算比较困难，而无约束估计值计算不困难，如约束条件是非线性的情况，则W统计量应成为首选。l计算LM 统计量仅需约束估计值。如果约束估计值的计算比较容易，而无约束估计值的计算困难，例如

22、施加约束后使非线性模型转换成线性模型的情况，则LM统计量应成为首选。l在计算方面的考虑不是问题的情况下，应选择LR检验。第五十一页，本课件共有78页*第三节第三节 广义矩（广义矩（GMMGMM）估计）估计l前面讨论的普通最小二乘法和极大似然估计法等方法都有本身的局限性。l普通最小二乘法必须在遵循经典假设的条件下才具有优良的性质，在异方差和序列相关等违背基本假设的情况下，普通最小二乘法将不再是最佳线性无偏估计量；l应用极大似然估计法的前提是对随机扰动项的分布必须做出某种假设，如正态分布。第五十二页，本课件共有78页l而广义矩估计可以不考虑随机扰动项的准确分布信息，且允许随机扰动项存在异方差和自相

23、关等违背经典假设的情况，在很多方面具有独特的优势。lGMM是一种大样本估计方法，在大样本情况下GMM估计量渐近有效。普通最小二乘法、极大似然估计和工具变量法等许多估计方法都可以看作是广义矩估计的特例。第五十三页，本课件共有78页一、矩估计法矩估计法（Method of Moments）是GMM法的基础。（一）矩估计原理 一般来说，样本统计量中每一个都有它的总体对应物，例如，样本均值对应总体期望值，样本方差对应总体方差。因此一个很自然的想法是用诸样本“矩”作为总体参数的估计量。第五十四页，本课件共有78页 设 为随机变量，是来自 的样本，连续型随机变量和离散型随机变量 的前k阶矩分别定义为：其中

24、，为连续型随机变量 的概率密度函数，为离散型随机变量 的分布函数，是参数向量，。总体矩是 的函数。第五十五页，本课件共有78页 设函数关系如下 这是一个包含 k个未知参数 的方 程组。第五十六页，本课件共有78页可以从上述方程组解出 ，得到第五十七页，本课件共有78页 样本矩 依概率收敛于相应的总体矩 ，样本矩的连续函数依概率收敛于相应的总体矩的连续函数，因此，可用样本矩 作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。以 分别代替上式中的 ，得到 的估计量 这种估计方法称为矩估计法。第五十八页，本课件共有78页l例4.3：，未知，是来自 的样本观测值，试用矩

25、估计法求参数 的估计量 。解：样本一阶和二阶原点矩分别为：，因为矩估计认为样本矩等于总体矩，所以总体矩的估计量为：第五十九页，本课件共有78页 对于正态总体，分别为总体的均值和方差，均值和方差与总体一阶二阶原点矩有如下关系：所以根据矩估计，正态总体的均值 和方差 的估计量为：第六十页，本课件共有78页（二）OLS和LM估计量的矩估计 考虑经典线性回归模型的OLS估计量，该模型的一个重要假设条件是解释变量与扰动项无关，即 这组矩条件的样本对应物是 的估计量是满足这些矩条件的。不难看出，这些矩条件正好是OLS估计量的正规方程，因此我们看到，OLS估计量是矩估计量。第六十一页，本课件共有78页 极大

26、似然估计量是通过对数似然的导数等于0得到的，对于满足正则条件的密度，有：其中f（.）为概率密度函数，是参数向量。我们通过令上式的样本对应物等于0来求极大似然估计量：可见，极大似然估计量也可以通过一组矩条件用矩估计法导出。第六十二页，本课件共有78页二、广义矩法l在矩估计中，矩条件的个数恰好等于要估计参数的数目，即方程个数等于未知参数的个数，所以存在未知参数的唯一解。l如果矩条件的数目大于参数的个数，就引出了广义矩法（Generalized Method of Moments，GMM）第六十三页，本课件共有78页 广义矩法直接从模型所施加的矩条件来估计模型，这些矩条件有时是线性的，但多数情况下是

27、非线性的。我们在前面矩估计法的介绍中讨论了构建OLS和LM估计量的矩条件。下面我们给出矩条件的一般定义。第六十四页，本课件共有78页矩条件的一般形式为：为了表述的方便，将上式写成第六十五页，本课件共有78页 其中 表示有R个元素的向量函数，为K维未知参数向量，和 为模型中全部变量，如 为解释变量向量，为工具变量向量。为了估计 ，我们考虑上式的样本对应物第六十六页，本课件共有78页 如果矩条件的个数R等于未知参数的个数K，则有可能令 的R个元素等于0，解出 的唯一解，得到一个一致估计量；若 是 的非线性函数，则可能得不到解析解；如果矩条件的个数小于参数的个数，则参数向量 不可识别；如果矩条件的个

28、数大于参数的个数，即 ，我们无法通过令 等于0求得唯一解，因为方程数目多于变量个数。第六十七页，本课件共有78页（一）广义矩估计方法概要 在矩条件的个数大于参数的个数（），如工具变量的个数多于原解释变量的数目的情况下，我们不能通过设定 来唯一确定参数向量 的估计量，为了充分利用 个矩条件的信息，我们只能转而借助最优化方法的思路，选择使得样本矩向量从总体上尽可能接近于0的 的估计量。这就是广义矩估计方法的思路。具体的做法是将下面的加权平方和（亦称为距离函数）第六十八页，本课件共有78页 作为目标函数，求出使该目标函数达到最小的 的值 ，就得到GMM估计量。上式中，为任意正定矩阵，称为权矩阵，假设

29、它收敛于一个常数矩阵W，即，权矩阵可能依赖于数据，但不是 的函数。权矩阵在某种意义上反映了诸矩条件在距离函数中所占的权重，因此可以考虑将它设定为一个对角矩阵，其对角线元素是各个矩的方差的倒数。第六十九页，本课件共有78页 至此，我们将矩条件的个数大于参数的个数情况下参数的估计问题化为如下的最小化问题：求解此最优化问题，得到的估计量就是广义矩估计量（GMM）估计量 。尽管一般情况下我们无法得到它的解析解，但可以证明，在某些弱正则条件下，GMM估计量是一致和渐近正态估计量。实践中通常采用数值解法求解上式中的最小化问题得到GMM估计量。第七十页，本课件共有78页 不同的权矩阵 会导致不同的一致估计量

30、，其渐近协方差矩阵不同。为了得到最小协方差矩阵，必须选择合适的权矩阵，我们称与此最小协方差矩阵对应的权矩阵为最优权矩阵最优权矩阵，用 表示，在不存在自相关的情况下，它是样本矩的协方差矩阵的逆矩阵：一般依赖于未知参数向量 ，因此在没有得到参数估计量 以前，这个权矩阵只是理论上的一个最优权矩阵。第七十一页，本课件共有78页 在实际应用中为了得到最优权矩阵，我们采用下面的两步估计法。第一步：先选择一个与参数向量 无关的权矩阵，例如单位矩阵，得到 的一个一致估计量 ，然后用 得到最优权矩阵的一致估计值：第七十二页，本课件共有78页 第二步：得到一致有效的（最优）GMM估计量 其渐近分布由下式给出：式中

31、渐近协方差矩阵由下式给出：其中D是 导数矩阵：第七十三页，本课件共有78页 与矩估计法一样，广义矩法也提供了一种具有包容性的框架，绝大多数估计方法，如普通最小二乘法、极大似然估计法和工具变量法等，都可以看作是广义矩方法的特例。第七十四页，本课件共有78页（二）GMM法的优点与其它估计法相比，GMM法有下列几个显著的优点：（1）它无需规定正态分布之类的有关分布的假设，GMM估计量的一致性仅取决于矩条件的正确设定；（2）它为很多类似估计量，如OLS、IV等的分析提供了一个统一的框架；第七十五页，本课件共有78页（3）它为那些传统估计方法计算很困难特别是模型无法解析求解的情况提供了一种方便的方法；(

32、4)它允许研究人员规定经济上有意义的一组矩，或者据信是对经济或统计模型的误设定不灵敏的一组矩。第七十六页，本课件共有78页 例例4.4 4.4 根据消费理论，消费具有惯性，即当期的消费不仅仅与当期收入有关，而且与前期消费也有关系，因此可将消费模型设定为：其中 表示总消费（单位：亿元），表示国内生产总值（单位：亿元）。试用GMM法估计上述消费方程。第七十七页，本课件共有78页解：估计步骤为：（1）工具变量的选择 本例中选择常数项、国内生产总值 及其一阶滞后 、政府消费 作为工具变量 （2）最优权矩阵的选择 权矩阵的选择没有统一的标准，可以根据不同的要求选择不同的权矩阵。本例选择Eviews默认的权矩阵。（3）GMM的估计结果为：t:（2.51）（4.81）第七十八页，本课件共有78页