《大似然估计》PPT课件.ppt

第第2 2章章 非经典计量经济学模型估计方法非经典计量经济学模型估计方法 最大似然估计最大似然估计广义矩估计广义矩估计贝叶斯估计贝叶斯估计分位数回归估计分位数回归估计 关于估计方法的说明关于估计方法的说明计量经济学模型计量经济学模型(参数模型、均值回归模型、基于参数模型、均值回归模型、基于样本信息）样本信息）的的3 3类估计方法类估计方法LSLS、MLML、MMMM经典模型的估计经典模型的估计LSLS非经典模型的估计非经典模型的估计MLML、GMMGMM综合样本信息和先验信息的贝叶斯估计综合样本信息和先验信息的贝叶斯估计分位数回归模型，分位数回归模型，Quantile Regression,QREGQuantile Regression,QREG非参数模型的权函数估计、级数估计等非参数模型的权函数估计、级数估计等2.1 2.1 最大似然估计最大似然估计 一、最大似然原理一、最大似然原理 二、线性模型的最大似然估计二、线性模型的最大似然估计三、非线性模型的最大似然估计三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计四、异方差和序列相关的最大似然估计 五、最大似然估计下的五、最大似然估计下的Wald、LM和和LR检验检验 一、最大似然原理一、最大似然原理最大似然方法最大似然方法(Maximum Likelihood，ML)当从模型总体随机抽取当从模型总体随机抽取n组样本观测值后，最合理的参组样本观测值后，最合理的参数估计量应该使得从模型中抽取该数估计量应该使得从模型中抽取该n组样本观测值的概组样本观测值的概率最大。率最大。将样本观测值联合概率函数称为样本观测值的似然函数。将样本观测值联合概率函数称为样本观测值的似然函数。在已经取得样本观测值的情况下，使似然函数取最大值的总体在已经取得样本观测值的情况下，使似然函数取最大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。该总体参数即是所要求的参数。通过似然函数极大化以求得总体参数估计量的方法被通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。称为极大似然法。二、线性模型的最大似然估计二、线性模型的最大似然估计1 1、一元线性模型的最大似然估计、一元线性模型的最大似然估计Yi的分布Yi的概率函数 Y的所有样本观测值的联合概率似然函数 对数似然函数 对数似然函数极大化的一阶条件结构参数的ML估计量分布参数的ML估计量注意：注意：ML估计必须已知估计必须已知Y的分布。的分布。只有在正态分布时只有在正态分布时ML和和OLS的结构参数估计结果的结构参数估计结果相同。相同。如果如果Y不服从正态分布，不能采用不服从正态分布，不能采用OLS。例如：选。例如：选择性样本模型、计数数据模型等。择性样本模型、计数数据模型等。2、多元线性模型的、多元线性模型的最大似然估计最大似然估计i=1,2,n 结构参数估计结果与结构参数估计结果与OLSOLS估计相同估计相同分布参数估计结果与分布参数估计结果与OLS不同不同3 3、最大似然估计量的性质、最大似然估计量的性质 一致性一致性 渐近正态性渐近正态性 渐近有效性渐近有效性 不变性不变性 三、非线性模型的最大似然估计三、非线性模型的最大似然估计 1、简单非线性模型的、简单非线性模型的最大似然估计最大似然估计i=1,2,n面临面临NLSNLS同样的过程，得到相同的估计结果同样的过程，得到相同的估计结果。2.2.一般非线性模型的一般非线性模型的MLML估计估计 以上是一般非线性模型的完整描述。以上是一般非线性模型的完整描述。随机项满足随机项满足经典假设经典假设模型参数的一种估计方法是最小二乘法模型参数的一种估计方法是最小二乘法，即最小，即最小化化 模型参数的另一种估计方法是最大似然法。得模型参数的另一种估计方法是最大似然法。得到广泛应用。到广泛应用。最大似然估计最大似然估计yi的密度函数的密度函数雅可比行列式雅可比行列式雅可比行列式雅可比行列式正态分布密度函数正态分布密度函数因变量样本的对数似然函数为：因变量样本的对数似然函数为：很明显很明显若没有雅可比行列式项，参数的非线性最若没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计小二乘估计将是最大似然估计；但是，如果雅可比；但是，如果雅可比行列式包括行列式包括，最小二乘法不是最大似然法。，最小二乘法不是最大似然法。最大化对数似然函数的一阶条件为：最大化对数似然函数的一阶条件为：一般是得到中心化对数似然函数，然后最大化一般是得到中心化对数似然函数，然后最大化 如果变换的雅可比行列式是如果变换的雅可比行列式是1，则不存在因变量，则不存在因变量的参数变换；如果变换的雅可比行列式包含的参数变换；如果变换的雅可比行列式包含，则，则称为因变量的参数变换模型。称为因变量的参数变换模型。3、说明、说明非线性模型最大似然估计的性质非线性模型最大似然估计的性质 结构参数的最大对数似然估计是渐近无偏、一致估计且结构参数的最大对数似然估计是渐近无偏、一致估计且渐近地服从正态分布；渐近地服从正态分布；分布参数的最大对数似然估计是渐近无偏和一致估计。分布参数的最大对数似然估计是渐近无偏和一致估计。非线性模型的最大对数似然估计一般不等价于非线非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计，而是一个加权非线性最小二乘估性最小二乘估计，而是一个加权非线性最小二乘估计计。在特殊情况下，最大对数似然估计才等价于非线性最小在特殊情况下，最大对数似然估计才等价于非线性最小二乘估计。二乘估计。四、异方差和序列相关的四、异方差和序列相关的最大似然估计最大似然估计 1、思路、思路经典模型的异方差问题或者序列相关问题的处理经典模型的异方差问题或者序列相关问题的处理方法：方法：一类是变换模型，使之成为不再具有异方差性或者序一类是变换模型，使之成为不再具有异方差性或者序列相关性的模型，然后采用列相关性的模型，然后采用OLS进行估计，例如进行估计，例如WLS、GLS等；等；一类是修正一类是修正OLS估计量的标准差，纠正模型具有异方估计量的标准差，纠正模型具有异方差性或者序列相关性时差性或者序列相关性时OLS估计量的非有效性，使得估计量的非有效性，使得继而进行的统计推断（例如显著性检验、参数的置信继而进行的统计推断（例如显著性检验、参数的置信区间估计等）仍然有效，例如区间估计等）仍然有效，例如White修正、修正、Newey-West修正方法等。修正方法等。非线性非线性ML方法方法将异方差问题或者序列相关问题看成一类非线性问题，将异方差问题或者序列相关问题看成一类非线性问题，采用采用NML估计，比较简单，可以同时得到结构参数估估计，比较简单，可以同时得到结构参数估计量和反映异方差或者序列相关特征的分布参数估计计量和反映异方差或者序列相关特征的分布参数估计量。量。2 2、异方差的最大似然估计、异方差的最大似然估计 被解释变量样本的对数似然函数为：被解释变量样本的对数似然函数为：对异方差的结构给出假定，可以对模型的参数和对异方差的结构给出假定，可以对模型的参数和异方差的结构参数进行最大似然估计。异方差的结构参数进行最大似然估计。针对不同的问题假定不同的异方差结构；针对同针对不同的问题假定不同的异方差结构；针对同一个问题假定不同的异方差结构，进行估计和比一个问题假定不同的异方差结构，进行估计和比较。较。典型的异方差结构及其对应的对数似然函数，见典型的异方差结构及其对应的对数似然函数，见教材。教材。3、例题、例题OLSML线性模型，截面样本，一般存在异方差。线性模型，截面样本，一般存在异方差。采用非线性最大似然法估计，可以得到关于异方差采用非线性最大似然法估计，可以得到关于异方差结构的估计结果。结构的估计结果。在某些情况下，得到异方差结构的估计结果比模型在某些情况下，得到异方差结构的估计结果比模型参数估计量更重要。这就是异方差性的非线性方法参数估计量更重要。这就是异方差性的非线性方法的意义所在。的意义所在。4 4、序列相关的最大似然估计、序列相关的最大似然估计 首先假定模型随机误差项的序列相关结构。一般首先假定模型随机误差项的序列相关结构。一般以以AR(1)、MA(1)、ARMA(1,1)为常见。为常见。求出随机误差项对被解释变量的偏导数表达式。求出随机误差项对被解释变量的偏导数表达式。构造最大似然函数。构造最大似然函数。同时得到模型参数和随机误差项的序列相关结构同时得到模型参数和随机误差项的序列相关结构的估计结果。的估计结果。假定模型随机误差项的序列相关结构为假定模型随机误差项的序列相关结构为AR(1)对数似然函数为：对数似然函数为：中心化对数似然函数：中心化对数似然函数：假定模型随机误差项的序列相关结构为假定模型随机误差项的序列相关结构为MA(1)方法步骤相同，见教材方法步骤相同，见教材假定随机误差项的序列相关结构为假定随机误差项的序列相关结构为ARMA(1,1)方法步骤相同，见教材方法步骤相同，见教材5 5、例题、例题五、最大似然估计下的五、最大似然估计下的WaldWald、LMLM和和LRLR检验检验 1 1、说明、说明在采用最小二乘估计的经典模型的检验中，常用在采用最小二乘估计的经典模型的检验中，常用的检验统计量是的检验统计量是基于残差平方和基于残差平方和构造的，例如构造的，例如F统统计量、计量、t统计量等。统计量等。在采用最大似然估计的非经典模型的检验中，常在采用最大似然估计的非经典模型的检验中，常用的检验统计量是用的检验统计量是基于最大似然函数值基于最大似然函数值构造的，构造的，例如例如Wald统计量、统计量、LR统计量、统计量、LM统计量等。统计量等。2 2、受约束检验、受约束检验为模型参数构成的列向量，为模型参数构成的列向量，J为参数的约束数目为参数的约束数目 的无约束下的最大似然估计 的有约束下的最大似然估计