对数极大似然估计.ppt

对数极大似然估计1现在学习的是第1页，共83页 EViews包含了一些常用方法，如最小二乘法、非线性最小二包含了一些常用方法，如最小二乘法、非线性最小二乘法、加权最小二乘法、乘法、加权最小二乘法、TSLS、GMM、ARIMA、ARCH、GARCH等方法，这些方法可以解决可能遇到的大多数估计问题。等方法，这些方法可以解决可能遇到的大多数估计问题。但是，我们在研究中也可能会碰到一些不在上述之列的特殊的模但是，我们在研究中也可能会碰到一些不在上述之列的特殊的模型，这些模型可能是现存方法的一个扩展，也可能是一类全新的型，这些模型可能是现存方法的一个扩展，也可能是一类全新的问题。问题。为为了了能能解解决决这这些些特特殊殊的的问问题题，EViews提提供供了了对对对对数数数数极极极极大大大大似似似似然然然然估估估估计计计计对对对对象象象象这这一一工工具具来来估估计计各各种种不不同同类类型型的的模模型型。对对数数极极大大似似然然估估计计对对象象提提供供了了一一个个一一般般的的，开开放放的的工工具具，可可以以通通过过这这个个工工具具极极大大化相关参数的似然函数对一大类模型进行估计。化相关参数的似然函数对一大类模型进行估计。2现在学习的是第2页，共83页 使使用用对对数数极极大大似似然然估估计计对对象象估估计计时时，我我们们用用EViews的的序序列列生生成成器器，将将样样本本中中各各个个观观测测值值的的对对数数似似然然贡贡献献描描述述为为一一个个未未知知参参数数的的函函数数。可可以以给给出出似似然然函函数数中中一一个个或或多多个个参参数数的的解解析析微微分分，也也可可以以让让EViews自自动动计计算算数数值值微微分分。EViews将将寻寻找找使使得得指指定定的的似似然然函函数数最最大大化化的的参参数数值值，并并给给出出这这些些参参数数估估计的估计标准差。计的估计标准差。在在本本章章，我我们们将将详详细细论论述述对对数数极极大大似似然然估估计计对对象象，说说明明其其一一般特征。并给出了一些可以使用该方法的具体的例子。般特征。并给出了一些可以使用该方法的具体的例子。3现在学习的是第3页，共83页8.1 8.1 对数极大似然估计的基本原理对数极大似然估计的基本原理对数极大似然估计的基本原理对数极大似然估计的基本原理 8.1.1 8.1.1 极大似然估计的基本原理极大似然估计的基本原理极大似然估计的基本原理极大似然估计的基本原理 设设总总体体的的概概率率密密度度函函数数为为P，其其类类型型是是已已知知的的，但但含含有有未未知知参参数数（向向量量）。我我们们的的目目的的就就是是依依据据从从该该总总体体抽抽得得的的随随机机样样本本 y1,y2,yT，寻求对，寻求对 的估计。的估计。观测值观测值 y1,y2,yT 的联合密度函数被给定为的联合密度函数被给定为 （8.1.1）其其中中：y=(y1,y2,yT)。将将这这一一联联合合密密度度函函数数视视为为参参数数 的函数，称为样本的似然函数（的函数，称为样本的似然函数（likelihood function）。）。4现在学习的是第4页，共83页 极极大大似似然然原原理理就就是是寻寻求求参参数数的的估估计计值值 ，使使得得所所给给样样本本值值的的概概率率密密度度（即即似似然然函函数数）的的值值在在这这个个参参数数值值之之下下，达达到到最最大大。在在当当前前的的情情形形下下，就就是是寻寻求求 的的估估计计值值，使使得得似似然然函函数数 L(y;)相相对对于于给给定定的的观观测测值值 y1,y2,yT 而而言言达达到到最最大值，大值，就被称为极大似然估计量。就被称为极大似然估计量。5现在学习的是第5页，共83页 在在 L(y;)关关于于 i（i=1,2,n，n是是未未知知参参数数的的个个数数）的的偏偏导数存在时，要使导数存在时，要使 L(y;)取最大值取最大值，必须满足必须满足,i=1,2,n （8.1.2）由上式可解得由上式可解得 n 1 向量向量 的极大似然估计值的极大似然估计值 ，而式，而式(8.1.2)也也被称为似然函数。被称为似然函数。6现在学习的是第6页，共83页 因因为为 L(y;)与与 lnL(y;)在在同同一一点点处处取取极极值值，所所以以也可以由也可以由,i=1,2,n（8.1.3）求得，因为对数可将乘积变成求和，所以，式求得，因为对数可将乘积变成求和，所以，式(8.1.3)往往比直往往比直接使用式接使用式(8.1.2)来得方便。式来得方便。式(8.1.3)也被称为对数似然函数。也被称为对数似然函数。7现在学习的是第7页，共83页 考虑多元线性回归模型的一般形式考虑多元线性回归模型的一般形式 ,t=1,2,T(8.1.4)其中其中 k 是解释变量个数，是解释变量个数，T 是观测值个数，随机扰动项是观测值个数，随机扰动项 ，那么那么 yt 服从如下的正态分布：服从如下的正态分布：其中其中(8.1.5)8现在学习的是第8页，共83页 y 的随机抽取的的随机抽取的 T 个样本观测值的联合概率函数为个样本观测值的联合概率函数为 （8.1.6）这就是变量这就是变量y的似然函数，未知参数向量的似然函数，未知参数向量=1,2,k,2。对似然函数求极大值和对数似然函数求极大值是等价对似然函数求极大值和对数似然函数求极大值是等价的，式的，式(8.1.6)的的对数似然函数形式对数似然函数形式对数似然函数形式对数似然函数形式为：为：（8.1.7）9现在学习的是第9页，共83页 注注意意，可可以以将将对对数数似似然然函函数数写写成成 t 时时刻刻所所有有观观测测值值的的对对数数似然贡献和的形式，似然贡献和的形式，（8.1.8）这这里里对对数数似似然然的的单单个个贡贡献献（用用小小写写字字母母表表示示）由由下下面面的的式子给出：式子给出：（8.1.9）10现在学习的是第10页，共83页 式（式（8.1.7）也可用标准正态分布的密度函数）也可用标准正态分布的密度函数 表示表示 （8.1.10）式中式中标准正态分布的对数似然函数标准正态分布的对数似然函数标准正态分布的对数似然函数标准正态分布的对数似然函数 为为 （8.1.11）这这里里对对数数似似然然函函数数每每个个观观测测值值的的贡贡献献式式(8.1.9)又又可可以以由由下下面面的的式子给出：式子给出：（8.1.12）11现在学习的是第11页，共83页 8.1.2 8.1.2 EViewsEViews极大似然对象概述极大似然对象概述极大似然对象概述极大似然对象概述 用对数极大似然估计来估计一个模型，主要的工作是建立用来求用对数极大似然估计来估计一个模型，主要的工作是建立用来求解似然函数的说明文本。用解似然函数的说明文本。用EViews指定对数极大似然函数的说明是指定对数极大似然函数的说明是很容易的，因为似然函数的说明只是一系列对序列的赋值语句，这些很容易的，因为似然函数的说明只是一系列对序列的赋值语句，这些赋值语句在极大化的过程中被反复的计算。我们所要做的只是写下一赋值语句在极大化的过程中被反复的计算。我们所要做的只是写下一组语句，在计算时，这些语句将描述一个包含每个观测值对似然函数组语句，在计算时，这些语句将描述一个包含每个观测值对似然函数贡献的序列。贡献的序列。12现在学习的是第12页，共83页 注注意意到到，我我们们能能将将对对数数似似然然函函数数写写成成所所有有观观测测值值 t 的的对对对对数数数数似似似似然贡献和然贡献和然贡献和然贡献和的形式，的形式，这里这里单个贡献单个贡献单个贡献单个贡献由下面的式子给出：由下面的式子给出：13现在学习的是第13页，共83页 以只含一个解释变量的一元线性回归方程为例以只含一个解释变量的一元线性回归方程为例 ,t=1,2,T 假定知道模型参数的真实值，并且想用假定知道模型参数的真实值，并且想用EViews产生一个包产生一个包含每个观测值的贡献的序列。含每个观测值的贡献的序列。14现在学习的是第14页，共83页 未未知知参参数数向向量量 =0,1,2,可可以以将将参参数数初初值值赋赋给给系系数数向向量量的的c(1)到到c(3)元元素素，然然后后把把下下面面的的赋赋值值语语句句作作为为EViews的的命命令令或或程程序序来执行。来执行。Series res=y-c(1)-c(2)*x Series var=c(3)Series logL1=-log(2*3.14159*var)/2-(res2/var)/2 前前面面两两行行语语句句描描述述了了用用来来存存储储计计算算时时的的中中间间结结果果的的序序列列。第第一一个个语语句句创创建建了了残残残残差差差差序序序序列列列列：resres，而而第第二二个个语语句句创创建建了了方方方方差差差差序序序序列列列列：varvar。而而序列序列logL1logL1包含了包含了每个观测值的对数似然贡献每个观测值的对数似然贡献每个观测值的对数似然贡献每个观测值的对数似然贡献的集合。的集合。15现在学习的是第15页，共83页 下面考虑下面考虑2个变量的例子：个变量的例子：这这里里，y,x,w 是是观观测测序序列列，而而 =1,2,3,2是是模模型型的的参参数数。有有T个个观测值的样本的对数似然函数可以写成：观测值的样本的对数似然函数可以写成：这里，这里，是标准正态分布的密度函数。是标准正态分布的密度函数。16现在学习的是第16页，共83页 将这一例子的对数极大似然函数过程写成下面的赋值语句：将这一例子的对数极大似然函数过程写成下面的赋值语句：Series res=y-c(1)-c(2)*x-c(3)*w Series var=c(4)Series logL1=log(dnorm(res/sqrt(var)-log(var)/2 前前面面两两行行语语句句创创建建了了残残差差序序列列res和和方方差差序序列列var，参参数数c(1),c(2),c(3)代代表表了了回回归归系系数数 1,2,3，c(4)代代表表了了 2，序序列列logL1包包含含了了每每个个观测值的对数似然贡献的集合。观测值的对数似然贡献的集合。17现在学习的是第17页，共83页 下面考虑稍复杂的例子，假设数据是由条件异方差回归模型生成的：下面考虑稍复杂的例子，假设数据是由条件异方差回归模型生成的：这这里里，x,y,w 是是观观测测序序列列，而而=1,2,3,2,是是模模型型的的参参数数。有有T个观测值的样本的对数似然函数可以写成：个观测值的样本的对数似然函数可以写成：这里，这里，是标准正态分布的密度函数。是标准正态分布的密度函数。18现在学习的是第18页，共83页 将这一例子的对数极大似然函数过程写成下面的赋值语句：将这一例子的对数极大似然函数过程写成下面的赋值语句：Series res=y-c(1)-c(2)*x-c(3)*w Series var=c(4)*wc(5)Series logL1=log(dnorm(res/sqrt(var)-log(var)/2 前前面面两两行行语语句句创创建建了了残残差差序序列列res和和方方差差序序列列var，参参数数c(1),c(2),c(3)代代表表回回归归系系数数 1,2,3，c(4)代代表表 2，c(5)代代表表 ，序序列列logL1包包含含了每个观测值的对数似然贡献的集合。了每个观测值的对数似然贡献的集合。19现在学习的是第19页，共83页 现现在在假假定定不不知知道道模模型型参参数数的的真真实实值值，而而想想使使用用数数据据来来估估计计它它。参参数数的的极极大大似似然然估估计计被被定定义义为为：使使得得样样本本中中所所有有随随机机抽抽取取的的一一组组观观测测值值的的联联合合概概率率密密度度，即即似似然然函函数数取取最最大大值值的的那那组组参参数值。数值。而对数极大似然方法使得寻找这些极大似然估计变得容易了。而对数极大似然方法使得寻找这些极大似然估计变得容易了。只需创建一个对数似然对象，把上面的赋值语句输入到只需创建一个对数似然对象，把上面的赋值语句输入到logL的说的说明窗口，然后让明窗口，然后让EViews来估计这个模型。来估计这个模型。20现在学习的是第20页，共83页 在在输输入入赋赋值值语语句句时时，只只需需对对上上面面的的文文本本做做两两处处微微小小的的改改动动就就可可以以了了。首首先先，把把把把每每每每行行行行开开开开头头头头的的的的关关关关键键键键字字字字seriesseries删删删删掉掉掉掉（因因为为似似然然说说明明暗暗含含了了假假定定序序列列是是当当前前的的）。第第二二，必必必必须须须须在在在在说说说说明明明明中中中中加加加加入入入入额额额额外外外外的的的的一一一一行行行行（关键字（关键字logLlogL为包含为包含似然贡献的序列命名似然贡献的序列命名似然贡献的序列命名似然贡献的序列命名）。）。这样，要在这样，要在logL说明窗口输入下面的内容：说明窗口输入下面的内容：logL logl res=y-c(1)-c(2)*x-c(3)*w var=c(4)*wc(5)logl=log(dnorm(res/sqrt(var)-log(var)/2 对数似然函数的第一行，对数似然函数的第一行，logL logl，告诉，告诉EViews用用logl序列来存序列来存储似然贡献。余下的行定义了中间结果的计算和实际的似然贡献的计储似然贡献。余下的行定义了中间结果的计算和实际的似然贡献的计算。算。21现在学习的是第21页，共83页 当当用用EViews估估计计模模型型参参数数时时，它它将将对对不不同同参参数数值值重重复复执执行行说说明明中中的的赋赋值值语语句句，使使用用迭迭代代法法来来求求使使得得对对数数似似然然贡贡献献最最大大的的一一组组参参数数值值。当当EViews再再不不能能提提高高全全部部似似然然贡贡献献时时，它它将将停停止止迭迭代代并并在在估估计计输输出出中中报报告告最最终终参参数数值和估计标准差。值和估计标准差。本章下面的部分将更详细地讨论使用似然方法说明，估计本章下面的部分将更详细地讨论使用似然方法说明，估计和检验时要遵循的规则。和检验时要遵循的规则。22现在学习的是第22页，共83页 要要创创建建一一个个似似然然对对象象，选选择择Objects/New Object./LogL或或者者在在命命令令窗窗口口输输入入“logL”。似似然然窗窗口口将将打打开开一一个个空空白白说说明明视视图图。说说明明视视图图是是一一个个文文本本窗窗口口，在在这这个个窗窗口口里里可可以以输输入入描描述述统统计计模模型型的的说说明明语句，还可以设置控制估计程序各个方面的选项。语句，还可以设置控制估计程序各个方面的选项。8.1.3 8.1.3 似然似然似然似然说明说明说明说明23现在学习的是第23页，共83页 1 1似然的定义似然的定义似然的定义似然的定义 正正如如上上节节中中所所描描述述的的那那样样，似似然然说说明明的的主主线线是是一一系系列列赋赋值值语语句句，在在计计算算时时，这这些些赋赋值值语语句句将将产产生生一一个个包包含含样样本本中中每每个个观观测测值值的的对对数数似似然然贡贡献献的的序序列列。赋赋值值语语句句的的多多少少可可以自己决定。以自己决定。24现在学习的是第24页，共83页 每每个个似似然然说说明明都都必必须须包包含含一一个个控控制制语语句句，该该语语句句命命名名了了保保存存似然贡献的序列。语句的格式为：似然贡献的序列。语句的格式为：logL series_namelogL series_name这这里里logL是是关关键键字字，series_name是是保保存存似似然然贡贡献献的的序序列列的的名名字字，可以写在似然说明的任何位置。可以写在似然说明的任何位置。例例如如，对对于于一一元元线线性性回回归归方方程程的的似似然然说说明明来来说说，第第一一行行：logL logl是是似似然然贡贡献献的的序序列列的的说说明明。当当对对模模型型进进行行计计算算时时，EViews将将在在现现有有参参数数值值下下执执行行每每个个赋赋值值语语句句，并并将将结结果果保保存存到到指指定定名名称称的的序序列列里里。如如果果序序列列不不存存在在，系系统统将将自自动动创创建建，如如果果已已经经存存在在，系系统统将将使使用用现现有有的的序序列列，并并覆盖序列原来的内容。覆盖序列原来的内容。25现在学习的是第25页，共83页 如如果果想想在在估估计计完完成成后后删删除除说说明明中中的的一一个个或或多多个个序序列列，可可以以使用使用temp语句：语句：temp series_name1 sereis_name2.temp series_name1 sereis_name2.这这个个语语句句告告诉诉EViews在在对对说说明明的的计计算算完完成成后后，删删除除列列表表中中的的序序列列。如如果果在在logL中中创创建建了了许许多多中中间间结结果果，又又不不愿愿意意工工作作文文件件因因包包含含这这些些结结果果的的序序列列而而弄弄得得混混乱乱的的话话，删删除除这这些些序序列列将将是是很很有有用用的的。例例如如，图图8.2中中的的最最后后一一行行语语句句就就是是命命令令EViews在在估估计结束后，删除估计产生的中间序列计结束后，删除估计产生的中间序列res、var和和logl。这这里里需需要要强强调调一一点点，在在似似然然说说明明的的文文本本中中可可以以加加入入说说明明语语句句，说明语句的前面加上撇号说明语句的前面加上撇号“”，则这个语句将不被执行。，则这个语句将不被执行。26现在学习的是第26页，共83页 2 2参数名参数名参数名参数名 在在上上面面的的例例子子中中，我我们们使使用用了了系系数数c(1)到到c(5)作作为为未未知知参参数数的的名名称称。更更一一般般的的，出出现现在在说说明明中中一一个个已已命命名名的的系系数数向向量量中中的的每每一一个个元元素素都将被视为待估参数。都将被视为待估参数。例如创建例如创建2个命名的系数向量：个命名的系数向量：beta(2)sigma(1)于是可以写出下面的似然说明：于是可以写出下面的似然说明：logL logL1 res=cs-beta(1)-beta(2)*inc var=sigma(1)logl1=log(dnorm(res/sqrt(var)-log(var)/227现在学习的是第27页，共83页 由由于于说说明明中中的的已已命命名名的的系系数数向向量量的的所所有有元元素素都都将将被被视视为为待待估估参参数数，必必必必须须须须确确确确定定定定所所所所有有有有的的的的系系系系数数数数确确确确实实实实影影影影响响响响了了了了一一一一个个个个或或或或多多多多个个个个似似似似然然然然贡贡贡贡献献献献的的的的值值值值。如如果果一一个个参参数数对对似似然然没没有有影影响响，那那么么在在试试图图进进行行参参数数估计时，将遇到一个奇异错误。估计时，将遇到一个奇异错误。应应该该注注意意到到除除了了系系数数元元素素外外所所有有的的对对象象在在估估计计过过程程中中都都将将被被视视为为固固定定的的，不不可可改改变变的的。例例如如，假假定定omega是是工工作作文文件件中中一一个个已已命命名名的的标标量量(scalar omega)，如如果果将将子子表表达达式式var定定义义如下如下:var=omega EViews将将不不会会估估计计omega。omega的的值值将将被被固固定定在在估估计计的的开开始始值上值上。28现在学习的是第28页，共83页 3 3估计的顺序估计的顺序估计的顺序估计的顺序 logL说说明明包包含含了了一一个个或或多多个个能能够够产产生生包包含含似似然然贡贡献献的的序序列列的的赋赋值值语语句句。在在执执行行这这些些赋赋值值语语句句的的时时候候，EViews总总是是从从顶顶部部到到底底部执行，所以后面计算要用到的表达式应放在前面。部执行，所以后面计算要用到的表达式应放在前面。EViews对对整整个个样样本本重重复复地地计计算算每每个个表表达达式式。EViews对对模模型型进进行行重重复复计计算算时时采采用用方方方方程程程程顺顺顺顺序序序序和和样样样样本本本本观观观观测测测测值值值值顺顺顺顺序序序序两两种种不不同同方方式式，这这样样就就必必须须指指定定采采用用那那种种方方式式，即即观观测测值值和和方方程程的执行顺序。的执行顺序。29现在学习的是第29页，共83页 （1 1）观测值顺序（）观测值顺序（）观测值顺序（）观测值顺序（byobsbyobs ）默默认认情情形形下下，EViews用用观观测测值值顺顺序序来来计计算算模模型型，此此种种方方式式是是先先用用第第一一个个观观测测值值来来计计算算所所有有的的赋赋值值语语句句，接接下下来来是是用用第第二二个个观观测测值值来来计计算算所所有有的的赋赋值值语语句句，如如此此往往复复，直直到到估估计计样样本本中中所所有有观观测测值值都都使使用用过过。这这是是用用观观测测值值顺顺序序来来计计算算递递归归模模型型的的正正确确顺顺序序，递递归归模模型型中中每每一一个个观观测测值值的的似似然然贡贡献献依依赖赖于前面的观测值，例如于前面的观测值，例如AR模型或模型或ARCH模型。模型。30现在学习的是第30页，共83页 （2 2）方程顺序（）方程顺序（）方程顺序（）方程顺序（byeqnbyeqn ）可可以以改改变变计计算算的的顺顺序序，这这样样EViews就就可可以以用用方方程程顺顺序序来来计计算算模模型型，先先用用所所有有的的观观测测值值来来计计算算第第一一个个赋赋值值语语句句，然然后后用用所所有有的的观观测测值值计计算算第第二二个个赋赋值值语语句句，如如此此往往复复，对对说说明明中中每每一一个个赋赋值值语语句句都都用用同同样样方方式式进进行行计计算算。这这是是用用中中间间序序列列的的总总量量统统计计作作为为后后面计算的输入的模型的正确顺序。面计算的输入的模型的正确顺序。可以通过在说明中加入一条语句来声明所选择的计算方法。要可以通过在说明中加入一条语句来声明所选择的计算方法。要用方程顺序来计算，仅加一行关键字用方程顺序来计算，仅加一行关键字“byeqnbyeqn”。要用样本顺序来计。要用样本顺序来计算，可以用关键字算，可以用关键字“byobs”。如果没有给出关键字，那么。如果没有给出关键字，那么系统默认为系统默认为系统默认为系统默认为“byobs”“byobs”。31现在学习的是第31页，共83页 例例例例8.1 8.1 一元线性回归方程的极大似然估计一元线性回归方程的极大似然估计一元线性回归方程的极大似然估计一元线性回归方程的极大似然估计 以以例例3.1的的消消费费函函数数作作为为例例子子，分分析析普普通通回回归归方方程程的的极极大大似似然然估估计计方方法法。消消费费函函数数的的被被解解释释变变量量cs为为实实际际居居民民消消费费，解解释释变变量量为为实实际际可可支支配配收收入入inc，变变量量均均为为剔剔除除了了价价格格因因素素的的实实际际年年度度数数据据，样样本本区区间间为为19782006年。那么凯恩斯消费函数的方程形式就可以写成：年。那么凯恩斯消费函数的方程形式就可以写成：(8.2.5)其中：其中：ut服从标准正态分布，服从标准正态分布，cs=CS/CPI，inc=YD/CPI，CPI 代代表表1978年为年为1的居民消费价格指数，的居民消费价格指数，代表自发消费，代表自发消费，代表边际消代表边际消费倾向，则参数向量为费倾向，则参数向量为=(，u2)，观测值个数，观测值个数T=29。32现在学习的是第32页，共83页 利用前面的式利用前面的式(8.2.2)，我们可以写出这个方程的对数极大似然，我们可以写出这个方程的对数极大似然函数函数 (8.2.6)(8.2.6)式中式中zt=(cst-inct)/u。33现在学习的是第33页，共83页 利用极大似然方法求解，作为利用极大似然方法求解，作为byobs语句的一个例子，考虑下语句的一个例子，考虑下面的说明：面的说明：EViews用观测值顺序来计算模型，此种方式是先用第一个观测值来用观测值顺序来计算模型，此种方式是先用第一个观测值来计算所有的赋值语句，接下来是用第二个观测值来计算所有的赋值语句，计算所有的赋值语句，接下来是用第二个观测值来计算所有的赋值语句，如此往复，直到估计样本中所有观测值都使用过。本例将方差作为未知参如此往复，直到估计样本中所有观测值都使用过。本例将方差作为未知参数数c(3)，一起求解。，一起求解。34现在学习的是第34页，共83页 进行极大似然求解之后，得到进行极大似然求解之后，得到 和和 的估计值的估计值:c(3)是方差的估计结果。这个结果与最小二乘法得到的结果完是方差的估计结果。这个结果与最小二乘法得到的结果完全相同。全相同。35现在学习的是第35页，共83页 作为作为byeqn语句的一个例子，考虑下面的说明：语句的一个例子，考虑下面的说明：进行极大似然求解之后，得到进行极大似然求解之后，得到 和和 的估计值的估计值:36现在学习的是第36页，共83页例例例例8.4 8.4 具有异方差的一元线性回归模型的极大似然估计具有异方差的一元线性回归模型的极大似然估计具有异方差的一元线性回归模型的极大似然估计具有异方差的一元线性回归模型的极大似然估计 根根据据第第4章章例例4.1，各各省省人人均均家家庭庭交交通通及及通通讯讯支支出出(cum)和和可可支支配收入配收入(in)的关系，样本个数为的关系，样本个数为30，考虑如下具有异方差性的方程：，考虑如下具有异方差性的方程：(8.2.40)为消除方程中的异方差，利用加权最小二乘法求解，设为消除方程中的异方差，利用加权最小二乘法求解，设t=cumt 0 1 int，w=1/|，可可以以写写出出式式(8.2.40)的的对对数数极极大大似似然然函函数数 (8.2.41)它的未知参数向量为它的未知参数向量为 =(0,1)。37现在学习的是第37页，共83页 也也可可用用同同样样的的处处理理方方法法利利用用极极大大似似然然方方法法求求解解，作作为为byeqn语语句的一个例子，考虑下面的说明：句的一个例子，考虑下面的说明：这个说明通过利用残差这个说明通过利用残差res建立加权向量建立加权向量w=1/abs(res)来完成一个加权来完成一个加权最小二乘回归。最小二乘回归。res的赋值语句计算了在每次计算时的残差，而这被用做的赋值语句计算了在每次计算时的残差，而这被用做构造权重序列。构造权重序列。byeqn语句指示语句指示EViews在一个给定的迭代过程中，必须在一个给定的迭代过程中，必须先算出所有的残差先算出所有的残差res，然后再计算残差的加权向量，然后再计算残差的加权向量w。本例方差用样本。本例方差用样本方差替代，也可将方差作为未知参数方差替代，也可将方差作为未知参数c(3)，一起求解。，一起求解。38现在学习的是第38页，共83页利用极大似然方法估计出未知参数利用极大似然方法估计出未知参数 后，写出后，写出方程为：方程为：(-392.6)(225.5)39现在学习的是第39页，共83页 8.1.4 8.1.4 极大似然估计量的计算方法极大似然估计量的计算方法极大似然估计量的计算方法极大似然估计量的计算方法 极极大大似似然然估估计计量量的的计计算算方方法法有有许许多多种种，有有解解析析方方法法，也也有有数数值值解解法法。设设 =(1,2,n)是是待待求求的的未未知知参参数数向向量量，如如例例8.1中中 =(,2),异异方方差差例例子子中中 =(,2,)。首首先先求求极极大大似似然然估估计计的的迭代公式。为求极大似然估计，需要求解迭代公式。为求极大似然估计，需要求解(8.1.13)设设 是是超超参参数数向向量量的的精精确确值值，采采用用Taylor展展开开式式，取取一一次次近近似似，并设并设 表示参数空间上的任意一点，则可将表示参数空间上的任意一点，则可将 lnL(y;)/表示成表示成 (8.1.14)40现在学习的是第40页，共83页令其为令其为0，可得，可得 (8.1.15)于是得到于是得到迭代公式迭代公式迭代公式迭代公式 (8.1.16)41现在学习的是第41页，共83页 求求(l)(l=1,2,)，它的收敛值，它的收敛值 (8.1.17)为为所所求求的的极极大大似似然然估估计计。式式(8.1.16)中中对对数数似似然然函函数数的的二二二二阶阶阶阶导导导导数数数数矩矩矩矩阵阵阵阵 2 2lnlnL L/被被被被称称称称为为为为海海海海塞塞塞塞(Hessian)(Hessian)矩矩矩矩阵阵阵阵，而而对对数数似似然然函函数数的的一一一一阶阶阶阶导导导导数数数数 lnlnL L/被被被被称称称称为为为为得得得得分分分分向向向向量量量量或或或或JacobianJacobian向向向向量量量量。计计算算式式(8.1.16)中中的的海海塞塞(Hessian)矩矩阵阵的的逆逆矩矩阵阵，计计算算量量是是很很大大的的。计计算算式式(8.1.16)的的方方法法有有多多种种，近近似似的的方方法法可可节节省省时时间间但但缺缺少少严严密密性性，而而严严密密的的方方法法又又有有计计算算时时间间长长的的缺缺点点。实实际际应应用用中中要要根根据据所所用用计计算算机机的的功功能能选选择择适适当当的的方方法。法。42现在学习的是第42页，共83页 1.1.解析导数解析导数解析导数解析导数 默默认认情情形形下下，当当极极大大化化似似然然函函数数和和形形成成标标准准差差的的估估计计时时，EViews计计算算似似然然函函数数关关于于参参数数的的数数值值微微分分。也也可可以以用用deriv语语句句为为一个或多个导数指定解析表达式，该语句格式为：一个或多个导数指定解析表达式，该语句格式为：deriv pname1 sname1 pname2 sname2.deriv pname1 sname1 pname2 sname2.这里这里pname是模型中的一个参数名称，而是模型中的一个参数名称，而sname是由模型产生的是由模型产生的对应的导数序列的名称。对应的导数序列的名称。例如例如 deriv c(1)grad1 c(2)grad2 c(3)grad3 grad1=xa/d grad2=grad1*x1 grad3=grad2*x2 43现在学习的是第43页，共83页 2.2.导数步长导数步长导数步长导数步长 如如果果模模型型的的参参数数没没有有指指定定解解析析微微分分，EViews将将用用数数值值方方法法来来计计算算似似然然函函数数关关于于这这些些参参数数的的导导数数。在在计计算算导导数数时时的的步步长长由由两两个个参参数数控控制制：r r (相相相相对对对对步步步步长长长长)和和和和 mm（最最最最小小小小步步步步长长长长）。用用(i)表表示示参参数数 在在第第 i 次迭代时的值，那么在第次迭代时的值，那么在第 i+1 次迭代时的步长由下式定义：次迭代时的步长由下式定义：双侧数值微分双侧数值微分双侧数值微分双侧数值微分被定义为：被定义为：44现在学习的是第44页，共83页而而单侧数值微分单侧数值微分单侧数值微分单侧数值微分则由下式计算：则由下式计算：(8.19)这这里里 logL 是是似似然然函函数数。双双侧侧导导数数更更加加精精确确，但但它它要要对对似似然然函函数数进进行行的计算量大概是单侧导数的两倍，运行时间上也是如此。的计算量大概是单侧导数的两倍，运行时间上也是如此。45现在学习的是第45页，共83页 derivstep可可以以用用来来控控制制步步长长和和在在每每次次迭迭代代时时计计算算导导数数的的方方法法。关关键键字字derivstep后后面面必必须须设设置置三三项项：参参数数名名（或或用用关关键键字字all代代替替）；相相对对步步长长；最最小小步步长长。默默认认设设置置（近近似的）为：似的）为：derivstep(1)all 1.49e-8 1e-10derivstep(1)all 1.49e-8 1e-10 这里括弧里的这里括弧里的“”表示用的是单侧导数，而表示用的是单侧导数，而all关键字表关键字表示设置的步长适用于所有参数。示设置的步长适用于所有参数。all后面第一个数值是相对后面第一个数值是相对步长，第二个数值是最小步长。默认的相对步长为步长，第二个数值是最小步长。默认的相对步长为r1.49 10-8，而最小步长为，而最小步长为 m10-10。46现在学习的是第46页，共83页8.1.5 8.1.5 估估估估 计计计计 一一旦旦定定义义了了一一个个似似然然对对象象，可可以以用用EViews来来寻寻找找使使得得似似然然函函数数取取极极大大值值的的参参数数值。只需在似然窗口工具栏中单击值。只需在似然窗口工具栏中单击Estimate就可以打开估计对话框。就可以打开估计对话框。在这个对话框里有许多用来控制估计过程不同方面的选项。大多数问题使用默认设置在这个对话框里有许多用来控制估计过程不同方面的选项。大多数问题使用默认设置就可以。单击就可以。单击OK，EViews将用当前的设置开始估计。将用当前的设置开始估计。47现在学习的是第47页，共83页 1 1初值初值初值初值 由由于于EViews使使用用迭迭代代法法来来求求极极大大似似然然估估计计，初初值值的的选选择择就就显显得得非非常常重重要要了了。对对于于似似然然函函数数只只有有一一个个极极大大值值的的问问题题，只只是是经经过过多多少少次次迭迭代代使使估估计计收收敛敛的的问问题题。对对于于那那些些多多个个极极大大值值的的似似然然函函数数所所面面临临的的问问题题是是决决定定选选择择极极大大值值中中哪哪一一个个。在在某某些些情情况况下下，如如果果不不给给出出合合理理的的初初值值，EViews将将无无法法作作出出估估计。计。默默认认情情况况下下，EViews使使用用存存储储在在系系数数向向量量的的值值。如如果果在在说明中用了说明中用了param语句，那么就用语句指定的值来代替。语句，那么就用语句指定的值来代替。48现在学习的是第48页，共83页 在在前前述述的的例例子子中中，为为均均值值方方程程系系数数赋赋初初值值的的一一个个方方法法是是简简单单的的OLS法法，这这是是因因为为即即使使在在异异方方差差性性（有有界界）存存在在的的条条件件下下，OLS也也提提供供了了一一致致的的点点估估计计。为为了了用用OLS估估计计值值作作为为初初值值，首首先先要要估估计计OLS方程：方程：y c x z 在在对对这这个个方方程程进进行行估估计计后后，C系系数数向向量量中中的的元元素素c(1)，c(2)，c(3)将包含将包含OLS估计的结果。估计的结果。49现在学习的是第49页，共83页 要要设设置置c(4)表表示示OLS估估计计的的残残差差方方差差，可可以以在在命命令令窗窗口口中中输输入入下下面的赋值语句：面的赋值语句：c(4)=eq1.se2。可选择地，可以利用简单的赋值语句任意设置参数值：可选择地，可以利用简单的赋值语句任意设置参数值：c(4)=0.005 如如果果在在执执行行了了OLS估估计计及及其其后后面面的的命命令令后后马马上上估估计计logl模模型型的的话话，那那么将用设置在么将用设置在C向量里的值作为初值。向量里的值作为初值。象象上上面面提提到到的的那那样样，将将参参数数初初始始值值赋赋值值为为已已知知值值的的另另一一种种方方法法是是在在似似然然模模型型说说明明中中加加入入param语语句句。例例如如，如如果果在在logl的的说说明明中中加加入入了了下下面面的的行行:param c(1)0.1 c(2)0.1 c(3)0.1 c(4)0.005 那那么么EViews会会将将初初值值设设置置为为:c(1)=c(2)=c(3)=0.1，c(4)=0.005。50现在学习的是第50页，共83页 2 2估计样本估计样本估计样本估计样本 在在估估计计对对数数似似然然函函数数的的参参数数时时，EViews就就在在Estimation对对话话框框里里指指定定了了将将使使用用的的观观测测值值的的样样本本。EViews在在当当前前参参数数