经济时间序列分析 原理篇 第六章 统计建模-版本201410.pdf
第六章第六章 统计建模统计建模 1.K-L 信息量信息量 设是总体Nyyy,21Y的一组样本。假设Y是连续的，其概率密度函数为。这个我们称之为数据的真实模型。yg ygNyyy,21 yg通常是不知道的。这里所说的统计建模，就是用一个已知的函数 yf去逼近未知的。这就引出两个问题，一是怎样估计 yg yf的参数以得到一个好的逼近。二是如果有多个逼近,1,ifyi yfm怎样判断其中哪一个是最好的。为解决这两个问题，首先要解决如何度量对的逼近程度这个问题。我们采用所谓的 K-L 信息量解决问题，它的定义是 yg dyygyfygyfygEfgIYloglog,K-L 信息量有如下性质。性质性质 1 0,fgI性质性质 2 yfygfgI 0,所以我们用去逼近，就要求 yf ygfgI,越小越好。例 设真的分布服从正态分布 yg2,N，我们用 yf来逼近。服从正态分布 yg yf2,N。这时 22222exp21,|yyg 22222exp21,|yyf 2222221loglog2g yyyfy 1 222222222221log21log21log,yEyEyfygEfgIYYY 如果，yg1,0N yf25.1,1.0N，那么 0393992.05.11.015.1log,fgI。2K-L 信息量与最大似然估计信息量与最大似然估计 在实际应用中，是未知的。我们得到的只是样本。所以我们要考察如何基于K-L信息量用 ygNyyy,21 yf逼近 yg。首先K-L信息量可以分解成2项，即 YfEygEdyygyfdyygygdyygyfygfgIYYlogloglogloglog,上式的第一项是常数，所以要使K-L信息量取最小值，只要使取最大值即可。然而 YfEYlog dyygyfyfEYloglog 而是未知的。但是根据大数定律 yg 11loglog,NnYnfyEf YNN 所以我们可以用来代替Nnnyf1log YfEYlog，要求取最大值。Nnnyf1log对给定的观测样本，我们称 Nyyy,21Nnnyfl1log 为对数似然度，称 1NnnLfy 2为自然度。当可由用参数向量 yf来刻画是，记 yf为|yf，这时似然度即为的函数为 Nnnyfl1|log 或 1|NnnLfy 我们称它们为对数似然函数或似然函数。所以在模型可以用带参数的函数来逼近时，使信息量最小的方法相当于使似然函数取最大值的极大似然法。-K L 3.最大似然估计的数值求解方法最大似然估计的数值求解方法 从理论上讲利用最大似然法估计参数的方法如下 第第 1 步步 确定模型的概率密度函数 yf和要估计的参数，做似然函数 L或对数似然函数 l 第第 2 步步 设m,21，求似然函数对参数的偏导数，即 12,mLLL 或 12,mlll 第第 3 步步 令各偏导数为零，得到一组方程组 00021mLLL （4-1）或 3 00021mlll （4-2）求解方程组，得解 221,并将这个解作为参数 m,21 的估计，即 mm,2121 然而，在实际中似然函数往往很复杂。偏导数 mLLL,21 mlll,21 也很复杂。所以除了特殊例子外一般都用利用数值计算的方法来求解。一般使用牛顿-拉普松法来求解方程组（4-1）或（4-2）。但这个方法要计算偏导数。对于时间序列分析，似然函数很复杂，偏导数很难求，这时候我们就必须用差分来代替微分。4.AIC 信息量准则与模型选择信息量准则与模型选择 假设我们用最大似然法得到了真实模型的2个估计11|yf和22|yf。如果要判断哪个更好，一个直观的想法是，比较它们的似然函数的值的大小，这是因为 11loglog1,2NinYinfyEf YNiN 似然函数越大，logYiEf Y的值也越大。但这种想法是错误的，因为虽然1logNinnfyN趋于 ilogYEf Y，但它是log|YiEf Y的有偏估计。具体说，有 4NkYfEyfNYNnn|log|log11 这里k是参数向量中参数的个数。所以|logYfEY的估计应该是 NkyfNNnn1|log1 令 klAIC22 并称其为信息量，则 AICNkyfNNAICNnn1|log12 所以要|logYfEY最大就相当于要最小。要判别AIC11|yf和22|yf哪个更好，就要看哪个估计的最小。这就是信息量准则。AICAIC 5
