时间序列分析-第六章ARMA模型的参数估计.ppt

《时间序列分析-第六章ARMA模型的参数估计.ppt》由会员分享，可在线阅读，更多相关《时间序列分析-第六章ARMA模型的参数估计.ppt（205页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章第六章 ARMAARMA模型的参数估计模型的参数估计n第一节 AR(p)模型的参数估计n第二节 MA(q)模型的参数估计n第三节 ARMA(p,q)模型的参数估计n第四节 求和模型及季节模型的参数估计 第一节第一节.AR(p).AR(p)模型的参数估计模型的参数估计n目的：为观测数据建立AR(p)模型 (1.1)假定自回归阶数p已知，考虑回归系数 和零均值白噪声 的方差 的估计。n数据 的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值 再对序列按(1.1)式的拟合方法进行拟合。n假定数据 适合于以下模型 (1.2)其中，p为给定的非负整数，为未知参数，记 为系数

2、参数，为独立同分布序列，且 ，与 独立，参数满足平稳性条件。A.AR(p)A.AR(p)模型参数的模型参数的Yule-WalkerYule-Walker估计估计n对于AR(p)模型，自回归系数 由AR(p)序列的自协方差函数 通过Yule-Walker方程 唯一决定，白噪声方差 由 决定。nAR(p)模型的自回归系数和白噪声方差的矩估计 就由样本Yule-Walker方程 (1.3)和 (1.4)决定。n令 则(1.3),(1.4)式可写为 n实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法 递推最后得到矩估计上式是由求偏相关函数的公式：导出。n定理1.1 如果AR

3、(p)模型中的 是独立同分布的 ，则当 时(1)(2)依分布收敛到p维正态分 布 。n注：用 表示 的第 元素时，可知 依分布收敛到 ，于是 的95%的渐近置信区间是 在实际问题中，未知，可用 的 元素 代替 ，得到 的近似置信区间 B.AR(p)B.AR(p)模型参数的最小二乘估计模型参数的最小二乘估计n如果 是自回归系数 的估计，白噪声 的估计定义为 通常 为残差。n我们把能使 (1.6)达到极小值的 称为 的最小二乘估计。n记 则 ，于是 的最小二乘估计为 即 n相应地，白噪声方差 的最小二乘估计 式中 为 的p个分量。n定理1.2 设AR(p)模型中的白噪声 是独立同分布的，是自回归系

4、数 的最小二乘估计，则当 时，依分布收敛到p维正态分布 n注：对于较大的n，最小二乘估计和矩估计(Yule-Walker)估计的差别不大。C.AR(P)C.AR(P)模型的极大似然估计模型的极大似然估计n假定模型AR(p)中的 为正态分布，则观测向量 的高斯似然函数为 相应的对数似然函数为 其中，为 的协方差阵，表示 的行列式，使得对数似然函数达到极大值的 和 称为 和 的极大似然估计。n从另一角度考虑：n注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-Walker估计)三者都非常接近，即三者渐近相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模

5、型的独有的优点。n例1.1.由下列AR(1)序列产生长度为n=300的样本，计算出前5个样本自协方差函数值为求参数的矩估计和最小二乘估计。(1)参数 的矩估计 分别为将样本自协方差函数值代入得(2)参数 的最小二乘估计 分别为 n例1.2 求AR(2)模型 参数 的估计，这里n=300,(1)AR(2)模型的矩估计为 计算出的前5个样本协方差函数值为将其值代入上式得：(2)最小二乘估计 n注：一般在求高阶AR(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出 即为 的矩估计，将它们代入 的表达式可得 。D.AR(p)D.AR(p)模型的定阶模型的定阶1.1.偏相

6、关函数的分析方法偏相关函数的分析方法n一个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。n如果 p步截尾：当 时，；而 ，就以 作为p的估计。n定理1.3 设 由 定义，如果AR(p)模型中的白噪声是独立同分布的，则对确定的kp,当 时，依分布收敛到k维正态分布 。n推论：在定理1.3的条件下，对kp,依分布收敛到标准正态分布N(0,1)。n根据推论，对于AR(p)序列和kp，当样本量n比较大时，以近似于0.95的概率落在区间 之内。于是对于某个固定的k，以 作为p的估计。n或者根据推论有如下的检验方法：对于某个正整数p,显著地异于零，而 近似等于零,其满足 (或 )的个数占 的

7、比例近似地为68.3%(或95.5%),则近似地认为 在p步截尾，初步判定为AR(p)。n例1.3（例1.1续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状，而从15个偏相关函数来看,除 显著异于零之外，其余14个中绝对值不大于 的有10个，于是结论：初步判定为AR(1)模型。n前15个样本偏相关函数 n例1.4（例1.2续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状，而从15个偏相关函数来看，除 显著异于零之外，其余14个中绝对值不大于 的有9个,于是结论：初步判定为AR(2)模型。n前15

8、个样本偏相关函数 2.2.AICAIC准则方法准则方法(A-Information Criterion)A-Information Criterion)n为了使拟合残差平方和 尽量小，而又不至于引入过多的虚假参数的估计，Akaike于1973年引入如下的准则函数，假定已有阶数p的上阶 ，AIC(k)的最小值点 (若不唯一，应取小的)称为AR(p)模型的AIC定阶，即 n具体步骤：1.取定p=k时，根据数据 使用前一小节所提的任何一种参数的估计方法，给出噪声方差 的估计 ；2.再找出AIC取极小值时，所对应的阶数p.n注：AIC定阶并不相合，AIC定阶通常会对阶数略有高估。故在应用中，当样本量不

9、是很大时，使用AIC定阶方法。n为了克服AIC定阶的不相合性，可使用BIC准则方法。设 为AR序列，则BIC准则函数为 将此准则函数达到最小值的解 作为p的估计，就是BIC准则方法。n注：1.理论上已证明BIC准则的定阶具有相合性。2.当n不是很大时，用BIC定阶有时会低估阶数p，造成模型的较大失真，故在实际问题中，特别当样本量不是很大时,BIC的定阶效果并不如AIC定阶准则。n例1.5（例1.1续）n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10，对p=1,2,10分别解Yule-Walker方程得到 的Yuler-Walker估计，再对p=1,2,10分别计算出AIC和BI

10、C函数，计算结果如下：p12345AIC(p)2.98392.99393.00383.00023.0050BIC(p)2.99963.02523.05083.06293.0834 结果：AIC(1)和BIC(1)分别是AIC和BIC函数的最小值。结论：由AIC和BIC定阶可知阶数p=1.p678910AIC(P)3.0110 3.01733.02663.02833.0308BIC(P)3.10513.12713.15203.16943.1876 nAIC函数图 nBIC函数图 n例1.6（例1.2续）n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10,对p=1,2,10分别求出

11、的估计，再对p=1,2,10，计算AIC和BIC函数，计算结果如下：p12345AIC(p)2.84702.72772.73682.72812.7377BIC(p)2.86272.75912.78382.79382.8161 结果：AIC(2)和BIC(2)分别是AIC和BIC函数的最小值。结论：由AIC和BIC定阶可知阶数p=2。p678910AIC(p)2.74652.75672.75922.76272.7688BIC(p)2.84062.86652.88462.90382.9256 nAICAIC函数图函数图 nBIC函数图 n例1.7：独立重复1000次实验，每次产生符合模型AR(4)

12、的300个观测，得到AIC和BIC定阶情况如下：12345678910AIC定阶052256741136129211411BIC定阶145559476720000 n在1000次模拟计算中AIC将阶数定为4的有674次，而BIC阶数定为4的有476次。BIC定阶对阶数低估的比率为51.5%n增大样本量n=1000，获得如下结果：12345678910AIC定阶0007391244537251218BIC定阶041990500000 nAIC定出的平均阶数是Avc(AIC)=4.593，BIC定出的平均阶数是Avc(BIC)=3.996，故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶。E

13、.E.拟合模型的检验拟合模型的检验 现有数据 ，欲判断它们是否符合以下模型式中 被假定为独立序列,且 与 独立。n原假设 ：数据 符合AR(p)。故在 成立时，下列序列 为独立序列 的一段样本值序列。n步骤：1.首先，根据公式 计算出残差的样本自相关函数，2.利用上一章关于独立序列的判别方法，判断 是否为独立序列的样本值3.根据判断结果，如果接受它们为独立序列的样本值，则接受原假设，即接受 符合AR(p),否则，应当考虑采用新的模型拟合原始数据序列。n例1.8（例1.5续）拟合后，给出残差头15个数据，有11个落在之间，故不能否定原假设，即 符合AR(1)模型。n残差的图形 n残差的自相关函数

14、 n例1.9（例1.6续）拟合后，给出残差头15个数据，有15个落在 之间，故不能否定原假设，即 符合AR(2)模型。n残差的图形 n残差的自相关函数 第二节第二节 滑动平均模型拟合滑动平均模型拟合n对于已给的时间序列数据 ，用MA(q)式的滑动平均模型去拟合它们，称为滑动平均模型拟合。n滑动平均模型拟合主要包括：(1)判断滑动平均模型MA的阶数；(2)估计模型的参数；(3)对拟合模型进行检验。一一.参数估计参数估计n假定数据序列 适合以下模型 (2.1)其中 为独立同分布的序列,且 ,q为给定的非负整数，为未知参数，并满足可逆性条件。1.1.参数的矩估计方法参数的矩估计方法nMA(q)序列的

15、自协方差函数与MA(q)的模型参数有如下公式：故，和 的矩估计 和 ，为 (2.2)(1)(1)解析法解析法n对于阶数较低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。n对于MA(1)模型：,和 满足 可得 和 的矩估计分别为 n例4.11 由MA(1)模型产生长度n=300的样本，计算出前两个样本自协方差函数值 ,由上述讨论 n对于MA(2)模型：,其中 满足 可得 的估计为:当 时 当 时，从而可得，n例4.12 求MA(2)模型的n=950的样本的参数 的矩估计。解：已知前三项的样本自相关函数分别为使用上述公式，可得到如下估计值(2).(2).线性迭代算法线性迭代算法n

16、将(2.2)式表示为 (2.3)在可逆域内，给定 的初值,代入(2.3)式右边，得到一步迭代值 ，再将它们代入(2.3)式右边，得出(2.3)式左边的第二不迭代值 ，同法重复直到某步 ，设有精度 ,当同时成立时，就停止迭代（否则继续迭代下去），以 作为 的矩估计。(3)(3)Newton-Raphson Newton-Raphson 算法算法n优点：方法简便、收敛速度快n缺点：使用该算法得到的解 不能保证满足属于可逆域，需要采用调整方法才可做到。详见时间序列的分析与应用或应用时间序列分析。2.2.极大似然估计极大似然估计n若(2.1)中，为正态分布，则 服从 分布，其中 是 的协方差矩阵。于是

17、有似然函数：其中，。使似然函数达到极大值之解的 和 ，即为 和 的极大似然估计。n近似极大似然估计方法：假定(2.1)式中的初值 给定，不妨设为零值。则由(2.1)式和数据 可以求出 (2.4)于是可得到如下近似似然函数为：(2.5)记 由(2.5)式决定的近似极大似然估计 和 满足以下方程于是 为以下方程的解而 3.3.自回归逼近方法自回归逼近方法n原理：可逆的MA(q)模型有逆转形式 模型，且逆转形式中的无穷阶自回归系数满足以指数衰减到零的趋势，故一个可逆的MA模型可用适当高阶的AR模型近似。n用一个高阶的AR模型拟合一个较低的MA序列称为自回归逼近拟合方法。n步骤：1.对原始数据 进行自

18、回归模型拟合。可用AIC定阶，求参数的Yule-Walker估计，在进行检验；或直接拟合AR(p)模型。其中，当n不太大时，取 ；当n很大时，取 。将拟合后模型记为 (2.6)2.利用(2.6)式，计算拟合残差：于是(2.1)式的模型可近似写为 记 (2.7)于是，(2.7)可简记为故，和 的最小二乘估计分别为和n优点：不涉及非线性代数方程，易于实际应用。二二.阶数的估计阶数的估计1.1.自相关函数估计方法自相关函数估计方法n依据：一个平稳序列为MA(q)序列的充要条件是它的自协方差函数q步截尾。对于MA(q)模型，当kq，n充分大时，的分布渐近正态 ，于是当kq，n充分大时，下列等式近似成立

19、 n方法：对于每一个正整数q,计算样本自相关函数(M一般取为 左右),考察其中满足 的个数是否占M的68.3%(或95.5%)左右,如取某 显著地异于零，而 近似等于零，并满足上述不等式的个数达到了68.3%(或95.5%)左右比例，则初步认为 在 步截尾，初步判定为 n例2.3 设 为MA(1)序列：由它产生长度为n=300样本值 ，计算出前17个样本自相关函数为 ，计算出：2.2.AICAIC准则定阶方法准则定阶方法n给出模型阶数q的上界 ，对于 按前述的方法逐个拟合MA(m)模型。并给出白噪声方差 的估计量 ，定义AIC函数其中，n是样本个数，AIC(m)的最小值点(如不唯一，应取小的)

20、称为MA(q)模型的AIC定阶。n例2.3的定阶问题，使用AIC准则，有q123456AIC2.8852.8912.8982.9022.8952.901 三三.拟合模型的检验拟合模型的检验n如果一段时间序列数据 符合(2.1)式，则当给定初始值 ，由(2.2)式计算出 ，它应当是独立序列 的一段样本值。故检验问题就转化为检验 是否为独立序列的一段样本值的问题n方法：检验和正态检验。四四.建模例题：建模例题：产生模型 的n=300个样本数据，建立模型。(1)求出样本均值、样本自协方差函数、样本自相关函数 n样本自相关函数(2)观察样本自相关函数为1步结尾，或使用前述的两种定阶方法，初步判定MA(

21、1)(3)使用第二小节的矩估计的解析方法可得(4)检验：给出我们使用 检验，给出 ，计算出 n 取值图 第三节第三节 ARMAARMA模型的拟合模型的拟合n根据数据序列 ，拟合以下ARMA(p,q)模型：(3.1)其中，为独立同分布的序列，且 对一切st成立，参数和 满足平稳性和可逆性条件，且 与无公共根。一一.模型参数的估计模型参数的估计1.1.矩估计方法矩估计方法步骤1.的矩估计 ，满足如下方程：(3.2)其中，由(1.19)可知p元线性方程组。记于是(3.2)可简写为若 满秩，则 (3.3)步骤2.和 满足以下的方程式 (3.4)式中其中，(3.4)式关于 的非线性代数方程组。当q=1,

22、2可求出 显示解，当 ，可用数值解法。2.2.近似极大似然估计方法近似极大似然估计方法n方法:取初始值 对于任意给定的一组参数 ,由(3.1)迭代算出相应值，即 (3.5)定义关于 的函数则，近似似然函数为 使得上式取到极大值的 ，称它们为 的近似极大似然估计，也称最小平方和估计。当q=0，上述极值问题简化为Yule-Walker估计。当p=0，上述极值问题与第三节的近似极大似然估计方法一致。(3.1)式中的 的估计为 3.3.自回归逼近方法自回归逼近方法n基本思路：(1)为数据 建立AR模型，取自回归阶数的上界 ，采用AIC定阶方法得到AR模型的阶数估计P和自回归系数 的估计.。(2)计算残

23、差 写出近似的ARMA(p,q)模型 (3)对目标函数 (2.6)极小化,得到最小二乘估计 ,的最小二乘估计由下式定义 n具体算法定义：则目标函数(2.6)可写成，可解出最小二乘估计为相应地，的估计为 二二.模型阶数的估计模型阶数的估计1.相关分析法用于ARMA模型的定阶n方法：(1)给定初值 (一般取初值为零)将 的估计代入(3.2)递推得到残差估计 (2)作假设检验 来自于白噪声序列长度为n的样本。不是白噪声序列的长度为n的样本。令检验 等价于检验 是否来自于N(0,1)总体的k个独立抽样问题。a.检验 的绝对值是否有68.3%左右小于1.b.检验法：在 成立条件下，当n充分大时，是k个相

24、互独立N(0,1)随机变量，则 服从自由度为k的中心 分布，则以显著水平为 的否定域为 2.AIC准则方法n给定ARMA模型阶数的上界 和 。对于每一对(k,j)，,计算AIC函数取 ，使 此时称 为ARMA模型的阶的估计，其中 一般取 或 中的整数。n具有相合性的定阶准则BIC,使上式达最小的 为ARMA模型的阶。中的整数。三三.拟合模型的检验拟合模型的检验nARMA模型的检验是检验其拟合残差序列是否为独立序列。n方法：取初值计算 的样本值，即 检验 是否为独立序列的样本值。四四.例子：例子：kejian2kejian2由计算机产生模拟时间序列数据 。(1)计算出样本均值、自相关函数、自协方

25、差函数和偏相关函数 n样本自相关函数 n样本偏相关函数(2)取定阶数 由AIC准则：p=q=1(3)估计参数：(4)检验 结论：数据符合ARMA(1,1)模型。n 第四节第四节 求和模型与季节模型求和模型与季节模型 的处理方法的处理方法一一.求和模型求和模型ARIMAARIMA的识别与拟合的识别与拟合1.求和模型的识别方法n方法一 直接观察数据图形的方法：根据数据 画出数据曲线图，通过观察曲 线的形状，可初步判别是否需要拟合求和模型。n例：数据1 n数据2 n数据3 n数据4 n方法二.数据样本自相关函数分析法：当序列含有趋势项时，序列的样本自相关函数 的尾部不衰减到零值，特别地，所含趋势项为

26、多项式时，将近似于常数为1的序列。n例：序列1 n样本自相关函数：n序列2 n序列2样本自相关函数 n序列3 n序列3的样本自相关函数 n另外，还可从数据的来源判断使用求和模型的合理性。2.2.判断求和模型判断求和模型ARIMA(p,d,q)ARIMA(p,d,q)的阶数的阶数d dn对ARIMA(p,d,q)模型的研究焦点是对差分阶数d的判别。nd的判别方法：(1)用动态数据 的实际背景来确定。若数据围绕着某条曲线变化，而此曲线是近似线性的，则判断差分阶数d=1,若此曲线可由二次多项式近似，则判断阶数d=2,一般地，若该曲线可由d次t的多项式逼近，则可对原序列 作d次差分 ，而 可按平稳序列

27、建模。(2)采用数据处理的方法：对原动态数据 分别作j次差分，连同原数据共有D+1套 动态数据，然后对每套数据求出样本自相关函数和样本 偏相关函数为 ,综合分析它 们的截尾性或拖尾性，最后判定为何种模型，再建立相 应的模型。2.2.求和模型的拟合求和模型的拟合n步骤1：判断p值，对原数据进行d次差分运算，即 (4.1)例：当d=2时，为 的二次差分序列，即，n步骤2：根据差分后的数据序列 按照前几节的方法，拟合AR、MA、ARMA模型，包括模型参数的估计以及对阶数p,q的估计，即 (4.2)结合(4.1)和(4.2)，得到ARIMA(p,d,q)的拟合模型为，(4.3)n步骤3：对拟合求和模型

28、 的检验：即是检验 是否符合(4.2)的模型，亦是对拟合后的残差进行白噪声检验.n步骤3：对拟合求和模型 的检验：即是检验 是否符合(4.2)的模型，亦是 对拟合后的残差进行白噪声检验。n例：某国1960年至1993年GNP平减指数的季度时间序列。要求对序列进行模型识别。(sample12)n n第一步：判断差分阶数d=1,对数据 进行一阶差分 n第二步：对差分后序列进行ARMA模型拟合。观察样本自相关函数和偏相关函数，初步判断为AR模型。使用AIC定阶准则和最小二乘估计方法。判断阶数p=2,即 n拟合后的残差图 n第三步：拟合模型的检验：采用正态检验，n于是，拟合模型为：二二.季节模型的识别

29、与拟合季节模型的识别与拟合n季节ARMA模型：其中T是周期，是某个ARMA(p,q)模型的特征多项式，实际问题中T经常的取值是4，7或12。星期一二三四五六日一周二周n+1周 上述表中的每一列都可以看成一个时间序列，将数据(4.5)的第j列零均值化 (4.6)其中 (4.7)首先，用数据(4.6)建立模型：(4.8)其中 在相隔T步上为白噪声序列，而相隔小于T步时是相关的，即其次，仍为平稳序列，故需对 建立ARMA(p,q)模型，(4.9)其中 对季节内外为白噪声序列，将(4.9)代入(4.8),得到季节ARMA 模型，(4.10)n季节模型(4.10)实际上是一个ARMA(p+7P，q+7Q

30、)模型，只是其中又很多的系数是零。季节模型的拟合方法：第一步：设 是数据 的样本自协方差函数，利用 拟合一个 模型：要求这个模型通过模型检验；第二步：利用 拟合一个 模型：要求这个模型通过模型检验。于是，n为了得到更精确的估计，可将模型看作疏系数的ARMA模型，使用前几节的ARMA模型参数的极大似然估计方法或最小二乘估计法估计模型(4.10)中的参数。n 例：北京市1990.1-2000.12气温数据（sample6）n差分运算 n观察序列tempx1的样本自相关函数和偏相关函数，建模ls tempx ar(1)ar(2)ma(1)ma(2)sar(12)sma(12)n残差检验 三三.乘积模

31、型的拟合乘积模型的拟合n如果时间序列既具有趋势项又具有周期项，需采用乘积模型来拟合。在上例中如果每一列的数据需要经过差分后才能进行季节ARMA模型的拟合，模型将改写为，称之为乘积模型 .n实际问题中，d和D的取值一般很小，例如：D=0或1。季节模型 实际上是一个乘积模型 。n 一种简单的乘积模型：(4.11)其中T为某一正整数，表示周期。为某一平稳可逆的ARMA(p,q)序列。(1)(1)模型的拟合模型的拟合 在T和D已知时，首先对 进行差分变换 (4.12)其中，满足故，只需对 拟合形如(4.1)的求和模型，就可得到模型(4.11)的参数估计。(2)T2)T和和D D的取值判断的取值判断 a

32、.T表示周期，它有较明显的物理背景，可根据数据的实际背景确定T的大小 b.D的确定，可使用逐步尝试的方法。即对D=1,2逐一尝试，并拟合(4.11),若模型检验通过，则确定该值为D的取值。n例：航空客流量数据。n数据的预处理：(1)xx=log(x)(2)cx=xx-5.542193 n模型的建立：对数据cx:n对数据dcx进行一次差分运算 n对数据ddcx建立模型：使用最小二乘估计方法，得到ls ddcx ma(1)ma(2)ma(3)n模型的残差检验：n结论：客流量的模型为 n另一种方法建模：观察序列ddcx的样本自相关函数和偏相关函数。ls d(log(x),1,12)ar(1)ar(2

33、)ar(3)ma(1)sar(12)sma(12)ls ddcx ar(1)ar(2)ar(3)ma(1)sar(12)sma(12)ls d(log(x),1,12)ar(1)ar(3)ma(1)sar(12)sma(12)ls d(log(x),1,12)ar(3)ma(1)sar(12)sma(12)ls d(log(x),1,12)ar(3)ma(1)sar(12)sma(12)1.设 为零均值平稳序列，由它的长度为N=100的样本算得样本自相关函数 及样本偏相关函数 的前6个数值如下又知 ，试求：(1)为哪种模型，并说明理由。(2)对模型参数和白噪声方差给出矩估计。(3)判断所建立的

34、模型是否具有平稳性（或可逆性），并给出模型的传递形式（或逆转形式）k123456-0.8000.670-0.1580.390-0.3100.221-0.8000.0850.112-0.046-0.0610.038 2.全国城镇居民储蓄额年数据序列 的建模。下表给出1952年至1991年储蓄额年数据(亿元)8.612.214.316.922.427.925.147.351.139.231.435.644.852.357.759.862.361.064.573.385.194.1105.8114.6122.2135.1154.9202.6282.5354.1447.3572.6776.61057.

35、81471.52067.62659.23734.85192.66790.9 第五节第五节 疏系数自回归模型疏系数自回归模型 的处理方法的处理方法n疏系数自回归模型：(5.1)其中，为白噪声序列，且 ，为未知的正整数足标值，为未知参数。这里不假定任何平稳性条件成立。一一.参数估计参数估计n令其中 表示矩阵 的第s列矢量，它们的定义为 使用上述记号，(5.1)可简写为 (5.2）其中的P应比 大，但比样本长度n要小得多。于是，当 已知时，(5.2)式中参数的最小二乘估计为：二二.足标足标 的估计的估计n取定足标上界P,根据数据 拟合如下模型：(5.3)满足 条件的(5.3)共有 个，使用前述的最小

36、二乘估计法，获得这个疏系数自回归模型参数估计，继而得到 个 使用AIC准则：或BIC准则：求出：或从而确定 的估计。第六节第六节 回归与自回归混合模型回归与自回归混合模型 的处理方法的处理方法一一.并联形式混合回归模型的拟合方法并联形式混合回归模型的拟合方法 (6.1)(6.2)其中，为白噪声序列，且 ,参数 满足平稳性条件。为非随机的可观测的自变元。比如：它们可为多项式，三角函数等。n对(6.1)的统计分析可分为两种情况：一种是在(6.1)中残差项 的协方差阵给定的情况下，对回归系数 的统计分析；另一种是，已知 的模型具有AR形式，其阶数和参数未知，或阶数已知，而参数未知。1.1.模型回归系

37、数模型回归系数 的估计的估计n考虑如下形式的回归模型：(6.3)其中 为非随机的可观测的自变元，为未知的自回归系数矢量,为零均值的残差，并假定它的协方差阵已知，记为 。n令于是(6.3)的矩阵形式为 (6.4)(1)(1)模型参数模型参数 的最小二乘估计：的最小二乘估计：（6.5）n性质：(I)是 的无偏估计；(II)误差 其协方差阵为(2)(2)线性最小方差无偏估计线性最小方差无偏估计n线性最小方差无偏估计是线性无偏估计类中方差阵最小的估计，记 。它必须具备如下三个条件：线性性质：即 ，H H为矩阵；无偏性：即 ，等价于最小方差性：即对其他满足上述两条件的估计 都有，n经计算，线性最小方差无

38、偏估计 为 (6.6)且最小方差为 (6.7)(3)(3)两种估计的比较两种估计的比较(I)和 都是线性的，都是 的无偏估计；(II)的优点是在计算时不需要知道 的协方差阵。(III)线性最小方差无偏估计的优点是在不同的无偏估计中误差的方差最小。(IV)当 时,2.2.并联混合模型的分步识别方法并联混合模型的分步识别方法第一步：根据所给数据，由(6.5)给出 的最小二乘估计，即第二步：求出(6.2)的拟合残差序列，即将 视为 的样本值序列，用第一节方法对它们进行自回归拟合，包括对模型参数、阶数的估计，以及对拟合模型的检验。第三步 若检验通过，以此拟合模型作为对(6.2)式的拟合，连同上述对 的

39、估计 完成对(6.1),(6.2)的拟合。n例：产生模型：的n=500个样本值，拟合该时序数据。n模型的拟合：首先使用最小二乘估计方法对 进行传统的回归分析：n对回归后的残差进行自回归建模：n模型的检验：对拟合后的最终残差作白噪声检验，这里采用正态检验 16/20=80%n结论：拟合模型为：二二.串联形式混合模型的拟合方法串联形式混合模型的拟合方法 (6.8)令 n则(6.8)可简写为：(6.9)于是 的最小二乘估计为 (6.10)残差项 的方差 的估计为，n当(6.8)中的p未知时，可应用AIC准则确定适当的p值：p的估计 ，满足 n例：由序列 ,为标准正态白噪声，产生n=500个样本值，拟

40、合该数据 n采用最小二乘估计得到：n残差的检验：n结论：拟合的模型为 三.序列相关与ARMA模型1.序列相关理论与检验n涉及时间序列的回归模型，残差序列自相关较常见。n模型形式：(6.11)(6.12)其中，是t时刻所观测的解释变量向量；为随机扰动项，称为非条件残差；为改进的随机扰动项，称为一期提前(one-period-ahead)预测误差；是前期已知变量向量，可包括 的滞后项；为参数向量。n残差序列的自相关检验方法：1）.相关图与Q统计量 即检验序列任意滞后期的自相关和偏相关系数与0有无显著差异。2）.LM(Lagrange Multiplier)检验 该检验可对包含ARMA误差项的模型残

41、差序列进行高阶的自相关检验，并允许存在因变量的滞后项。检验假设为：其中，p=maxr,q 对(6.11)中的非条件残差建立辅助回归方程：(6.13)利用方程(6.13)的决定系数 构造LM检验统计量：其中，n是计算辅助回归时的样本数据的个数。在零假设下，LM统计量由渐进的 分布。对于给定的显著水平 和自由度p，如果 ，则拒绝原假设，即认为序列存在自相关，反之亦然。2.残差序列的ARMA模型n如果对某个线性回归模型残差序列进行LM检验，发现序列存在自相关，可考虑对残差序列建立ARMA模型。对非条件残差 可采用三种基本形式：1)AR(p)2)MA(q)3)ARMA(p,q)n例：建立GDP关于消费

42、()和投资()的线性回归模型：n对于非线性回归模型，只能够采用AR(p)形式对非条件残差建模，并且不能包含季节自回归与滑动平均项。例：建立Cobb-Douglas生产函数应在方程定义对话框输入补充：补充：ARMA(p,q)ARMA(p,q)阶数判定的方法阶数判定的方法 -推广样本自相关函数法推广样本自相关函数法n基本思路：首先，观察样本自相关函数和样本偏相关函数是否有截尾性。若均无，则将原序列拟合AR(1)模型后,观察其残差序列的样本自相关函数是否截尾，若 步截尾，则原序列为 ,否则，再拟合AR(2)后，观其残差序列的样本自相关函数，若 步截尾，则原序列为 ，否则再增大p的阶数，重复上述步骤，

43、直至得到样本的残差序列截尾为止。一.推广的自相关函数(extended ACF)n考虑ARMA(1,1)模型：我们定义 为下式的解和过程于是对ARMA(1,1)有总之：n考虑ARMA(1,2)模型：我们定义 为下式的解和过程于是对ARMA(1,2)有 n考虑ARMA(1,q)模型：于是对ARMA(1,q)我们有 n定义 为 的第 个自相关函数如果模型为ARMA(1,1)，则 如果模型为ARMA(1,2)，则 一般地，ARMA(1,q)模型，有 称之为1阶推广的自相关函数(1ST EACF)n考虑ARMA(2,q)模型：我们有：我们定义 为下式的解和过程于是对ARMA(2,q)有 n定义 为 的

44、第 q 个自相关函数，我们有称之为2阶推广的自相关函数(2st EACF)n对于第m阶推广的自相关函数，我们定义 为下式的解 和过程 n定义 为 的第 个自相关函数，我们有称之为m阶推广的自相关函数 二 根据根据EACF定阶定阶n 我们得到如下推广自相关函数n注意到，对于ARMA(p,q)模型，我们有 这就构成一个三角形式。AR MA012340123 n例如，对ARMA(1,1)模型其渐近EACF可形成零三角阵n其顶点正对(1,1)位置，通常对ARMA(p，q)过程，其零三角阵的顶点正对(p,q)位置。AR MA012340XXXXX1X00002XX0003XXX004XXXX0 三.平稳

45、过程 的EACF的步骤：(1)使用最小二乘估计方法计算出 的相合估计(2)给出序列 (3)计算出 nEACF的迭代回归算法：(1)使用最小二乘法拟合模型：算出 的最小二乘估计为 给出残差：(2)使用最小二乘法拟合模型：得到 给出残差：(3)使用最小二乘法拟合模型：得到 给出残差：重复上述过程得到 一阶EACF.对二阶EACF 的计算：拟合对m阶ESACF的计算：拟合 n例：样本量n=900的时序，使用推广的样本自相关函数法判断模型的阶数。AR MA0123456780-0.113-0.124-0.070-0.036-0.0700.071-0.007-0.0010.0071-0.015-0.030-0.0040.002-0.0480.0290.009-0.008-0.0022-0.0180.0060.008-0.001-0.0640.019-0.0130.0200.0463-0.0080.0020.025-0.002-0.036-0.003-0.0410.0000.0494-0.0090.002-0.001-0.042-0.055-0.065-0.073-0.0190.002 n故判定为ARMA(1,1)模型。AR MA01234567890XXXXXXXXXX1X0000000002000000000030000000000