时间序列分析 ARMA模型的参数估计.pptx

《时间序列分析 ARMA模型的参数估计.pptx》由会员分享，可在线阅读，更多相关《时间序列分析 ARMA模型的参数估计.pptx（205页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第一节第一节.AR(p).AR(p)模型的参数估计模型的参数估计目的：为观测数据建立AR(p)模型 (1.1)假定自回归阶数p已知，考虑回归系数 和零均值白噪声 的方差 的估计。数据 的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值 再对序列按(1.1)式的拟合方法进行拟合。第1页/共205页 假定数据 适合于以下模型 (1.2)其中，p为给定的非负整数，为未知参数，记 为系数参数，为独立同分布序列，且 ，与 独立，参数满足平稳性条件。第2页/共205页 A.AR(p)A.AR(p)模型参数的模型参数的Yule-WalkerYule-Walker估计估计对于AR(p

2、)模型，自回归系数 由AR(p)序列的自协方差函数 通过Yule-Walker方程 唯一决定，白噪声方差 由 决定。第3页/共205页 AR(p)模型的自回归系数和白噪声方差的矩估计 就由样本Yule-Walker方程 (1.3)和 (1.4)决定。第4页/共205页 令 则(1.3),(1.4)式可写为第5页/共205页 实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法 递推最后得到矩估计第6页/共205页上式是由求偏相关函数的公式：导出。第7页/共205页 定理1.1 如果AR(p)模型中的 是独立同分布的 ，则当 时(1)(2)依分布收敛到p维正态分 布 。第

3、8页/共205页 注：用 表示 的第 元素时，可知 依分布收敛到 ，于是 的95%的渐近置信区间是 在实际问题中，未知，可用 的 元素 代替 ，得到 的近似置信区间第9页/共205页 B.AR(p)B.AR(p)模型参数的最小二乘估计模型参数的最小二乘估计如果 是自回归系数 的估计，白噪声 的估计定义为 通常 为残差。我们把能使 (1.6)达到极小值的 称为 的最小二乘估计。第10页/共205页 记 则 ，于是 的最小二乘估计为 即 第11页/共205页 相应地，白噪声方差 的最小二乘估计 式中 为 的p个分量。第12页/共205页 定理1.2 设AR(p)模型中的白噪声 是独立同分布的，是自

4、回归系数 的最小二乘估计，则当 时，依分布收敛到p维正态分布 注：对于较大的n，最小二乘估计和矩估计(Yule-Walker)估计的差别不大。第13页/共205页 第14页/共205页 C.AR(P)C.AR(P)模型的极大似然估计模型的极大似然估计假定模型AR(p)中的 为正态分布，则观测向量 的高斯似然函数为 相应的对数似然函数为 其中，为 的协方差阵，表示 的行列式，使得对数似然函数达到极大值的 和 称为 和 的极大似然估计。第15页/共205页从另一角度考虑：第16页/共205页 第17页/共205页 注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-

5、Walker估计)三者都非常接近，即三者渐近相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模型的独有的优点。第18页/共205页 例1.1.由下列AR(1)序列产生长度为n=300的样本，计算出前5个样本自协方差函数值为求参数的矩估计和最小二乘估计。(1)参数 的矩估计 分别为将样本自协方差函数值代入得第19页/共205页(2)参数 的最小二乘估计 分别为第20页/共205页 例1.2 求AR(2)模型 参数 的估计，这里n=300,(1)AR(2)模型的矩估计为第21页/共205页 计算出的前5个样本协方差函数值为将其值代入上式得：(2)最小二乘估计第22页/共205页 注：一

6、般在求高阶AR(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出 即为 的矩估计，将它们代入 的表达式可得 。第23页/共205页 D.AR(p)D.AR(p)模型的定阶模型的定阶1.1.偏相关函数的分析方法偏相关函数的分析方法一个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。如果 p步截尾：当 时，；而 ，就以 作为p的估计。第24页/共205页 定理1.3 设 由 定义，如果AR(p)模型中的白噪声是独立同分布的，则对确定的kp,当 时，依分布收敛到k维正态分布 。第25页/共205页 推论：在定理1.3的条件下，对kp,依分布收敛到标准正态分

7、布N(0,1)。根据推论，对于AR(p)序列和kp，当样本量n比较大时，以近似于0.95的概率落在区间 之内。于是对于某个固定的k，以 作为p的估计。第26页/共205页 或者根据推论有如下的检验方法：对于某个正整数p,显著地异于零，而 近似等于零,其满足 (或 )的个数占 的比例近似地为68.3%(或95.5%),则近似地认为 在p步截尾，初步判定为AR(p)。第27页/共205页 例1.3（例1.1续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状，而从15个偏相关函数来看,除 显著异于零之外，其余14个中绝对值不大于 的有10个，于是结论：

8、初步判定为AR(1)模型。第28页/共205页 前15个样本偏相关函数第29页/共205页 例1.4（例1.2续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状，而从15个偏相关函数来看，除 显著异于零之外，其余14个中绝对值不大于 的有9个,于是结论：初步判定为AR(2)模型。第30页/共205页 前15个样本偏相关函数第31页/共205页 2.2.AICAIC准则方法准则方法(A-Information A-Information Criterion)Criterion)为了使拟合残差平方和 尽量小，而又不至于引入过多的虚假参数的估计，Aka

9、ike于1973年引入如下的准则函数，假定已有阶数p的上阶 ，AIC(k)的最小值点 (若不唯一，应取小的)称为AR(p)模型的AIC定阶，即第32页/共205页 具体步骤：1.取定p=k时，根据数据 使用前一小节所提的任何一种参数的估计方法，给出噪声方差 的估计 ；2.再找出AIC取极小值时，所对应的阶数p.注：AIC定阶并不相合，AIC定阶通常会对阶数略有高估。故在应用中，当样本量不是很大时，使用AIC定阶方法。第33页/共205页 为了克服AIC定阶的不相合性，可使用BIC准则方法。设 为AR序列，则BIC准则函数为 将此准则函数达到最小值的解 作为p的估计，就是BIC准则方法。注：1.

10、理论上已证明BIC准则的定阶具有相合性。2.当n不是很大时，用BIC定阶有时会低估阶数p，造成模型的较大失真，故在实际问题中，特别当样本量不是很大时,BIC的定阶效果并不如AIC定阶准则。第34页/共205页 例1.5（例1.1续）n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10，对p=1,2,10分别解Yule-Walker方程得到 的Yuler-Walker估计，再对p=1,2,10分别计算出AIC和BIC函数，计算结果如下：p12345AIC(p)2.98392.99393.00383.00023.0050BIC(p)2.99963.02523.05083.06293.0

11、834第35页/共205页 结果：AIC(1)和BIC(1)分别是AIC和BIC函数的最小值。结论：由AIC和BIC定阶可知阶数p=1.p678910AIC(P)3.01103.01733.02663.02833.0308BIC(P)3.10513.12713.15203.16943.1876第36页/共205页 AIC函数图 第37页/共205页 BIC函数图第38页/共205页 例1.6（例1.2续）n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10,对p=1,2,10分别求出 的估计，再对p=1,2,10，计算AIC和BIC函数，计算结果如下：p12345AIC(p)2.8

12、4702.72772.73682.72812.7377BIC(p)2.86272.75912.78382.79382.8161第39页/共205页 结果：AIC(2)和BIC(2)分别是AIC和BIC函数的最小值。结论：由AIC和BIC定阶可知阶数p=2。p678910AIC(p)2.74652.75672.75922.76272.7688BIC(p)2.84062.86652.88462.90382.9256第40页/共205页 AICAIC函数图函数图 第41页/共205页 BIC函数图第42页/共205页 例1.7：独立重复1000次实验，每次产生符合模型AR(4)的300个观测，得到A

13、IC和BIC定阶情况如下：12345678910AIC定阶052256741136129211411BIC定阶145559476720000第43页/共205页 在1000次模拟计算中AIC将阶数定为4的有674次，而BIC阶数定为4的有476次。BIC定阶对阶数低估的比率为51.5%增大样本量n=1000，获得如下结果：12345678910AIC定阶0007391244537251218BIC定阶041990500000第44页/共205页 AIC定出的平均阶数是Avc(AIC)=4.593，BIC定出的平均阶数是Avc(BIC)=3.996，故对于较大的样本量有必要综合考虑AIC定阶和B

14、IC定阶。第45页/共205页 E.E.拟合模型的检验拟合模型的检验 现有数据 ，欲判断它们是否符合以下模型式中 被假定为独立序列,且 与 独立。原假设 ：数据 符合AR(p)。故在 成立时，下列序列 为独立序列 的一段样本值序列。第46页/共205页 步骤：1.首先，根据公式 计算出残差的样本自相关函数，2.利用上一章关于独立序列的判别方法，判断 是否为独立序列的样本值3.根据判断结果，如果接受它们为独立序列的样本值，则接受原假设，即接受 符合AR(p),否则，应当考虑采用新的模型拟合原始数据序列。第47页/共205页 例1.8（例1.5续）拟合后，给出残差头15个数据，有11个落在之间，故

15、不能否定原假设，即 符合AR(1)模型。第48页/共205页 残差的图形第49页/共205页 残差的自相关函数第50页/共205页 例1.9（例1.6续）拟合后，给出残差头15个数据，有15个落在 之间，故不能否定原假设，即 符合AR(2)模型。第51页/共205页 残差的图形第52页/共205页 残差的自相关函数第53页/共205页 第二节第二节 滑动平均模型拟合滑动平均模型拟合对于已给的时间序列数据 ，用MA(q)式的滑动平均模型去拟合它们，称为滑动平均模型拟合。滑动平均模型拟合主要包括：(1)判断滑动平均模型MA的阶数；(2)估计模型的参数；(3)对拟合模型进行检验。第54页/共205页

16、 一一.参数估计参数估计假定数据序列 适合以下模型 (2.1)其中 为独立同分布的序列,且 ,q为给定的非负整数，为未知参数，并满足可逆性条件。第55页/共205页 1.1.参数的矩估计方法参数的矩估计方法MA(q)序列的自协方差函数与MA(q)的模型参数有如下公式：故，和 的矩估计 和 ，为 (2.2)第56页/共205页(1)(1)解析法解析法对于阶数较低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。对于MA(1)模型：,和 满足 可得 和 的矩估计分别为第57页/共205页 例4.11 由MA(1)模型产生长度n=300的样本，计算出前两个样本自协方差函数值 ,由上述讨

17、论第58页/共205页 对于MA(2)模型：,其中 满足 可得 的估计为:当 时 第59页/共205页 当 时，从而可得，第60页/共205页 例4.12 求MA(2)模型的n=950的样本的参数 的矩估计。解：已知前三项的样本自相关函数分别为使用上述公式，可得到如下估计值第61页/共205页(2).(2).线性迭代算法线性迭代算法将(2.2)式表示为 (2.3)在可逆域内，给定 的初值,代入(2.3)式右边，得到一步迭代值 ，再将它们代入(2.3)式右边，得出(2.3)式左边的第二不迭代值 ，同法重复直到某步 ，第62页/共205页 设有精度 ,当同时成立时，就停止迭代（否则继续迭代下去），

18、以 作为 的矩估计。第63页/共205页(3)(3)Newton-Raphson Newton-Raphson 算法算法优点：方法简便、收敛速度快缺点：使用该算法得到的解 不能保证满足属于可逆域，需要采用调整方法才可做到。详见时间序列的分析与应用或应用时间序列分析。第64页/共205页 2.2.极大似然估计极大似然估计若(2.1)中，为正态分布，则 服从 分布，其中 是 的协方差矩阵。于是有似然函数：其中，。使似然函数达到极大值之解的 和 ，即为 和 的极大似然估计。第65页/共205页 近似极大似然估计方法：假定(2.1)式中的初值 给定，不妨设为零值。则由(2.1)式和数据 可以求出 (2

19、.4)于是可得到如下近似似然函数为：(2.5)记 第66页/共205页 由(2.5)式决定的近似极大似然估计 和 满足以下方程于是 为以下方程的解而第67页/共205页 3.3.自回归逼近方法自回归逼近方法原理：可逆的MA(q)模型有逆转形式 模型，且逆转形式中的无穷阶自回归系数满足以指数衰减到零的趋势，故一个可逆的MA模型可用适当高阶的AR模型近似。用一个高阶的AR模型拟合一个较低的MA序列称为自回归逼近拟合方法。第68页/共205页 步骤：1.对原始数据 进行自回归模型拟合。可用AIC定阶，求参数的Yule-Walker估计，在进行检验；或直接拟合AR(p)模型。其中，当n不太大时，取 ；

20、当n很大时，取 。将拟合后模型记为 (2.6)第69页/共205页 2.利用(2.6)式，计算拟合残差：于是(2.1)式的模型可近似写为 记 (2.7)第70页/共205页 于是，(2.7)可简记为故，和 的最小二乘估计分别为和优点：不涉及非线性代数方程，易于实际应用。第71页/共205页 二二.阶数的估计阶数的估计1.1.自相关函数估计方法自相关函数估计方法依据：一个平稳序列为MA(q)序列的充要条件是它的自协方差函数q步截尾。对于MA(q)模型，当kq，n充分大时，的分布渐近正态 ，于是当kq，n充分大时，下列等式近似成立第72页/共205页 方法：对于每一个正整数q,计算样本自相关函数(

21、M一般取为 左右),考察其中满足 的个数是否占M的68.3%(或95.5%)左右,如取某 显著地异于零，而 近似等于零，并满足上述不等式的个数达到了68.3%(或95.5%)左右比例，则初步认为 在 步截尾，初步判定为第73页/共205页 例2.3 设 为MA(1)序列：由它产生长度为n=300样本值 ，计算出前17个样本自相关函数为 ，计算出：第74页/共205页 2.2.AICAIC准则定阶方法准则定阶方法给出模型阶数q的上界 ，对于 按前述的方法逐个拟合MA(m)模型。并给出白噪声方差 的估计量 ，定义AIC函数其中，n是样本个数，AIC(m)的最小值点(如不唯一，应取小的)称为MA(q

22、)模型的AIC定阶。第75页/共205页 例2.3的定阶问题，使用AIC准则，有q123456AIC2.8852.8912.8982.9022.8952.901第76页/共205页 三三.拟合模型的检验拟合模型的检验如果一段时间序列数据 符合(2.1)式，则当给定初始值 ，由(2.2)式计算出 ，它应当是独立序列 的一段样本值。故检验问题就转化为检验 是否为独立序列的一段样本值的问题方法：检验和正态检验。第77页/共205页 四四.建模例题：建模例题：产生模型 的n=300个样本数据，建立模型。(1)求出样本均值、样本自协方差函数、样本自相关函数第78页/共205页 样本自相关函数第79页/共

23、205页(2)观察样本自相关函数为1步结尾，或使用前述的两种定阶方法，初步判定MA(1)(3)使用第二小节的矩估计的解析方法可得(4)检验：给出我们使用 检验，给出 ，计算出第80页/共205页 取值图 第81页/共205页 第三节第三节 ARMAARMA模型的拟合模型的拟合根据数据序列 ，拟合以下ARMA(p,q)模型：(3.1)其中，为独立同分布的序列，且 对一切st成立，参数和 满足平稳性和可逆性条件，且 与无公共根。第82页/共205页 一一.模型参数的估计模型参数的估计1.1.矩估计方法矩估计方法步骤1.的矩估计 ，满足如下方程：(3.2)其中，由(1.19)可知p元线性方程组。第8

24、3页/共205页 记于是(3.2)可简写为若 满秩，则 (3.3)第84页/共205页 步骤2.和 满足以下的方程式 (3.4)式中其中，(3.4)式关于 的非线性代数方程组。当q=1,2可求出 显示解，当 ，可用数值解法。第85页/共205页 2.2.近似极大似然估计方法近似极大似然估计方法方法:取初始值 对于任意给定的一组参数 ,由(3.1)迭代算出相应值，即 (3.5)定义关于 的函数则，近似似然函数为第86页/共205页 使得上式取到极大值的 ，称它们为 的近似极大似然估计，也称最小平方和估计。当q=0，上述极值问题简化为Yule-Walker估计。当p=0，上述极值问题与第三节的近似

25、极大似然估计方法一致。(3.1)式中的 的估计为第87页/共205页 3.3.自回归逼近方法自回归逼近方法基本思路：(1)为数据 建立AR模型，取自回归阶数的上界 ，采用AIC定阶方法得到AR模型的阶数估计P和自回归系数 的估计.。(2)计算残差 写出近似的ARMA(p,q)模型 第88页/共205页(3)对目标函数 (2.6)极小化,得到最小二乘估计 ,的最小二乘估计由下式定义第89页/共205页 具体算法定义：第90页/共205页 则目标函数(2.6)可写成，可解出最小二乘估计为相应地，的估计为第91页/共205页 二二.模型阶数的估计模型阶数的估计1.相关分析法用于ARMA模型的定阶方法

26、：(1)给定初值 (一般取初值为零)将 的估计代入(3.2)递推得到残差估计 第92页/共205页(2)作假设检验 来自于白噪声序列长度为n的样本。不是白噪声序列的长度为n的样本。令检验 等价于检验 是否来自于N(0,1)总体的k个独立抽样问题。第93页/共205页 a.检验 的绝对值是否有68.3%左右小于1.b.检验法：在 成立条件下，当n充分大时，是k个相互独立N(0,1)随机变量，则 服从自由度为k的中心 分布，则以显著水平为 的否定域为第94页/共205页 2.AIC准则方法给定ARMA模型阶数的上界 和 。对于每一对(k,j)，,计算AIC函数取 ，使 此时称 为ARMA模型的阶的

27、估计，其中 一般取 或 中的整数。第95页/共205页 具有相合性的定阶准则BIC,使上式达最小的 为ARMA模型的阶。中的整数。第96页/共205页 三三.拟合模型的检验拟合模型的检验ARMA模型的检验是检验其拟合残差序列是否为独立序列。方法：取初值计算 的样本值，即 检验 是否为独立序列的样本值。第97页/共205页 四四.例子：例子：kejian2kejian2由计算机产生模拟时间序列数据 。(1)计算出样本均值、自相关函数、自协方差函数和偏相关函数第98页/共205页 样本自相关函数第99页/共205页 样本偏相关函数第100页/共205页(2)取定阶数 由AIC准则：p=q=1(3)

28、估计参数：(4)检验 结论：数据符合ARMA(1,1)模型。第101页/共205页 第102页/共205页第四节第四节 求和模型与季节模型求和模型与季节模型 的处理方法的处理方法一一.求和模型求和模型ARIMAARIMA的识别与拟合的识别与拟合1.求和模型的识别方法方法一 直接观察数据图形的方法：根据数据 画出数据曲线图，通过观察曲 线的形状，可初步判别是否需要拟合求和模型。第103页/共205页 例：数据1第104页/共205页 数据2 第105页/共205页 数据3 第106页/共205页 数据4第107页/共205页 方法二.数据样本自相关函数分析法：当序列含有趋势项时，序列的样本自相关

29、函数 的尾部不衰减到零值，特别地，所含趋势项为多项式时，将近似于常数为1的序列。第108页/共205页 例：序列1第109页/共205页 样本自相关函数：第110页/共205页 序列2第111页/共205页 序列2样本自相关函数第112页/共205页 序列3 第113页/共205页 序列3的样本自相关函数第114页/共205页 另外，还可从数据的来源判断使用求和模型的合理性。2.2.判断求和模型判断求和模型ARIMA(p,d,q)ARIMA(p,d,q)的阶数的阶数d d对ARIMA(p,d,q)模型的研究焦点是对差分阶数d的判别。d的判别方法：(1)用动态数据 的实际背景来确定。若数据围绕着

30、某条曲线变化，而此曲线是近似线性的，则判断差分阶数d=1,若此曲线可由二次多项式近似，则判断阶数d=2,一般地，若该曲线可由d次t的多项式逼近，则可对原序列 作d次差分 ，而 可按平稳序列建模。第115页/共205页(2)采用数据处理的方法：对原动态数据 分别作j次差分，连同原数据共有D+1套 动态数据，然后对每套数据求出样本自相关函数和样本 偏相关函数为 ,综合分析它 们的截尾性或拖尾性，最后判定为何种模型，再建立相 应的模型。第116页/共205页 2.2.求和模型的拟合求和模型的拟合步骤1：判断p值，对原数据进行d次差分运算，即 (4.1)例：当d=2时，为 的二次差分序列，即，第117

31、页/共205页 步骤2：根据差分后的数据序列 按照前几节的方法，拟合AR、MA、ARMA模型，包括模型参数的估计以及对阶数p,q的估计，即 (4.2)结合(4.1)和(4.2)，得到ARIMA(p,d,q)的拟合模型为，(4.3)步骤3：对拟合求和模型 的检验：即是检验 是否符合(4.2)的模型，亦是对拟合后的残差进行白噪声检验.第118页/共205页 步骤3：对拟合求和模型 的检验：即是检验 是否符合(4.2)的模型，亦是 对拟合后的残差进行白噪声检验。第119页/共205页 例：某国1960年至1993年GNP平减指数的季度时间序列。要求对序列进行模型识别。(sample12)第120页/

32、共205页 第121页/共205页 第一步：判断差分阶数d=1,对数据 进行一阶差分第122页/共205页 第二步：对差分后序列进行ARMA模型拟合。观察样本自相关函数和偏相关函数，初步判断为AR模型。使用AIC定阶准则和最小二乘估计方法。判断阶数p=2,即第123页/共205页 拟合后的残差图第124页/共205页 第三步：拟合模型的检验：采用正态检验，第125页/共205页 于是，拟合模型为：第126页/共205页 二二.季节模型的识别与拟合季节模型的识别与拟合季节ARMA模型：其中T是周期，是某个ARMA(p,q)模型的特征多项式，实际问题中T经常的取值是4，7或12。第127页/共20

33、5页 星期一二三四五六日一周二周n+1周第128页/共205页 上述表中的每一列都可以看成一个时间序列，将数据(4.5)的第j列零均值化 (4.6)其中 (4.7)首先，用数据(4.6)建立模型：(4.8)其中第129页/共205页 在相隔T步上为白噪声序列，而相隔小于T步时是相关的，即其次，仍为平稳序列，故需对 建立ARMA(p,q)模型，(4.9)其中 对季节内外为白噪声序列，将(4.9)代入(4.8),得到季节ARMA 模型，(4.10)第130页/共205页 季节模型(4.10)实际上是一个ARMA(p+7P，q+7Q)模型，只是其中又很多的系数是零。季节模型的拟合方法：第一步：设 是

34、数据 的样本自协方差函数，利用 拟合一个 模型：要求这个模型通过模型检验；第二步：利用 拟合一个 模型：要求这个模型通过模型检验。于是，第131页/共205页 为了得到更精确的估计，可将模型看作疏系数的ARMA模型，使用前几节的ARMA模型参数的极大似然估计方法或最小二乘估计法估计模型(4.10)中的参数。第132页/共205页 例：北京市1990.1-2000.12气温数据（sample6）第133页/共205页 差分运算第134页/共205页 观察序列tempx1的样本自相关函数和偏相关函数，建模ls tempx ar(1)ar(2)ma(1)ma(2)sar(12)sma(12)第135

35、页/共205页 残差检验第136页/共205页 三三.乘积模型的拟合乘积模型的拟合如果时间序列既具有趋势项又具有周期项，需采用乘积模型来拟合。在上例中如果每一列的数据需要经过差分后才能进行季节ARMA模型的拟合，模型将改写为，称之为乘积模型 .第137页/共205页 实际问题中，d和D的取值一般很小，例如：D=0或1。季节模型 实际上是一个乘积模型 。一种简单的乘积模型：(4.11)其中T为某一正整数，表示周期。为某一平稳可逆的ARMA(p,q)序列。(1)(1)模型的拟合模型的拟合 在T和D已知时，首先对 进行差分变换 (4.12)第138页/共205页 其中，满足故，只需对 拟合形如(4.

36、1)的求和模型，就可得到模型(4.11)的参数估计。(2)T2)T和和D D的取值判断的取值判断 a.T表示周期，它有较明显的物理背景，可根据数据的实际背景确定T的大小 b.D的确定，可使用逐步尝试的方法。即对D=1,2逐一尝试，并拟合(4.11),若模型检验通过，则确定该值为D的取值。第139页/共205页 例：航空客流量数据。第140页/共205页 数据的预处理：(1)xx=log(x)(2)cx=xx-5.542193第141页/共205页 模型的建立：对数据cx:第142页/共205页 对数据dcx进行一次差分运算第143页/共205页 对数据ddcx建立模型：使用最小二乘估计方法，得

37、到ls ddcx ma(1)ma(2)ma(3)第144页/共205页 模型的残差检验：第145页/共205页 结论：客流量的模型为第146页/共205页 另一种方法建模：观察序列ddcx的样本自相关函数和偏相关函数。ls d(log(x),1,12)ar(1)ar(2)ar(3)ma(1)sar(12)sma(12)ls ddcx ar(1)ar(2)ar(3)ma(1)sar(12)sma(12)ls d(log(x),1,12)ar(1)ar(3)ma(1)sar(12)sma(12)ls d(log(x),1,12)ar(3)ma(1)sar(12)sma(12)第147页/共205页

38、ls d(log(x),1,12)ar(3)ma(1)sar(12)sma(12)第148页/共205页 1.设 为零均值平稳序列，由它的长度为N=100的样本算得样本自相关函数 及样本偏相关函数 的前6个数值如下又知 ，试求：(1)为哪种模型，并说明理由。(2)对模型参数和白噪声方差给出矩估计。(3)判断所建立的模型是否具有平稳性（或可逆性），并给出模型的传递形式（或逆转形式）k123456-0.8000.670-0.1580.390-0.3100.221-0.8000.0850.112-0.046-0.0610.038第149页/共205页 2.全国城镇居民储蓄额年数据序列 的建模。下表给

39、出1952年至1991年储蓄额年数据(亿元)8.612.214.316.922.427.925.147.351.139.231.435.644.852.357.759.862.361.064.573.385.194.1105.8114.6122.2135.1154.9202.6282.5354.1447.3572.6776.61057.81471.52067.62659.23734.85192.66790.9第150页/共205页 第五节第五节 疏系数自回归模型疏系数自回归模型 的处理方法的处理方法疏系数自回归模型：(5.1)其中，为白噪声序列，且 ，为未知的正整数足标值，为未知参数。这里不假

40、定任何平稳性条件成立。第151页/共205页 一一.参数估计参数估计令其中 表示矩阵 的第s列矢量，它们的定义为第152页/共205页 使用上述记号，(5.1)可简写为 (5.2）其中的P应比 大，但比样本长度n要小得多。于是，当 已知时，(5.2)式中参数的最小二乘估计为：第153页/共205页 二二.足标足标 的估计的估计取定足标上界P,根据数据 拟合如下模型：(5.3)满足 条件的(5.3)共有 个，使用前述的最小二乘估计法，获得这个疏系数自回归模型参数估计，继而得到 个 使用AIC准则：第154页/共205页 或BIC准则：求出：或从而确定 的估计。第155页/共205页第六节第六节

41、回归与自回归混合模型回归与自回归混合模型 的处理方法的处理方法一一.并联形式混合回归模型的拟合方法并联形式混合回归模型的拟合方法 (6.1)(6.2)其中，为白噪声序列，且 ,参数 满足平稳性条件。为非随机的可观测的自变元。比如：它们可为多项式，三角函数等。第156页/共205页 对(6.1)的统计分析可分为两种情况：一种是在(6.1)中残差项 的协方差阵给定的情况下，对回归系数 的统计分析；另一种是，已知 的模型具有AR形式，其阶数和参数未知，或阶数已知，而参数未知。第157页/共205页 1.1.模型回归系数模型回归系数 的估计的估计考虑如下形式的回归模型：(6.3)其中 为非随机的可观测

42、的自变元，为未知的自回归系数矢量,为零均值的残差，并假定它的协方差阵已知，记为 。第158页/共205页 令于是(6.3)的矩阵形式为 (6.4)第159页/共205页(1)(1)模型参数模型参数 的最小二乘估计：的最小二乘估计：（6.5）性质：(I)是 的无偏估计；(II)误差 其协方差阵为第160页/共205页(2)(2)线性最小方差无偏估计线性最小方差无偏估计线性最小方差无偏估计是线性无偏估计类中方差阵最小的估计，记 。它必须具备如下三个条件：线性性质：即 ，H H为矩阵；无偏性：即 ，等价于最小方差性：即对其他满足上述两条件的估计 都有，第161页/共205页 经计算，线性最小方差无偏

43、估计 为 (6.6)且最小方差为 (6.7)第162页/共205页(3)(3)两种估计的比较两种估计的比较(I)和 都是线性的，都是 的无偏估计；(II)的优点是在计算时不需要知道 的协方差阵。(III)线性最小方差无偏估计的优点是在不同的无偏估计中误差的方差最小。(IV)当 时,第163页/共205页 2.2.并联混合模型的分步识别方法并联混合模型的分步识别方法第一步：根据所给数据，由(6.5)给出 的最小二乘估计，即第二步：求出(6.2)的拟合残差序列，即将 视为 的样本值序列，用第一节方法对它们进行自回归拟合，包括对模型参数、阶数的估计，以及对拟合模型的检验。第164页/共205页 第三

44、步 若检验通过，以此拟合模型作为对(6.2)式的拟合，连同上述对 的估计 完成对(6.1),(6.2)的拟合。第165页/共205页 例：产生模型：的n=500个样本值，拟合该时序数据。第166页/共205页 模型的拟合：首先使用最小二乘估计方法对 进行传统的回归分析：第167页/共205页 对回归后的残差进行自回归建模：第168页/共205页 模型的检验：对拟合后的最终残差作白噪声检验，这里采用正态检验 16/20=80%第169页/共205页 结论：拟合模型为：第170页/共205页 二二.串联形式混合模型的拟合方法串联形式混合模型的拟合方法 (6.8)令第171页/共205页 则(6.8

45、)可简写为：(6.9)第172页/共205页 于是 的最小二乘估计为 (6.10)残差项 的方差 的估计为，第173页/共205页 当(6.8)中的p未知时，可应用AIC准则确定适当的p值：p的估计 ，满足 第174页/共205页 例：由序列 ,为标准正态白噪声，产生n=500个样本值，拟合该数据第175页/共205页 采用最小二乘估计得到：第176页/共205页 残差的检验：第177页/共205页 结论：拟合的模型为第178页/共205页 三.序列相关与ARMA模型1.序列相关理论与检验涉及时间序列的回归模型，残差序列自相关较常见。模型形式：(6.11)(6.12)其中，是t时刻所观测的解释

46、变量向量；为随机扰动项，称为非条件残差；为改进的随机扰动项，称为一期提前(one-period-ahead)预测误差；是前期已知变量向量，可包括 的滞后项；为参数向量。第179页/共205页 残差序列的自相关检验方法：1）.相关图与Q统计量 即检验序列任意滞后期的自相关和偏相关系数与0有无显著差异。2）.LM(Lagrange Multiplier)检验 该检验可对包含ARMA误差项的模型残差序列进行高阶的自相关检验，并允许存在因变量的滞后项。检验假设为：其中，p=maxr,q第180页/共205页 对(6.11)中的非条件残差建立辅助回归方程：(6.13)利用方程(6.13)的决定系数 构造

47、LM检验统计量：其中，n是计算辅助回归时的样本数据的个数。在零假设下，LM统计量由渐进的 分布。对于给定的显著水平 和自由度p，如果 ，则拒绝原假设，即认为序列存在自相关，反之亦然。第181页/共205页 2.残差序列的ARMA模型如果对某个线性回归模型残差序列进行LM检验，发现序列存在自相关，可考虑对残差序列建立ARMA模型。对非条件残差 可采用三种基本形式：1)AR(p)2)MA(q)3)ARMA(p,q)第182页/共205页 例：建立GDP关于消费()和投资()的线性回归模型：第183页/共205页 对于非线性回归模型，只能够采用AR(p)形式对非条件残差建模，并且不能包含季节自回归与

48、滑动平均项。例：建立Cobb-Douglas生产函数应在方程定义对话框输入第184页/共205页补充：补充：ARMA(p,q)ARMA(p,q)阶数判定的方法阶数判定的方法 -推广样本自相关函数法推广样本自相关函数法基本思路：首先，观察样本自相关函数和样本偏相关函数是否有截尾性。若均无，则将原序列拟合AR(1)模型后,观察其残差序列的样本自相关函数是否截尾，若 步截尾，则原序列为 ,否则，再拟合AR(2)后，观其残差序列的样本自相关函数，若 步截尾，则原序列为 ，否则再增大p的阶数，重复上述步骤，直至得到样本的残差序列截尾为止。第185页/共205页 一.推广的自相关函数(extended A

49、CF)考虑ARMA(1,1)模型：第186页/共205页 我们定义 为下式的解和过程于是对ARMA(1,1)有总之：第187页/共205页 考虑ARMA(1,2)模型：第188页/共205页 我们定义 为下式的解和过程于是对ARMA(1,2)有第189页/共205页 考虑ARMA(1,q)模型：第190页/共205页 于是对ARMA(1,q)我们有第191页/共205页 定义 为 的第 个自相关函数如果模型为ARMA(1,1)，则 如果模型为ARMA(1,2)，则 一般地，ARMA(1,q)模型，有 称之为1阶推广的自相关函数(1ST EACF)第192页/共205页 考虑ARMA(2,q)模

50、型：我们有：第193页/共205页 我们定义 为下式的解和过程于是对ARMA(2,q)有第194页/共205页 定义 为 的第 q 个自相关函数，我们有称之为2阶推广的自相关函数(2st EACF)第195页/共205页 对于第m阶推广的自相关函数，我们定义 为下式的解 和过程第196页/共205页 定义 为 的第 个自相关函数，我们有称之为m阶推广的自相关函数第197页/共205页 二 根据根据EACF定阶定阶 我们得到如下推广自相关函数注意到，对于ARMA(p,q)模型，我们有 这就构成一个三角形式。AR MA012340123第198页/共205页 例如，对ARMA(1,1)模型其渐近E