时间序列分析方法 第03章 平稳ARMA模型.doc

《时间序列分析方法 第03章 平稳ARMA模型.doc》由会员分享，可在线阅读，更多相关《时间序列分析方法 第03章 平稳ARMA模型.doc（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、时间序列分析方法讲义 第3章 平稳ARMA模型第三章 平稳ARMA过程一元ARMA模型是描述时间序列动态性质的基本模型。通过介绍ARMA模型，可以了解一些重要的时间序列的基本概念，并且为描述单变量时间序列的动态性质提供一类十分有用的模型。3.1 预期、平稳性和遍历性3.1.1 预期和随机过程假设可以观察到一个样本容量为的随机变量的样本：这意味着这些随机变量之间的是相互独立且同分布的。例3.1 假设个随机变量的集合为：，且相互独立，我们称其为高斯白噪声过程产生的样本。对于一个随机变量而言，它是t时刻的随机变量，因此即使在t时刻实验，它也可以具有不同的取值，假设进行多次试验，其方式可能是进行多次整

2、个时间序列的试验，获得I个时间序列：，将其中仅仅是t时刻的观测值抽取出来，得到序列：，这个序列便是对随机变量在t时刻的I次观测值，也是一种简单随机子样。定义3.1 假设随机变量是定义在相同概率空间上的随机变量，则称随机变量集合为随机过程。例3.2 假设随机变量的概率密度函数为：此时称此时密度为该过程的无条件密度，此过程也称为高斯过程或者正态过程。定义3.2 可以利用各阶矩描述随机过程的数值特征：(1) 随机变量的数学期望定义为(假设积分收敛)： (3.1)此时它是随机样本的概率极限： (3.2)(2) 随机变量的方差定义为(假设积分收敛): (3.3)例3.3 几种重要类型的随机过程1) 假设

3、是一个高斯白噪声过程，随机过程为常数加上高斯白噪声过程：则它的均值和方差分别为：(2) 随机过程为时间的线性趋势加上高斯白噪声过程：则它的均值和方差分别为：3.1.2 随机过程的自协方差函数将j个时间间隔的随机变量构成一个随机向量，通过随机试验可以获得该随机向量的简单随机样本。假设函数为随机向量的联合概率分布密度，则可以类似地定义：定义3.3 随机过程的自协方差定义为： (3.4)上述协方差可以利用联合概率分布密度求解：其实上述协方差计算可以仅仅涉及到的联合分布即可，如此计算是为了保持时间的连续性。对于获得的抽样样本，可以利用样本协方差的概率极限获得的估计： (3.5)注意到协方差是方差的推广

4、，因此协方差比较全面地描述了随机过程的二阶矩的性质。3.1.3 平稳性时间序列表示了一类随机变量在不同时点上的性质，也体现了不同时点之间的关联，那么平稳性是描述时间序列动态结构性质的重要概念。定义3.4 假设随机过程的均值函数和协方差函数都与时间无关，则称此过程是协方差平稳过程，也称为弱平稳过程(covariance stationary or weakly stationary process)。此时对任意时间和任意的间隔有：例3.4 几种重要随机过程的平稳性(1) 假设随机过程为常数加上高斯白噪声过程：则它的均值和方差与时间无关，因此该过程是协方差平稳过程。(2) 假设随机过程为时间的线性

5、趋势加上高斯白噪声过程：则它的均值为：它依赖时间，因此它不是协方差平稳过程。 由于协方差平稳过程仅仅依赖时间间隔，因此有：根据自协方差的定义，可以得到自协方差对称性的结论： (3.6)与平稳性有关的更强的约束是所谓的严平稳条件，由下述定义给出：定义3.5 假设随机过程满足条件：对于任意正整数值，随机向量的联合概率分布只取决于时间间隔，而不依赖时间，则称该过程是严格平稳过程，简称为严平稳过程(strict stationary process)。如果一个随机过程是严平稳过程，而且具有有限的二阶矩，则该过程一定是协方差平稳过程，即宽平稳过程。但是，一个宽平稳过程却不一定是严平稳过程。例3.5 假设

6、随机过程是具有高斯分布的高斯过程，如果该过程是宽平稳过程，则此过程一定是严平稳过程。3.1.4 遍历性遍历性是时间序列中非常重要的。对于时间序列而言，我们可以得到一个随着时间顺序的样本观测值：，对此可以得到一个时间平均值： (3.7)定义3.6 假设时间序列是一个平稳过程，如果时间平均值按照概率收敛到母体平均值，则称该随机过程是关于均值遍历的(ergodic for the mean)。关于均值遍历的要求是： (3.8)遍历性是平稳时间序列非常重要的一个性质，需要认真思考和理解遍历性的含义。如果一个平稳时间序列是遍历的，那么它在每个时点上的样本矩性质(均值和协方差等)就可以在不同时点上的样本中

7、体现出来。这就是遍历性的含义。定理3.1 假设时间序列是一个协方差平稳过程，如果它的自协方差函数满足： (3.9)则该随机过程是关于均值遍历的。 上述定理的证明和解释可以参见第7章的有关内容。定义3.6 假设时间序列是一个协方差平稳过程，如果样本协方差按照概率收敛到总体协方差，即 (3.10)则称该过程是关于二阶矩遍历的。高阶矩遍历意味着过程不同时间上的统计性质更接近同一时点上的随机抽样性质。高阶矩遍历的定理在第7章介绍。如果时间是一个平稳Gauss过程，则条件(3.9)是所有矩都遍历的充分条件。例3.6 如果随机过程是高斯协方差平稳过程，则它是均值遍历过程，也是二阶矩遍历过程。在很多应用中，

8、平稳性和遍历性的要求是一样的。但是，一般情况下，平稳性和遍历性之间没有必然联系，下面的例子可以说明这一点。在这个例子中，我们说明一个过程是平稳的，但是不是遍历的。例3.7 假设随机过程的均值过程满足：其中均值满足：，是独立的白噪声过程。因为，上式表明，该过程是协方差平稳过程，但是由于因此，该过程不是均值遍历过程。3.2 移动平均过程从白噪声过程开始，我们逐渐介绍一些代表性的随机过程，我们首先介绍移动平均过程。3.2.1 一阶移动平均过程假设是白噪声过程，考虑下述随机过程： (3.11)其中和是任意常数。由于这个随机过程依赖最近两个时间阶段的的加权平均，因此称此过程为一阶移动平均过程，表示为。下

9、面我们通过求解过程的均值函数和协方差函数来说明它是一个宽平稳过程。求解均值函数为： (3.12)一阶自协方差为： (3.13)对于更高阶的自协方差，则有： (3.14)上述结果表明，过程是一个平稳随机过程。注意到：因此，也是均值遍历过程。定义3.7 将协方差平稳过程的第j个自相关系数表示为，则有：，根据相关系数的定义： (3.15)根据Cauchy-Schwarz不等式，可知所有自相关系数绝对值不会超过1。对于MA(1)过程而言，它的自相关系数为： (3.16)自相关系数也被称为自相关函数，它度量随着时间间隔的变化，随机过程不同时点之间的相关性。需要注意的是，自相关函数与随机过程之间不存在一一

10、对应关系，即使具有相同的自相关函数，所对应的随机过程性质可能也是不同的。例如下述两个过程为：它们是不同的移动平均过程，但是却具有相同的自相关函数：3.2.2 阶移动平均过程推广MA(1)过程中的滞后阶数，可以得到下面表示为的阶移动平均过程： (3.17)其中残差仍然是白噪声过程，系数可以是任意实数。(1) 过程的均值直接计算均值函数为： (3.18)(2) 过程的自协方差函数首先计算方差为： (3.19)其次计算自协方差，当时间间隔时： (3.20)当时间间隔时，则有：具体地，对过程而言，则有：，显然，对于任意阶数的移动平均过程，均是协方差平稳的。因此，移动平均过程的平稳性对于参数没有任何要求

11、。同时，由于满足，因此过程也是关于均值遍历的。如果该过程的误差是Gauss过程，则它关于所有矩都是遍历的。(3) 过程的自相关函数根据自相关函数(ACF函数)的定义，可以得到过程的自相关函数为：，上述ACF函数的典型性质是它仅有两个突出点，当时间间隔大于2个阶段以后，ACF函数便快速地收敛到零。如果一个随机过程的ACF函数体现出这样的性质，便可以推断它的数据生成过程(data generating process，简称为DGP)可能是一个MA(2)过程。3.2.3 无限阶移动平均过程无限阶移动平均过程是过程的进一步推广，令，得到过程的表达式为： (3.21)为了与有限阶移动平均参数加以区别，上

12、述移动平均系数利用符号表示。如果假设移动平均系数是平方可加的(square summable)，即： (3.22)可以证明上述表示按照均方收敛到一个随机变量，这样就可以保证该过程在均方收敛意义上的唯一性，因此它确实定义了一个随机过程。可以对于系数加以更强的条件，即假设是绝对可加的(absolute summable)，即满足：可以证明绝对可加可以推导出平方可加，但是反之不然。系数绝对可加的无限阶移动平均过程是平稳过程，其均值和协方差函数可以表示为： (3.23) (3.24) (3.25)可以证明，当移动平均系数绝对可加时，自协方差也是绝对可加的：因此过程是关于均值遍历的。3.4 自回归过程上

13、面我们介绍的移动平均过程是将一个随机过程表示为随机残差的移动平均，当期随机过程的实现没有受到过程前期取值的直接影响。如果随机过程取值对后继取值产生影响，则可以利用自回归过程表示这样随机过程的基本特征。3.4.1 一阶自回归过程AR (1)假设随机过程当期取值依赖前一个阶段的取值，如此随机过程可以利用下面一阶自回归过程AR (1)表示： (3.26)其中仍然是白噪声过程。显然如此自回归过程可以表示为线性差分方程形式：，根据线性差分方程的性质可知，如果自回归系数，外生扰动的作用将不断累积，导致该过程具有逐渐增加的均值和方差，因此该过程将不是平稳过程。为此，我们限制自回归系数满足：，这是一阶自回归过

14、程平稳的约束条件。根据差分方程解的公式，可以得到： (3.27)显然上述是一个无限阶移动平均表示，我们完全可以应用过程中的一些结论，并且移动平均系数满足绝对可加条件：根据上述过程表达式，可以知道：(1) 过程的均值函数为： (3.28)(2) 过程的方差为： (3.29)(3) 过程的协方差函数为： (3.30)(4) 过程的自相关函数为：， (3.31)当平稳性条件满足时，上述自相关函数收敛到零，但是收敛的方式依赖的符号，如何自回归系数是正的，则呈现单调收敛模式；当自回归系数是负的时候，呈现震荡收敛模式。由于的绝对值大小体现了前期过程值对当期值的影响程度，因此的绝对值越大，这个过程保持前期值

15、符号的能力就越强，这样的性质可以通过对不同值的自回归过程的模拟当中识别出来。在上述对过程的讨论当中，我们采用了无限阶移动平均表示，并根据这样的表示求解过程的均方差和自协方差等性质。下面我们在假设过程具有平稳性的条件下，简单的求解这些过程的数值特征。(1) 对过程两端求数学期望，得到：如果过程是平稳的，则均值函数不依赖时间参数，则得到均值为：(2) 将过程进行“中心化”表示，即将其根据均值进行平移：上式两端平方运算以后取数学期望可以得到：需要注意到：则得到：也可以得到：(3) 当时，在中心化表示两端乘以因子，然后取数学期望得到：则得到：，这是自协方差函数所满足的一个一阶齐次差分方程，其解为：这同

16、前面利用无限移动过程的推导结果完全一致。这种利用差分方程求解自回归过程ACF函数的方法具有一般性，以后还经常用到。3.4.2 二阶自回归过程二阶自回归过程表示为，模型形式为： (3.32)采用滞后算子形式表示为：差分方程稳定或者上述过程平稳的条件是：的所有根落在单位圆外。这时假设逆算子形式为：其中算子多项式的系数由前面差分方程的讨论所确定。利用算子多项式的逆算子，可以将过程表示为无限阶移动平均过程： (3.33)可以直接证明此过程的均值为： (3.34)并且可以得到：如果假设该过程是平稳过程，那么对过程直接求数学期望，也可以得到类似的均值。过程也存在下述中心化表示：两端乘以因子，然后取数学期望

17、得到：利用自协方差定义得到：， (3.35)这说明自协方差满足二阶差分方程，这个差分方程的稳定性是要求自回归系数落入稳定的三角形区域内。自相关函数满足：， (3.36)令得到：从中可以得到：令得到：从中可以得到：类似地，可以求解出过程的方差：可以表示为：从中解出方差为：或者： (3.37)3.4.3 p阶自回归过程如果将解释变量的滞后阶数扩展，可以得到下述p阶自回归过程，表示为AR (p)： (3.38)假设算子多项式的特征方程： (3.39)的根全部落入单位圆外，则AR (p)是协方差平稳的，其无限阶移动平均表示为： (3.40)在AR (p)过程满足协方差平稳的条件下，取均值为：则均值为：

18、 (3.41)得到上述均值以后，可以将在AR (p)过程进行中心化表示：两端乘以因子，然后取数学期望得到： (3.42)对于给定的参数，可以求出方差和协方差的初值状态，可以作为上述差分方程的初值，并可以进一步求解出所有阶数的协方差序列。进一步可以得到自相关函数方程，这个差分方程被称为Yule-Walker方程：， (3.43)如果算子多项式特征方程具有相异根，则协方差构成的差分方程具有解形式为： (3.44)其中是下述方程的根： (3.45)3.5 自回归移动平均过程如果将自回归和移动平均过程结合起来，就可以得到自回归移动平均过程，根据自回归和移动平均的阶数可以将其表示为形式： (3.46)将

19、其表示为滞后算子形式： (3.47)假设算子多项式形成的特征方程：的所有特征根均落在单位圆外，这样就可以除以逆算子得到无限移动平均表示： (3.48)其中算子多项式为： ， ， 过程的平稳性条件取决其中自回归系数的性质，而与移动平均系数无关。为了方便起见，在推断过程的平稳性以后，可以将表示为“中心化”形式：在上式两端乘以，并求数学期望，可以得到协方差的等式：， (3.49)上式说明滞后阶数超过以后的协方差满足阶线性差分方程。类似地，自相关系数也满足此方程。当滞后阶数小于或者等于时，由于残差之间存在相关关系，因此过程具有比过程更为复杂的协方差函数。如果线性差分方程的特征方程具有相异根，则自协方差

20、函数为： (3.50)上述解中的系数需要依靠初始条件来确定。虽然的结构更为复杂，可以描述更为复杂的随机过程及其特征，但是使用容易产生“过度参数化”的问题。假设随机过程本身是一个白噪声过程，即这是一个无参数的随机过程，但是如果两端引入自回归和移动平均过程，可以得到过程：值得注意的是，这个过程的参数具有确定性限制：，对于这样一个过程，无论参数如何取值，实际上都表示的是一个白噪声过程。但是，如果此时对参数进行估计，则由于参数的任意性，给参数估计带来了困难，势必要求对过程进行无参数约束估计，如果得到，则意味着我们应该采用白噪声过程描述数据的生成过程。类似地，对于更为的一般的：如果等式左右两端可以进行算

21、子多项式的因式分解：则平稳性要求：，。如果两端具有相同因子，即对某种和，出现相同的根：，则等式两边可以除去相同的公因式，得到：或者表示成为：这是简化后的过程，这意味着可以通过化简等方式将一个过度参数化的过程降低为参数恰当的过程。3.6 自协方差生成函数3.6.1 过程的自协方差生成函数类似于随机变量的特征函数，我们也可以构造一类函数，利用它表示随机过程协方差的性质。定义3.8 假设随机过程的自协方差序列是绝对可加的，定义自协方差生成函数为(自变量可以是复变量)： (3.51)特别地，对于落在单位圆上的自变量值：下述函数称为随机过程的总体谱： (3.52)可以证明，对于任何自协方差序列绝对可加的

22、随机过程而言，上述总体谱函数都是存在的。如果两个随机过程具有相同的自协方差生成函数，那么这两个随机过程的所有自协方差是相同的。例3.8 计算过程的自协方差生成函数。解：我们已经得到了过程的自协方差，根据定义可以得到它的自协方差生成函数为：将上式表示为：根据过程自协方差生成函数的特点，对于过程：我们猜想它的自协方差生成函数为：为了验证这一点，将上式乘积展开并合并同类项得到：对比系数与过程的自协方差，我们知道该函数确实是过程的自协方差生成函数。命题3.2 对于无限阶移动平均过程：，则它的自协方差生成函数为： (3.53)证明：略。例3.9 求过程的自协方差生成函数。解：在平稳性要求下，过程可以表示

23、为：此时：，因此过程的自协方差生成函数为：可以根据此自协方差生成函数得到过程的各阶自协方差：上式中的系数便是，计算得到：这和前面计算结果是一致的。命题3.3 假设平稳过程为：它的自协方差生成函数为： (3.54)证明：略。3.6.2 随机过程滤波的自协方差生成函数经常会遇到对随机过程的各种变换，这些变换有时称为对随机过程的滤波。下面，我们分析滤波对原时间序列自协方差生成函数的影响。假设随机过程为过程：它的自协方差生成函数为：现假设对随机过程进行差分变换，得到新的随机过程：，则随机过程的自协方差生成函数为：注意到因式分解形式：则的自协方差生成函数可以表示为：从上述结果可以归纳出更为一般的滤波后的

24、过程的自协方差生成函数。命题3.4 假设原始随机过程具有自协方差生成函数，对它进行下述形式的滤波：，则随机过程可以表示为：，则随机过程的自协方差生成函数为： (3.55)证明：略。3.7 随机过程的可逆性3.7.1 过程的可逆性考虑过程为：如果给定移动平均参数限制：，等式两端乘以逆算子，得到：上式左端实际上是一个无限阶的自回归过程，可以表示为。如果一个移动平均过程可以通过逆算子作用得到无限阶自回归表示，则称该过程是可逆过程。显然，对于过程而言，它的可逆性条件是：；否则该过程便不是可逆的。为什么要讨论过程的可逆性？我们根据过程的1阶和2阶矩性质进行讨论。对于具有均值的过程的自协方差生成函数为：现

25、在分析另外一个过程：其中白噪声序列的方差为：该过程的自协方差生成函数为：如果上述两个过程的参数之间满足要求：，则这两个过程具有相同的自协方差生成函数，即随机过程与随机过程具有完全相同的自协方差。根据上述过程之间参数对应关系，我们知道，如果，则，这就是说，对于任意可逆的过程，都存在一个与它具有相同各阶自协方差(主要是1阶和2阶自协方差)的不可逆的过程。相反，对于任意一个的不可逆的过程，都存在一个与它具有相同各阶自协方差的可逆过程。在边界情形，过程只有一种表示，并且称此时是不逆的。根据上述讨论可知，可逆性表示两个具有相同的自协方差序列之间的转换。但是需要注意，并不是仅有具有可逆表示或者不可逆表示的

26、随机过程之间具有相同的各阶矩。假设计算机通过过程：，生成了一个序列。虽然我们知道这是一个由不可逆过程生成的数据，但是我们仍然知道同样的数据也可以由一个可逆过程生成。定义新的残差序列，其中：通过计算它对应的自协方差生成函数，可以判断上述过程是白噪声序列：获得白噪声序列以后，可以得到：显然上述是一个也可以生成序列的不可逆过程。这说明不可逆过程表示的数据也可以通过可逆过程表示。虽然可逆过程和不可逆过程同样可以描述一个基本的随机过程，但是为了表示时的残差，可逆过程需要知道当前和过去的过程值，不可逆过程需要当前和将来的过程值。如果更注重历史数据的作用，则倾向于使用可逆过程。3.7.2 过程的可逆性考虑过程为：假设方程：的根全部落在单位圆外，则利用逆算子性质，可以将上述过程表示为无限阶自回归过程形式：此时过程是可逆的。15