时间序列分析-时间序列.ppt

第一章 时间序列,本章目录 时间序列的分解 平稳序列 线性平稳序列和线性滤波 正态时间序列和随机变量的收敛性 严平稳序列及其遍历性 Hilbert空间中的平稳序列 平稳序列的谱函数 离散谱序列及其周期性,1.1 时间序列的分解,一.时间序列的定义： 时间序列：按时间次序排列的随机变量序列。 观测样本：随机序列各随机变量的观测样本。 个有序观 测值 一次实现或一条轨道：时间序列的一组实际观测。 时间序列分析的任务：数学建模，解释、控制或预报。,二.时间序列的分解,趋势项 ，季节项 ，随机项 注：1.单周期季节项： 只需要 且可设 2.随机项：可设 3.,例：某城市居民季度用煤消耗量,分解方法: 1.趋势项估计 （1）分段趋势(年平均) （2）线性回归拟合直线 （3）二次曲线回归 （4）滑动平均估计,2.估计趋势项后,所得数据 由季节项和随机项组成, 季节项估计 可由该数据的每个季节平均而得. 3. 随机项估计即为,方法一：分段趋势法 1 趋势项（年平均）,减去趋势项后,所得数据,2、季节项,3.随机项的估计,方法二：回归直线法,一、趋势项估计 一元线性回归模型 最小二乘估计为 可得到,1. 直线趋势项,消去趋势项后,所得数据,2、季节项估 为,3. 随机项估计为,方法三： 二次曲线法,1. 二次项估计（趋势项）,数据和二次趋势项估计,2. 季节项、随机项,例二、美国罢工数（51-80年)（滑动平均法）,1. 趋势项（5项平均）,2.季节项和随机项,例三、化学溶液浓度变化数据,一阶差分,三 时间序列和随机过程 设 是实数 的子集，如果对每个t属于T，都有一个随机变量 与之对应，就称随机变量的集合 是一个随机过程。 当T是全体整数或全体非负整数时，称相应的随机过程为随机序列。 把随机序列的指标集合T看成时间指标时，这个随机过程就是时间序列。 当T是全体实数或全体非负实数时，相应的随机过程称为连续时随机过程。 如果把T认为时间指标，连续是的随机过程就是连续的时间序列。,1.2 平稳序列,一 平稳序列 定义 如果时间序列 满足 （1） 对任何的 （2） 对任何的 （3） 对任何的 就称是 平稳时间序列，简称时间序列。称实数 为 的自协方差函数。 平稳序列中随机变量 的均值为 ，方差为 都是和t无关的常数。 协方差结构的平移不变性是平稳序列的特性，所以平稳序列是二阶矩平稳序列。,自协方差函数满足以下三条性质：,（1）对称性： 对所有的K成立。 （2）非负定性：对任何的 ，n阶自协方差矩阵 是非负定的矩阵。 （3）有界性： 对所有的k成立。 满足上述性质的实数列都称为非负定序列。,下面证明这些性质，对称性由定义直接得到。 为证明非负性，任取一个 维实向量,为证明有界性，我们先介绍一个常用的不等式.引理 (Schwarz不等式） 对任何方差有限的随机变量X和Y,有 证明 不妨设 ,关于a的一元 于是，判别式 取 时，有界性有Schwarz不等式得到：,线性相关性,定义： 自协方差矩阵退化的充分必要条件是存在非零的n维实向量 使得 这时我们称随机变量是线性相关的。,自相关系数 定义：设平稳序列 是标准化的序列 ， 的自协方 差函数 称为平稳序列的自相关系数。,二.白噪声,最简单的平稳序列是白噪声，它在时间序列分析中有特殊的重要地位。 定义（白噪声） 设 是一个平稳序列，如果对任意的 称 是一个白噪声，记做 当 是独立序列时，称 是独立白噪声； 当 时，称为零均值白噪声； 当 称为标准白噪声。,例2.3 Poisson过程和Poisson白噪声,如果连续时的随机过程满足 （1） ，且对任何的ts0和非负整数k， （2）N(t)有独立增量性：对任何n1和 随机变量 相互独立，则称N(t)是一个强度为的Poisson过程。 数学期望和方差分别为,Poisson白噪声,定义： 满足上面三个条件称为Poisson白噪声。 ave 表示的样本均值，std表示样本的标准差。 下面的例子是Poisson白噪声的60个样本。,Poisson白噪声的60样本的产生,1. 随机产生服从(0,1)上均匀的200个样本: 2. 给出服从参数为1的指数分布的200个独立样本; 3. 给出参数为1的Poisson过程一条样本轨道在i=1,61上的取值；,参数为1的Poisson白噪声的60个样本I,样本II,标准正态白噪声的60个样本: A=randn(1,60)；plot(A),三.正交平稳序列,设X和Y是方差有限的随机变量，如果E(XY)=0，就称X和Y是正交的，如果c o v(X,Y）=0，就称X和Y是不相关的。 定义 对于平稳序列 和 ， （1） 如果对任何的 s, t Z, ，则称 和 是正交的； （2 ）如果对任何的 s, t Z， ，则称 和 是不相关的。 定理2.2 设 和 分别是平稳序列 和 的自协方差函数， 记 定义,（1）如果 和 正交，则 是平稳序列，有自协方差函数 （2）如果 和 不相关，则 是平稳序列，有自协方差函数 证明：（1）当 和 正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到 （2）由上面的推导 得到。,1.3 线性平稳序列和线性滤波,一.有限运动平均 定义： 设 是WN(O, )，对于非负整数q和常数a0,a1,aq,我们称 是白噪声 的（有限）运动平均，简称为MA，运动平均又称 滑动平均。 MA的平稳性,例：,概率极限定理： 定理 （单调收敛定理） 如果非负随机变量序列单调不减： 则当 时，有 对于任何时间序列 ，利用单调收敛定理得到 定理 （控制收敛定理）如果随机变量序列 满足 和 时，则当 时， 并且,二. 线性平稳序列,定义：如果实数列 满足 则称 是绝对可和的。 对于绝对可和的实数列 ，定义零均值白噪声 的无穷滑动和 如下 ，则 是平稳序列。下面说明 是 平稳序列。 由 Schwarz不等式得到 于是Xt右边的无穷级数是a.s.绝对收敛的，从而是a.s.收敛的。 由于 所以用控制收敛定理得到 现对t,s Z，定义,利用公式可以知道 所以由控制收敛定理得到 这就说明了 是平稳序列,证明：当 时,定理：设 是WN(0， ),实数列 平方可和，线性平稳序列 由上述 定义，则自协方差函数,三.时间序列的线性滤波,对序列 进行滑动求和： 称为对 进行线性滤波。其中决定可和的 称为一个保时线性滤波器。 如果输入信号 是平稳列则输出 也是平稳列。 期望 协方差函数,例3.1 余弦波信号的滤波,信号St方差 ，噪声方差 ，信噪比,注：,1.4 正态时间序列和随机变量的收敛性,随机向量的数学期望和方差 矩阵随机向量 期望 随机向量 ，则X的协方差矩阵 协方差矩阵的计算公式 随机向量线性变换,如果存在m维常数列向量，mn常数矩阵B和iid的标准正态随机变量 使得Y= +BX,则称随机变量 服从m维正态分布。 这时EY= , =Var(Y)= Y的特征函数为 这是多维正态分布的等价定义。 记YN(, ),多维正态分布的充要条件,定理 4.1 的充要条件是对任何,二.正条平稳序列 定义：对于时间序列 ，如果对任何n 1和 有 服从多元正态分布，则称 为正态时间序列 特别当 还是平稳序列时，又称为正态平稳序列。,正态序列收敛定理,定理4.3 如果正态序列 ,依分布收敛到随机变量 则 定理4.4 如果 服从WN(0， )，实数列绝对可和，则有 定义的平稳序列时零均值正态序列，自协方差函数(3.5)给出。 证明：下证为正态序列，先证对任何 ,有 其中,对任何 , 定义 则有当 时, 有,由定理4.2, 得到 依分布收敛到 ， 则 从而由 和定理4.1得到(4.9). 用同样方法可以证明: 对任何 有 其中 . 定理4.4成立.,1.5 严平稳序列及其遍历性,定义：设 是时间序列。如果对任意正整数n和k，随机变量 同分布，就称 是严平稳序列。 特征是分布平移不变 性：对任何固定的k，时间序列 和 同分布。 严平稳和宽平稳的关系：1.二阶矩有限的严平稳为宽平稳。 2.宽平稳一般不是严平稳。 3.正态平稳列既是宽平稳也是严平稳。 4.平稳序列 到 宽平稳序列 到 弱平稳序列。 5.严平稳序列到强平稳序列。,遍历性：1.时间序列一般只是一条轨道。 2.要用时间序列 的一次实现推断 的统计性质。 遍历性可以保证从一条轨道可以推断整体的统计性质。 如果严平稳序列是遍历的，从他的一次实现就可以推断出这个严平稳的所有有限维分布: 有遍历的严平稳序列被称为严平稳遍历序列。,严平稳序列定理,定理5.1 如果 是严平稳遍历序列，则有如下的结果： （1）强大数律：如果 则 （2）对任何多元函数 是严平稳遍历序列. 下面的定理在判断线性平稳序列的遍历性时时十分有用的。 定理5.2 如果 是独立同分布的WN(0, )实数列 平方可和, 则线性平稳序列 是严平稳序列的。,1.6 Hilbert 空间中的平稳序列,Hilbert空间 设 是平稳序列，令 所以 是一个线性空间。,在线性空间上定义内积， 则有 所以 是内积空间，在任何内积空间中都有Schwarz不等式 令距离 则有,三角不等式： 这样 又称为距离空间，不难看出在任意的内积空间上都可以定义距离，是它自然成为距离空间。 如果 也是内积空间和距离空间， 是 的子空间。 定义6.1 对 ： (1)如果 ,则称 在 中收敛到 （2)如果当 时， 则称 是 中的基本列或Cauchy列。,完备的内积空间：每个基本列都是极限在空间内的内积空间。 又称Hilbert空间。 是Hilbert空间。 用 表示 中包含 的最小闭子空间 则 是Hilbert空间，称为由平稳序列 生成的Hilbert空间。 二.内积的连续性 定理（内积的连续性） 在内积空间中，如果 证明(1)由三角不等式 得到。,（2）有Schwarz不等式得到 例： n维Hilbert空间 是线性空间，定义内积 ，则为内积空间。 是完备的内积空间。 为欧氏模,例2 设 是零均值的平稳列， ，则它的线性组合全 体构成的内积空间 是Hilbert空间称为有X生成的Hilbert空间。实际上， 是线性空 间和内积空间下面我们来证明的完备性。 证明：先设 是标准的白噪声WN(0，1),对任何的线性组合 只要 由例1知道有 使得 当 取 时 于是 是完备的,对一般的零均值的平稳序列，可以设协方差阵 的秩是m, mn 有非退化矩阵B使得Y=BX有协方差矩阵 于是 且 为WN(0，1)的一段，由 知道 为 线性组合，从而是完备的。 三.复值时间序列 复随机变量：如果X和Y 是随机变量，称Z=X+iY是复随机变量。 如果EX和EY都存在，称Z=X+iY 的数学期存在,并且EZ=EX+iEY 二阶矩有限的复随机变量：如果 就称为Z的二阶矩有限 随机变量。,按时间次序排列的复值随机变量的序列 称为复时间序列。 如果复时间序列 满足 就称 是一个复值平稳序列，称 是 的自协方差函数。 当 ，称 是一个复值零均值白噪声。,1.7 平稳序列的谱函数,1.时域和频域 遍历的时间序列可以从延的时间分布进行统计分析，称为时域分析。 平稳时间序列的二阶性质也可以从其频率分解来研究，称为频域分析。 2.谱函数和谱密度 设平稳序列 有自协方差函数 （1）如果有-,上的单调不减右连续的函数F()使得 则称F()是 或 的谱分布函数，简称为谱函数。 （2）如果有-,上的非负函数f()使得 则称f()是 或 的谱密度函数或功率谱密度，简称为谱密度或 功率谱。,谱函数和谱密度的关系,若 有谱函数f() ,则变上限的积分 就是 的谱函数。当谱函数F()绝对连续，它的几乎处处导函数 就是谱函数，特别，当F()是连续函数，除去有限点外导函数存在 且连续，则 是谱密度。,谱函数存在唯一性定理 定理7.1 （Herglotz定理）平稳序列的谱函数是唯一存在的。 线性平稳序列的谱密度 定理7.2 如果 是WN(0， )实数列 平方可和，则线性平稳序列 有谱密度,两正交序列的谱 定理7.3 设 和 是相互正交的零均值的平稳序列，C是常 数，定义 (1)如果 和 分别有谱函数 则平稳序 列 有谱函数 （2）如果 和 分别有谱密度 ，则 有谱 密度,例,谱密度图,线性滤波与谱,设平稳序列有谱函数和自协方差函数，H=hj 是一个绝对 可和的保时线性滤波器。 当输入过程是时，输出过程是 的协方差函数 实数级数绝对收敛。,定理7.4 设 是平稳序列，H=h是绝对可和的保时线性滤波器， 和H(z)分别由上面定义。 （1）如果 有谱函数 ，则 有谱函数； （2）如果 有谱函数 ，则 有谱密度。 实值平稳序列的谱密度是偶函数。,1.8 离散谱序列及其周期性,一简单的离散谱序列 用 表示集合a,b上以为自变量的示性函数： 当 时，定义阶梯函数 则有F(-)=0，并且对任何的整数k, 所以F()是Zt的谱函数。,当平稳序列的谱函数是阶梯函数是，习惯上就把它称为离散谱函数。 把相应的平稳序列称为离散谱序列。 离散谱函数没有对应的谱密度，但可以逼近。 相应的按公式（7.3）定义 当,二.多个频率成分的离散谱序列 设随机变量 两两正交，满足 对于正整数p和 ，定义时间序列 是平稳序列，具有零均值和自协方差函数,