状态空间模型和卡尔曼滤波幻灯片.ppt

《状态空间模型和卡尔曼滤波幻灯片.ppt》由会员分享，可在线阅读，更多相关《状态空间模型和卡尔曼滤波幻灯片.ppt（108页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、状态空间模型和卡尔曼滤波第1页，共108页，编辑于2022年，星期日 在在一一般般的的统统计计模模型型中中出出现现的的变变量量都都是是可可以以观观测测到到的的，这这些些模模型型以以反反映映过过去去经经济济变变动动的的时时间间序序列列数数据据为为基基础础，利利用用回回归归分分析析或或时时间间序序列列分分析析等等方方法法估估计计参参数数，进进而而预预测测未未来来的的值值。状状态态空空间间模模型型的的特特点点是是提提出了出了“状态状态状态状态”这一概念。这一概念。而而实实际际上上，无无论论是是工工程程控控制制问问题题中中出出现现的的某某些些状状态态（如如导导弹弹轨轨迹迹的的控控制制问问题题）还还是是

2、经经济济系系统统所所存存在在的的某某些些状状态态都都是是一一种种不不可可观观测测的的变变量量，正正是是这这种种观观测测不不到到的的变变量量反反映映了了系系统统所所具具有有的的真真实实状状态态，所所以以被被称称为为状状状状态态态态向向向向量量量量。这这种种含含含含有有有有不不不不可可可可观观观观测测测测变变变变量量量量的的的的模模模模型型型型被被被被称称称称为为为为UCUC模模模模型型型型(UnobservableComponentModel)。第2页，共108页，编辑于2022年，星期日2UC模模型型通通过过通通常常的的回回归归方方程程式式来来估估计计是是不不可可能能的的，必必须须利利用用状状

3、态态空空间间模模型型来来求求解解。状状状状态态态态空空空空间间间间模模模模型型型型建建建建立立立立了了了了可可可可观观观观测测测测变变变变量量量量和和和和系系系系统统统统内内内内部部部部状状状状态态态态之之之之间间间间的的的的关关关关系系系系，从从而而可可以以通通过过估估计计各各种种不不同同的的状状态态向向量达到分析和观测的目的。量达到分析和观测的目的。EViews状状态态空空间间对对象象对对单单方方程程或或多多方方程程动动态态系系统统提提供供了了一一个个直直接接的的、易易于于使使用用的的界界面面来来建建立立、估估计计及及分分析析方方程程结结果果。它它提提供供了了大大量量的的建建立立、平平滑滑

4、、滤滤波波及及预预测测工工具具，帮帮助助我我们们利利用用状状态态空空间间形式来分析动态系统。形式来分析动态系统。第3页，共108页，编辑于2022年，星期日3利用状态空间形式表示动态系统主要有两个优点：利用状态空间形式表示动态系统主要有两个优点：第第一一，状状态态空空间间模模型型将将不不可可观观测测的的变变量量(状状态态变变量量)并并入入可可观观测测模型并与其一起得到估计结果；模型并与其一起得到估计结果；其其次次，状状态态空空间间模模型型是是利利用用强强有有效效的的递递归归算算法法卡卡卡卡尔尔尔尔曼曼曼曼滤滤滤滤波波波波来来估估计计的的。卡卡尔尔曼曼滤滤波波可可以以用用来来估估计计单单变变量量

5、和和多多变变量量的的ARMA模模型型、MIMIC（多多指指标标和和多多因因果果）模模型型、马马尔尔可可夫夫转转换换模型以及变参数模型。模型以及变参数模型。第4页，共108页，编辑于2022年，星期日411.1 状态空间模型的定义状态空间模型的定义 在本节中，我们仅就如何定义并预测一个线性状态空间模型做以在本节中，我们仅就如何定义并预测一个线性状态空间模型做以简要的讨论。状态空间模型一般应用于多变量时间序列。设简要的讨论。状态空间模型一般应用于多变量时间序列。设yt是包含是包含k 个经济变量的个经济变量的k 1维可观测向量。这些变量与维可观测向量。这些变量与m 1维向量维向量 t 有有关关，t

6、t 被称为状态向量被称为状态向量被称为状态向量被称为状态向量。定义。定义“量测方程量测方程量测方程量测方程”(measurementequation)或称或称“信号方程信号方程信号方程信号方程”(signalequation)为为(11.1.1)其其中中：T 表表示示样样本本长长度度，Z Zt t 表表示示k m 矩矩阵阵，称称为为量量量量测测测测矩矩矩矩阵阵阵阵，dt 表表示示k 1向向量量，ut 表表示示k 1向向量量，是是均均值值为为0，协协方方差差矩矩阵阵为为Ht 的的不不相关扰动项，即相关扰动项，即(11.1.2)第5页，共108页，编辑于2022年，星期日5一一般般地地，t t 的

7、的的的元元元元素素素素是是是是不不不不可可可可观观观观测测测测的的的的，然然而而可可表表示示成成一一阶阶马马尔尔可可夫夫(Markov)过过程程。下下面面定定义义转转转转移移移移方方方方程程程程(transitionequation)或或称称状状状状态方程态方程态方程态方程(stateequation)为为(11.1.3)其其中中：T Tt t 表表示示m m 矩矩阵阵，称称为为状状状状态态态态矩矩矩矩阵阵阵阵，ct 表表示示m 1向向量量，Rt 表表示示m g 矩矩阵阵，t 表表示示g 1向向量量，是是均均值值为为0，协协方方差差矩矩阵阵为为Qt 的的连连续续的不相关扰动项，即的不相关扰动项

8、，即(11.1.4)量测方程和状态方程的扰动项的协方差矩阵用量测方程和状态方程的扰动项的协方差矩阵用 表示表示第6页，共108页，编辑于2022年，星期日6当当k 1时，变为单变量模型，量测方程可以写为时，变为单变量模型，量测方程可以写为(11.1.5)其其中中：Zt 表表示示1 m 矩矩阵阵，t 表表示示m 1状状态态向向量量，ut 是是方方差差为为 2的扰动项的扰动项。第7页，共108页，编辑于2022年，星期日7若使上述的状态空间模型成立，还需要满足下面两个假定：若使上述的状态空间模型成立，还需要满足下面两个假定：(1)初始状态向量初始状态向量 0的均值为的均值为a0，协方差矩阵为协方差

9、矩阵为P0，即即(11.1.6)(2)在在所所有有的的时时间间区区间间上上，扰扰动动项项ut 和和 t 相相互互独独立立，而而且且它它们们和和初初始状态始状态 0也不相关，即也不相关，即(11.1.7)且且(11.1.8)第8页，共108页，编辑于2022年，星期日8量量测测方方程程中中的的矩矩阵阵Zt,dt,Ht 与与转转移移方方程程中中的的矩矩阵阵Tt,ct,Rt,Qt 统统称称为为系系系系统统统统矩矩矩矩阵阵阵阵。如如不不特特殊殊指指出出，它它们们都都被被假假定定为为非非随随机机的的。因因此此，尽尽管管它它们们能能随随时时间间改改变变，但但是是都都是是可可以以预预先先确确定定的的。对对于

10、于任任一一时时刻刻t，yt 能能够够被被表表示示为为当当前前的的和和过过去去的的ut 和和 t 及初始向量及初始向量 0的线性组合，所以模型是线性的。的线性组合，所以模型是线性的。第9页，共108页，编辑于2022年，星期日9 例例例例11.111.1 一阶移动平均模型一阶移动平均模型一阶移动平均模型一阶移动平均模型MA(1)MA(1)(11.1.9)其其中中：E(t)=0，var(t)=2，cov(t,t-s)=0,通通过过定定义义状状态态向向量量 t=(yt,t)可以写成状态空间形式可以写成状态空间形式量测方程量测方程：(11.1.10)状态方程状态方程：(11.1.11)这种形式的特点是

11、不存在量测方程噪声这种形式的特点是不存在量测方程噪声。第10页，共108页，编辑于2022年，星期日10 对对于于任任何何特特殊殊的的统统计计模模型型，状状态态向向量量 t 的的定定义义是是由由结结构构确确定定的的。它它的的元元素素一一般般包包含含具具有有实实际际解解释释意意义义的的成成分分，例例如如趋趋势势或或季季节节要要素素。状状态态空空间间模模型型的的目目标标是是，所所建建立立的的状状态态向向量量 t 包包含含了了系系统统在在时时刻刻 t 的的所所有有有有关关信信息息，同同时时又又使使用用尽尽可可能能少少的的元元素素。所所以以如如果果状状态态空空间间模模型型的的状状态态向向量量具具有有最

12、最小小维维数数，则则称称为为最最最最小小小小实实实实现现现现(MinimalRealization)。对对一一个个好好的的状状态态空空间间模模型型，最最小小实实现现是是一一个个基基本本准准则则。然然而而对对于于任任一一特特殊殊问问题题的状态空间模型的表示形式却不是惟一的，这一点很容易验证。的状态空间模型的表示形式却不是惟一的，这一点很容易验证。第11页，共108页，编辑于2022年，星期日11 考考虑虑通通过过定定义义一一个个任任意意的的非非奇奇异异矩矩阵阵B，得得到到 t*=B t ，为为新新的状态向量。用的状态向量。用B矩阵左乘状态方程矩阵左乘状态方程(11.1.3)，得到，得到(11.1

13、.12)式中式中Tt*=BTt B-1，ct*=Bct，Rt*=BRt。相应的量测方程是。相应的量测方程是(11.1.13)式中式中Zt*=Zt B-1 。第12页，共108页，编辑于2022年，星期日12例例11.2二阶自回归模型二阶自回归模型AR(2)(11.1.14)其其中中：E(ut)=0，var(ut)=2，cov(ut,ut-s)=0,考考虑虑两两个个可可能能的的状状态态空空间形式间形式(k=1,m=2)是是(11.1.15)(11.1.16)换一种形式换一种形式(11.1.17)第13页，共108页，编辑于2022年，星期日13系系统统矩矩阵阵Zt，Ht，Tt，Rt，Qt 可可以

14、以依依赖赖于于一一个个未未未未知知知知参参参参数数数数的的集集合合。状状态态空空间间模模型型的的一一个个主主要要的的任任务务就就是是估估计计这这些些参参数数，在在例例11.1的的MA(1)模模型型中中的的参参数数 ,2和和例例11.2的的AR(2)模模型型中中的的参参数数 1，2，2是是未未知知的的，这这些些参参数数将将通通过过 向向量量表表示示，并并被被称称为为超超超超参参参参数数数数（hyperparametershyperparameters）。超超参参数数确确定定了了模模型型的的随随机机性性质质，在在ct 和和dt 中中出出现现的的参参数数仅仅影影响响确确定定性性的的可可观观测测变变量

15、量和和状状态态的的期期望望值值。在在状状态态空空间间模模型型中中可可以以引引入入外外生生变变量量作作为为解解释释变变量量，也也可可以以引引入入yt 的的延延迟迟变变量量，这这些些都都可可以以放放到到dt 中中去去。如如果果ct 或或dt 是是未未知知参参数数的的一一个个线线性性函函数数，这这些些未未知知参参数数也也可可以以作作为为状状态态变变量量或或者者超超参参数数的的一一部部分元素。分元素。第14页，共108页，编辑于2022年，星期日14 例例11.3变参数模型变参数模型通常的回归模型可用下式表示，即通常的回归模型可用下式表示，即：其其中中：yt是是因因变变量量，xt是是m 1的的解解释释

16、变变量量向向量量，是是待待估估计计的的m 1未未知知参参数数向向量量，ut是是扰扰动动项项。这这种种回回归归方方程程式式所所估估计计的的参参数数在在样样本本期期间间内内是是固固定定的的，可可以以采采用用普普通通最最小小二二乘乘法法(OLS)、工工具具变变数数法法等等计计量量经经济济模模型的常用方法进行估计。型的常用方法进行估计。第15页，共108页，编辑于2022年，星期日15实实际际上上近近年年来来，我我国国由由于于经经济济改改革革、各各种种各各样样的的外外界界冲冲击击和和政政策策变变化化等等因因素素的的影影响响，经经济济结结构构正正在在逐逐渐渐发发生生变变化化，而而用用固固定定参参数数模模

17、型型表表现现不不出出来来这这种种经经济济结结构构的的变变化化，因因此此，需需要要考考虑虑采采用用变变变变参参参参数数数数模模模模型型型型(Time-varyingParameterModel)。下面利用状态空间模型来构造变参数模型。下面利用状态空间模型来构造变参数模型。量测方程：量测方程：状态方程：状态方程：第16页，共108页，编辑于2022年，星期日16 xt 是具有随机系数是具有随机系数 t 的解释变量的集合，的解释变量的集合，zt 是有固定系数是有固定系数 的解释变量集合，随机系数向量的解释变量集合，随机系数向量 t 是对应于是对应于(11.1.1)中的状态向量，中的状态向量，称为可变

18、参数。称为可变参数。变参数变参数变参数变参数 t 是不可观测变量，必须利用可观测变量是不可观测变量，必须利用可观测变量是不可观测变量，必须利用可观测变量是不可观测变量，必须利用可观测变量 y yt t 和和和和x xt t 来估计来估计来估计来估计。假定变参数。假定变参数 t 的变动服从于的变动服从于AR(1)模型（也可模型（也可以简单地扩展为以简单地扩展为AR(p)模型），扰动向量模型），扰动向量 ut,t 假定为相互独假定为相互独立的，且服从均值为立的，且服从均值为0，方差为，方差为 2和协方差矩阵为和协方差矩阵为Q 的正态分布。的正态分布。第17页，共108页，编辑于2022年，星期日1

19、7 11.2卡尔曼滤波卡尔曼滤波(KalmanFiltering)当当一一个个模模型型被被表表示示成成状状态态空空间间形形式式就就可可以以对对其其应应用用一一些些重重要要的的算算法法求求解解。这这些些算算法法的的核核心心是是Kalman滤滤波波。Kalman滤滤波波是是在在时时刻刻t 基基于于所所有有可可得得到到的的信信息息计计算算状状态态向向量量的的最最理理想想的的递递推推过过程程。在在某某些些工工程程问问题题中中，状状态态向向量量的的当当前前值值具具有有重重要要影影响响(例例如如，它它可可以以表表示示火火箭箭在在空空间间的的坐坐标标)。Kalman滤滤波波的的主主要要作作用用是是：当当扰扰

20、动动项项和和初初始始状状态态向向量量服服从从正正态态分分布布时时，能能够够通通过过预预测测误误差差分分解解计计算算似似然然函函数数，从从而而可可以以对对模模型型中中的的所所有有未未知知参参数数进进行行估估计计，并并且且当当新新的的观观测测值值一一旦旦得得到到，就就可可以以利利用用Kalman滤滤波波连连续续地地修正状态向量的估计。修正状态向量的估计。第18页，共108页，编辑于2022年，星期日18以以下下设设YT 表表示示在在t=T时时刻刻所所有有可可利利用用的的信信息息的的信信息息集集合合，即即YT=yT,yT-1,y1。状状态态向向量量的的估估计计问问题题根根据据信信息息的的多多少分为少

21、分为3种类型：种类型：(1)当当t T时时，超超出出样样本本的的观观测测区区间间，是是对对未未来来状状态态的的估估计问题，称为计问题，称为预测（预测（预测（预测（predictionprediction）；(2)当当t=T 时时，估估计计观观测测区区间间的的最最终终时时点点，即即对对现现在在状状态态的的估计问题，称为估计问题，称为滤波（滤波（滤波（滤波（filteringfiltering）；(3)当当t T 时时，是是基基于于利利用用现现在在为为止止的的观观测测值值对对过过去去状状态态的估计问题，称为的估计问题，称为平滑（平滑（平滑（平滑（smoothingsmoothing）。第19页，共

22、108页，编辑于2022年，星期日19进进一一步步，假假定定at t-1和和Pt t-1分分别别表表示示以以利利用用到到t-1为为止止的的信信息息集集合合Yt-1为为条条件件的的状状态态向向量量 t 的的条条件件均均值值和和条条件件误误差差协协方方差差矩矩阵，即阵，即在本节假定系统矩阵在本节假定系统矩阵Zt,Ht,Tt,Rt 和和Qt 是已知的，设初是已知的，设初始状态向量始状态向量 0的均值和误差协方差矩阵的初值为的均值和误差协方差矩阵的初值为a0和和P0，并假定，并假定a0和和P0也是已知的。也是已知的。第20页，共108页，编辑于2022年，星期日2011.2.1Kalman11.2.1

23、Kalman滤波的一般形式滤波的一般形式滤波的一般形式滤波的一般形式11滤波滤波滤波滤波考考虑虑状状态态空空间间模模型型(11.1.1)和和(11.1.3)，设设a at t-1-1为为为为状状状状态态态态向向向向量量量量 t-t-11的的的的均均均均值值值值，也也是是基基于于信信息息集集合合Yt-1的的 t-1的的估估估估计计计计量量量量，Pt-1表表示示估计误差的估计误差的m m 协方差矩阵，即协方差矩阵，即(11.2.1)第21页，共108页，编辑于2022年，星期日21当给定当给定at-1和和Pt-1时，时，t 的条件分布的均值由下式给定，即的条件分布的均值由下式给定，即(11.2.2

24、)在在扰扰动动项项和和初初始始状状态态向向量量服服从从正正态态分分布布的的假假设设下下，t 的的条条件件分分布布的的均均值值at t-1是是 t 在在最最小小均均方方误误差差意意义义下下的的一一个个最最优优估估计计量量。估计误差的协方差矩阵是估计误差的协方差矩阵是(11.2.3)式式式式(11.2.2)(11.2.2)和式和式和式和式(11.2.3)(11.2.3)称为预测方程称为预测方程称为预测方程称为预测方程(pedictionequations)(pedictionequations)。第22页，共108页，编辑于2022年，星期日22一一旦旦得得到到新新的的预预测测值值yt，就就能能够

25、够修修正正 t 的的估估计计at t-1，更更更更新新新新方方方方程程程程(updatingequations)(updatingequations)是是是是(11.2.4)和和(11.2.5)其中其中(11.2.6)上述上述式式式式(11.2.2)(11.2.2)式式式式(11.2.6)(11.2.6)一起构成一起构成一起构成一起构成KalmanKalman滤波的公式。滤波的公式。滤波的公式。滤波的公式。第23页，共108页，编辑于2022年，星期日23Kalman滤波的初值可以按滤波的初值可以按a0和和P0或或a1 0和和P1 0指定。这指定。这样，对于样，对于t=1,2,T，每当得到一个

26、观测值时，每当得到一个观测值时，Kalman滤波滤波提供了状态向量的最优估计。当所有的提供了状态向量的最优估计。当所有的T 个观测值都已处理，个观测值都已处理，Kalman滤波基于信息集合滤波基于信息集合YT，产生当前状态向量和下一时间，产生当前状态向量和下一时间期间状态向量的最优估计。这个估计包含了产生未来状态向量期间状态向量的最优估计。这个估计包含了产生未来状态向量和未来观测值的最优预测所需的所有信息。和未来观测值的最优预测所需的所有信息。第24页，共108页，编辑于2022年，星期日2422平滑平滑平滑平滑平滑（平滑（smoothing）(t=T-1,T-2,1)(11.2.10)(11

27、.2.11)其其中中：aT|T,PT|T 是是平平滑滑的的初初值值。还还可可以以计计算算得得到到yt 的的平平滑滑估估计计和和协方差矩阵协方差矩阵第25页，共108页，编辑于2022年，星期日2533预测预测预测预测如如果果量量测测方方程程(11.1.1)的的扰扰动动项项和和初初始始状状态态向向量量服服从从多多元元正正态态分分布布，则则yt 关关于于Yt-1的的条条件件分分布布也也是是正正态态的的。且且这这个个条条件件分分布布的均值和协方差矩阵可以直接由的均值和协方差矩阵可以直接由Kalman滤波给定。滤波给定。以以信信息息集集Yt-1为为条条件件，t 服服从从具具有有均均值值at t 1和和

28、协协方方差差矩矩阵阵Pt t 1的正态分布。如果量测方程被写为的正态分布。如果量测方程被写为(11.2.12)可可以以直直接接看看出出yt 的的条条件件分分布布是是正正态态的的，yt 的的条条件件均均值值(一一一一步步步步向向向向前前前前(线线线线性性性性)最小均方误差估计最小均方误差估计最小均方误差估计最小均方误差估计):(11.2.13)第26页，共108页，编辑于2022年，星期日26一步向前预测误差向量一步向前预测误差向量(11.2.14)预测误差协方差矩阵由式预测误差协方差矩阵由式(11.2.6)的的Ft 给定，即给定，即(11.2.15)由由后后面面11.2.2节节的的论论述述可可

29、以以知知道道条条件件均均值值是是yt 的的最最小小均均方方误误差差意意义义的的最最优优估估计计量量(MMSE)。因因此此，可可以以利利用用式式(11.2.13)，以以及及Kalman滤滤波波公公式式(11.2.2)(11.2.6)，对对yt，t（t=T+1,T+2,）进行预测。）进行预测。第27页，共108页，编辑于2022年，星期日2711.2.2Kalman11.2.2Kalman滤波的解释和性质滤波的解释和性质滤波的解释和性质滤波的解释和性质 Kalman滤波的导出依赖于扰动项和初始状态向量服从正滤波的导出依赖于扰动项和初始状态向量服从正态分布的假设。有了正态分布的假设，就能够基于信息集

30、合态分布的假设。有了正态分布的假设，就能够基于信息集合YT=yT,yT-1,y1，利用，利用Kalman滤波递推地计算滤波递推地计算 t 的分的分布。这些条件分布自身也都服从正态分布，因此也就由它布。这些条件分布自身也都服从正态分布，因此也就由它们的均值和协方差矩阵完全确定，这就是们的均值和协方差矩阵完全确定，这就是Kalman滤波计算滤波计算的估计量。为了说明的估计量。为了说明 t 的条件均值的条件均值是是 t 在最小均方误差意义在最小均方误差意义下的一个最优估计量，下面首先介绍均方误差和最小均方估计的下的一个最优估计量，下面首先介绍均方误差和最小均方估计的概念。概念。第28页，共108页，

31、编辑于2022年，星期日281.1.均方误差均方误差均方误差均方误差设设z 是随机向量，已知样本集合是随机向量，已知样本集合ZT=zT,zT-1,z1，是是基基于于ZT的的z 的的任任一一估估计计量量，则则定定义义均均方方误误差差（meansquareerror，MSE）为）为(11.2.16)2.2.最小均方估计最小均方估计最小均方估计最小均方估计 设设是是基基于于ZT 的的z 的的任任一一估估计计量量，是是其其中中使使均均方方误误差差达达到到最最小的小的z 的估计量，即的估计量，即(11.2.17)则称则称为为z的最小均方估计的最小均方估计(mininummeansquareestimat

32、or，MMSE)。第29页，共108页，编辑于2022年，星期日29Kalman滤滤波波以以信信息息集集Yt 为为条条件件，产产生生 t 的的条条件件均均值值和和方差方差(11.2.18)(11.2.19)其中：数学期望算子下面的下标其中：数学期望算子下面的下标t 表示是关于表示是关于Yt 的条件期望。的条件期望。第30页，共108页，编辑于2022年，星期日30设设是是以以信信息息集集Yt 为为条条件件的的 t 的的任任一一估估计计量量，估估计计误误差差可可以被分为两个部分以被分为两个部分(11.2.20)对对式式(11.2.20)两两端端平平方方，并并求求期期望望值值，经经过过计计算算，由

33、由于于混混合乘积项为零，得到合乘积项为零，得到(11.2.21)在在式式(11.2.21)等等号号右右边边的的第第一一项项是是 t 的的条条件件方方差差，由由于于var(t Yt)0，且且与与估估计计量量无无关关，因因此此要要想想使使式式(11.2.21)达达到到最最小小，只只需需在在第第二二项项取取即即可可。也也就就是是说说，t 的的最最小小均均方方估估计计(MMSE)就就是是由由Kalman滤滤波波所所得得到到的的条条件件均均值值at=E(t Yt)，并并且是惟一的。且是惟一的。第31页，共108页，编辑于2022年，星期日31当当状状态态空空间间模模型型的的扰扰动动项项的的分分布布不不能

34、能满满足足正正态态分分布布假假定定时时，一一般般地地，Kalman滤滤波波所所产产生生的的估估计计量量at 不不再再是是状状态态向向量量 t 的的条条件件均均值值，换换句句话话说说，式式(11.2.18)将将不不成成立立。但但是是如如果果限限制制估估计计量量是是观观测测值值的的线线性性组组合合，即即在在所所有有线线性性估估计计范范围围内内，at 是是具具有有最最小小均均方方误误差差意意义义上上的的最最优优估估计计量量。此此时时称称at 是是基基于于信信息息集集Yt 的的 t 的的最最小小均均方方线线性性估估计计量量(minimummeansquarelinearestimator，MMSLE)

35、，估估计计误误差差的的协协方方差差矩矩阵阵是是由由Kalman滤滤波波给给出出的的Pt 矩阵。矩阵。第32页，共108页，编辑于2022年，星期日32进进一一步步地地，上上述述关关于于状状态态向向量量 t 的的论论述述也也可可以以类类似似地地用用来来解释解释yt 基于信息集基于信息集Yt1的条件均值，用的条件均值，用表示，即表示，即(11.2.22)在正态假定下，在正态假定下，是是yt 在最小均方误差意义下的最优估在最小均方误差意义下的最优估计量计量(MMSE)，并且在不满足正态假定时，是，并且在不满足正态假定时，是yt 的最小均方线性的最小均方线性估计量估计量(MMSLE)。第33页，共10

36、8页，编辑于2022年，星期日33预测误差预测误差(11.2.23)被被称称为为新新新新息息息息(innovations)(innovations)，因因为为它它代代表表在在Yt-1的的基基础础上上新新观观测测值值yt 所所带带来来的的信信息息。从从更更新新方方程程(11.2.4)中中可可以以看看出出，新新息息vt 对对修修正正状状态态向向量量的估计量起到了关键的作用。的估计量起到了关键的作用。在在正正态态假假定定下下，根根据据是是最最小小均均方方误误差差意意义义下下的的最最优优估估计计量量，可可以推断以推断vt 的均值是零向量。进一步地，从式的均值是零向量。进一步地，从式(11.2.23)容

37、易看出容易看出(11.2.24)其其中中：Ft 由由式式(11.2.6)给给定定。在在不不同同的的时时间间区区间间，新新息息vt 是是不不相相关关的，即的，即,(11.2.25)第34页，共108页，编辑于2022年，星期日3411.2.311.2.3修正的修正的修正的修正的KalmanKalman滤波递推公式滤波递推公式滤波递推公式滤波递推公式当当量量测测方方程程和和转转移移方方程程的的扰扰动动项项是是相相关关的的时时候候，需需要要修修改改Kalman滤波。考虑具有量测方程和转移方程的状态空间形式滤波。考虑具有量测方程和转移方程的状态空间形式(11.2.26)(11.2.27)假设假设(11

38、.2.28)其中其中Gt 是已知的是已知的g k 矩阵。量测方程和状态方程的扰动项的协方矩阵。量测方程和状态方程的扰动项的协方差矩阵用差矩阵用 表示表示第35页，共108页，编辑于2022年，星期日35注注意意当当量量测测方方程程和和转转移移方方程程的的干干扰扰项项在在同同时时点点相相关关，在在不不同同时时点点不不相相关关时时，Kalman滤滤波波中中的的预预测测公公式式(11.2.2)，(11.2.3)不不变变，更更新新方方程程进进行行如如下下修修改改：在在(11.2.4)和和式式(11.2.5)中中矩矩阵阵Pt t 1Zt 变变为为Pt t 1Zt+Rt Gt，式，式(11.2.6)变为变

39、为(11.2.29)第36页，共108页，编辑于2022年，星期日3611.2.411.2.4非时变模型及非时变模型及非时变模型及非时变模型及KalmanKalman滤波的收敛性滤波的收敛性滤波的收敛性滤波的收敛性 在在许许多多实实际际应应用用问问题题中中，状状态态空空间间模模型型的的系系统统矩矩阵阵Zt，dt，Ht，Tt，ct，Rt 和和Qt 都都是是不不依依赖赖于于时时间间变变化化的的，这这样样就就可可以以写写成成不不带带时时间间下下标标的的模模型型，称称为为非非时时变变模模型型。一一般般允允许许ct 和和dt 是是依依时时间间变变化化的的，于于是是状状态态空空间间模模型型的的量量测测方方

40、程程(11.1.1)和和转转移移方方程程(11.1.3)就可以写为就可以写为(11.2.32)(11.2.33),(11.2.34)第37页，共108页，编辑于2022年，星期日37如如果果系系统统是是稳稳定定的的，则则转转移移矩矩阵阵T 的的所所有有的的特特征征根根的的模模应应当当小小于于1，即，即(11.2.35)且如果初始协方差矩阵且如果初始协方差矩阵P1 0是非负定的，则是非负定的，则(11.2.36)独立于独立于P1 0，Pt+1 t呈指数地迅速收敛到呈指数地迅速收敛到。第38页，共108页，编辑于2022年，星期日3811.2.5Kalman11.2.5Kalman滤波的初始条件滤

41、波的初始条件滤波的初始条件滤波的初始条件(1)仅仅当当状状态态转转移移矩矩阵阵T,方方差差矩矩阵阵P 和和Q 是是非非时时变变的的且且满满足足某某些些稳稳定定性性条条件件，初初始始条条件件的的求求解解才才是是可可能能的的。如如果果初初始始条条件件的求解是可能的，可以利用关系式：的求解是可能的，可以利用关系式：在更复杂的模型中给出求协方差矩阵初始条件在更复杂的模型中给出求协方差矩阵初始条件P0的一种方法的一种方法(11.2.37)式式中中Vec()算算子子是是把把矩矩阵阵拉拉直直，即即表表示示矩矩阵阵的的列列是是一一列列接接着着一一列列而而形形成成一一个个向向量量，而而运运算算符符 表表示示克克

42、罗罗内内克克积积(kroneckerproduct)，I 为为单位矩阵。单位矩阵。第39页，共108页，编辑于2022年，星期日39(2)如如果果初初始始条条件件的的求求解解是是不不可可能能的的，状状态态将将按按扩扩散散先先验验处处理理。当当利利用用扩扩散散先先验验时时，采采用用Koopman，Shephard和和Doornik(1998)提提出出的的方方法法将将设设置置 0=0和和P0=I，这这里里 为为一一个个任任意意的的大大数数。如如设设 =106，然然后后通通过过乘乘以以残残差差协协方方差差矩矩阵阵的的最最大大的的对对角线元素调整角线元素调整P。第40页，共108页，编辑于2022年，

43、星期日4011.3状态空间模型超参数的估计状态空间模型超参数的估计在在11.2节节讨讨论论利利用用Kalman滤滤波波递递推推公公式式求求状状态态向向量量的的估估计计量量时时，假假定定状状态态空空间间模模型型的的系系统统矩矩阵阵Zt,Ht,Tt,Rt 和和Qt 是是已已知知的的。但但实实际际上上系系系系统统统统矩矩矩矩阵阵阵阵是是是是依依依依赖赖赖赖于于于于一一一一个个个个未未未未知知知知参参参参数数数数的的的的集集集集合合合合，这这这这些些些些未未未未知知知知参参参参数数数数用用用用向向向向量量量量 表表表表示示示示，并并并并被被被被称称称称为为为为超超超超参参参参数数数数。例例如如，在在例

44、例11.1的的一一阶阶移移动动平平均均模模型型MA(1)中中 =(,2)，在在例例11.2的的二二阶阶自自回回归归模模型型AR(2)中中 =(1,2,2)。本本节节对对于于状状态态空空间间模模型型的的量量测测方方程程(11.1.1)和状态方程和状态方程(11.1.3)中含有未知参数的情况，介绍超参数的估计方法。中含有未知参数的情况，介绍超参数的估计方法。第41页，共108页，编辑于2022年，星期日41在在许许多多问问题题中中，特特别别在在关关于于正正态态分分布布的的各各种种估估计计问问题题中中，极极大大似似然然法法是是最最常常用用的的方方法法，这这主主要要表表现现在在极极大大似似然然估估计计

45、量量常常具具有有某某些些优良的性质。这里采用极大似然法估计未知的超参数。优良的性质。这里采用极大似然法估计未知的超参数。极极大大似似然然法法的的原原理理通通常常用用于于观观测测值值y1,y2,yT 相相互互独独立立且具有同样分布的情形，此时它们的联合概率函数被给定为且具有同样分布的情形，此时它们的联合概率函数被给定为(11.3.1)其中：其中：P(yt)是第是第t 个观测值的概率密度函数。个观测值的概率密度函数。L(y;)是样本是样本y1,y2,yT 的联合概率密度函数。一旦得到样本观测值，的联合概率密度函数。一旦得到样本观测值，L(y;)就可就可以被解释为似然函数，并且可以通过关于以被解释为

46、似然函数，并且可以通过关于 求偏导数，使函数求偏导数，使函数L(y;)达到最大来求出达到最大来求出 的极大似然估计。的极大似然估计。第42页，共108页，编辑于2022年，星期日42然然而而，经经济济时时间间序序列列的的一一个个重重要要特特征征是是经经济济变变量量间间是是不不独独立立的的，因因此此不不能能用用式式(11.3.1)，而而是是利利用用条条件件概概率率密密度度函函数数代代替替联联合合概概率率密度函数将似然函数表示为密度函数将似然函数表示为(11.3.2)其其中中：P(yt Yt-1)表表示示yt 以以直直到到时时刻刻t-1的的信信息息集集合合为为条条件件的的条条件件分分布，即布，即Y

47、t-1=yt-1,yt-2,y1，P(yt Yt-1)=P(yt y1,yt-1)。第43页，共108页，编辑于2022年，星期日43在在总总体体正正态态的的假假定定之之下下，可可以以将将式式(11.3.2)的的对对数数似似然然函函数数直接写为直接写为(11.3.3)其中其中(11.3.4)由由前前面面11.2.2节节的的论论述述可可以以知知道道条条件件均均值值是是yt 的的最最小小均均方方误误差差意意义义的的最最优优估估计计量量(MMSE)，所所以以k 1向向量量vt 可可以以作作为为一一个个预预测测误误差差向向量量来来解解释释。因因此此(11.3.3)式式有有时时也也称称为为似似然然函函数

48、数形形式式的预测误差分解。的预测误差分解。第44页，共108页，编辑于2022年，星期日44极大似然估计量的计算方法有许多种，有解析方法，也有数值解法。极大似然估计量的计算方法有许多种，有解析方法，也有数值解法。设设 =(1,2,n)是待求的未知参数向量，是待求的未知参数向量，首先求极大似然估计首先求极大似然估计的迭代公式。为求极大似然估计，需要求解的迭代公式。为求极大似然估计，需要求解设设是是超超参参数数向向量量的的精精确确值值，采采用用Taylor展展开开式式，取取一一次次近近 似似，并并 设设 表表 示示 参参 数数 空空 间间 上上 的的 任任 意意 一一 点点，则则 可可 将将 ln

49、L(y;)/表示成表示成第45页，共108页，编辑于2022年，星期日45令其为令其为0，可得，可得于是得到于是得到迭代公式迭代公式迭代公式迭代公式其其中中：l=1,2,，从从某某个个初初始始设设定定的的参参数数值值(0)出出发发，进进行行迭迭代代过过程：程：(1),(2),(3),。第46页，共108页，编辑于2022年，星期日46求求(l)(l=1,2,)，它的收敛值，它的收敛值为为所所求求的的极极大大似似然然估估计计。式式中中对对数数似似然然函函数数的的二二二二 阶阶阶阶 导导导导 数数数数 矩矩矩矩 阵阵阵阵 2 2lnlnL L/被被被被称称称称为为为为海海海海塞塞塞塞(Hessia

50、n)(Hessian)矩矩矩矩阵阵阵阵，而而对对数数似似然然函函数数的的一一一一阶阶阶阶导导导导数数数数 lnlnL L/被被被被称称称称为为为为得得得得分分分分向向向向量量量量或或或或JacobianJacobian向向向向量量量量。计计算算海海塞塞(Hessian)矩矩阵阵的的逆逆矩矩阵阵，计计算算量量是是很很大大的的。计计算算方方法法有有多多种种，近近似似的的方方法法可可节节省时间但缺少严密性，而严密的方法又有计算时间长的缺点。省时间但缺少严密性，而严密的方法又有计算时间长的缺点。第47页，共108页，编辑于2022年，星期日47双侧数值微分双侧数值微分双侧数值微分双侧数值微分被定义为：