马尔可夫过程推荐.ppt

《马尔可夫过程推荐.ppt》由会员分享，可在线阅读，更多相关《马尔可夫过程推荐.ppt（133页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、应用随机过程应用随机过程杜勇宏杜勇宏2005年5月25日联系方式：电话：联系方式：电话：13920880368 Email:1马尔可夫链马尔可夫链 24.1 马尔可夫链与转移概率马尔可夫链与转移概率4.2 马尔可夫链的状态分类马尔可夫链的状态分类4.3 状态空间的分解状态空间的分解4.4 渐近性质与平稳分布渐近性质与平稳分布4.5 连续时间马尔可夫链连续时间马尔可夫链4.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程3 马尔可夫过程的定义马尔可夫过程的定义定义定义4.1 设设 X(t)，t T 为随机过程，为随机过程，若对任意正整数若对任意正整数n及及t1 t20，且条件分且条件分布布PX(tn

2、)xn|X(t1)=x1,X(tn-1)=xn-1=PX(tn)xn|X(tn-1)=xn-1，则称则称 X(t)，t T 为马尔可夫过程。为马尔可夫过程。若若t1,t2,tn-2表示过去，表示过去，tn-1表示现在，表示现在，tn表示将来，马尔可夫过程表明：在已知表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与现在状态的条件下，将来所处的状态与过去状态无关。过去状态无关。4马尔可夫过程的定义马尔可夫过程的定义马尔可夫过程通常分为三类：马尔可夫过程通常分为三类：(1)(1)时间、状态都是离散的，称为时间、状态都是离散的，称为马尔可夫马尔可夫链链(2)时间连续时间连续、状态离

3、散的，称为连续时间状态离散的，称为连续时间马尔可夫链马尔可夫链(3)时间、状态都是连续的，称为时间、状态都是连续的，称为马尔可夫马尔可夫过程过程5马尔可夫链的一个应用 含体制变化的时间序列建模 如果人们观察宏观经济或金融时间序列足够长时期,则可以看到类似的戏剧性中断。时间序列的这种明显变化可能源于战争、金融恐慌或政府政策的显著变化。一个有吸引力的例子是墨西哥银行美元帐户的比索值对墨西哥银行美元帐户的比索值之比率（Rogers,1992)。6墨西哥银行美元帐户的比索值对墨西哥银行美元帐户的比索值之比率，月度数据，1978198578798281808485837马尔可夫链的一个应用 含体制变化的

4、时间序列建模对于一个具体的时间序列过程，我们如何建模呢？一个简单的想法可能是1982年自回归的常数项发生了变化。对于1982年前的数据，我们可使用模型如 yt-1=(yt-1-1)+t而1982年后的数据则可描述作yt-2=(yt-1-2)+t8马尔可夫链的一个应用 含体制变化的时间序列建模 上面的模型看起来是对数据的一个可行描述，但作为一个时间序列模型并不令人满意。如果过去的过程发生了变化，显然它在将来也可能发生变化，所以在预测是应考虑到这一点。另外，体制的变化肯定不能视做完全可预见的、确定性事件。还有，体制变化本身是一个随机变量。因而一个完整的时间序列模型应该包括参数从1 到2 之变化的概

5、率规律。9马尔可夫链的一个应用 含体制变化的时间序列建模 上述观察表明，我们应该考虑未被观察到的随机变量s(t)的影响，s(t)表示过程在时刻t的状态或体制。如果s(t)=1，则过程处在体制1，而s(t)=2 则意味着过程处于体制2。则上面的模型可等价写作yt-s(t)=(yt-1-s(t)+t 其中描述这类离散性随机变量s(t)的最简单而有效的时间序列模型是马尔可夫链。（见hamilton，时间序列分析，1998）104.1 马尔可夫链与转移概率马尔可夫链与转移概率随机过程随机过程 Xn，n T ，参数参数T=0,1,2,状态空间状态空间I=i0,i1,i2,定义定义4.2 若随机过程若随机

6、过程 Xn，n T ，对任，对任意意n T和和i0,i1,in+1 I，条件概率条件概率PXn+1=in+1|X0=i0,X1=i1,Xn=in =PXn+1=in+1|Xn=in，则称则称 Xn，n T 为马尔可夫链，简称马为马尔可夫链，简称马氏链。氏链。114.1 马尔可夫链与转移概率马尔可夫链与转移概率马尔可夫链的性质马尔可夫链的性质 PX0=i0,X1=i1,Xn=in=PXn=in|X0=i0,X1=i1,Xn-1=in-1 PX0=i0,X1=i1,Xn-1=in-1=PXn=in|Xn-1=in-1 PXn-1=in-1|X0=i0,X1=i1,Xn-2=in-2 PX0=i0,

7、X1=i1,Xn-2=in-2=PXn=in|Xn-1=in-1PXn-1=in-1|Xn-2=in-2 PX0=i0,X1=i1,Xn-2=in-2124.1 马尔可夫链与转移概率马尔可夫链与转移概率=PXn=in|Xn-1=in-1PXn-1=in-1|Xn-2=in-2 PX1=i1|X0=i0PX0=i0 马尔可夫链的统计特性完全由条件概率马尔可夫链的统计特性完全由条件概率PXn+1=in+1|Xn=in确定。确定。134.1 马尔可夫链与转移概率马尔可夫链与转移概率定义定义4.3 称条件概率称条件概率pij(n)=PXn+1=j|Xn=i 为为马尔可夫链马尔可夫链 Xn，n T 在时

8、刻在时刻n的一步的一步转移概率，转移概率，简称简称转移概率转移概率，其中其中i,j I。定义定义4.4 若对任意的若对任意的i,j I，马尔可夫链马尔可夫链 Xn,n T 的转移概率的转移概率pij(n)与与n无关，则称无关，则称马尔可夫链是齐次的，并记马尔可夫链是齐次的，并记pij(n)为为pij。齐次马尔可夫链具有平稳转移概率，齐次马尔可夫链具有平稳转移概率，状态空间状态空间I=1,2,3,，一步一步转移概率为转移概率为144.1 马尔可夫链与转移概率马尔可夫链与转移概率转移概率转移概率性质性质(1)(2)P称为随机矩阵称为随机矩阵154.1 马尔可夫链与转移概率马尔可夫链与转移概率定义定

9、义4.5 称条件概率称条件概率 =PXm+n=j|Xm=i 为为马尔可夫链马尔可夫链 Xn，n T 的的n步转移概率步转移概率(i,j I,m 0,n 1)。n步转移矩阵步转移矩阵其中其中 P(n)也为随机矩阵也为随机矩阵164.1 马尔可夫链与转移概率马尔可夫链与转移概率定理定理4.1 设设 Xn，n T 为为马尔可夫链，马尔可夫链，则对任意整数则对任意整数n 0,0 l0 (最大公约数最大公约数greatest common divisor)如果如果d1，就称就称i为周期的，为周期的，如果如果d=1，就称就称i为非周期的为非周期的374.2 马尔可夫链的状态分类马尔可夫链的状态分类例例4.

10、5 设马尔可夫链的设马尔可夫链的状态空间状态空间I=1,2,9，转移概率如下图转移概率如下图 从状态从状态1出发再返回状态出发再返回状态1的可能步数为的可能步数为T=4,6,8,10,，T的的最大公约数为最大公约数为2，从，从而而状态状态1的周期为的周期为2384.2 马尔可夫链的状态分类马尔可夫链的状态分类注注(1)如果如果i有周期有周期d，则对一切非零的则对一切非零的n,n 0 mod d，有有 （若若 ，则，则n=0 mod d）(2)对充分大的对充分大的n，（引理引理4.1）例题中当例题中当n=1时，时，当当n0时，时，394.2 马尔可夫链的状态分类马尔可夫链的状态分类例例4.6 状

11、态空间状态空间I=1,2,3,4，转移概率如图转移概率如图，状态状态2和状态和状态3有相同的周期有相同的周期d=2，但状态但状态2和状态和状态3有显著的区别。当状态有显著的区别。当状态2转移到状转移到状态态3后，再不能返回到状态后，再不能返回到状态2，状态，状态3总能总能返回到状态返回到状态3。这就要引入常返性概念。这就要引入常返性概念。404.2 马尔可夫链的状态分类马尔可夫链的状态分类由由i出发经出发经n步首次到达步首次到达j的概率的概率(首达概率首达概率)规定规定由由i出发经有限步终于到达出发经有限步终于到达j的概率的概率414.2 马尔可夫链的状态分类马尔可夫链的状态分类 若若fii=

12、1，称状态称状态i为常返的；为常返的；若若fii1，称状态称状态i为非常返的为非常返的i为非常返，则以概率为非常返，则以概率1-fii不返回到不返回到ii为常返，则为常返，则 构成一概率分布，构成一概率分布，期望值期望值 表示由表示由i出发再返出发再返回到回到i的平均返回时间的平均返回时间定义定义4.8424.2 马尔可夫链的状态分类马尔可夫链的状态分类 若若 i，则称常返态则称常返态i为正常返的，为正常返的，若若 I=，则称常返态则称常返态i为零常返的，为零常返的，非周期的正常返态称为遍历状态。非周期的正常返态称为遍历状态。首达概率首达概率 与与n步转移概率步转移概率 有如下有如下关系式关系

13、式定理定理4.4 对任意状态对任意状态i,j及及1 n，有有定义定义4.9434.2 马尔可夫链的状态分类马尔可夫链的状态分类证证444.2 马尔可夫链的状态分类马尔可夫链的状态分类引理引理4.2 周期的等价定义周期的等价定义G.C.D =G.C.D例例4.7 设马尔可夫链的状态空间设马尔可夫链的状态空间I=1,2,3，转移概率矩阵为转移概率矩阵为 求从状态求从状态1出发经出发经n 步转移首次到达各状步转移首次到达各状态的概率态的概率454.2 马尔可夫链的状态分类马尔可夫链的状态分类解解 状态转移图如下状态转移图如下，首达概率为，首达概率为 464.2 马尔可夫链的状态分类马尔可夫链的状态分

14、类同理可得同理可得474.2 马尔可夫链的状态分类马尔可夫链的状态分类以下讨论常返性的判别与性质以下讨论常返性的判别与性质数列的母函数与卷积数列的母函数与卷积an,n 0为实数列，母函数为实数列，母函数bn,n 0为实数列，母函数为实数列，母函数则则an与与bn的卷积的卷积的母函数的母函数484.2 马尔可夫链的状态分类马尔可夫链的状态分类定理定理4.5 状态状态i常返的充要条件为常返的充要条件为如如i非常返，则非常返，则证证:规定规定 ，则由定理，则由定理4.4494.2 马尔可夫链的状态分类马尔可夫链的状态分类 504.2 马尔可夫链的状态分类马尔可夫链的状态分类对对0 s1514.2 马

15、尔可夫链的状态分类马尔可夫链的状态分类 524.2 马尔可夫链的状态分类马尔可夫链的状态分类定理定理4.6 设设i常返且有周期为常返且有周期为d，则则其中其中 i为为i的平均返回时间，当的平均返回时间，当 i=时时推论推论 设设i常返，则常返，则(1)i零常返零常返(2)i遍历遍历534.2 马尔可夫链的状态分类马尔可夫链的状态分类证证(1)i零常返，零常返，i=，由定理由定理4.6知，知，对对d的非整数倍数的的非整数倍数的n，从而子序列从而子序列 i是零常返的是零常返的544.2 马尔可夫链的状态分类马尔可夫链的状态分类(2)子序列子序列所以所以d=1，从而从而i为非周期的，为非周期的，i是

16、遍历的是遍历的i是遍历的，是遍历的，d=1，i0,使使状态状态i与状态与状态j互通互通，ij：ij且且jI定理定理4.7 可达关系与互通关系都具有传可达关系与互通关系都具有传递性，即递性，即(1)若若ij，jk，则则ik(2)若若i j，j k，则则i k564.2 马尔可夫链的状态分类马尔可夫链的状态分类证证(1)ij，存在，存在l 0，使使 jk，存在存在m 0，使使由由C-K方程方程所以所以ik(2)由由(1)直接推出直接推出574.2 马尔可夫链的状态分类马尔可夫链的状态分类定理定理4.8 如如ij，则，则(1)i与与j同为常返或非常返，如为常返，则同为常返或非常返，如为常返，则它们同

17、为正常返或零常返它们同为正常返或零常返(2)i与与j有相同的周期有相同的周期584.2 马尔可夫链的状态分类马尔可夫链的状态分类例例4.8 设马氏链设马氏链Xn的状态空间为的状态空间为 I=0,1,2,，转移概率为转移概率为考察状态考察状态0的类型的类型594.2 马尔可夫链的状态分类马尔可夫链的状态分类 可得出可得出0为正常返的为正常返的由于由于 ，所以，所以0的周期为的周期为d=10为非周期的，从而为遍历状态为非周期的，从而为遍历状态对于其它状态对于其它状态i,由于由于i0,所以也是遍历的所以也是遍历的 604.2 马尔可夫链的状态分类马尔可夫链的状态分类例例4.9 对无限制随机游动对无限

18、制随机游动由斯特林近似公式由斯特林近似公式可推出可推出(1)当且仅当当且仅当p=q=1/2时，时，4pq=1614.2 马尔可夫链的状态分类马尔可夫链的状态分类状态状态i是常返的是常返的状态状态i是零常返的是零常返的624.2 马尔可夫链的状态分类马尔可夫链的状态分类(2)当且仅当当且仅当p q，4pq1状态状态i是非常返的是非常返的634.3 状态空间的分解状态空间的分解定义定义4.10 状态空间状态空间I 的子集的子集C称为闭集，称为闭集，如对任意如对任意i C及及k C都有都有pik=0;闭集闭集C称为不可约的，如称为不可约的，如C的状态互通；的状态互通；马氏链马氏链Xn称为不可约的，如

19、其状态空间称为不可约的，如其状态空间不可约不可约引理引理4.3 C是闭集的充要条件为对是闭集的充要条件为对i C及及k C都有都有644.3 状态空间的分解状态空间的分解证证 充分性显然成立充分性显然成立必要性（数学归纳法）必要性（数学归纳法）设设C为闭集，由定义当为闭集，由定义当n=1时结论成立时结论成立设设n=m时，时，i C及及k C，则，则注：如注：如pii=1，称状态称状态i为吸收的，等价于为吸收的，等价于 单点集单点集i为闭集。为闭集。654.3 状态空间的分解状态空间的分解例例4.10 设马氏链设马氏链Xn的状态空间为的状态空间为 I=1,2,3,4,5，转移概率矩阵为转移概率矩

20、阵为状态状态3是吸收的，故是吸收的，故3是闭集，是闭集，1,4，1,3,4，1,2,3,4都是闭集，其中都是闭集，其中3，1,4是不可约的。是不可约的。I含有闭子集，含有闭子集，故故Xn不是不可约的链。不是不可约的链。664.3 状态空间的分解状态空间的分解例例4.11 无限制随机游动为不可约马氏无限制随机游动为不可约马氏链，各状态的周期为链，各状态的周期为2，当，当p=q=1/2时，时，是零常返的，当是零常返的，当p q时，是非常返的。时，是非常返的。674.3 状态空间的分解状态空间的分解定理定理4.9 任一马氏链的状态空间任一马氏链的状态空间I，可唯可唯一地分解成有限个或可列个互不相交的

21、一地分解成有限个或可列个互不相交的子集子集D,C1,C2,之和，使得：之和，使得：(1)每一每一Cn是常返态组成的不可约闭集；是常返态组成的不可约闭集；(2)Cn中的状态同类型，或全是正常返，中的状态同类型，或全是正常返，或全是零常返，它们有相同的周期，且或全是零常返，它们有相同的周期，且fij=1，i,j Cn；(3)D由全体非常返态组成，自由全体非常返态组成，自Cn中状态不中状态不能到达能到达D中的状态。中的状态。684.3 状态空间的分解状态空间的分解例例4.12 马氏链的状态空间马氏链的状态空间I=1,2,3,4,5,6,状态转移矩阵为状态转移矩阵为分解此链并指出各状态的常返性及周期性

22、。分解此链并指出各状态的常返性及周期性。694.3 状态空间的分解状态空间的分解解解 由状态转移图知由状态转移图知可见可见1为正常返状态且周期为为正常返状态且周期为3，含，含1的基的基本常返闭集为本常返闭集为 C1=k:1k=1,3,5，从从而状态而状态3及及5也为正常返状态且周期为也为正常返状态且周期为3。同理可知同理可知6为正常返状态，为正常返状态，6=3/2，周期为周期为1。含。含6的基本常返闭集为的基本常返闭集为 C2=k:6k=2,6，可见，可见2，6为遍历状态。为遍历状态。704.3 状态空间的分解状态空间的分解 于是于是I可分解为可分解为 I=DC1C2=41,3,52,6定义定

23、义4.11 称矩阵称矩阵A=(aij)为随机矩阵，若为随机矩阵，若显然显然k步转移矩阵步转移矩阵 为随机矩阵。为随机矩阵。714.3 状态空间的分解状态空间的分解引理引理4.4 设设C为闭集，为闭集，G是是C上所得的上所得的k步转移子矩阵，则步转移子矩阵，则G仍是随仍是随机矩阵。机矩阵。证证 任取任取i C，由引理由引理4.3有有从而从而且且 ，故，故 是随机矩阵。是随机矩阵。724.3 状态空间的分解状态空间的分解注：对注：对I的一个闭子集，可考虑的一个闭子集，可考虑C上的原上的原马氏链的子马氏链，其状态空间为马氏链的子马氏链，其状态空间为C，转转移矩阵为移矩阵为G=(pij)，i,j C是

24、原马氏链的转是原马氏链的转移矩阵为移矩阵为P=(pij)，i,j I的子矩阵。的子矩阵。734.3 状态空间的分解状态空间的分解定理定理4.10 周期为周期为d的不可约马氏链，其的不可约马氏链，其状态空间状态空间C可唯一地分解为可唯一地分解为d个互不相交个互不相交的子集之和，即的子集之和，即且使得自且使得自Gr中任一状态出发，经一步转移中任一状态出发，经一步转移必进入必进入Gr+1中中(Gd=G0)。注：任取一状态注：任取一状态i，对每一对每一r=0,1,d-1定义定义集集744.3 状态空间的分解状态空间的分解例例4.13 设不可约马氏链的状态空间为设不可约马氏链的状态空间为C=1,2,3,

25、4,5,6，转移矩阵为转移矩阵为754.3 状态空间的分解状态空间的分解由状态转移图可知各状态的周期由状态转移图可知各状态的周期d=3,固定状态固定状态i=1，令令故故C=G0G1G2=1,4,63,52此在此在C中的运动如下图所示。中的运动如下图所示。764.3 状态空间的分解状态空间的分解 774.3 状态空间的分解状态空间的分解定理定理4.11 设设Xn,n 0是周期为是周期为d的不可的不可约马氏链，则在定理约马氏链，则在定理4.10的结论下有的结论下有(1)如只在如只在0,d,2d,上考虑上考虑Xn，即得一新，即得一新马氏链马氏链Xnd，其转移矩阵，其转移矩阵 ，对此新链，每一对此新链

26、，每一Gr是不可约闭集，且是不可约闭集，且Gr中的状态是非周期的；中的状态是非周期的；(2)如原马氏链如原马氏链Xn常返，则新马氏链常返，则新马氏链Xnd也常返。也常返。784.3 状态空间的分解状态空间的分解例例4.14 设设Xn为例为例4.13中的马氏链，已中的马氏链，已知知d=3，则则Xnd,n 0的转移矩阵为的转移矩阵为794.3 状态空间的分解状态空间的分解由子链由子链 X3n的状态转移图可知的状态转移图可知 G0=1,4,6，G1=3,5，G2=2各形成不可约闭集，周期为各形成不可约闭集，周期为1804.4 渐近性质与平稳分布渐近性质与平稳分布考虑考虑 渐近性质渐近性质定理定理4.

27、12 如如j非常返或零常返，则非常返或零常返，则证证 若若j非常返，则由定理非常返，则由定理4.5，从而从而若若j零常返，则由定理零常返，则由定理4.6推论，推论，814.4 渐近性质与平稳分布渐近性质与平稳分布由定理由定理4.4，对，对N0,pi+ri+qi=1。此马尔可夫链为生灭链，它此马尔可夫链为生灭链，它是不可约的。记是不可约的。记a0=1，证此马尔可夫链存在平稳分布的充要条证此马尔可夫链存在平稳分布的充要条件为件为974.4 渐近性质与平稳分布渐近性质与平稳分布证证 设设 j,j I是平稳分布是平稳分布984.4 渐近性质与平稳分布渐近性质与平稳分布 994.4 渐近性质与平稳分布渐

28、近性质与平稳分布例例4.17 设马尔可夫链转移概率矩阵为设马尔可夫链转移概率矩阵为求每一个不可约闭集的平稳分布。求每一个不可约闭集的平稳分布。1004.4 渐近性质与平稳分布渐近性质与平稳分布解解 从状态转移图从状态转移图看出，状态空间可看出，状态空间可分解为两个不可约分解为两个不可约常返闭集常返闭集C1=2,3,4和和C2=5,6,7，一个一个非常返集非常返集N=1。在常返集上求平稳在常返集上求平稳分布。分布。1014.4 渐近性质与平稳分布渐近性质与平稳分布在在C1上，对应的转移概率矩阵为上，对应的转移概率矩阵为C1上的平稳分布为上的平稳分布为0,0.4,0.2,0.4,0,0,0同理可求

29、得同理可求得C2上的平稳分布为上的平稳分布为 0,0,0,0,1/3,1/3,1/31024.5 连续时间马尔可夫链连续时间马尔可夫链 定义定义4.13 设设随机过程随机过程 X(t)，t 0 0 ，状态，状态空间空间I=0,1,2,，若对任意若对任意0 0 t1 t2tn+1及非负及非负整数整数i1,i2,in+1，有有PX(tn+1)=in+1|X(t1)=i1,X(t2)=i2,X(tn)=in =PX(tn+1)=in+1|X(tn)=in，则称则称 X(t)，t 0 0 为为连续时间马尔可夫链连续时间马尔可夫链。103转移概率转移概率：在：在s时刻处于状态时刻处于状态i，经过时间，经

30、过时间t后后转移到转移到状态状态j的的概率概率 pij(s,t)=PX(s+t)=j|X(s)=i定义定义4.14 齐次齐次转移概率转移概率(与起始时刻与起始时刻s无关，无关，只与时间间隔只与时间间隔t有关有关)pij(s,t)=pij(t)此时此时有转移概率矩阵有转移概率矩阵P(t)=(pij(t)，i,j I，t 0.0.1044.5 连续时间马尔可夫链连续时间马尔可夫链记记 i为过程在状态转移之前停留在状态为过程在状态转移之前停留在状态i的的时间时间，则对，则对s,t 0有有(1)(2)i 服从指数分布服从指数分布证证(1)事实上事实上1054.5 连续时间马尔可夫链连续时间马尔可夫链s

31、s+t0 iiiiti1064.5 连续时间马尔可夫链连续时间马尔可夫链 1074.5 连续时间马尔可夫链连续时间马尔可夫链(2)设设 i的分布函数为的分布函数为F(x),(x 0),则生存函数则生存函数G(x)=1-F(x)由此可推出由此可推出G(x)为指数函数，为指数函数，G(x)=e-x,则则F(x)=1-G(x)=1-e-x为指数分布函数。为指数分布函数。1084.5 连续时间马尔可夫链连续时间马尔可夫链过程在状态转移之前处于状态过程在状态转移之前处于状态i的时间的时间 i服从指数分布服从指数分布(1)当当 i=时，时，状态状态i的停留时间的停留时间 i 超过超过x的概率为的概率为0，

32、则，则称状态称状态i为瞬时状态；为瞬时状态；(2)当当 i=0时，时，状态状态i的停留时间的停留时间 i 超过超过x的概率为的概率为1，则，则称状态称状态i为吸收状态。为吸收状态。1094.5 连续时间马尔可夫链连续时间马尔可夫链定理定理4.16 齐次马尔可夫过程的转移概齐次马尔可夫过程的转移概率具有下列性质：率具有下列性质：(1)pij(t)0;(2)(3)证证 由概率的定义，由概率的定义，(1)(2)显然成立，下显然成立，下证证(3)1104.5 连续时间马尔可夫链连续时间马尔可夫链 1114.5 连续时间马尔可夫链连续时间马尔可夫链注：注：此为转移概率的正则性条件。此为转移概率的正则性条

33、件。1124.5 连续时间马尔可夫链连续时间马尔可夫链定义定义4.15(1)初始概率初始概率(2)绝对概率绝对概率(3)初始分布初始分布(4)绝对分布绝对分布定理定理4.17 齐次马尔可夫过程的绝对概率齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：及有限维概率分布具有下列性质：1134.5 连续时间马尔可夫链连续时间马尔可夫链 (1)pj(t)0(2)(3)(4)(5)1144.5 连续时间马尔可夫链连续时间马尔可夫链例例4.18 证明泊松过程证明泊松过程X(t),t 0为连为连续时间齐次马尔可夫链。续时间齐次马尔可夫链。证证 先证先证泊松过程泊松过程的的马尔可夫性。马尔可夫性。泊松

34、过程是独立增量过程，且泊松过程是独立增量过程，且X(0)=0，对对任意任意0t1 t2 tn tn+1有有1154.5 连续时间马尔可夫链连续时间马尔可夫链另一方面另一方面即泊松过程是一个连续时间马尔可夫链。即泊松过程是一个连续时间马尔可夫链。1164.5 连续时间马尔可夫链连续时间马尔可夫链 再证齐次性再证齐次性当当j i时，时，当当j0，pji(t2)0，则称状态则称状态i与与j是互通是互通的。的。若所有状态都是互通的，则称此马若所有状态都是互通的，则称此马尔可夫链为不可约的。尔可夫链为不可约的。1244.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程定理定理4.22 设设连续时间连续时间马

35、尔可夫链是不马尔可夫链是不可约的，则有下列性质：可约的，则有下列性质：(1)若它是正常返的，则极限若它是正常返的，则极限 存在存在且等于且等于 j 0，j I。这里这里 j 是是的唯一非负解，此时称的唯一非负解，此时称 j 0，j I是该是该过程的平稳分布，并且有过程的平稳分布，并且有(2)若它是零常返的或非常返的，则若它是零常返的或非常返的，则1254.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程例例4.19 两个状态的连续时间马尔可夫两个状态的连续时间马尔可夫链，状态转移概率满足链，状态转移概率满足1264.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 1274.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程1284.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程转移概率为转移概率为1294.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程转移概率的极限为转移概率的极限为平稳分布为平稳分布为1304.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程若取初始分布为平稳分布，即若取初始分布为平稳分布，即则过程在时刻则过程在时刻t的绝对概率分布为的绝对概率分布为 1314.6 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 132谢谢 谢！谢！133