随机过程Ch连续时间马尔可夫链.pptx

《随机过程Ch连续时间马尔可夫链.pptx》由会员分享，可在线阅读，更多相关《随机过程Ch连续时间马尔可夫链.pptx（93页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 I 马尔可夫链马尔可夫链 5 4 3 2 1 0 1 2 3 4 5 T第1页/共93页5.1 连续时间马尔可夫链连续时间马尔可夫链 定义定义5.1 设设随机过程随机过程 X(t)，t 0 0 ，状态空间，状态空间I=0,1,2,，若对任意若对任意0 0 t1 t2tn+1及非负及非负整数整数i1,i2,in+1，有有PX(tn+1)=in+1|X(t1)=i1,X(t2)=i2,X(tn)=in =PX(tn+1)=in+1|X(tn)=in，则称则称 X(t)，t 0 0 为为连续时间马尔可夫链连续时间马尔可夫链。转移概率转移概率：在：在s时刻处于状态时刻处于状态i，经过时间，经过时间t

2、后后转移到转移到状态状态j的的概率概率 pij(s,t)=PX(s+t)=j|X(s)=i 第2页/共93页5.1 连续时间马尔可夫链连续时间马尔可夫链 定义定义5.2 齐次齐次转移概率转移概率 pij(s,t)=pij(t)(与起始时刻与起始时刻s无关，只与时间间隔无关，只与时间间隔t有关有关)转移概率矩阵转移概率矩阵P(t)=(pij(t)，i,j I，t 0 0 性质：性质：若若 i为过程在状态转移之前停留在为过程在状态转移之前停留在状态状态i的时间，则对的时间，则对s,t 0有有(1)(2)i 服从指数分布服从指数分布第3页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链

3、ss+t0 iiiiti证(1)事实上第4页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链 第5页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链(2)设设 i的分布函数为的分布函数为F(x),(x 0),则生存函数则生存函数G(x)=1-F(x)由此可推出由此可推出G(x)为指数函数，为指数函数，G(x)=e-x,则则F(x)=1-G(x)=1-e-x为指数分布函数。为指数分布函数。第6页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链过程在状态转移之前处于状态过程在状态转移之前处于状态i的时间的时间 i服从指数分布服从指数分布(1)当当 i=时，

4、时，状态状态i的停留时间的停留时间 i 超过超过x的概率为的概率为0，则称状态，则称状态i为瞬时状态；为瞬时状态；(2)当当 i=0时，时，状态状态i的停留时间的停留时间 i 超过超过x的概率为的概率为1，则称状态，则称状态i为吸收状态。为吸收状态。第7页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链定理定理5.1 齐次马尔可夫过程的转移概率具有下列性质：齐次马尔可夫过程的转移概率具有下列性质：(1)pij(t)0;(2)(3)证证 由概率的定义，由概率的定义，(1)(2)显然成立，下证显然成立，下证(3)第8页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链 第

5、9页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链注：注：此为转移概率的此为转移概率的正则性条件正则性条件。第10页/共93页正则性分布律转移方程时间离散时间连续第11页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链定义定义5.3(1)初始概率初始概率(2)绝对概率绝对概率(3)初始分布初始分布(4)绝对分布绝对分布定理定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：第12页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链 (1)pj(t)0(2)(3)(4)(5)第13页

6、/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链 例例例例5.15.1 证明泊松过程证明泊松过程X(t),t 0为连续时间齐次马尔可夫链。为连续时间齐次马尔可夫链。证证 先证先证泊松过程泊松过程的的马尔可夫性。马尔可夫性。泊松过程是独立增量过程，且泊松过程是独立增量过程，且X(0)=0，对任意对任意0t1 t2 tn tn+1有有第14页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链另一方面另一方面即泊松过程是一个连续时间马尔可夫链。即泊松过程是一个连续时间马尔可夫链。第15页/共93页5.1 5.1 连续时间马尔可夫链连续时间马尔可夫链 再证齐次性再证齐次性当当

7、j i时，时，当当j0，pji(t2)0，则称状态则称状态i与与j是是互通的。互通的。若所有状态都是互通的，则称此马尔可夫链为若所有状态都是互通的，则称此马尔可夫链为不可约的不可约的。可定义状态的常返性可定义状态的常返性第25页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程例例例例5.25.2 设两个状态的连续时间马尔可夫链，状态转移概率满足，试讨论平稳分设两个状态的连续时间马尔可夫链，状态转移概率满足，试讨论平稳分布。布。第26页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 第27页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程第

8、28页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程转移概率为转移概率为第29页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程转移概率的极限为转移概率的极限为平稳分布为平稳分布为第30页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程若取初始分布为平稳分布，即若取初始分布为平稳分布，即则过程在时刻则过程在时刻t的绝对概率分布为的绝对概率分布为 第31页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 第32页/共93页5.2 5.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程定理定理5.7 设设连续时间连续时间马尔可夫链

9、是不可约的，则有下列性质：马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限若它是正常返的，则极限 存在且等于存在且等于 j 0，j I。这这里里 j 是是的唯一非负解，此时称的唯一非负解，此时称 j 0，j I是该过程的是该过程的平稳分布平稳分布，并且有，并且有(2)若它是零常返的或非常返的，则若它是零常返的或非常返的，则第33页/共93页例如上例中马氏链有两个状态I=0,1，那么第34页/共93页生灭过程设某系统具有状态集S=0,1,2,或S=0,1,2,k,N(t)表示系统在时刻 t(t=0)的状态。若在N(t)=n的条件下，随机过程N(t),t=0满足以下条件:(1)N(

10、t+t)转移到“n+1”的概率为Pn,n+1(t)=n t ;(2)N(t+t)转移到“n-1”的概率为Pn,n-1(t)=n t);(3)N(t+t)转移到其他状态“S-n+1,n-1”的概 率为o(t)(高阶无穷小);则称随机过程N(t),t=0为生灭过程。第35页/共93页生灭过程状态变化的性质(1)在无穷小 t内,系统或生长1个;或灭亡1个;或既 不生长又不灭亡（概率:1-n(t)-n(t)）;(2)系统生长一个的概率n(t)与 t有关，而与t无 关;与系统当前状态n有关，而与以前的状态无关；(3)系统灭亡一个的概率n(t)与 t有关，而与t无 关;与系统当前状态n有关，而与以前的状态

11、无关；马尔可夫性质第36页/共93页 若排队系统具有下列性质若排队系统具有下列性质:(1)顾客到达为泊松流，时间间隔服从参顾客到达为泊松流，时间间隔服从参 数为数为n的负指数分布的负指数分布;(2)顾客服务时间服从参数为顾客服务时间服从参数为 n的负指的负指 数分布数分布;则排队系统的随机过程则排队系统的随机过程N(t),t=0具有具有马马 尔可夫性质尔可夫性质,为为一个生灭过程一个生灭过程.排队系统第37页/共93页(四)排队系统状态转移图在任意状态在任意状态n达到稳态平衡的条件：达到稳态平衡的条件：产生该状态的平均速率产生该状态的平均速率 =该状态转变成其他状态的平均速率该状态转变成其他状

12、态的平均速率 （流入（流入=流出）流出）第38页/共93页第39页/共93页第40页/共93页第41页/共93页第42页/共93页三、排队系统稳态概率P Pn n的求解第43页/共93页第44页/共93页第五章第五章 连续时间的马尔可夫链连续时间的马尔可夫链 第四章讨论了时间与状态都是离散的最简单的马尔第四章讨论了时间与状态都是离散的最简单的马尔可可夫过程夫过程,第五章介绍另一类应用广泛的特殊类型的马尔第五章介绍另一类应用广泛的特殊类型的马尔可可夫链夫链,即时间连续状态离散的马尔可夫过程即时间连续状态离散的马尔可夫过程.5.1 5.1 连续时间的马尔可夫链连续时间的马尔可夫链 考虑取非负整数值

13、的连续时间随机过程考虑取非负整数值的连续时间随机过程X(t),t0.X(t),t0.定义定义5.15.1 若随机过程若随机过程X(t),t0,X(t),t0,状态空间状态空间I=iI=in n,n0,n0,对任意对任意0t0t1 1t t2 2t tn+1n+1及及i i1 1,i,i2 2,i,in+1n+1I,I,有有 PX(tPX(tn+1n+1)=i)=in+1n+1|X(t|X(t1 1)=i)=i1 1,X(t,X(t2 2)=i)=i2 2,X(t,X(tn n)=i)=in n =PX(t =PX(tn+1n+1)=i)=in+1n+1|X(t|X(tn n)=i)=in n(

14、),),则称则称X(t),t0X(t),t0为为连续时间马尔可夫链连续时间马尔可夫链.由定义知由定义知,连续时间马尔可夫链是具有连续时间马尔可夫链是具有马尔可夫性马尔可夫性的的随随机过程机过程.第45页/共93页连续时间的马尔可夫链连续时间的马尔可夫链一般一般,记条件概率记条件概率()式为式为:PX(s+t)=j|X(s)=i=p PX(s+t)=j|X(s)=i=pijij(s,t)(s,t)().).表示系统在时刻表示系统在时刻s s处于状态处于状态i,i,经过时间经过时间t t后转移到状后转移到状态态j j 的转移概率的转移概率.定义定义5.25.2 如果如果()式的转移概率与式的转移概

15、率与s s无关无关,则称连续则称连续时间时间 马尔可夫链具有马尔可夫链具有齐次齐次(平稳平稳)的的转移概率转移概率.此时简记其此时简记其转转 移概率为移概率为p pijij(s,t)=p(s,t)=pijij(t),(t),转移概率矩阵为转移概率矩阵为:P(t)=(p P(t)=(pijij(t),(i,jI,t0).(t),(i,jI,t0).一般一般,简称具有齐次转移概率的连续时间马尔可夫链简称具有齐次转移概率的连续时间马尔可夫链为为 齐次马尔可夫过程齐次马尔可夫过程.在在以下的讨论中以下的讨论中,均假定所考虑均假定所考虑的的 都是齐次马尔可夫过程都是齐次马尔可夫过程.如果在某时刻如果在某

16、时刻,譬如时刻譬如时刻0,0,马尔可夫链进入状态马尔可夫链进入状态i,i,而而在在第46页/共93页连续时间的马尔可夫链连续时间的马尔可夫链 接下来的接下来的s s个单位时间中过程并未离开状态个单位时间中过程并未离开状态i(i(即未发即未发生生转移转移),),问问:在随后的在随后的t t个单位时间中过程仍不离开状态个单位时间中过程仍不离开状态i i的的概率是多少呢概率是多少呢?由马尔可夫性由马尔可夫性,过程在时刻过程在时刻s s处于状态处于状态i i的条件下的条件下,在区在区间间s,s+ts,s+t中仍然处于状态中仍然处于状态i i的概率正是它处于状态的概率正是它处于状态i i至少至少t t个

17、单位时间的个单位时间的(无条件无条件)概率概率.若记若记i i为过程在转移到另一状态之前为过程在转移到另一状态之前,停留在状态停留在状态i i的的时间时间,则对一切则对一切s,t0s,t0有有:P Pi is+t|s+t|i is=Ps=Pi it.t.可见可见,随机变量随机变量i i具有无记忆性具有无记忆性,它它服从指数分布服从指数分布.于是于是:一个连续时间马尔可夫链一个连续时间马尔可夫链,每当它进入状态每当它进入状态i,i,就就具有性质具有性质(连续时间马尔可夫链的特征性质连续时间马尔可夫链的特征性质):):第47页/共93页连续时间的马尔可夫链连续时间的马尔可夫链 (1)(1)在转移到

18、另一状态之前处于状态在转移到另一状态之前处于状态i i的时间的时间,服从服从参数参数为为v vi i的指数分布的指数分布:(2)(2)当过程离开状态当过程离开状态i i时时,接着以概率接着以概率p pijij进入状态进入状态j,j,且有且有 p pijij=1.=1.以上以上两条性质两条性质,是构造连续时间马尔可夫链的一个方是构造连续时间马尔可夫链的一个方法法.如果如果v vi i=,=,则称状态则称状态i i为为瞬时状态瞬时状态,在这种情况在这种情况,过程过程一一旦进入此状态立即就离开旦进入此状态立即就离开;如果如果v vi i=0,=0,则称状态则称状态i i为为吸收吸收状状态态,在这种情

19、况在这种情况,过程一旦进入此状态就永远不再离开过程一旦进入此状态就永远不再离开.瞬时状态瞬时状态只是一种理论状态只是一种理论状态,在后文的讨论中我们总在后文的讨论中我们总假假设设0v0vi i.于是于是,一个连续时间马尔可夫链是这样的一个连续时间马尔可夫链是这样的随随机过程机过程,它按照一个离散时间的马尔可夫链从一个状态它按照一个离散时间的马尔可夫链从一个状态转转f(x)=(vf(x)=(vi i0)0)第48页/共93页连续时间的马尔可夫链连续时间的马尔可夫链移到另一个状态移到另一个状态,但在转移到下一个状态之前但在转移到下一个状态之前,它在各它在各个个状态停留的时间服从指数分布状态停留的时

20、间服从指数分布.而且而且,在状态在状态i i过程停留过程停留的的时间与下一个到达的状态必须是相互独立的随机变量时间与下一个到达的状态必须是相互独立的随机变量(因因为若下一个到达的状态依赖于为若下一个到达的状态依赖于i i,那么过程处于状态那么过程处于状态i i已已有多久的信息与下一个状态的预报有关有多久的信息与下一个状态的预报有关,这与马尔可夫这与马尔可夫性性矛盾矛盾).).定理定理5.15.1 齐次马尔可夫过程的转移概率具有下列性质齐次马尔可夫过程的转移概率具有下列性质:(1)(1)p pijij(t)0;(t)0;(2)(2)p pijij(t)=1;(t)=1;(3)(3)p pijij

21、(t+s)=p(t+s)=pikik(t)p(t)pkjkj(s).(s).其中其中(3)(3)式式,即是连续时间齐次马尔可夫链的即是连续时间齐次马尔可夫链的C-KC-K方方程程.第49页/共93页连续时间的马尔可夫链连续时间的马尔可夫链证明证明:(1)(1)与与(2)(2)式由概率定义以及式由概率定义以及p pijij(t)(t)的定义显然可的定义显然可得得.下证下证(3)(3)式式.由全概率公式和马尔可夫性得由全概率公式和马尔可夫性得:p pijij(t+s)=PX(t+s)=j|X(0)=i(t+s)=PX(t+s)=j|X(0)=i =PX(t+s)=j,X(t)=k|X(0)=i =

22、PX(t+s)=j,X(t)=k|X(0)=i =PX(t)=k|X(0)=iPX(t+s)=j|X(t)=kPX(t)=k|X(0)=iPX(t+s)=j|X(t)=k =PX(t)=k|X(0)=iPX(s)=j|X(t)=kPX(t)=k|X(0)=iPX(s)=j|X(t)=k =p =pikik(t)p(t)pkjkj(s).(s).对于转移概率对于转移概率p pijij(t),(t),一般还假定它满足一般还假定它满足:lim p lim pijij(t)=(t)=并称之为并称之为正则性条件正则性条件.t0t0第50页/共93页连续时间的马尔可夫链连续时间的马尔可夫链正则性条件正则性

23、条件说明说明,过程刚进入某状态不可能立即又跳过程刚进入某状态不可能立即又跳跃跃到另一状态到另一状态.这正好说明这正好说明一个物理系统要在有限时间内一个物理系统要在有限时间内发发生无限此跳跃、从而消耗无穷多的能量这是不可能的生无限此跳跃、从而消耗无穷多的能量这是不可能的.定义定义5.35.3 对于任一对于任一t0,t0,记记 p pj j(t)=PX(t)=j,(t)=PX(t)=j,p pj j=p=pj j(0)=PX(0)=j,jI(0)=PX(0)=j,jI并并 分别称分别称ppj j(t),jI(t),jI和和ppj j,jI,jI为齐次马尔可夫过为齐次马尔可夫过程程 的的绝对概率分布

24、绝对概率分布和和初始概率分布初始概率分布.定理定理5.25.2 齐次马尔可夫过程的绝对概率及有限维概率齐次马尔可夫过程的绝对概率及有限维概率分分 布具有以下性质布具有以下性质:(1)(1)p pj j(t)0;(t)0;(2)(2)p pj j(t)=1;(t)=1;第51页/共93页连续时间的马尔可夫链连续时间的马尔可夫链 (3)(3)p pj j(t)=p(t)=pi ip pijij(t);(t);(4)(4)p pj j(t+)=p(t+)=pi i(t)p(t)pijij();();(5)(5)PX(t PX(t1 1)=i)=i1 1,X(t,X(tn n)=i)=in n =.例

25、例5.15.1 证明泊松过程证明泊松过程X(t),t0X(t),t0为连续时间齐次马为连续时间齐次马尔可尔可 夫链夫链.证明证明:先证泊松过程具有马尔可夫性先证泊松过程具有马尔可夫性,再证齐次性再证齐次性.由泊松过程的定义知它是独立增量过程由泊松过程的定义知它是独立增量过程,且且X(0)=0.X(0)=0.对任意对任意0 0t t1 1t t2 2t tn nt tn+1n+1,有有 PX(tPX(tn+1n+1)=i)=in+1n+1|X(t|X(t1 1)=i)=i1 1,X(t,X(tn n)=i)=in n 第52页/共93页连续时间的马尔可夫链连续时间的马尔可夫链 =PX(t=PX(

26、tn+1n+1)-X(t)-X(tn n)=i)=in+1n+1-i-in n|X(t|X(t1 1)-X(0)=i)-X(0)=i1 1,X(t,X(t2 2)-)-X(t X(t1 1)=i)=i2 2-i-i1 1,X(t,X(tn n)-X(t)-X(tn-1n-1)=i)=in n-i-in-n-1 1 =PX(t =PX(tn+1n+1)-X(t)-X(tn n)=i)=in+1n+1-i-in n;另一方面另一方面,由于由于 PX(tPX(tn+1n+1)=i)=in+1n+1|X(t|X(tn n)=i)=in n =PX(t =PX(tn+1n+1)-X(t)-X(tn n)

27、=i)=in+1n+1-i-in n|X(t|X(tn n)-X(0)=i)-X(0)=in n =PX(t =PX(tn+1n+1)-X(t)-X(tn n)=i)=in+1n+1-i-in n.所以所以 PX(tPX(tn+1n+1)=i)=in+1n+1|X(t|X(t1 1)=i)=i1 1,X(t,X(tn n)=i)=in n =PX(t =PX(tn+1n+1)=i)=in+1n+1|X(t|X(tn n)=i)=in n,即泊松过程是一个连续时间马尔可夫链即泊松过程是一个连续时间马尔可夫链.下证齐次性下证齐次性.当当jiji时时,由泊松过程的定义由泊松过程的定义,得得第53页/

28、共93页连续时间的马尔可夫链连续时间的马尔可夫链 PX(s+t)=j|X(s)=i=PX(s+t)-X(s)=j-iPX(s+t)=j|X(s)=i=PX(s+t)-X(s)=j-i =e =e-t-t .当当j ji i时时,由于过程的增量只取非负整数值由于过程的增量只取非负整数值,此时此时 p pijij(s,t)=0.(s,t)=0.因而因而 p pijij(s,t)=p(s,t)=pijij(t)=(t)=即转移概率只与即转移概率只与t t有关有关,泊松过程具有齐次性泊松过程具有齐次性.下文讨论下文讨论连续时间齐次马尔可夫链的转移概率连续时间齐次马尔可夫链的转移概率p pijij(t)

29、(t)的的 求解方法求解方法.第54页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程5.25.2 柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 对于离散时间齐次马尔可夫链对于离散时间齐次马尔可夫链,如果已知其一步转移如果已知其一步转移概概率矩阵率矩阵P=(pP=(pijij),则则k k步转移概率矩阵由一步转移概率矩步转移概率矩阵由一步转移概率矩阵阵的的k k次方即可求得次方即可求得.但是但是,对于连续时间齐次马尔可夫链对于连续时间齐次马尔可夫链,转移概率转移概率p pijij(t)(t)的的求解一般较为复杂求解一般较为复杂.下面首先讨论下面首先讨论p pijij(t)(t)的可微性及的可微性

30、及p pijij(t)(t)所满足的柯尔莫哥洛夫微分方程所满足的柯尔莫哥洛夫微分方程;然后给出然后给出p pijij(t)(t)的一的一种种求解方法求解方法.引理引理 5.15.1 设齐次马尔可夫过程满足正则条件设齐次马尔可夫过程满足正则条件,则对则对于任于任 意固定意固定i,jI,pi,jI,pijij(t)(t)是是t t的一致连续函数的一致连续函数.证明证明:设设h h0,0,由由定理定理5.15.1得得 p pijij(t+h)-p(t+h)-pijij(t)=p(t)=pirir(h)p(h)prjrj(t)-p(t)-pijij(t)(t)第55页/共93页柯尔莫哥洛夫微分方程柯尔

31、莫哥洛夫微分方程 =p=piiii(h)p(h)pijij(t)-p(t)-pijij(t)+p(t)+pirir(h)p(h)prjrj(t)(t)=-1-p =-1-piiii(h)p(h)pijij(t)+p(t)+pirir(h)p(h)prjrj(t).(t).故有故有 p pijij(t+h)-p(t+h)-pijij(t)-1-p(t)-1-piiii(h)p(h)pijij(t)-1-p(t)-1-piiii(h),(h),p pijij(t+h)-p(t+h)-pijij(t)p(t)pirir(h)p(h)prjrj(t)p(t)pirir(h)=1-(h)=1-p pii

32、ii(h),(h),因此有因此有|p|pijij(t+h)-p(t+h)-pijij(t)|1-p(t)|1-piiii(h).(h).对于对于h h0,0,同样有同样有 p pijij(t)-p(t)-pijij(t+h)=p(t+h)=pirir(-h)p(-h)prjrj(t+h)-p(t+h)-pijij(t+h)(t+h)=p =piiii(-h)p(-h)pijij(t+h)-p(t+h)-pijij(t+h)+p(t+h)+pirir(-(-h)ph)prjrj(t+h)(t+h)=-1-p =-1-piiii(-h)p(-h)pijij(t+h)+p(t+h)+pirir(-h

33、)p(-h)prjrj(t+h).(t+h).第56页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程故有故有p pijij(t)-p(t)-pijij(t+h)-1-p(t+h)-1-piiii(-h)p(-h)pijij(t+h)-1-p(t+h)-1-piiii(-(-h),h),p pijij(t)-p(t)-pijij(t+h)p(t+h)pirir(-h)p(-h)prjrj(t+h)p(t+h)pirir(-h)(-h)=1-p =1-piiii(-h),(-h),因此有因此有|p|pijij(t)-p(t)-pijij(t+h)|1-p(t+h)|1-piiii(-h).(-

34、h).综上所述综上所述,一般地有一般地有|p|pijij(t+h)-p(t+h)-pijij(t)|1-p(t)|1-piiii(|h|).(|h|).由正则性条件知由正则性条件知 lim|plim|pijij(t+h)-p(t+h)-pijij(t)|=0.(t)|=0.即即p pijij(t)(t)关于关于t t是一致连续的是一致连续的.h0第57页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程在以下在以下讨论中讨论中,我们恒我们恒假定假定齐次马尔可夫过程满足正齐次马尔可夫过程满足正则则 性条件性条件.定理定理5.35.3 设设p pijij(t)(t)是齐次马尔可夫过程的转移概率是齐

35、次马尔可夫过程的转移概率,则则下下 列极限存在列极限存在:(1)(1)lim =v lim =vi i=q=qiiii(i=j);(i=j);(2)(2)lim =q lim =qijij,ij.,ij.一般称一般称定理定理中的中的q qijij为齐次马尔可夫过程从状态为齐次马尔可夫过程从状态i i到状到状态态 j j的的转移概率转移概率(或或跳跃强度跳跃强度).).定理定理中极限的概率意义中极限的概率意义是是:在长为在长为tt的时间区间内的时间区间内,过程从状态过程从状态i i转移到另一其转移到另一其它它 状态的转移概率状态的转移概率1-p1-piiii(t),(t),等于等于q qijij

36、tt加上一个比加上一个比ttt0t0第58页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 高阶的无穷小量高阶的无穷小量;而从状态而从状态i i转移到状态转移到状态j j的概率的概率p pijij(t)(t)等于等于q qijijtt加上一个比加上一个比tt高阶的无穷小量高阶的无穷小量.推论推论 对有限齐次马尔可夫过程对有限齐次马尔可夫过程,有有 q qiiii=q=qijij.证明证明:由由定理定理5.15.1,有有 p pijij(t)=1,(t)=1,即即1-p1-piiii(t)=p(t)=pijij(t).(t).由于求和是在有限集中进行由于求和是在有限集中进行,故有故有 lim

37、 =lim =qlim =lim =qij ij,即即:q:qiiii=q=qijij().).对于对于状态空间无限的马尔可夫过程状态空间无限的马尔可夫过程,一般只有一般只有q qiiii q qijij.t0t0第59页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程若连续时间齐次马尔可夫链若连续时间齐次马尔可夫链,具有有限状态空间具有有限状态空间I=0,1,I=0,1,n,n,则它的则它的转移速率转移速率可构成下述形式的可构成下述形式的矩阵矩阵:由由()式知式知,Q,Q的每一行元素的和都为的每一行元素的和都为0,0,因而对角线因而对角线元素元素为负或为负或0,0,且当且当ijij时时,q

38、,qijij0.0.利用利用Q Q矩阵矩阵,可推出任意时间间隔可推出任意时间间隔t t的转移概率所满足的转移概率所满足的的方程组方程组,从而可以求解转移概率从而可以求解转移概率.由由C-KC-K方程方程,有有 p pijij(t+h)=p(t+h)=pikik(h)p(h)pkjkj(t).(t).等价地等价地,有有 Q=Q=-q-q0000 q q0101 q q0n0n q q1010 -q -q1111 q q1n1n q qn0n0 q qn1n1 -q-qnnnn第60页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 p pijij(t+h)-p(t+h)-pijij(t)=p(

39、t)=pikik(h)p(h)pkjkj(t)-1-(t)-1-p piiii(h)p(h)pijij(t).(t).两边除以两边除以h h并令并令h0h0取极限取极限,由由定理定理5.35.3,得得 lim =lim plim =lim pkjkj(t)-(t)-q qiiiip pkjkj(t).(t).如果在上式的右边极限与求和可交换次序如果在上式的右边极限与求和可交换次序,那么运用那么运用定定理理5.35.3,就有以下结论就有以下结论:定理定理5.45.4(柯尔莫哥洛夫柯尔莫哥洛夫向后方程向后方程)设设 q qijij=q=qiiii,则对一则对一切切i,i,j j以及以及t0,t0,

40、有有 p pijij(t)=q(t)=qikikp pkjkj(t)-q(t)-qiiiip pkjkj(t).(t).证明证明:这其实只需证明这其实只需证明式右边极限与求和可交换次式右边极限与求和可交换次序序.对任意固定的对任意固定的N,N,有有 lim inf plim inf pkjkj(t)lim inf p(t)lim inf pkjkj(t)(t)h0h0h0h0第61页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 =q=qikikp pkjkj(t).(t).鉴于该式对一切鉴于该式对一切N N都成立都成立,故有故有 lim inf plim inf pkjkj(t)q(t)

41、qikikp pkjkj(t)(t)().).下面来倒转这一不等式下面来倒转这一不等式.注意到对注意到对N Ni,i,由由p pkjkj(t)1(t)1知知 lim sup plim sup pkjkj(t)limsup p(t)limsup pkjkj(t)+(t)+lim sup p lim sup pkjkj(t)+-(t)+-=q =qikikp pkjkj(t)+q(t)+qiiii-q-qikik.最后的等式由定理最后的等式由定理5.35.3获得获得.因上述不等式对一切因上述不等式对一切N Ni ih0h0h0第62页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 成立成立,令

42、令NN且由且由 q qijij=q=qii ii,便得便得 lim sup plim sup pkjkj(t)q(t)qikikp pkjkj(t).(t).由此式与由此式与()式即得式即得 lim plim pkjkj(t)=q(t)=qikikp pkjkj(t).(t).定理定理5.45.4中中p pijij(t)(t)满足的微分方程组满足的微分方程组,以以柯尔莫哥洛夫柯尔莫哥洛夫向向后方程后方程所著称所著称.所以称它们为向后方程所以称它们为向后方程,是因为在计算是因为在计算时时刻刻t+ht+h的状态的概率分布时的状态的概率分布时,需要对退后到时刻需要对退后到时刻h h的状态的状态取取条

43、件条件,即要从即要从 p pijij(t+h)=(t+h)=PX(t+h)=j|X(0)=i,X(h)=kPX(t+h)=j|X(0)=i,X(h)=kPX(h)=k|PX(h)=k|X(0)=i=pX(0)=i=pkjkj(t)p(t)pikik(h)(h)开始计算开始计算.hh第63页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程对时刻对时刻t t的状态取条件的状态取条件,可以导出另一组方程可以导出另一组方程,称称柯尔柯尔莫莫哥洛夫哥洛夫向前方程向前方程:p pijij(t+h)=p(t+h)=pikik(t)p(t)pkjkj(h),(h),或或 p pijij(t+h)-p(t+h

44、)-pijij(t)=p(t)=pikik(t)p(t)pkjkj(h)-p(h)-pijij(t)(t)=p =pikik(t)p(t)pkjkj(h)-1-(h)-1-p pjjjj(h)p(h)pijij(t),(t),所以所以 lim =lim plim =lim pikik(t)-(t)-p pijij(t).(t).如果如果在上式的右边极限与求和可交换次序在上式的右边极限与求和可交换次序,则则由由定理定理5.35.3即得即得 p pijij(t)=p(t)=pikik(t)q(t)qkjkj-q-qijijp pijij(t).(t).h0h0第64页/共93页柯尔莫哥洛夫微分方程

45、柯尔莫哥洛夫微分方程令人遗憾令人遗憾的是的是:前式右边极限与求和的次序交换并不恒前式右边极限与求和的次序交换并不恒成成立立.不过在大多数模型中不过在大多数模型中-包括全部包括全部生灭过生灭过程和全部程和全部有有限限状态状态的模型的模型,是成立的是成立的.定理定理5.55.5(柯尔莫哥洛夫柯尔莫哥洛夫向前方程向前方程)在适当的正则条件下在适当的正则条件下 p pijij(t)=p(t)=pikik(t)q(t)qkjkj-q-qijijp pijij(t).(t).利用利用定理定理5.45.4和和定理定理5.55.5中的方程组以及初始条件中的方程组以及初始条件 p piiii(0)=1,(0)=

46、1,p pijij(0)=0,ij.(0)=0,ij.便可解得便可解得p pijij(t).(t).柯尔莫哥洛夫向后方程和向前方程虽柯尔莫哥洛夫向后方程和向前方程虽然然形式不同形式不同,但它们所求得的但它们所求得的p pijij(t)(t)是相同的是相同的.在实际应用中在实际应用中,当固定回后所处状态当固定回后所处状态j,j,研究研究p pijij(t)(t)时时(i(i=0,1,=0,1,),),采用向后方程较方便采用向后方程较方便;当固定状态当固定状态i,i,研究研究p pijij(t)(t)第65页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 时时(j=0,1,(j=0,1,),)

47、,则采用向前方程比较方便则采用向前方程比较方便.向后方程向后方程和和向前方程向前方程可以写成可以写成矩阵形式矩阵形式:p p(t)=QP(t);(t)=QP(t);p p(t)=P(t)Q.(t)=P(t)Q.式中式中 矩阵矩阵p p(t)(t)的元素是矩阵的元素是矩阵p(t)p(t)的元素的导数的元素的导数,这这-q-q0000 q q0101 q q0202 q q1010 -q -q1111 q q12 12 q q2020 q q2121 -q -q22 22 Q=Q=P(t)=P(t)=p p0000(t)p(t)p0101(t)p(t)p0202(t)(t)p p1010(t)p(

48、t)p1111(t)p(t)p1212(t)(t)p p2020(t)p(t)p2121(t)p(t)p2222(t)(t)第66页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 这样这样,连续时间马尔可夫链的转移概率的求解问题就连续时间马尔可夫链的转移概率的求解问题就化化成矩阵微分方程的求解问题成矩阵微分方程的求解问题,其转移概率由其转移速率其转移概率由其转移速率矩矩阵阵Q Q决定决定.特别特别,如果如果Q Q是一个有限维矩阵是一个有限维矩阵,则向后方程和向前方则向后方程和向前方程程矩阵形式的解为矩阵形式的解为:p(t)=e p(t)=eQtQt=.=.定理定理5.65.6 齐次马尔可夫

49、过程在齐次马尔可夫过程在t t时刻处于状态时刻处于状态jIjI的的绝对绝对 概率概率p pj j(t)(t)满足下列方程满足下列方程 p pj j(t)=-p(t)=-pj j(t)q(t)qjjjj+p+pk k(t)q(t)qkjkj.证明证明:由定理由定理5.2,5.2,有有 p pj j(t)=p(t)=pi ip pijij(t)(t)第67页/共93页柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程 将将定理定理5.55.5中向前方程式的两边同乘以中向前方程式的两边同乘以p pi i,并对并对i i求和求和,得得 p pi ip pijij(t)=(-p(t)=(-pi ip pijij(

50、t)q(t)qjjjj)+)+p pi ip pikik(t)q(t)qkjkj,故有故有 p pj j(t)=-p(t)=-pj j(t)q(t)qjjjj+p+pk k(t)q(t)qkjkj.与与离散马尔可夫链离散马尔可夫链类似类似,以下以下讨论讨论转移概率转移概率p pijij(t)(t)当当tt时的时的极限分布极限分布与与平稳分布平稳分布的有关的有关性质性质.定义定义5.45.4 设设p pijij(t)(t)为连续时间马尔可夫链的转移概率为连续时间马尔可夫链的转移概率,若若 存在时刻存在时刻t t1 1和和t t2 2,使得使得p pijij(t(t1 1)0,p0,pjiji(t