第五章 马尔可夫过程优秀课件.ppt

《第五章 马尔可夫过程优秀课件.ppt》由会员分享，可在线阅读，更多相关《第五章 马尔可夫过程优秀课件.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章 马尔可夫过程第1页，本讲稿共42页有限维概率分布有限维概率分布(簇簇)转移概率转移概率 绝对概率绝对概率 极限分布极限分布 平稳分布平稳分布状态空间的性质状态空间的性质 5 5 马尔可夫过程马尔可夫过程第2页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义随机过程马尔可夫性：随机过程马尔可夫性：（物理描述）（物理描述）当随机过程在时刻当随机过程在时刻 ti 所处的状态为已知的条件下，过程在时所处的状态为已知的条件下，过程在时刻刻 t(ti)所处的状态，与过程在所处的状态，与过程在ti时刻以前的状态无关，而仅与在时刻以前的状态无

2、关，而仅与在ti时刻的状态有关。这种已知时刻的状态有关。这种已知“现在现在”状态的条件下，状态的条件下，“将来将来”状态状态与与“过去过去”状态无关的性质，称为状态无关的性质，称为马尔可夫性马尔可夫性或或无后效性无后效性。具有具有马尔可夫性马尔可夫性或或无后效性的无后效性的随机过程，即是随机过程，即是马尔可夫马尔可夫过程过程。第3页，本讲稿共42页5.1 5.1 马尔可夫过程的概念马尔可夫过程的概念5.1.1 5.1.1 有关定义有关定义马尔可夫过程定义：马尔可夫过程定义：（条件概率）（条件概率）给定随机过程给定随机过程X(t),t T,若对于任意若对于任意n(3)个时刻个时刻t1t2 tn-

3、1 tn T,有有 PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1 =PX(tn)xn|X(tn-1)=xn-1或或 Fxn|x1,x2,xn-1;t1,t2,tn-1=Fxn;tn|xn-1;tn-1或或 fxn|x1,x2,xn-1;t1,t2,tn-1=fxn;tn|xn-1;tn-1则称则称随机过程随机过程X(t),t T为为马尔可夫过程马尔可夫过程。第4页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义例例1 1 直线上的随机游动。直线上的随机游动。例例2 2 电话交换站在某时刻接到的呼唤次数

4、。电话交换站在某时刻接到的呼唤次数。0,t=0,tm+(tm,t 次数次数(t)=次数次数(tm)+次数次数(tm,t)例例3 布朗运动。布朗运动。概率概率p概率概率q概率概率p概率概率qX(0)X(n)第5页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义转移概率分布函数和转移概率密度的定义：转移概率分布函数和转移概率密度的定义：把马尔可夫过程把马尔可夫过程X(t),t T的条件概率分布函数的条件概率分布函数，F(x2;t2|x1;t1=PX(t2)x2|X(t1)=x1称为称为马尔可夫过程的马尔可夫过程的(状态）状态）转移概率函数

5、转移概率函数。如果如果 则称则称f(x;t|x0;t0)为为马尔可夫过程的马尔可夫过程的转移概率密度转移概率密度。第6页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义齐次马尔可夫过程的定义：齐次马尔可夫过程的定义：如果马尔可夫过程的转移如果马尔可夫过程的转移概率函数或概率函数或转移概率密度转移概率密度,只与转移前只与转移前后的状态及相应的二个时刻的时间差有关，而与二个时刻无关，即后的状态及相应的二个时刻的时间差有关，而与二个时刻无关，即 F(x2;t2|x1;t1)=F(x2|x1;t2-t1)f(x2;t2|x1;t1)=f(x2

6、|x1;t2-t1)称具有这种特性的称具有这种特性的马尔可夫过程为马尔可夫过程为齐次马尔可夫过程齐次马尔可夫过程。第7页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义高阶马尔可夫过程的定义：高阶马尔可夫过程的定义：如果马尔可夫过程在如果马尔可夫过程在tn时刻的状态，只与时刻的状态，只与tn时刻以前的时刻以前的tn-1,tn-2,tn-k这这k个时刻的状态有关，而与更前时刻的状态无关，即个时刻的状态有关，而与更前时刻的状态无关，即 F(xn;tn|xn-1,xn-2,xn-k,xn-k-1,x2,x1;tn-1,tn-2,tn-k,t

7、n-k-1,t2,t1)=F(xn;tn|xn-1,xn-2,xn-k;tn-1,tn-2,tn-k)或或 f(xn;tn|xn-1,xn-2,xn-k,xn-k-1,x2,x1;tn-1,tn-2,tn-k,tn-k-1,t2,t1)=f(xn;tn|xn-1,xn-2,xn-k;tn-1,tn-2,tn-k)则称具有这种特性的则称具有这种特性的马尔可夫过程为马尔可夫过程为k阶马尔可夫过程阶马尔可夫过程。第8页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.2 5.1.2 切普曼柯尔莫哥洛夫方程切普曼柯尔莫哥洛夫方程定理：定理：马尔可夫过程的转移概率密度之间有下列

8、关系：马尔可夫过程的转移概率密度之间有下列关系：其中，其中，tktrtn。此式。此式称为称为切普曼柯尔莫哥洛夫切普曼柯尔莫哥洛夫(Chapman-Kolmogorov)方程。方程。证证 利用由联合概率密度求边缘概率密度公式得利用由联合概率密度求边缘概率密度公式得根据条件概率密度公式，上式的被积函数可表示成根据条件概率密度公式，上式的被积函数可表示成第9页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.2 5.1.2 切普曼柯尔莫哥洛夫方程切普曼柯尔莫哥洛夫方程带入上式右端有带入上式右端有第10页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.

9、1.3 5.1.3 马尔可夫过程的分类马尔可夫过程的分类（1 1）时间离散、状态离散的马尔可夫过程）时间离散、状态离散的马尔可夫过程马尔可夫链马尔可夫链。参数集参数集T=0,1,2,T=0,1,2,状态空间状态空间E=E=整数整数（2 2）时间连续、状态离散的马尔可夫过程）时间连续、状态离散的马尔可夫过程可列马尔可夫过程、可列马尔可夫过程、连续参数马尔可夫链连续参数马尔可夫链。参数集参数集T=0,T=0,状态空间状态空间E=E=整数整数（3 3）时间离散、状态连续的马尔可夫过程）时间离散、状态连续的马尔可夫过程马尔可夫序列马尔可夫序列。参数参数集集T=0,1,2,T=0,1,2,状态空间状态空

10、间E=(-,+)E=(-,+)（4 4）时间连续、状态连续的）时间连续、状态连续的马尔可夫过程马尔可夫过程。参数集参数集T=0,T=0,状态空间状态空间E=(-,+)E=(-,+)第11页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念 例例1 1 独立过程是马尔可夫过程独立过程是马尔可夫过程。证证 设设X(t),t T是一是一独立过程，随机事件独立过程，随机事件X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1,X(tn)xn相互独立，所以相互独立，所以 PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1 =PX(tn)xn =PX(

11、tn)xn|X(tn-1)=xn-1因此，因此，X(t),t T是是马尔可夫过程。马尔可夫过程。第12页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念 例例2 2 独立增量过程是马尔可夫过程独立增量过程是马尔可夫过程。证证 设设X(t),t T是一是一独立增量过程，且独立增量过程，且X(0)=0，有，有X(t1)-X(0)=X(t1),X(t2)-X(t1),X(tn-1)-X(tn-2),X(tn)-X(tn-1)相互独立。在相互独立。在X(tn-1)已知的条件下，已知的条件下，X(tn)-X(tn-1)与与X(t1)，X(t2)=X(t2)-X(t1)+X(t1),X

12、(t3)=X(t3)-X(t2)+X(t2),X(tn-1)=X(tn-1)-X(tn-2)+X(tn-2)相互独立。相互独立。PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(tn)-X(tn-1)xn-xn-1|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(tn)-X(tn-1)xn-xn-1=PX(tn)xn|X(tn-1)=xn-1因此，因此，X(t),t T是是马尔可夫过程。马尔可夫过程。第13页，本讲稿共42页5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念例例3 3 维纳过程维纳过程W(t),t0是是独立增量过程，且独

13、立增量过程，且W(0)=0，所，所以，以，维纳过程是马尔可夫过程。维纳过程是马尔可夫过程。例例4 4 泊松过程泊松过程N(t),t0是是独立增量过程，且独立增量过程，且N(0)=0，所，所以，以，泊松过程是马尔可夫过程。泊松过程是马尔可夫过程。思考：思考：马尔可夫过程的无前效性。马尔可夫过程的无前效性。第14页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念 马尔可夫链是参数集马尔可夫链是参数集T和状态空间和状态空间E皆离散的马尔可夫过程。皆离散的马尔可夫过程。T=0,1,2,，E=i1,i2,.马尔可夫链定义：马尔可夫链定义：设随机

14、序列设随机序列X(n),n=0,1,2,的离散状态空间为的离散状态空间为E=i1,i2,若对于任意的非负整数若对于任意的非负整数k k和和n1n2 nm,以及任意以及任意i1,i2,im,im+k E,有有 PX(nm+k)=im+k|X(n1)=i1,X(n2)=i2,X(nm)=im =PX(nm+k)=im+k|X(nm)=im则称则称随机序列随机序列X(n),n=0,1,2,为为马尔可夫链马尔可夫链。第15页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的状态转移和状态转移矩阵：马尔可夫链的状态转移和状态转移矩阵：

15、n1n2n1n2n1n2n3C-K第16页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链的转移概率及其矩阵：马尔可夫链马尔可夫链 X(n),n=0,1,2,在时刻在时刻m处于状态处于状态i的条件下，的条件下，在时刻在时刻m+k处于状态处于状态j的条件概率，称为的条件概率，称为马尔可夫链马尔可夫链在在m时刻的时刻的k k步转步转移概率移概率，记为，记为 pij(m,k)=PX(m+k)=j|X(m)=i 当当k=1时，时，pij=pij(m,1)=PX(m+1)=j|X(m)=i称为称为马尔可夫

16、链马尔可夫链在在m时刻的时刻的一步转移概率一步转移概率，简称简称转移概率转移概率。k为为转移步长转移步长。显然显然，0 pij(m,k)1。第17页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链的转移概率及其矩阵：对于有限状态空间对于有限状态空间E=1,2,N,由由马尔可夫链马尔可夫链 X(n),n=0,1,2,在时刻在时刻m的的k k步转移概率步转移概率pij(m,k)形成的下列矩阵形成的下列矩阵称为称为马尔可夫链马尔可夫链在在m时刻的时刻的k k步转移矩阵步转移矩阵。当当k=1k=1时，时

17、，称为称为一步转移矩阵一步转移矩阵，简称简称转移矩阵转移矩阵。第18页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链及其转移概率：齐次马尔可夫链及其转移概率：如果马尔可夫链如果马尔可夫链 X(n),n=0,1,2,的的转移概率转移概率pij(m,k)与与m无无关，即关，即 pij(m,k)=PX(m+k)=j|X(m)=i=pij(k)则称为则称为齐次齐次马尔可夫链马尔可夫链,pij(k)称为称为k步转移概率步转移概率。一步转移概率简写为一步转移概率简写为 pij =pij(1)=PX(m+1)=j|X(m)=i 规定规定

18、 显然显然，0pij(k)1。第19页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵：对于有限状态空间对于有限状态空间E=1,2,N,齐次马尔可夫链齐次马尔可夫链 X(n),n=0,1,2,的的k k步转移矩阵步转移矩阵为为且且 0pij(k)1，随机矩阵随机矩阵。第20页，本讲稿共42页随机矩阵定义：随机矩阵定义：若若 ,且满足且满足 则称矩阵则称矩阵为为随机矩阵随机矩阵。第21页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马

19、尔可夫链转移矩阵：齐次马尔可夫链转移矩阵：对于无限状态空间对于无限状态空间E=1,2,齐次马尔可夫链齐次马尔可夫链 X(n),n=0,1,2,的的k k步转移矩阵步转移矩阵为为且且 0pij(k)1，。第22页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵：对于有限状态空间对于有限状态空间E=1,2,N,齐次马尔可夫链齐次马尔可夫链 X(n),n=0,1,2,的的一步转移一步转移矩阵矩阵为为且且 0pij 1，随机矩阵随机矩阵。第23页，本讲稿共42页概率概率p概率概率qi=123455.2

20、 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链:转移矩阵转移矩阵例例1 1：直线上带两个吸收壁的随机游动直线上带两个吸收壁的随机游动 状态空间状态空间E=1,2,3,4,5,1和和5为为吸收壁状态。吸收壁状态。转移概率：转移概率：当当i=1,5时，时，p11=1,p1j=0(j1),p55=1,p5j=0(j5)当当i=2,3,4时，时，pi,i+1=p,pi,i-1=q,pi,j=0(ji-1,i+1)所以一步转移所以一步转移矩阵为矩阵为第24页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链:转移矩

21、阵转移矩阵例例2 2：直线上带两个弹性壁的随机游动直线上带两个弹性壁的随机游动 状态空间状态空间E=1,2,3,4,5,1和和5为为弹性壁状态。当质点处于弹性壁状态。当质点处于2、3、4位位置时，下一时刻向左和向右移动的概率分别为置时，下一时刻向左和向右移动的概率分别为q和和p；当处于当处于1位置位置时，下一时刻留在原位的概率为时，下一时刻留在原位的概率为q，右移一格的概率为，右移一格的概率为p；当处于当处于5位置时，下一时刻留在原位的概率为位置时，下一时刻留在原位的概率为p，左移一格的概率为，左移一格的概率为q。转移概率为：转移概率为：转移矩阵为：转移矩阵为：p11=q,p12=p,p1j=

22、0(j=3,4,5),p55=p,p54=q,p5j=0(j=1,2,3)当当i=2,3,4时，时，pi,i+1=p,pi,i-1=q,pi,j=0(ji-1,i+1)第25页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链齐次马尔可夫链X(n),n=0,1,2,的的转移概率满足转移概率满足切普曼柯尔切普曼柯尔莫哥洛夫方程莫哥洛夫方程：证证第26页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔

23、可夫链转移概率之间的关系：齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链的齐次马尔可夫链的切普曼柯尔莫哥洛夫切普曼柯尔莫哥洛夫方程写成矩阵形式：方程写成矩阵形式：P(k+l)=P(k)P(l)当当k=1,l=1时，时，P(2)=P(1)P(1)=P(1)2当当k=2,l=1时，时，P(3)=P(2)P(1)=P(1)3一般地有一般地有 P(n)=P(1)n=Pn可见，可见，n步步转移概率（矩阵）等于转移概率（矩阵）等于n个一个一步步转移概率（矩阵）的乘积转移概率（矩阵）的乘积。第27页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链：转移概率齐次马尔

24、可夫链：转移概率例：例：天气预报问题。天气预报问题。设明天是否有雨，仅与今天的天气有关，而与设明天是否有雨，仅与今天的天气有关，而与过去的天气无关。今天下雨明天也下雨的概率为过去的天气无关。今天下雨明天也下雨的概率为p,今天无雨明天有今天无雨明天有雨的概率为雨的概率为q。有雨天气为状态。有雨天气为状态0 0，无雨天气为状态，无雨天气为状态1 1。若。若p=0.7,q=0.4,求今天有雨且第四天有雨的概率。求今天有雨且第四天有雨的概率。解解 一步转移概率矩阵：一步转移概率矩阵：二步转移概率矩阵：二步转移概率矩阵：四步转移概率矩阵：四步转移概率矩阵：第28页，本讲稿共42页5.2 5.2 马尔可夫

25、链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链初始概率和绝对概率：初始概率和绝对概率：齐次马尔可夫链齐次马尔可夫链X(n),n=0,1,2,在初始时刻取各状态的概率在初始时刻取各状态的概率分布：分布：pi=pi(0)=PX(0)=i,i=1,2,称为称为齐次马尔可夫链的齐次马尔可夫链的初始概率分布初始概率分布。显然，显然，0pi 1，齐次马尔可夫链齐次马尔可夫链X(n),n=0,1,2,在第在第n时刻取各状态的概时刻取各状态的概率分布：率分布：pi(n)=PX(n)=i,i=1,2,称为称为齐次马尔可夫链齐次马尔可夫链在时刻在时刻n的的绝对概率分布绝对概率分布。显然，显然，0

26、pi(n)1，当当n=0时，时，绝对概率分布变为初始概率分布绝对概率分布变为初始概率分布。第29页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链绝对概率与初始概率和转移概率之间的关系：绝对概率与初始概率和转移概率之间的关系：可见，可见，齐次马尔可夫链的绝对概率分布完全由初始概率分布和转齐次马尔可夫链的绝对概率分布完全由初始概率分布和转移概率分布所确定。移概率分布所确定。第30页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链有限维概率分布与初始概率和转移概率之间的关系：有限维概率分

27、布与初始概率和转移概率之间的关系：定理：定理：齐次马尔可夫链的有限维概率分布完全由初始概率分布和齐次马尔可夫链的有限维概率分布完全由初始概率分布和转移概率分布所确定，即转移概率分布所确定，即 证证 第31页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链第32页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布几个几个定义定义：有限马尔可夫链有限马尔可夫链：具有有限多个状态的马尔可夫链。具有有限多个状态的马尔可夫链。E=1,2,N 无限马尔可夫链无限马尔可夫

28、链：具有无限多个状态的马尔可夫链。具有无限多个状态的马尔可夫链。E=1,2,概率分布概率分布：若有限或无限数列若有限或无限数列pi,i=1,2,满足条件：满足条件：pi 0;则称则称pi,i=1,2,是概率分布。是概率分布。第33页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历性定义：遍历性定义：若一个齐次马尔可夫链对于一切状态若一个齐次马尔可夫链对于一切状态i与与j的转移概率的的转移概率的极限极限存在，且与存在，且与i无关，无关，则称此则称此马尔可夫链具有马尔可夫链具有遍历性遍历性。对于有限马尔可夫链，

29、显然有对于有限马尔可夫链，显然有 j 0;此时，称此时，称j,j=1,2,N是该是该马尔可夫链的马尔可夫链的极限极限分布分布。第34页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历性定义：遍历性定义：转移矩阵的极限转移矩阵的极限第35页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布有限马尔可夫链具有遍历性充分条件定理：有限马尔可夫链具有遍历性充分条件定理：对于一有限马尔可夫链，若存在一正整数对于一有限马尔可夫链，若存在一

30、正整数m，使得，使得 则此则此链是遍历的；而且其极限分布链是遍历的；而且其极限分布1,2,N是方程组是方程组满足条件满足条件的唯一解。的唯一解。第36页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历马尔可夫链绝对概率的极限：遍历马尔可夫链绝对概率的极限：可见，可见，对于遍历马尔可夫链，绝对概率的极限与转移概率的极限相同。对于遍历马尔可夫链，绝对概率的极限与转移概率的极限相同。第37页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与

31、极限分布例：例：直线上带弹性壁的随机游动，若只取直线上带弹性壁的随机游动，若只取1,2,31,2,3三个点，其一步转移概三个点，其一步转移概率矩阵为率矩阵为二步转移概率矩阵为二步转移概率矩阵为 其中的所有元素都大于零，所以此链是遍历的。极限分布存在，其中的所有元素都大于零，所以此链是遍历的。极限分布存在，第38页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布例：例：求极限分布求极限分布j,j=1,2,3 ：根据根据有有第39页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫

32、链的平稳分布马尔可夫链的平稳分布平稳分布定义：平稳分布定义：若齐次马尔可夫链的一个若齐次马尔可夫链的一个概率分布概率分布vj,jE满足满足则称则称vj,jE为为该链的平稳分布。该链的平稳分布。一般地，若一般地，若vj,jE为为平稳分布，则有平稳分布，则有第40页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布性质：平稳分布性质：如果齐次马尔可夫链的初始如果齐次马尔可夫链的初始概率分布概率分布pj,jE为为平稳分布，平稳分布，则该链在任意时刻则该链在任意时刻n n的绝对概率分布都等于初始的绝对概率分布都等于初始概率分布，即概率分布，即第41页，本讲稿共42页5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布性质：平稳分布性质：遍历的齐次马尔可夫链的极限遍历的齐次马尔可夫链的极限分布等于分布等于平稳分布平稳分布。证证 若齐次马尔可夫链具有遍历性，其极限分布为若齐次马尔可夫链具有遍历性，其极限分布为第42页，本讲稿共42页