第五章马尔可夫过程ppt课件.ppt

《第五章马尔可夫过程ppt课件.ppt》由会员分享，可在线阅读，更多相关《第五章马尔可夫过程ppt课件.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物马尔可夫过程马尔可夫过程的概念的概念离散参数离散参数马尔可夫链马尔可夫链连续参数连续参数马尔可夫链马尔可夫链生灭过程及应用生灭过程及应用5 马尔可夫过程我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物有限维概率分布有限维概率分布(簇簇)转移概率转移概率 绝对概率绝对概率 极限分布极限分布 平稳分布平稳分布状态空间的性质状态空间的性质 5 5 马尔可夫过程马尔可夫过程我吓了一

2、跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义随机过程马尔可夫性：随机过程马尔可夫性：（物理描述）（物理描述） 当随机过程在时刻当随机过程在时刻 ti 所处的状态为已知的条件下，过所处的状态为已知的条件下，过程在时刻程在时刻 t(ti)所处的状态，与过程在所处的状态，与过程在ti时刻以前的状态无时刻以前的状态无关，而仅与在关，而仅与在ti时刻的状态有关。这种已知时刻的状态有关。这种已知“现在现在”状态的状态的条件下，条件下

3、，“将来将来”状态与状态与“过去过去”状态无关的性质，称为状态无关的性质，称为马尔可夫性马尔可夫性或或无后效性无后效性。 具有具有马尔可夫性马尔可夫性或或无后效性的无后效性的随机过程，即是随机过程，即是马尔可马尔可夫夫过程过程。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程的概念马尔可夫过程的概念5.1.1 5.1.1 有关定义有关定义马尔可夫过程定义：马尔可夫过程定义：（条件概率）（条件概率） 给定随机过程给定随机过程X(t), t T, ,若对于任意若对于任意n(3)个时刻

4、个时刻t1t2 tn-1 tn T, 有有 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn) xn | X(tn-1) = xn-1或或 Fxn | x1, x2, , xn-1; t1, t2, , tn-1= Fxn; tn| xn-1 ; tn-1或或 fxn | x1, x2, , xn-1; t1, t2, , tn-1= fxn; tn| xn-1 ; tn-1则称则称随机过程随机过程X(t), t T为为马尔可夫过程马尔可夫过程。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？

5、但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义例例1 1 直线上的随机游动。直线上的随机游动。例例2 2 电话交换站在某时刻接到的呼唤次数。电话交换站在某时刻接到的呼唤次数。 0,t=0,tm+(tm,t 次数次数(t)=次数次数(tm)+次数次数(tm,t) 例例3 布朗运动。布朗运动。概率概率p概率概率q概率概率p概率概率qX(0)X(n)我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1

6、 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义转移概率分布函数和转移概率密度的定义：转移概率分布函数和转移概率密度的定义： 把马尔可夫过程把马尔可夫过程X(t), t T的条件概率分布函数的条件概率分布函数， F(x2 ; t2 | x1 ; t1= PX(t2) x2 | X(t1) = x1称为称为马尔可夫过程的马尔可夫过程的( (状态）状态）转移概率函数转移概率函数。 如果如果 则称则称f(x; t| x0 ; t0) 为为马尔可夫过程的马尔可夫过程的转移概率密度转移概率密度。0000( ; |; )( ; |; )F x t x tf x t x tx我

7、吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义齐次马尔可夫过程的定义：齐次马尔可夫过程的定义： 如果马尔可夫过程的转移如果马尔可夫过程的转移概率函数或概率函数或转移概率密度转移概率密度, ,只与只与转移前后的状态及相应的二个时刻的时间差有关，而与二个转移前后的状态及相应的二个时刻的时间差有关，而与二个时刻无关，即时刻无关，即 F(x2 ; t2 | x1 ; t1)= F(x2 | x1 ; t2 -t1) f(x2

8、 ; t2 | x1 ; t1)= f(x2 | x1 ; t2 -t1)称具有这种特性的称具有这种特性的马尔可夫过程为马尔可夫过程为齐次马尔可夫过程齐次马尔可夫过程。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义高阶马尔可夫过程的定义：高阶马尔可夫过程的定义： 如果马尔可夫过程在如果马尔可夫过程在tn时刻的状态，只与时刻的状态，只与tn时刻以前的时刻以前的tn-1, tn-2, tn-k这这k个时刻的状态有关，而

9、与更前时刻的状态无关，个时刻的状态有关，而与更前时刻的状态无关，即即 F(xn ; tn | xn-1, xn-2, xn-k , xn-k-1 , x2 , x1 ;tn-1, tn-2, tn-k , tn-k-1 , t2 , t1 )= F(xn ; tn | xn-1, xn-2, xn-k;tn-1, tn-2, tn-k)或或 f(xn ; tn | xn-1, xn-2, xn-k , xn-k-1 , x2 , x1 ;tn-1, tn-2, tn-k , tn-k-1 , t2 , t1 )= f(xn ; tn | xn-1, xn-2, xn-k;tn-1, tn-2,

10、 tn-k)则称具有这种特性的则称具有这种特性的马尔可夫过程为马尔可夫过程为k阶马尔可夫过程阶马尔可夫过程。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.2 5.1.2 切普曼柯尔莫哥洛夫方程切普曼柯尔莫哥洛夫方程定理：定理：马尔可夫过程的转移概率密度之间有下列关系：马尔可夫过程的转移概率密度之间有下列关系：其中，其中， tktrtn 。此式。此式称为称为切普曼柯尔莫哥洛夫切普曼柯尔莫哥洛夫(Chapman-Kolmogorov)方程。方程。 证

11、证 利用由联合概率密度求边缘概率密度公式得利用由联合概率密度求边缘概率密度公式得根据条件概率密度公式，上式的被积函数可表示成根据条件概率密度公式，上式的被积函数可表示成(;|; )( ;|; ) ( ;|; )nnkknnrrrrkkrf x tx tf x tx tf x tx t dx(;|; )( ,; ,|; )nnkknrnrkkrf x tx tf x x t tx t dx我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.2 5.1.2

12、 切普曼柯尔莫哥洛夫方程切普曼柯尔莫哥洛夫方程带入上式右端有带入上式右端有( ; |; )( ; |; ) ( ; |; )nnkknnrrrrkkrf x tx tf x tx t f x tx t dx( ,; , , )( , ; , |; )( ; )( ; |,; , ) ( ,; , )( ; )( ; |,; , ) ( ; |, )( ; |; ) ( ; |, )nrknrknrnrkkkknnrkrkrkrkkknnrkrkrrkknnrrrrkkf x x x t t tf x x t tx tf x tf x tx x t tf x x t tf x tf x tx x

13、 t tf x tx tf x tx t f x tx t我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.3 5.1.3 马尔可夫过程的分类马尔可夫过程的分类（1 1）时间离散、状态离散的马尔可夫过程）时间离散、状态离散的马尔可夫过程马尔可夫链马尔可夫链。 参数集参数集T=0,1,2,T=0,1,2,状态空间状态空间E=E=整数整数 （2 2）时间连续、状态离散的马尔可夫过程）时间连续、状态离散的马尔可夫过程可列马尔可夫可列马尔可夫过程、连续参数马

14、尔可夫链过程、连续参数马尔可夫链。 参数集参数集T=0, ,T=0, ,状态空间状态空间E=E=整数整数 （3 3）时间离散、状态连续的马尔可夫过程）时间离散、状态连续的马尔可夫过程马尔可夫序列马尔可夫序列。 参数集参数集T= 0,1,2,T= 0,1,2,状态空间状态空间E= (-, +)E= (-, +)（4 4）时间连续、状态连续的）时间连续、状态连续的马尔可夫过程马尔可夫过程。 参数集参数集T= 0, ,T= 0, ,状态空间状态空间E= (-, +)E= (-, +)我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表

15、里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念 例例1 1 独立过程是马尔可夫过程独立过程是马尔可夫过程。 证证 设设X(t), t T是一是一独立过程，随机事件独立过程，随机事件X(t1)=x1, X(t2)=x2, X(tn-1)=xn-1, X(tn) xn相互独立，所以相互独立，所以 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn) xn = PX(tn) xn | X(tn-1) = xn-1因此，因此， X(t), t T是是马尔可夫过程。马尔可夫过程。我吓了一跳，蝎子是多么丑恶和恐怖

16、的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念 例例2 2 独立增量过程是马尔可夫过程独立增量过程是马尔可夫过程。 证证 设设X(t), t T是一是一独立增量过程，且独立增量过程，且X(0)=0，有，有X(t1)- X(0) = X(t1) , X(t2)- X(t1), , X(tn-1)- X(tn-2), X(tn)- X(tn-1) 相相互独立。在互独立。在X(tn-1)已知的条件下，已知的条件下， X(tn)- X(tn-1) 与与X(t1) ，X(t2) =X(t2)-

17、X(t1)+ X(t1), X(t3) =X(t3)- X(t2)+ X(t2), X(tn-1) =X(tn-1)- X(tn-2)+ X(tn-2)相互独立。相互独立。 PX(tn) xn | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn)- X(tn-1) xn- xn-1 | X(t1) = x1, X(t2) = x2, , X(tn-1) = xn-1 = PX(tn)- X(tn-1) xn- xn-1 = PX(tn) xn | X(tn-1) = xn-1因此，因此， X(t), t T是是马尔可夫过程。马尔可夫过程。我吓了

18、一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念例例3 3 维纳过程维纳过程W(t), t0是是独立增量过程，且独立增量过程，且W(0) = 0，所以，所以，维纳过程是马尔可夫过程。维纳过程是马尔可夫过程。例例4 4 泊松过程泊松过程N(t), t0是是独立增量过程，且独立增量过程，且N(0) = 0，所以，所以，泊松过程是马尔可夫过程。泊松过程是马尔可夫过程。思考：思考：马尔可夫过程的无前效性。马尔可夫过程的无前效性。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为

19、什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念 马尔可夫链是参数集马尔可夫链是参数集T和状态空间和状态空间E皆离散的马尔可夫过皆离散的马尔可夫过程。程。 T=0,1,2,，E=i1,i2,.马尔可夫链定义：马尔可夫链定义： 设随机序列设随机序列X(n), n=0,1,2,的离散状态空间为的离散状态空间为E=i1, i2, , ,若对于任意的非负整数若对于任意的非负整数k k和和n1n2 nm, ,以及任意以及任意i1, i2, , im, im+k E,

20、有有 PX(nm+k) = im+k | X(n1) = i1, X(n2) = i2, , X(nm) = im = PX(nm+k) = im+k | X(nm) = im则称则称随机序列随机序列X(n), n=0,1,2,为为马尔可夫链马尔可夫链。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的状态转移和状态转移矩阵：马尔可夫链的状态转移和状态转移矩阵：n1n2n1n2n1n2n3C-K我吓了一跳，

21、蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链的转移概率及其矩阵： 马尔可夫链马尔可夫链 X(n), n=0,1,2,在时刻在时刻m处于状态处于状态i的条件的条件下，在时刻下，在时刻m+k处于状态处于状态j的条件概率，称为的条件概率，称为马尔可夫链马尔可夫链在在m时刻的时刻的k k步转移概率步转移概率，记为，记为 pij (m,k)=PX(m+k) = j | X(m) = i 当当k=

22、1时，时， pij =pij (m,1)=PX(m+1) = j | X(m) = i称为称为马尔可夫链马尔可夫链在在m时刻的时刻的一步转移概率一步转移概率，简称简称转移概率转移概率。k为为转移步长转移步长。显然显然， 0 pij (m,k) 1 。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链的转移概率及其矩阵： 对于有限状态空间对于有限状态空间E=1,2,N,由由马尔可夫

23、链马尔可夫链 X(n), n=0,1,2,在时刻在时刻m的的k k步转移概率步转移概率pij (m,k)形成的下列矩阵形成的下列矩阵称为称为马尔可夫链马尔可夫链在在m时刻的时刻的k k步转移矩阵步转移矩阵。当当k=1k=1时，时，称为称为一步转移矩阵一步转移矩阵，简称简称转移矩阵转移矩阵。111212122212( , )( , )( , )( , )( , )( , )( , )( , )( , )( , )NNNNNNpm kpm kpm kpm kpm kpm km kpm kpm kpm kP1(, )1Nijjpm k0(, )1ijpm k我吓了一跳，蝎子是多么丑恶和恐怖的东西，为

24、什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链及其转移概率：齐次马尔可夫链及其转移概率： 如果马尔可夫链如果马尔可夫链 X(n), n=0,1,2,的的转移概率转移概率pij (m,k)与与m无关，即无关，即 pij (m,k)=PX(m+k) = j | X(m) = i= pij (k)则称为则称为齐次齐次马尔可夫链马尔可夫链, , pij (k)称为称为k步转移概率步转移概率。 一步转移概率简写为一步转移概率简写为 pij = pij (1

25、) =PX(m+1) = j | X(m) = i 规定规定 显然显然， 0pij (k) 1 。1, (0)(,0)0, ijijijijppmij我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵： 对于有限状态空间对于有限状态空间E=1,2,N,齐次马尔可夫链齐次马尔可夫链 X(n), n=0,1,2, 的的k k步转移矩阵步转移矩阵为为且且 0pij (k) 1， 随机

26、矩阵随机矩阵。111212122212( )( )( )( )( )( )( )( )( )( )NNNNNNpkpkpkpkpkpkkpkpkpkP1( )1Nijjpk我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物随机矩阵定义：随机矩阵定义： 若若 , ,且满足且满足 则称矩阵则称矩阵为为随机矩阵随机矩阵。111212122212NNNNNNaaaaaaaaaA0ija11Nijja我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里

27、边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵： 对于无限状态空间对于无限状态空间E=1,2,齐次马尔可夫链齐次马尔可夫链 X(n), n=0,1,2, 的的k k步转移矩阵步转移矩阵为为且且 0pij (k) 1， 。11122122( )( )( )( )( )pkpkkpkpkP1( )1ijjpk我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2

28、.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵： 对于有限状态空间对于有限状态空间E=1,2,N,齐次马尔可夫链齐次马尔可夫链 X(n), n=0,1,2, 的的一步转移一步转移矩阵矩阵为为且且 0pij 1， 随机矩阵随机矩阵。111212122212NNNNNNpppppppppP11Nijjp我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物概率概率p概率概率qi=123455.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链: :转

29、移矩阵转移矩阵例例1 1：直线上带两个吸收壁的随机游动直线上带两个吸收壁的随机游动 状态空间状态空间E=1,2,3,4,5, 1和和5为为吸收壁状态。吸收壁状态。 转移概率：转移概率：当当i=1,5时，时，p11=1, p1j=0(j1), p55=1, p5j=0(j5) 当当i=2,3,4时，时， pi,i+1=p, pi,i-1=q, pi,j=0 (ji-1,i+1) 所以一步转移所以一步转移矩阵为矩阵为1000000000000000001qpqpqpP我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的

30、生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链: :转移矩阵转移矩阵例例2 2：直线上带两个弹性壁的随机游动直线上带两个弹性壁的随机游动 状态空间状态空间E=1,2,3,4,5, 1和和5为为弹性壁状态。当质点处于弹性壁状态。当质点处于2、3、4位置时，下一时刻向左和向右移动的概率分别为位置时，下一时刻向左和向右移动的概率分别为q和和p；当处当处于于1位置时，下一时刻留在原位的概率为位置时，下一时刻留在原位的概率为q，右移一格的概率，右移一格的概率为为p；当处于当处于5位置时，下一时刻留在原位的概率为位置时，下一时刻留在原位的概率为p ，左移一，左

31、移一格的概率为格的概率为q 。转移概率为：转移概率为： 转移矩阵为：转移矩阵为： p11=q, p12=p, p1j=0(j=3,4,5), p55=p, p54=q, p5j=0(j=1,2,3) 当当i=2,3,4时，时， pi,i+1=p, pi,i-1=q, pi,j=0 (ji-1,i+1) 000000000000000qpqpqpqpqpP我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移概

32、率之间的关系：齐次马尔可夫链转移概率之间的关系： 齐次马尔可夫链齐次马尔可夫链X(n), n=0,1,2, 的的转移概率满足转移概率满足切普曼切普曼柯尔莫哥洛夫方程柯尔莫哥洛夫方程：证证()( )( ), ,ijirrjrEpklpkpli jE() ()|( ) (), ()|( ) ()|( ) ()|(), ( )( ) ()|()( )( )ijr Er Eirirrjr Er Ep k lP X m k lj X miP X m k lj X m kr X miP X m kr X mi P X m k lj X m kr X mip k P X m k lj X m krp k p

33、 l 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链转移概率之间的关系： 齐次马尔可夫链的齐次马尔可夫链的切普曼柯尔莫哥洛夫切普曼柯尔莫哥洛夫方程写成矩阵方程写成矩阵形式：形式： P(k+l)=P(k)P(l)当当k=1, l=1时，时， P(2)=P(1)P(1)=P(1)2当当k=2, l=1时，时， P(3)=P(2)P(1)=P(1)3一般地有一般地有 P(n)=

34、 P(1)n = Pn可见，可见，n步步转移概率（矩阵）等于转移概率（矩阵）等于n个一个一步步转移概率（矩阵）转移概率（矩阵）的乘积的乘积。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链：转移概率齐次马尔可夫链：转移概率例：例：天气预报问题。天气预报问题。设明天是否有雨，仅与今天的天气有关，设明天是否有雨，仅与今天的天气有关，而与过去的天气无关。今天下雨明天也下雨的概率为而与过去的天气无关。今天下雨明天也下雨的概率为p, ,今天今天

35、无雨明天有雨的概率为无雨明天有雨的概率为q。有雨天气为状态。有雨天气为状态0 0，无雨天气为状，无雨天气为状态态1 1。若。若p=0.7,q=0.4,求今天有雨且第四天有雨的概率。求今天有雨且第四天有雨的概率。 解解 一步转移概率矩阵：一步转移概率矩阵：二步转移概率矩阵：二步转移概率矩阵：四步转移概率矩阵：四步转移概率矩阵：0001101110.70.310.40.6ppppppqqP0.70.30.70.30.61 0.39(2)0.40.60.40.60.520.48PPP0.57490.4251(4)(2) (2)0.5668 0.4332PPP0001(4)0.5749 (4)0.42

36、51pp我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链初始概率和绝对概率：初始概率和绝对概率： 齐次马尔可夫链齐次马尔可夫链X(n), n=0,1,2,在初始时刻取各状态的在初始时刻取各状态的概率分布：概率分布： pi= pi(0) =PX(0)=i, i=1,2,称为称为齐次马尔可夫链的齐次马尔可夫链的初始概率分布初始概率分布。显然，显然， 0pi 1， 齐次马尔可夫链齐次马尔可夫链X(n), n=0,1,2,在第在

37、第n时刻取各状态的时刻取各状态的概率分布：概率分布： pi(n)=PX(n)=i, i=1,2,称为称为齐次马尔可夫链齐次马尔可夫链在时刻在时刻n的的绝对概率分布绝对概率分布。显然，显然， 0pi(n) 1，当当n=0时，时，绝对概率分布变为初始概率分布绝对概率分布变为初始概率分布。1iip ( )1iipn我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链绝对概率与初始概率和转移概率之间的关系：绝对概率与初始概率和转移概

38、率之间的关系：可见，可见，齐次马尔可夫链的绝对概率分布完全由初始概率分布齐次马尔可夫链的绝对概率分布完全由初始概率分布和转移概率分布所确定。和转移概率分布所确定。( )( )(0) ( )|(0)( )jiiijipnP X njP Xi P X nj Xip pn我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链有限维概率分布与初始概率和转移概率之间的关系：有限维概率分布与初始概率和转移概率之间的关系：定理：定理：齐次马

39、尔可夫链的有限维概率分布完全由初始概率分齐次马尔可夫链的有限维概率分布完全由初始概率分布和转移概率分布所确定，即布和转移概率分布所确定，即 证证 11 2111221211(),(),()()(),()mmmmiiii iiimmiP X ni X niX nip pn pnnpnn我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链112211221111221111221111112 ( ), ( ), ( ) ( ),

40、 ( ), () ( )|( ), ( ), () ( ), ( ), () ( )|() ( ), ( )mmmmmmmmmmmmmmP X ni X niX niP X ni X niX niP X niX ni X niX niP X ni X niX niP X niX niP X ni X n1122311122311121211111213211213211211, ()() ( )(),(),()( )(),(),()( )(),()mmmmmmmmmmiimmiii iiimmiiii iiimmiiiiiiimmiiX nipnnP X ni pnnpnnpnnp n pnn

41、pnnpnnpp n pnnpnn 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布几个几个定义定义： 有限马尔可夫链有限马尔可夫链：具有有限多个状态的马尔可夫链。具有有限多个状态的马尔可夫链。 E=1, 2, , N 无限马尔可夫链无限马尔可夫链：具有无限多个状态的马尔可夫链。具有无限多个状态的马尔可夫链。 E=1, 2, 概率分布概率分布：若有限或无限数列若有限或无限数列pi, i=1,

42、2, 满足条件：满足条件： pi 0; 则称则称pi, i=1, 2, 是概率分布。是概率分布。1iip 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历性定义：遍历性定义： 若一个齐次马尔可夫链对于一切状态若一个齐次马尔可夫链对于一切状态i与与j的转移概率的的转移概率的极极限限存在，且与存在，且与i无关，无关，则称此则称此马尔可夫链具有马尔可夫链具有遍历性遍历性。 对于有限马尔可夫链，显

43、然有对于有限马尔可夫链，显然有 j 0; 此时，称此时，称j , j=1, 2, , N是该是该马尔可夫链的马尔可夫链的极限极限分布分布。lim( ) ( ,)ijjnpni jE1jj我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物111212122212( )( )( )( )( )( )( )( )( )( )NNNNNNpnpnpnpnpnpnnpnpnpnP5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历性定义：遍历性定义：

44、转移矩阵的极限转移矩阵的极限121212lim ( )NNnNnP我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布有限马尔可夫链具有遍历性充分条件定理：有限马尔可夫链具有遍历性充分条件定理： 对于一有限马尔可夫链，若存在一正整数对于一有限马尔可夫链，若存在一正整数m，使得，使得 则此则此链是遍历的；而且其极限分布链是遍历的；而且其极限分布1, 2, , N是方程组是方程组满足条件满足条件的唯一

45、解。的唯一解。10, 1Njjj1 (1,2,)NjiijipjN( )0 ( ,1,2,)ijpmi jN我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历马尔可夫链绝对概率的极限：遍历马尔可夫链绝对概率的极限： 可见，可见，对于遍历马尔可夫链，绝对概率的极限与转移概率的对于遍历马尔可夫链，绝对概率的极限与转移概率的极限相同。极限相同。lim( )lim( )lim( )jiijnniii

46、jijniijijip np p npp npp我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布例：例：直线上带弹性壁的随机游动，若只取直线上带弹性壁的随机游动，若只取1,2,31,2,3三个点，其一三个点，其一步转移概率矩阵为步转移概率矩阵为二步转移概率矩阵为二步转移概率矩阵为 其中的所有元素都大于零，所以此链是遍历的。极限分布存其中的所有元素都大于零，所以此链是遍历的。极限分布存在，在，0

47、00qpqpqpP222222(2)2qpqpqpqpqpqpqpqpPP Plim( ) ( ,1,2,3)ijjnpni j我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布例：例：求极限分布求极限分布j , j=1, 2, 3 ： 根据根据有有11, 2,3 ()Njiijijp10, 1Njjj1211322331231qqpqpp131 (1,2,3)1jjppqjqpq 我吓了一跳，

48、蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布定义：平稳分布定义： 若齐次马尔可夫链的一个若齐次马尔可夫链的一个概率分布概率分布vj , jE满足满足则称则称vj , jE为为该链的平稳分布。该链的平稳分布。 一般地，若一般地，若vj , jE为为平稳分布，则有平稳分布，则有jiijiEvv p (1,2,)( ) jiiji Ekvv p k=()()(2)jiijkkiijkkiijkkji Ei Ek E

49、k Ei Ek Evv pv ppvp pv p 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布性质：平稳分布性质： 如果齐次马尔可夫链的初始如果齐次马尔可夫链的初始概率分布概率分布pj , jE为为平稳分平稳分布，则该链在任意时刻布，则该链在任意时刻n n的绝对概率分布都等于初始的绝对概率分布都等于初始概率分布，概率分布，即即()()jiijjiEpnp pnp(n=0,1,2,)( ) jjpnp我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布性质：平稳分布性质： 遍历的齐次马尔可夫链的极限遍历的齐次马尔可夫链的极限分布等于分布等于平稳分布平稳分布。 证证 若齐次马尔可夫链具有遍历性，其极限分布为若齐次马尔可夫链具有遍历性，其极限分布为(1)()ijirrjrEpnpnp lim( ) ( ,)jijnpni jElim(1)lim()ijirrjnnrEpnpnp jrrjrEp