数理统计与随机过程马尔科夫链幻灯片.ppt

《数理统计与随机过程马尔科夫链幻灯片.ppt》由会员分享，可在线阅读，更多相关《数理统计与随机过程马尔科夫链幻灯片.ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数理统计与随机过程马尔科夫链第1页，共34页，编辑于2022年，星期六第十一章第十一章 马尔可夫链马尔可夫链 本章首先从随机过程在不同时刻状态之间的特殊本章首先从随机过程在不同时刻状态之间的特殊的统计联系，引入马尔可夫的统计联系，引入马尔可夫(Markoff)(Markoff)过程的概念。然过程的概念。然后，对马尔可夫链后，对马尔可夫链(状态、时间都是离散的马尔可夫过程状态、时间都是离散的马尔可夫过程)的两个基本问题，即转移概率的确定以及遍历性问题的两个基本问题，即转移概率的确定以及遍历性问题作不同程度的研究和介绍。作不同程度的研究和介绍。马尔可夫过程的理论在近代物理、生物学、管理科马尔可夫过

2、程的理论在近代物理、生物学、管理科学、经济、信息处理以及数字计算方法等方面都有重要学、经济、信息处理以及数字计算方法等方面都有重要应用。应用。第2页，共34页，编辑于2022年，星期六11.1 马尔可夫过程及其概率分布马尔可夫过程及其概率分布 在物理学中，很多确定性现象遵从如下演变原则：由在物理学中，很多确定性现象遵从如下演变原则：由时刻时刻t0 0系统或过程所处的状态，可以决定系统或过程在时系统或过程所处的状态，可以决定系统或过程在时刻刻t t0所处的状态，而无需借助于所处的状态，而无需借助于t0以前系统或过程所以前系统或过程所处状态的历史资料。如微分方程问题所描绘的物理处状态的历史资料。如

3、微分方程问题所描绘的物理过程就属于这类确定性现象。把上述原则延伸到随过程就属于这类确定性现象。把上述原则延伸到随机现象，即当一物理系统或过程遵循的是某种统计机现象，即当一物理系统或过程遵循的是某种统计规律时，可仿照上面的原则，引入以下的规律时，可仿照上面的原则，引入以下的马尔可夫性马尔可夫性或或无后效性无后效性：过程：过程(或系统或系统)在时刻在时刻t0所处的状态为已知所处的状态为已知的条件下，过程在时刻的条件下，过程在时刻tt0所处状态的条件分布与过程所处状态的条件分布与过程在在t0之前所处的状态无关。通俗地说，就是在已经知道之前所处的状态无关。通俗地说，就是在已经知道过程过程“现在现在”的

4、条件下，其的条件下，其“将来将来”不依赖于不依赖于“过去过去”。第3页，共34页，编辑于2022年，星期六 现用分布函数来表述马尔可夫性现用分布函数来表述马尔可夫性.设随机过程设随机过程X(t),t T的状态的状态空间为空间为I。如果对时间。如果对时间t的任意的任意n个数值个数值t1t2 tn,n3,ti T，在条，在条件件X(ti)=xi,xiI,i=1,2,n-1下下,X(tn)的条件分布函数恰等于在条件的条件分布函数恰等于在条件X(tn-1)=xn-1下下X(tn)的条件分布函数的条件分布函数则称过程则称过程X(t),t T具有马尔可夫性或无后效性，并称此过程为具有马尔可夫性或无后效性，

5、并称此过程为马尔马尔可夫过程可夫过程。(1.1)第4页，共34页，编辑于2022年，星期六例例1 1 设设X(t),t 0是独立增量过程，且是独立增量过程，且X(0)=0，证明，证明X(t),t 0是是一个马尔可夫过程。一个马尔可夫过程。证证 由由(1.1)式知，只要证明在已知式知，只要证明在已知X(tn-1)=xn-1的条件下的条件下X(tn)与与X(tj),j=1,2,n-2相互独立即可。现由独立增量过程的定义知道，相互独立即可。现由独立增量过程的定义知道，当当0tjtn-1tn,j=1,2,n-2时，增量时，增量X(tj)-X(0)与与X(tn)-X(tn-1)相互独立。根据条件相互独立

6、。根据条件X(0)=0和和X(tn-1)=xn-1,即有即有X(tj)与与X(tn)-X(tn-1)相互独立。相互独立。再由第三章再由第三章4定理知，此时定理知，此时X(tn)与与X(tj)，j=1,2,n-2相互独相互独立。这表明立。这表明X(t)具有后无效性具有后无效性,即即X(t),t 0是一个马尔可夫过程。是一个马尔可夫过程。由上例知，泊松过程是时间连续状态离散的马氏过程；维纳过由上例知，泊松过程是时间连续状态离散的马氏过程；维纳过程是时间状态都连续的马氏过程。程是时间状态都连续的马氏过程。第5页，共34页，编辑于2022年，星期六 时间和状态都是离散的马尔可夫过程称为时间和状态都是离

7、散的马尔可夫过程称为马尔可马尔可夫链夫链，简称马氏链，记为，简称马氏链，记为Xn=X(n),n=0,1,2,，它可以看作在，它可以看作在时间集时间集T1=0,1,2,上对离散状态的马氏过程相继观察的结果上对离散状态的马氏过程相继观察的结果.我们约定记链的状态空间我们约定记链的状态空间I=a1,a2,ai R。在链的情形，马。在链的情形，马尔可夫性通常用条件分布律来表示，即对任意的正整数尔可夫性通常用条件分布律来表示，即对任意的正整数n,r和和0t1t2 trm；m,n T1，有，有(1.2)其中其中ai I。记上式右端为。记上式右端为Pij(m,m+n),我们称条件概率我们称条件概率 Pij(

8、m,m+n)=PXm+n=aj Xm=ai为马氏链在时刻为马氏链在时刻m处于状态处于状态ai条件下，在时刻条件下，在时刻m+n转移到状态转移到状态aj的的转移概率转移概率。(1.3)第6页，共34页，编辑于2022年，星期六 由于链在时刻由于链在时刻m从任何一状态从任何一状态ai出发，到另一时刻出发，到另一时刻m+n，必然，必然转移到转移到a1,a2,诸状态中的某一个，所以诸状态中的某一个，所以(1.4)由转移概率组成的矩阵由转移概率组成的矩阵P(m,m+n)=(Pij(m,m+n)称为马氏链的称为马氏链的转移概率矩阵转移概率矩阵。由。由(1.4)式知，此矩阵的每一行元之和等于式知，此矩阵的每

9、一行元之和等于1。当转移概率当转移概率Pij(m,m+n)只与只与i,j及时间间距及时间间距n有关时，把它记为有关时，把它记为Pij(n)，即，即 Pij(m,m+n)=Pij(n)并称此转移概率具有并称此转移概率具有平稳性平稳性。同时也称此链是。同时也称此链是齐次的齐次的或或时齐的时齐的。以下我们限于讨论齐次马氏链。以下我们限于讨论齐次马氏链。第7页，共34页，编辑于2022年，星期六 在马氏链为在马氏链为齐次齐次的情形下，由的情形下，由(1.3)式定义的转移概率式定义的转移概率 Pij(n)=PXm+n=aj Xm=ai 称为马氏链的称为马氏链的n步转移概率，步转移概率，P(n)=(Pij

10、(n)为为n步转移概率矩阵步转移概率矩阵。在以下的讨论中特别重要的是。在以下的讨论中特别重要的是一步转移概率一步转移概率 Pij=Pij(1)=PXm+1=aj Xm=ai 或由它们组成的或由它们组成的一步转移概率矩阵一步转移概率矩阵在上述矩阵的左侧和上边标上状态在上述矩阵的左侧和上边标上状态a1,a2,是为了显示是为了显示Pij是由是由状态状态ai经一步转移到状态经一步转移到状态aj的概率。的概率。第8页，共34页，编辑于2022年，星期六例例2（0-1传输系统传输系统）在如下图只传传输数字）在如下图只传传输数字0和和1的串联系统中，的串联系统中，设每一级的传真率（输出与输入数字相同的概率称

11、为系统的设每一级的传真率（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）为传真率，相反情形称为误码率）为p，误码率为，误码率为q=1-p，并设一，并设一个单位时间传输一级，个单位时间传输一级，X0是第一级的输入，是第一级的输入，Xn是第是第n级的输出级的输出(n1)，那么，那么Xn,n=0,1,2,是一随机过程，状态空间是一随机过程，状态空间I=0,1，而且当而且当Xn=i,iI为已知时为已知时,Xn+1所处的状态的概率分布只与所处的状态的概率分布只与Xn=i 有关，而与时刻有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且以前所处的状态无关，所以它是一个马氏链，而且

12、还是齐次的。它的一步转移概率和一步转移概率分别为还是齐次的。它的一步转移概率和一步转移概率分别为和和第9页，共34页，编辑于2022年，星期六例例2 一维随机游动一维随机游动 设一醉汉设一醉汉Q在如下图所示直线的点集在如下图所示直线的点集I=1,2,3,4,5上作随机游动，且仅在上作随机游动，且仅在1秒、秒、2秒等时刻发生游动。秒等时刻发生游动。游动的概率规则是：如果游动的概率规则是：如果Q现在位于点现在位于点i(1i5)，则下一时刻各，则下一时刻各以以1/3的概率向左或向右移动一格，或以的概率向左或向右移动一格，或以1/3的概率留在原处；如果的概率留在原处；如果Q现在位于现在位于1(或或5)

13、这点上，则下一时刻就以概率这点上，则下一时刻就以概率1移动到移动到2(或或4)这一这一点上。点上。1和和5这两点称为这两点称为反射壁反射壁。上面这种游动称为。上面这种游动称为带有两个反带有两个反射壁的随机游动射壁的随机游动。第10页，共34页，编辑于2022年，星期六 若以若以Xn表示时刻表示时刻n时时Q的位置，不同的位置就是的位置，不同的位置就是Xn的不同状态，的不同状态，那么那么 Xn,n=0,1,2是一随机过程，状态空间就是是一随机过程，状态空间就是I，而且，而且Xn=i,i I为已知时，为已知时，Xn+1所处的状态的概率分布只与所处的状态的概率分布只与Xn=i 有关，有关，而与而与Q在

14、时刻在时刻n以前如何达到以前如何达到i是完全无关的，所以是完全无关的，所以 Xn,n=0,1,2是一马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩是一马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为阵分别为010001/31/31/30001/31/31/30001/31/31/3000101 2 3 4 512345和和P=第11页，共34页，编辑于2022年，星期六 如果把如果把1这一点改为这一点改为吸收壁吸收壁，即是说，即是说Q一旦到达一旦到达1这一点，则这一点，则就永远留在点就永远留在点1上，此时，相应链的转移概率矩阵只须把上，此时，相应链的转移概率矩阵只须把

15、P中的第一中的第一横行改为横行改为(1,0,0,0,0)。总之，改变游动的概率规则。总之，改变游动的概率规则,就可得到不同就可得到不同方式的随机游动和相应的马式链。方式的随机游动和相应的马式链。随机游动的思想在数值计算方法方面有重要应用。随机游动的思想在数值计算方法方面有重要应用。例例4 排队模型排队模型 设服务系统由一个服务员和只可以容纳两个人的等设服务系统由一个服务员和只可以容纳两个人的等候室组成，见图候室组成，见图11-3。服务规则是：先到先服务，后来者首。服务规则是：先到先服务，后来者首先需在等候室。假定一顾客到达系统时发现系统内已有先需在等候室。假定一顾客到达系统时发现系统内已有3个

16、顾客个顾客(一个正在接受服务，两个在等候室排队一个正在接受服务，两个在等候室排队)，则该顾客即，则该顾客即离去。设时间间隔离去。设时间间隔t内有一个顾客进入系统的概率为内有一个顾客进入系统的概率为q，有一，有一原来被服务的顾客离开系统原来被服务的顾客离开系统(即服务完毕即服务完毕)的概率为的概率为p。又设当。又设当t充分小时，在这时间间隔内多于一个顾客进入或离开系充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的。再设有无顾客来到与服务是否完毕统实际上是不可能的。再设有无顾客来到与服务是否完毕是相互独立。现用马氏链来描述这个服务系统。是相互独立。现用马氏链来描述这个服务系统。第

17、12页，共34页，编辑于2022年，星期六图图11-3 设设Xn=X(nt)表示时刻表示时刻nt 时系统内的顾客数，即系统的状态时系统内的顾客数，即系统的状态,Xn,n=0,1,2 是一随机过程是一随机过程,状态空间状态空间I=0,1,2,3,可知它是一个齐次马可知它是一个齐次马氏链。下面来计算此马氏链的一步转移概率。氏链。下面来计算此马氏链的一步转移概率。p00 在系统内没有顾客的条件下，经在系统内没有顾客的条件下，经t 后仍没有顾客的概率后仍没有顾客的概率(此处是此处是条件概率，以下同条件概率，以下同)p00=1-q.p01-在系统内没有顾客的条件下，经在系统内没有顾客的条件下，经t 后有

18、一顾客进入系统的后有一顾客进入系统的概率，概率，p01=q.p10-系统内恰有一个顾客正在接受服务的条件下，经系统内恰有一个顾客正在接受服务的条件下，经t后系统内后系统内无人的概率，它等于在无人的概率，它等于在t 间隔内顾客因服务完毕而离去间隔内顾客因服务完毕而离去，且无人，且无人进入系统的概率，进入系统的概率，p10=p(1-q)第13页，共34页，编辑于2022年，星期六 p11 系统内恰有系统内恰有1个顾客的条件下，在个顾客的条件下，在t 间隔内，他因服务完毕间隔内，他因服务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾客将继续要而离去，而另一顾客进入系统，或者正在接受服务的顾客将

19、继续要求服务，且无人进入系统的概率。求服务，且无人进入系统的概率。p11=pq+(1-p)(1-q).p12 正在接受服务的顾客继续要求服务，且另一个顾客进正在接受服务的顾客继续要求服务，且另一个顾客进入系统的概率入系统的概率p12=q(1-p).p13 正在接受服务的顾客继续要求服务，且在正在接受服务的顾客继续要求服务，且在t 间隔内有间隔内有两个顾客进入系统的概率两个顾客进入系统的概率，由假设，后者实际上是不可能发生，由假设，后者实际上是不可能发生的，的，p13=0.类似地，有类似地，有p21=p32=p(1-q),p22=pq+(1-p)(1-q),p23=q(1-p),pij=0(|i

20、-j|2).p33 一人因服务完毕而离去且另一人将进入系统，或者无人离开一人因服务完毕而离去且另一人将进入系统，或者无人离开系统的概率，系统的概率，p33=pq+(1-p)第14页，共34页，编辑于2022年，星期六 于是该马氏链的一步转移概率矩阵为于是该马氏链的一步转移概率矩阵为 在实际问题中，一步转移概率通常可通过统计试验确定，下在实际问题中，一步转移概率通常可通过统计试验确定，下面看一实例。面看一实例。例例5 计算机机房的一台计算机经常出故障，研究者每隔计算机机房的一台计算机经常出故障，研究者每隔15分钟观分钟观察一次计算机的运行状态，收集了察一次计算机的运行状态，收集了24小时的数据（

21、共作小时的数据（共作97次观察）。次观察）。用用1表示正常状态，用表示正常状态，用0表示不正常状态，所得的数据序列如下：表示不正常状态，所得的数据序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111第15页，共34页，编辑于2022年，星期六设设Xn为第为第n(n=1,2,97)个时段的计算机状态个时段的计算机状态,可以认为它是一可以认为它是一个马氏链个马氏链,状态空间状态空间I=0，1.96次状态转移的情况是次状态转移的情况是:0 0,8次；

22、次；0 1,18次；次；1 0,18次；次；1 1,52次次.因此，一步转移概率可用频率近似地表示为因此，一步转移概率可用频率近似地表示为第16页，共34页，编辑于2022年，星期六例例6（续例（续例5）若计算机在前一段若计算机在前一段(15分钟分钟)的状态为的状态为0，问在此条件，问在此条件下从此时段起此计算机能连续正常工作下从此时段起此计算机能连续正常工作3刻钟刻钟(3个时段个时段)的概率为多的概率为多少？少？解解 由题意，某一时段的状态为由题意，某一时段的状态为0就是初始状态为就是初始状态为0，即，即X 0=0。由乘法公式、马氏性和齐次性得，所求条件概率为。由乘法公式、马氏性和齐次性得，

23、所求条件概率为第17页，共34页，编辑于2022年，星期六 接着，我们来研究齐次马氏链的有限维分布。首先，记接着，我们来研究齐次马氏链的有限维分布。首先，记称它为马氏链的初始分布。再看马氏链在任意时刻称它为马氏链的初始分布。再看马氏链在任意时刻n T1的一维的一维分布：分布：显然，应有显然，应有 由全概率公式由全概率公式即即(1.6)(1.7)一维分布一维分布(1.6)也可用行向量表示成也可用行向量表示成 p(n)=(p1(n),p2(n),pj(n),)这样，利用矩阵乘法这样，利用矩阵乘法(I是可列无限集时，仍用有限阶矩阵乘法的规则是可列无限集时，仍用有限阶矩阵乘法的规则确定矩阵之积的元确定

24、矩阵之积的元)，(1.7)式可写成式可写成 p(n)=p(0)P(n)此式表此式表明，马氏链在任一时刻明，马氏链在任一时刻nT1时的一维分布由初始分布时的一维分布由初始分布 p(0)和和n 步转移步转移概率矩阵所确定。概率矩阵所确定。(1.6)(1.7)第18页，共34页，编辑于2022年，星期六 又又,对于任意对于任意n个时刻个时刻t1t2 tn,ti T1 以及状态以及状态 ，马氏链的，马氏链的n维分布：维分布：(1.8)由此，并结合由此，并结合(1.7)或或(1.7)可知：齐次马氏链的有限维分布同样完全可知：齐次马氏链的有限维分布同样完全由初始分布和转移概率确定。由初始分布和转移概率确定

25、。总之，转移概率决定了马氏链的统计规律。因此，确定马氏链总之，转移概率决定了马氏链的统计规律。因此，确定马氏链的任意的任意n步转移概率就成为马氏链理论中的重要问题之一。步转移概率就成为马氏链理论中的重要问题之一。第19页，共34页，编辑于2022年，星期六 11.2 多步转移概率的确定多步转移概率的确定 为了确定齐次马氏链的为了确定齐次马氏链的n步转移概率步转移概率Pij(n)，首先介绍，首先介绍Pij(n)所所满足的基本方程。满足的基本方程。设设X(n),n T1是一齐次马氏链是一齐次马氏链,则对任意的则对任意的u,v T1,有有 方程方程(2.1)就是著名的切普曼就是著名的切普曼-柯莫哥洛

26、夫柯莫哥洛夫(Chapman-Kolmogorov)方程，简称方程，简称C-K方程。方程。C-K方程基于下述事实，即方程基于下述事实，即“从时刻从时刻s所处的状态所处的状态ai，即，即X(s)=ai出发，经时段出发，经时段u+v转移到状态转移到状态 aj,即即X(s+u+v）=aj”这一事件这一事件可分解成可分解成“从从X(s)=ai 出发，先经时段出发，先经时段u转移到中间状态转移到中间状态ak(k,=1,2)，再从，再从ak经时段经时段v转移到状态转移到状态 aj”这样一些事件和事件这样一些事件和事件(见图见图11-4)。第20页，共34页，编辑于2022年，星期六图 11-4 方程方程(

27、2.1)的证明如下：先固定的证明如下：先固定ak I 和和sT1，由条件概率定义，由条件概率定义和乘法定理，有和乘法定理，有(2.2)第21页，共34页，编辑于2022年，星期六又由于事件组又由于事件组“X(s+u)=ak”,k=1,2,构成一划分，故有构成一划分，故有将将(2.2)式代入上式，即得所要证明的式代入上式，即得所要证明的C-K方程。方程。C-K方程也可写成矩阵形式：方程也可写成矩阵形式：P(u+v)=P(u)P(v)(2.1)利用利用C-K方程我们容易确定方程我们容易确定n步转移概率。事实上，在步转移概率。事实上，在(2.1)式中令式中令u=1,v=n-1，得递推关系：，得递推关

28、系：P(n)=P(1)P(n-1)=PP(n-1),从而可得从而可得 P(n)=Pn.(2.3)就是说，对齐次马氏链而言，就是说，对齐次马氏链而言，n步转移概率矩阵是步转移概率矩阵是一一步转移概步转移概率矩阵的率矩阵的n次方。次方。进而可知，齐次马氏链的有限维分布可由初始与进而可知，齐次马氏链的有限维分布可由初始与一一步转移步转移概率完全确定。概率完全确定。第22页，共34页，编辑于2022年，星期六例例1 设设Xn,n0是具有三个状态是具有三个状态0,1,2的齐次马氏链，的齐次马氏链，一一步转移步转移概率矩阵为概率矩阵为初始分布初始分布pi(0)=PX0=i=1/3,i=0,1,2.试求试求

29、:(i)PX0=0,X2=1;(ii)PX2=1解解 先求出二步转移概率矩阵先求出二步转移概率矩阵于是于是 (i)(ii)由由(1.7)式，式，第23页，共34页，编辑于2022年，星期六例例2 在在1例例2中中,(i)设设p=0.9,求系统二级传输后的传真率与三级求系统二级传输后的传真率与三级传输后的误码率；传输后的误码率；(ii)设初始分布设初始分布P1(0)=PX0=1=，P0(0)=P X0=0=1-，又已知系统经，又已知系统经n级传输后输出为级传输后输出为1，问原发字符也是，问原发字符也是1的概率是多少？的概率是多少？解解 先求出先求出n步转移概率矩阵步转移概率矩阵P(n)=Pn。由

30、于。由于有相异的特征值有相异的特征值1=1,2=p-q,由线形代数知识，可将由线形代数知识，可将P表示成对表示成对角阵角阵的相似矩阵。具体做法是：求出的相似矩阵。具体做法是：求出1,2对应的特征相量对应的特征相量(q=1-p)(q=1-p)第24页，共34页，编辑于2022年，星期六令令则则(2.4)(i)由由(2.4)式可知，当式可知，当p=0.9时，系统经二级传输后的传真率与三级传输的误时，系统经二级传输后的传真率与三级传输的误码率分别为码率分别为 (ii)根据贝叶斯公式，当已知系统经根据贝叶斯公式，当已知系统经n级传输后输出为级传输后输出为1，原发字符也是，原发字符也是1的概率为的概率为

31、第25页，共34页，编辑于2022年，星期六 对于只有两个状态的马氏链，一步转移概率矩阵一般可表对于只有两个状态的马氏链，一步转移概率矩阵一般可表示为：示为：利用类似于例利用类似于例2的方法，可得的方法，可得n步转移概率矩阵为步转移概率矩阵为第26页，共34页，编辑于2022年，星期六11.3 遍历性遍历性 对于一般的两个状态的马氏链，由对于一般的两个状态的马氏链，由(2.5)式可知式可知,当当0a,b1 时就可得到时就可得到n步转移概率的近似值：步转移概率的近似值：pij(n)j 第27页，共34页，编辑于2022年，星期六 一般，设齐次马氏链的状态空间为一般，设齐次马氏链的状态空间为 I，

32、若对于所有，若对于所有ai,ajI，转移概率，转移概率Pij(n)存在极限存在极限或或则称此链具有则称此链具有遍历性遍历性，又若，又若 ，则同时称，则同时称 为链为链的的极限分布极限分布。齐次马氏链在什么条件下才具有遍历性？如何求出它的极齐次马氏链在什么条件下才具有遍历性？如何求出它的极限分布？这问题在理论上已经完满解决限分布？这问题在理论上已经完满解决,下面仅就只有有限个状下面仅就只有有限个状态的链态的链,即有限链的遍历性给出一个充分条件。即有限链的遍历性给出一个充分条件。第28页，共34页，编辑于2022年，星期六定理定理 设齐次马氏链设齐次马氏链Xn,n 1的状态空间为的状态空间为I=a

33、1,a2,aN,P是它的一步转移概率矩阵，如果存在整数是它的一步转移概率矩阵，如果存在整数 m，使对任意的，使对任意的ai,ajI，都有都有 Pij(m)0,i,j=1,2,N,(3.1)则此链具有遍历性则此链具有遍历性,且有极限分布且有极限分布=(1,2,N)，它是方程组，它是方程组 =P或即或即 (3.2)的满足条件的满足条件 (3.3)的唯一解。的唯一解。依照定理，为证有限链是遍历的，只需要找一正整数依照定理，为证有限链是遍历的，只需要找一正整数m，使，使m步转移概率步转移概率矩阵矩阵 Pm无零元。而求极限分布无零元。而求极限分布 的问题，化为求解方程组的问题，化为求解方程组(3.2)的

34、的问题。注意，方程组问题。注意，方程组(3.2)中仅中仅N-1个未知数是独立的，而唯一解可用个未知数是独立的，而唯一解可用归一条件归一条件 确定。确定。第29页，共34页，编辑于2022年，星期六 在定理的条件下，马氏链的极限分布又是平稳分布。意在定理的条件下，马氏链的极限分布又是平稳分布。意即，若用即，若用 作为链的初始分布，即作为链的初始分布，即p(0)=,则链在任一时刻则链在任一时刻nT1的分布的分布p(n)永远与永远与 一致。事实上，有一致。事实上，有 p(n)=p(0)p(n)=pn=pn-1=p=例例1 试说明试说明1例例2中，带有两个放射壁的随机游动是遍历的，中，带有两个放射壁的

35、随机游动是遍历的，并求其极限分布并求其极限分布(平稳分布平稳分布)。解解 为简便计，以符号为简便计，以符号“”代表转移概率矩阵的正元素，于是，代表转移概率矩阵的正元素，于是，由由1例例2中的一步转移概率矩阵中的一步转移概率矩阵 P，得，得第30页，共34页，编辑于2022年，星期六即即P(4)无零元。由定理，链是遍历的。再根据无零元。由定理，链是遍历的。再根据(3.2)和和(3.3)式式,写出极限写出极限分布分布 =(1,2,5)满足的方程组满足的方程组先由前四个方程，解得：先由前四个方程，解得：3 1=2=3=4=3 5，将它们代入归一，将它们代入归一条件，即最后一个方程，解之，得唯一解：条

36、件，即最后一个方程，解之，得唯一解：1=5=1/11,2=3=4=3/11所以极限分布为所以极限分布为 =(1/11,3/11,3/11,3/11,1/11)。这个分布表明：经过。这个分布表明：经过长时间游动之后，醉汉长时间游动之后，醉汉Q位于位于i点点(1i5)的概率约为的概率约为3/11，位于点，位于点1(或或5)的概率约为的概率约为1/11。第31页，共34页，编辑于2022年，星期六例例2 试说明试说明1例例4(排队模型排队模型)中的链是遍历的，并求其极限分布。中的链是遍历的，并求其极限分布。解解 依照例依照例1，由由1例例4中的一步转移概率矩阵中的一步转移概率矩阵P，可算得，可算得P

37、(3)=P3 无零元。根据定理，链是遍历的。而极限分布无零元。根据定理，链是遍历的。而极限分布 =(0,1,2,3)满足下列方程组满足下列方程组:解之解之，得唯一解，得唯一解第32页，共34页，编辑于2022年，星期六 假若在此例中，设假若在此例中，设p=q=1/2，则可算得，则可算得 0=1/7 0.14,1=2=3=2/7 0.29,即此时极限分布为即此时极限分布为 =(1/7,2/7,2/7,2/7).这就是说，这就是说，经过相当长的时间后，系统中无人的情形约占经过相当长的时间后，系统中无人的情形约占14%的时间，而系统中的时间，而系统中有一人、二人、三人的情形各占有一人、二人、三人的情

38、形各占29%的时间。的时间。例例3 设一马氏链的一步转移概率矩阵为设一马氏链的一步转移概率矩阵为试讨论它的遍历性。试讨论它的遍历性。第33页，共34页，编辑于2022年，星期六解解 先算得先算得进一步可验证：当进一步可验证：当n为奇数时，为奇数时，P(n)=P(1)=P；n为偶数时，为偶数时，P(n)=P(2)。这表明对任一固定的。这表明对任一固定的 j(=1,2,3,4)，极限，极限都不存在。按定义，此链不具遍历性。都不存在。按定义，此链不具遍历性。马氏过程的内容除了讨论最简情形马氏过程的内容除了讨论最简情形马氏链之外，还研马氏链之外，还研究状态离散、时间连续的马氏过程和状态、时间都连续的马究状态离散、时间连续的马氏过程和状态、时间都连续的马氏过程，它们都有比较完善的理论，而且讨论的主题也都是氏过程，它们都有比较完善的理论，而且讨论的主题也都是从各自场合的从各自场合的C-K方程出发，研究转移概率的确定方法和性质。本方程出发，研究转移概率的确定方法和性质。本书除前面介绍的泊松过程和维纳过程这两个具体的马氏过程模型外书除前面介绍的泊松过程和维纳过程这两个具体的马氏过程模型外不再作一般的介绍。不再作一般的介绍。第34页，共34页，编辑于2022年，星期六