第5章 Markov过程(2)(使用版).ppt

《第5章 Markov过程(2)(使用版).ppt》由会员分享，可在线阅读，更多相关《第5章 Markov过程(2)(使用版).ppt（34页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 1 基本概念基本概念2 状态类别的划分和判别状态类别的划分和判别3 状态间的关系状态间的关系 l返回概率返回概率l平均返回时间平均返回时间l周期周期l分类分类l判别判别第二节第二节 Markov链的状态分类及性质链的状态分类及性质l定义（可达、互通）定义（可达、互通）l性质性质l互通的两个状态之间的关系互通的两个状态之间的关系4 状态空间的分解状态空间的分解 l定义及重要结论（闭集、等价类）定义及重要结论（闭集、等价类）l分解定理（两个定理）分解定理（两个定理）1一、基本概念一、基本概念1.返回概率返回概率自状态自状态 i出发，经过出发，经过n步首次到达步首次到达状态状态j 的概率的概率自状

2、态自状态i出发，经出发，经有限步终于到达有限步终于到达状态状态j的概率的概率自状态自状态i出发，经有限步终于出发，经有限步终于返回返回状态状态 i的的概率概率2定理定理1 对任意及，有说明说明1该定理表示n步转移概率按照首次到达时间的所有可能值进行分解说明说明23首首达达时间时间系统从状态系统从状态i出发，出发，首次到达首次到达状态状态j的的时刻时刻称称为为从从状状态态 i 出出发发首首次次进进入入状状态态 j 的的时时间间，或或称称自自i 到到j 的的首达时间。首达时间。如果这样的如果这样的n不存在，规定不存在，规定说明说明12.平均返回时间平均返回时间4说明说明2平均返回平均返回时间时间状

3、态状态i的的平均返回时间平均返回时间5状态状态i的的周期周期若若di 1,称称i是周期的；若是周期的；若di=1,称称i是非周期的。是非周期的。说明说明13.周期周期di体体现现系系统统的的发发展展变变化化种种状状态态i重重复复出出现现的的概概率率周期。周期。说明说明2若若i的周期是的周期是di，并不是对所有的，并不是对所有的n满足满足 说明说明36二、状态类别的划分及判别二、状态类别的划分及判别1.状态类别的划分状态类别的划分状态状态 i非常返态非常返态常返态常返态零常返态零常返态正常返态正常返态周期周期非周期（遍历态）非周期（遍历态）常返态常返态非常返态非常返态正常返态正常返态零常返态零常

4、返态7注注“常返常返”一词，有时又称一词，有时又称“返回返回”、“常驻常驻”或或“持久持久”“瞬时瞬时”也称也称“滑过滑过”或或“非常返非常返”定理定理2证证则系统从状态则系统从状态i出发，经过有限次转移之后，出发，经过有限次转移之后，必定以概率必定以概率1返回状态返回状态i。再由马氏性再由马氏性系统返回状态系统返回状态i要重复发生要重复发生这这样样，系系统统从从状状态态i出出发发，又又返返回回，再再出出发发，再再返返回回，随随着着时间的无限推移，将无限次访问状态时间的无限推移，将无限次访问状态i。8将将“不返回不返回i”称为成功，称为成功，则首次成功出现的次数服从几何分布，则首次成功出现的次

5、数服从几何分布，也就是说以概率也就是说以概率1只有有穷次返回只有有穷次返回i。即即92.判别判别（1）判别是否常返态）判别是否常返态定理定理3102.判别判别（2）判别是否零常返态、正常返有（非）周期）判别是否零常返态、正常返有（非）周期定理定理4对任意给定的状态对任意给定的状态i，如，如果果i是常返态且有周期是常返态且有周期di，则存在极限，则存在极限112.判别判别（3）判别是否有周期）判别是否有周期12三、状态间的关系三、状态间的关系1.定义定义状态状态 i可达可达状态状态j2.性质性质简记为简记为 ij状态状态 i与状态与状态j互通互通ijj i且且传递性、对称性传递性、对称性3.利用

6、首达概率刻画利用首达概率刻画可达和互通关系可达和互通关系134.互通的两个状态的状态类型互通的两个状态的状态类型互通的两个状态必有相同的状态类型互通的两个状态必有相同的状态类型结论结论1结论结论2定理定理514四、状态空间的分解四、状态空间的分解互通满足：自反性、对称性、传递性。互通满足：自反性、对称性、传递性。互通是一种互通是一种等价关系等价关系（常返态）（常返态）按互通关系是等价关系，可以把状态空间按互通关系是等价关系，可以把状态空间 I 划分划分为若干个不相交的集合（或者说等价类），并称之为为若干个不相交的集合（或者说等价类），并称之为状态类。状态类。若两个状态相通，则这两个状态属于同一

7、类。若两个状态相通，则这两个状态属于同一类。任意两个类或不相交或者相同。任意两个类或不相交或者相同。说明说明（1）定义）定义15A闭集闭集设设C为状态空间为状态空间I 的一个子集，的一个子集，则则C称为闭集。称为闭集。注注1 若若C为闭集，则表示自为闭集，则表示自C内任意状态内任意状态i出发，始出发，始终不能到达终不能到达C以外的任何状态以外的任何状态j。整个状态空间构成一个闭集。整个状态空间构成一个闭集。吸收态吸收态指一个闭集中只含一个状态指一个闭集中只含一个状态注注2若若状状态态空空间间含含有有吸吸收收状状态态，那那么么这这个吸收状态构成一个最小的闭集。个吸收状态构成一个最小的闭集。16B

8、不可约的不可约的 设设C为闭集，如果为闭集，如果C中不再含有任何非空真闭子中不再含有任何非空真闭子集，则称集，则称C是不可约闭集，或称不可约的，不可分的，是不可约闭集，或称不可约的，不可分的，最小的。最小的。若整个状态空间是不可约的，则称此链为不可若整个状态空间是不可约的，则称此链为不可约马氏链。约马氏链。A.有关闭集有关闭集B.有关等价类有关等价类（2）一些重要结论）一些重要结论17 结结论论2 设设C是是闭闭集集，当当且且仅仅当当C中中的的任任何何两两个个状状态态都都互互通时，通时，C是不可约的。是不可约的。结论结论1 等价类若是闭集，则必定是不可约的。等价类若是闭集，则必定是不可约的。结

9、结论论3 齐齐次次马马氏氏链链不不可可约约的的充充要要条条件件是是它它的的任任意意两两个个状态均互通。状态均互通。结论结论4 包含常返态的等价类是不可约闭集。包含常返态的等价类是不可约闭集。18例例1其一步转移矩阵为试研究各状态间的关系，并画出状态传递图。解先按一步转移概率，画出各状态间的传递图192/31/41/41/31/21/20121/2由图可知状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。因此，状态空间I的各状态都是互通的。又由于I 的任意状态i(i=0，1，2)不能到达I 以外的任何状态，所以I是一个闭集而且I 中没有其它闭集 所以此马氏链

10、是不可约的。20例例2其一步转移矩阵为试讨论哪些状态是吸收态、闭集及不可约链。解先按一步转移概率，画出各状态间的传递图21111/21/21/2311/24521 闭集，由图可知状态3为吸收态且闭集，闭集，其中 是不可约的。又因状态空间I有闭子集，故此链为非不可约链。22（3）状态空间的分解）状态空间的分解如果已知类中有一个常返态，则这个类中其它状态都是如果已知类中有一个常返态，则这个类中其它状态都是常返的。常返的。若类中有一个非常返态，则类中其它状态都是非常返态。若类中有一个非常返态，则类中其它状态都是非常返态。若对不可约马氏链，则要么全是常返态，要么全是非常若对不可约马氏链，则要么全是常返

11、态，要么全是非常返态。返态。定理定理6任一马氏链的状态空间任一马氏链的状态空间I必可分解为必可分解为其中其中N是非常返态集，是非常返态集，而且而且23如果从某一非常返态出发，系统可能一直在非常返集中，如果从某一非常返态出发，系统可能一直在非常返集中，也可能进入某个常返闭集，一旦进入某个常返闭集后，也可能进入某个常返闭集，一旦进入某个常返闭集后，将一直停留在这个常返闭集中；如果系统从某一常返状将一直停留在这个常返闭集中；如果系统从某一常返状态出发，则系统就一直停留在这个状态所在的常返闭集态出发，则系统就一直停留在这个状态所在的常返闭集中。中。说明说明124定理定理7（1）非常返态集）非常返态集N

12、不可能是闭集；不可能是闭集；（2）至少有一个常返态；）至少有一个常返态；（3）不存在零常返态；）不存在零常返态；（4）若链是不可约的，那么状态都是正常返的）若链是不可约的，那么状态都是正常返的（5）其状态空间可分解为）其状态空间可分解为是互不相交的由正常返态组成的闭集。说明说明225（3）状态空间的分解）状态空间的分解定理定理8(周期链分解定理周期链分解定理)26转移概率矩阵的标准形式转移概率矩阵的标准形式状态空间的分解状态空间的分解周期链的分解周期链的分解27例例3转移矩阵试对其状态分类。解解按一步转移概率，画出各状态间的传递图21/4111/41/411/4143Eg.28从图可知，此链的

13、每一状态都可到达另一状态，即4个状态都是相通的。考虑状态1是否常返，29类似地可求得所以于是状态1是常返的。又因为所以状态1是正常返的。由定理可知，此链所有状态都是正常返的。30例例4转移矩阵试对其状态分类。31例例5设马氏链的状态空间I=0,1,2,，转移概率为试讨论各状态的遍历性。解解根据转移概率作出状态传递图1/21/21/21/21/21/20121/231/232从图可知，对任一状态 都有 ，故由定理可知，I 中的所以状态都是相通的，因此只需考虑状态0是否正常返即可。故从而0是常返态。又因为所以状态0为正常返。又由于故状态0为非周期的从而状态0是遍历的。故所有状态i都是遍历的。33一般一般情况情况End.34