状态空间的分解精选课件.ppt

关于状态空间的分解第一页，本课件共有32页定义定义第二页，本课件共有32页引理引理7(有关闭集的判定和性质有关闭集的判定和性质)证明证明(1)用数学归纳法用数学归纳法第三页，本课件共有32页第四页，本课件共有32页引理引理8证明证明第五页，本课件共有32页引理引理9设设C是闭集是闭集,则当且仅当其中任何两个状态则当且仅当其中任何两个状态互通时互通时,C为不可约的为不可约的.证明证明第六页，本课件共有32页推论推论齐次马尔可夫链是不可约的充要条件是齐次马尔可夫链是不可约的充要条件是它的任何两个状态互通它的任何两个状态互通特别关于特别关于有限状态的马尔可夫链有限状态的马尔可夫链有下面结论有下面结论第七页，本课件共有32页定理定理7(1)有限齐次马尔可夫链所有有限齐次马尔可夫链所有非常返状态集非常返状态集D不可能不可能 是闭集是闭集.(2)有限齐次马尔可夫链有限齐次马尔可夫链不可能存在零常返状态不可能存在零常返状态.(3)不可约的有限齐次马尔可夫链的所有状态都是不可约的有限齐次马尔可夫链的所有状态都是 正常返状态正常返状态.证明证明第八页，本课件共有32页第九页，本课件共有32页定理定理 8证明证明由以上的分析由以上的分析,可以得到状态空间的分解定理可以得到状态空间的分解定理第十页，本课件共有32页定理定理 9齐次马尔可夫链的齐次马尔可夫链的状态空间状态空间S可唯一地分解成有限个可唯一地分解成有限个或可列无限多个互不相交的状态子集的并或可列无限多个互不相交的状态子集的并.即即其中其中D是所有是所有非常返状态非常返状态构成的状态子集构成的状态子集.所有所有常返状态常返状态构成的构成的不可约闭集不可约闭集.每个状态子集中的状态有着相同的状态类型每个状态子集中的状态有着相同的状态类型:(即即 或者均为零常返或者均为零常返,或者均为正常返非周期或者均为正常返非周期,或者均为正常返周期且周期相同或者均为正常返周期且周期相同.)第十一页，本课件共有32页引理引理10证明证明第十二页，本课件共有32页定理定理10(周期链分解定理周期链分解定理)证明思路证明思路:从三个方面证明从三个方面证明(1)分解式的存在性分解式的存在性(2)转移规则的合理性转移规则的合理性(正确性正确性)(3)分解式的唯一性分解式的唯一性第十三页，本课件共有32页证明证明 (1)分解式的存在性分解式的存在性(2)转移规则的正确性转移规则的正确性第十四页，本课件共有32页(3)分解式的唯一性分解式的唯一性第十五页，本课件共有32页第十六页，本课件共有32页定理定理11证明证明(1)第十七页，本课件共有32页第十八页，本课件共有32页第十九页，本课件共有32页第二十页，本课件共有32页例例1 设状态空间设状态空间S=0,1,2的马尔可夫链的马尔可夫链,它的一步它的一步 转移概率矩阵为转移概率矩阵为研究其状态间的关系以及状态类型研究其状态间的关系以及状态类型120第二十一页，本课件共有32页例例2 设状态空间设状态空间S=1,2,3,4的马尔可夫链的马尔可夫链,它的一步它的一步 转移概率矩阵为转移概率矩阵为试分析状态类型试分析状态类型第二十二页，本课件共有32页1234第二十三页，本课件共有32页例例3 设设Xn,n=0,1,2,是一齐次马尔可夫链是一齐次马尔可夫链,状态空间状态空间 S=1,2,3,4,5,其一步转移概率矩阵为其一步转移概率矩阵为试分析状态类型试分析状态类型第二十四页，本课件共有32页12354第二十五页，本课件共有32页例例4 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S=0,1,2,3,其一步其一步 转移概率矩阵为转移概率矩阵为试分析过程的周期性试分析过程的周期性第二十六页，本课件共有32页1203第二十七页，本课件共有32页例例5 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S=1,2,3,4,5,6,7,8,其一步转移概率矩阵为其一步转移概率矩阵为第二十八页，本课件共有32页12534678第二十九页，本课件共有32页例例5 设齐次马尔可夫链的状态空间设齐次马尔可夫链的状态空间S=1,2,3,4,5,6,其一步转移概率矩阵为其一步转移概率矩阵为试分解此马尔可夫链试分解此马尔可夫链,并写出各状态类型及周期并写出各状态类型及周期.第三十页，本课件共有32页123564第三十一页，本课件共有32页感谢大家观看第三十二页，本课件共有32页