第七讲-Markov链模型与计算ppt课件.ppt

《第七讲-Markov链模型与计算ppt课件.ppt》由会员分享，可在线阅读，更多相关《第七讲-Markov链模型与计算ppt课件.ppt（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第13章 Markov链模型与计算 2012年5月6日1在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Markov过程：t时刻的状态向量S(t)通过转移概率矩阵P，遗传到t+1时刻的状态向量S(t+1)，就把这样的过程称为Markov过程，是一个简化的随机过程。2v转移概率转移概率性质性质(1)(2)P称为随机矩阵称为随机矩阵3例例1 赌徒输光问题赌徒输光问题 甲有赌资甲有赌资a元，乙有赌资元，乙有赌资b元，赌一局输元，赌一局输者给赢者者给赢者1元，无和局。甲赢的概率为元，无和局。甲赢的概率为p，乙赢的概率为乙赢的概率为q=1-p，求甲

2、求甲输光的输光的概概率。率。解解 状态空间状态空间I=0,1,2,c，c=a+b4例例2 天气预报问题天气预报问题 RR表示连续两天有雨，记为状态表示连续两天有雨，记为状态0NR表示第表示第1天无雨第天无雨第2天有雨，记为状态天有雨，记为状态1RN表示第表示第1天有雨第天有雨第2天无雨，记为状态天无雨，记为状态2NN表示连续两天无雨，记为状态表示连续两天无雨，记为状态3p00=PR今今R明明|R昨昨R今今=PR明明|R昨昨R今今=0.7p01=PN今今R明明|R昨昨R今今=0p02=PR今今N明明|R昨昨R今今=PN明明|R昨昨R今今=0.3p03=PN今今N明明|R昨昨R今今=05类似地得到

3、其他转移概率，类似地得到其他转移概率，于是转移概率矩阵为于是转移概率矩阵为若星期一、星期二均下雨，求星期四下雨若星期一、星期二均下雨，求星期四下雨的概率的概率6 称概率分布称概率分布 j,j I为马尔可夫链的为马尔可夫链的平稳分布平稳分布，若，若13.1 正则正则Markov过程过程 正则Markov过程有限状态的正则Markov过程的极限状态的概率与初始状态无关，存在一个平稳分布。7例如，设马氏链的状态空间I=1,2，那么平稳分布 应满足 =(1,2)1+2=1 =P8在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么13.2 有报酬的有报酬的Markov过程过程 假设Markov过程有N（有限）状态，每个状态都有M个不同的方案，对应的每个转移矩阵P都有一个报酬矩阵R与之对应。要求最佳的方案策略9在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么10