马尔可夫过程.pptx

《马尔可夫过程.pptx》由会员分享，可在线阅读，更多相关《马尔可夫过程.pptx（54页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一、马尔可夫过程的概念 1.马尔可夫性马尔可夫性(无后效性无后效性)马尔可夫性马尔可夫性或或无后效性无后效性.即:过程“将来”的情况与“过去”的情况是无关的.第1页/共54页2.马尔可夫过程的定义马尔可夫过程的定义具有马尔可夫性的随机过程称为具有马尔可夫性的随机过程称为马尔可夫过程马尔可夫过程.用分布函数表述马尔可夫过程恰有第2页/共54页或写成并称此过程为为马尔可夫过程马尔可夫过程.3.马尔可夫链的定义马尔可夫链的定义 时间和状态都是离散的马尔可夫过程称为时间和状态都是离散的马尔可夫过程称为马尔马尔可夫链可夫链,简记为简记为第3页/共54页研究时间和状态都是离散的随机序列二、马尔可夫过程的概

2、率分布1.用分布律描述马尔可夫性用分布律描述马尔可夫性有第4页/共54页称条件概率称条件概率说明:转移概率具有特点 2.转移概率转移概率由转移概率组成的矩阵称为马氏链的转移概率矩阵转移概率矩阵.此矩阵的每一行元素之和等于1.它是随机矩阵.第5页/共54页3.平稳性平稳性有关时有关时,称转移概率具有平稳性称转移概率具有平稳性.同时也称此链是同时也称此链是齐次的齐次的或或时齐的时齐的.称为马氏链的n步转移概率第6页/共54页一步转移概率一步转移概率特别的,当 k=1 时,一步转移概率一步转移概率矩阵矩阵的状态记为P第7页/共54页三、应用举例证明证明由独立增量过程的定义知,即有例例1第8页/共54

3、页马尔可夫过程.说明说明:泊松过程是时间连续状态离散的马氏过程;维纳过程是时间状态都连续的马氏过程.第9页/共54页设每一级的传真率为 p,误码率为 q=1-p.设一个单位时间传输一级,只传输数字0和1的串联系统(传输系统)如图:分析:例例2第10页/共54页而与时刻 n 以前所处的状态无关.所以它是一个马氏链,且是齐次的.一步转移概率一步转移概率矩阵第11页/共54页例例3 一维随机游动游动的概率规则1/3的概率向左或向右移动一格,或以1/3的概率留在原处;如果Q现在位于点 i(1 i 5),则下一时刻各以第12页/共54页以概率1移动到2(或4)这一点上.如果Q现在位于1(或5)这点上,则

4、下一时刻就1和5这两点称为反射壁.上面这种游动称为带有两个反射壁的随机游动.模拟方法:产生均匀分布的随机数序列13232211122,其中1表示左移;2表示不动;3表示右移.第13页/共54页理论分析:状态空间就是I.而与时刻 n 以前所处的状态无关.所以它是一个马氏链,且是齐次的.第14页/共54页一步转移概率第15页/共54页说明:相应链的转移概率矩阵只须把P 中第1行改为改变游动的概率规则,就可得到不同方式的随机游动和相应的马氏链.如果把点 1 改为吸收壁吸收壁,一步转移概率矩阵第16页/共54页解解例例4第17页/共54页第18页/共54页第19页/共54页 某计算机房的一台计算机经常

5、出故障,研究者每隔15分钟观察一次计算机运行状态,收集了24小时的数据(共作97次观察).用1表示正常状态,用0表示不正常状态,所得的数据序列如下:1110010011111110011110111111001111111110001101101分析分析状态空间:I=0,1.例例5111011011010111101110111101111110011011111100111第20页/共54页96 次状态转移的情况:因此,一步转移概率可用频率近似地表示为:第21页/共54页以下研究齐次马氏链的有限维分布.特点:用行向量表示为一维分布由初始分布和转移概率矩阵决定第22页/共54页 由以上讨论知,

6、转转移移概概率率决决定定了了马马氏氏链链的的运运动动的的统统计计规规律律.因此,确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一.第23页/共54页四、小结齐次马氏链、平稳性的概念.一步转移概率矩阵的计算.一步转移概率一步转移概率矩阵第24页/共54页第二节 多步转移概率的确定 一、一、C-K 方程方程三、应用举例三、应用举例 四、小结四、小结二、二、多步转移概率的确定多步转移概率的确定第25页/共54页一、C-K 方程是一齐次马氏链是一齐次马氏链,则对任意的则对任意的切普曼切普曼-柯尔莫哥洛夫方程柯尔莫哥洛夫方程(简称简称C-K方程方程)说明说明 C-K 方程基于下列事实:第26页

7、/共54页这一事件可分解成:件的和事件.如下图所示:第27页/共54页证明证明由条件概率定义和乘法定理得(马氏性和齐次性)第28页/共54页所以考虑到马氏性和齐次性,即得 C-K 方程.C-K 方程也可写成矩阵形式:第29页/共54页二、多步转移概率的确定利用 C-K 方程我们容易确定 n 步转移概率.得递推关系:从而可得 马氏链的n步转移概率是一步转移概率的 n 次方,链的有限维分布可由初始分布和一步转移概率完全确定.结论结论第30页/共54页解解(1)先求出2步转移概率矩阵:例例1第31页/共54页在 传输系统中,传输后的误码率;系统经 n 级传输后输出为 1,问原发字符也是 1 的概率是

8、多少?例例2第32页/共54页解解先求出 n 步转移概率矩阵.有相异的特征值所以可将 P 表示成对角阵第33页/共54页传输后的误码率分别为:第34页/共54页(2)根据贝叶斯公式,当系统经 n 级传输后输出为 1,原发字符也是 1 的概率为:第35页/共54页说明说明n步转移概率矩阵为矩阵一般可表示为:对于只有两个状态的马氏链,一步转移概率第36页/共54页例例3第37页/共54页解解第38页/共54页概率为第39页/共54页四、小结切普曼-柯尔莫哥洛夫方程(简称 C K 方程)马氏链的n 步转移概率是一步转移概率的n 次方,链的有限维分布可由初始分布和一步移概率完全确定.由 C K 方程可

9、得第40页/共54页第三节 遍历性 一、遍历性的概念一、遍历性的概念三、应用举例三、应用举例 四、小结四、小结二、二、(有限链有限链)遍历性的充分条件遍历性的充分条件第41页/共54页一、遍历性的概念对于一般的两个状态的马氏链,由上节内容可知,意义意义对固定的状态j,不管链在某一时刻的什么状态 i出发,通过长时间的转移到达状态 j 的概率都趋第42页/共54页定义定义则称此链具有则称此链具有遍历性遍历性.第43页/共54页二、(有限链)遍历性的充分条件第44页/共54页说明说明2.极限分布转化为了求解方程组.3.在定理的条件下马氏链的极限分布是平稳分布.第45页/共54页 试说明带有两个反射壁

10、的随机游动是遍历的,并求其极限分布(平稳分布).解解例例1三、应用举例三、应用举例 第46页/共54页无零元,链是遍历的第47页/共54页代入最后一个方程(归一条件),得唯一解第48页/共54页所以极限分布为这个分布表明分布表明经过长时间游动之后,醉汉 Q 位于点 2(或 3 或 4)的概率约为 3/11,位于点 1(或 5)的概率约为 1/11.第49页/共54页设一马氏链的一步转移概率阵为试讨论它的遍历性.解解例例2第50页/共54页表明表明此链不具遍历性.第51页/共54页四、小结 遍历性的概念则称此链具有遍历性.第52页/共54页(有限链)遍历性的充分条件第53页/共54页感谢您的观看！第54页/共54页