随机过程马尔科夫过程.pptx
《随机过程马尔科夫过程.pptx》由会员分享,可在线阅读,更多相关《随机过程马尔科夫过程.pptx(91页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、14.1 马尔可夫链与转移概率马尔可夫链与转移概率 定义定义 设设 X(t),t T 为随机过程,若对任意正整数为随机过程,若对任意正整数n及及t1 t20,且条件分布且条件分布PX(tn)xn|X(t1)=x1,X(tn-1)=xn-1=PX(tn)xn|X(tn-1)=xn-1,则称则称 X(t),t T 为为马尔可夫过程马尔可夫过程。若若t1,t2,tn-2表示过去,表示过去,tn-1表示现在,表示现在,tn表示将来,马尔可夫过程表明:表示将来,马尔可夫过程表明:在已知现在状态的条件下,将来所处的状态与过去状态无关。在已知现在状态的条件下,将来所处的状态与过去状态无关。第1页/共91页2
2、4.1 马尔可夫链与转移概率马尔可夫链与转移概率马尔可夫过程通常分为三类:马尔可夫过程通常分为三类:(1)(1)时间、状态都是离散的,称为时间、状态都是离散的,称为马尔可夫链马尔可夫链(2)时间连续时间连续、状态离散的,称为连续时间状态离散的,称为连续时间马尔可夫链马尔可夫链(3)时间、状态都是连续的,称为时间、状态都是连续的,称为马尔可夫过程马尔可夫过程第2页/共91页34.1 马尔可夫链与转移概率马尔可夫链与转移概率随机过程随机过程 Xn,n T ,参数参数T=0,1,2,状态空间状态空间I=i0,i1,i2,定义定义 若随机过程若随机过程 Xn,n T ,对任意,对任意n T和和i0,i
3、1,in+1 I,条件概率条件概率PXn+1=in+1|X0=i0,X1=i1,Xn=in =PXn+1=in+1|Xn=in,则称则称 Xn,n T 为为马尔可夫链马尔可夫链,简称,简称马氏马氏链链。第3页/共91页44.1 马尔可夫链与转移概率马尔可夫链与转移概率马尔可夫链的马尔可夫链的性质性质 PX0=i0,X1=i1,Xn=in=PXn=in|X0=i0,X1=i1,Xn-1=in-1 PX0=i0,X1=i1,Xn-1=in-1=PXn=in|Xn-1=in-1 PXn-1=in-1|X0=i0,X1=i1,Xn-2=in-2 PX0=i0,X1=i1,Xn-2=in-2=PXn=i
4、n|Xn-1=in-1PXn-1=in-1|Xn-2=in-2 PX0=i0,X1=i1,Xn-2=in-2第4页/共91页54.1 马尔可夫链与转移概率马尔可夫链与转移概率=PXn=in|Xn-1=in-1PXn-1=in-1|Xn-2=in-2 PX1=i1|X0=i0PX0=i0 马尔可夫链的统计特性完全由条件概率马尔可夫链的统计特性完全由条件概率PXn+1=in+1|Xn=in确定。确定。第5页/共91页64.1 马尔可夫链与转移概率马尔可夫链与转移概率定义定义 称条件概率称条件概率pij(n)=PXn+1=j|Xn=i 为为马尔可夫链马尔可夫链 Xn,n T 在时刻在时刻n的的一步转
5、移概率一步转移概率,简称简称转移概率转移概率,其中其中i,j I。定义定义 若对任意的若对任意的i,j I,马尔可夫链马尔可夫链 Xn,n T 的转移概率的转移概率pij(n)与与n无关,无关,则称则称马尔可夫链是齐次的马尔可夫链是齐次的,并记,并记pij(n)为为pij。齐次马尔可夫链具有平稳转移概率,齐次马尔可夫链具有平稳转移概率,状态空间状态空间I=1,2,3,,一步一步转移概率转移概率为为第6页/共91页74.1 马尔可夫链与转移概率马尔可夫链与转移概率转移概率转移概率性质性质(1)(2)P称为随机矩阵称为随机矩阵第7页/共91页84.1 马尔可夫链与转移概率马尔可夫链与转移概率定义定
6、义 称条件概率称条件概率 =PXm+n=j|Xm=i 为为马尔可夫链马尔可夫链 Xn,n T 的的n步转移概率步转移概率(i,j I,m 0,n 1)。n步转移矩阵步转移矩阵其中其中 P(n)也为也为随机矩阵随机矩阵第8页/共91页94.1 马尔可夫链与转移概率马尔可夫链与转移概率 设设 Xn,n T 为为马尔可夫链,则对任意整数马尔可夫链,则对任意整数n 0,0 l0 (最大公约数最大公约数greatest common divisor)如果如果d1,就称就称i为周期的,为周期的,如果如果d=1,就称就称i为非周期的为非周期的第29页/共91页304.2 马尔可夫链的状态分类马尔可夫链的状态
7、分类 设马尔可夫链的设马尔可夫链的状态空间状态空间I=1,2,9,转移概率如下图转移概率如下图 从状态从状态1出发再返回状态出发再返回状态1的可能步数为的可能步数为T=4,6,8,10,,T的的最大公约最大公约数为数为2,从而,从而状态状态1的周期为的周期为2第30页/共91页314.2 马尔可夫链的状态分类马尔可夫链的状态分类注注(1)如果如果i有周期有周期d,则对一切非零的则对一切非零的n,n 0(mod d),有有 (若若 ,则,则n=0(mod d))(2)对充分大的对充分大的n,(引理引理4.1)例题中当例题中当n=1时,时,当当n1时,时,第31页/共91页324.2 马尔可夫链的
8、状态分类马尔可夫链的状态分类 状态空间状态空间I=1,2,3,4,转移概率如图转移概率如图,状态状态2和状态和状态3有相同的周期有相同的周期d=2,但状态但状态2和状态和状态3有显著的区别。当状态有显著的区别。当状态2转移到状态转移到状态3后,再不能返回到状态后,再不能返回到状态2,状态,状态3总能返回到状态总能返回到状态3。这就要引。这就要引入入常返性常返性概念。概念。第32页/共91页334.2 马尔可夫链的状态分类马尔可夫链的状态分类由由i出发经出发经n步首次到达步首次到达j的概率的概率(首达概率首达概率)规定规定由由i出发经有限步终于到达出发经有限步终于到达j的概率的概率第33页/共9
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 随机 过程 马尔科夫
限制150内