周荫清随机过程理论 马尔可夫链.pptx

《周荫清随机过程理论 马尔可夫链.pptx》由会员分享，可在线阅读，更多相关《周荫清随机过程理论 马尔可夫链.pptx（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、马尔可夫链马尔可夫链一、马尔可夫链的定义一、马尔可夫链的定义二、切普曼二、切普曼-柯尔莫哥洛柯尔莫哥洛 夫方程夫方程三、马尔可夫链中状态分类三、马尔可夫链中状态分类四、遍历性与平稳分布四、遍历性与平稳分布五、马尔可夫序列五、马尔可夫序列第1页/共15页一、马尔可夫链的定义一、马尔可夫链的定义马尔可夫过程马尔可夫过程式中则马尔可夫过程可描述为状态取值状态空间所有的取值(可连续、可离散)时间参数t可连续、可离散第2页/共15页一、马尔可夫链的定义一、马尔可夫链的定义1 1、马尔可夫链的定义马尔可夫链的定义定义定义设为一随机序列，时间参集，其状态空间，若则称为马尔可夫链。第3页/共15页一、马尔可夫

2、链的定义一、马尔可夫链的定义1 1、马尔可夫链的定义马尔可夫链的定义转移概率性质一步转移概率当n=m+1时，则第4页/共15页一、马尔可夫链的定义一、马尔可夫链的定义1 1、马尔可夫链的定义马尔可夫链的定义k步转移概率通常规定转移概率矩阵第5页/共15页一、马尔可夫链的定义一、马尔可夫链的定义2 2、齐次马尔可夫链齐次马尔可夫链定义一步转移概率矩阵第6页/共15页二、切普曼科尔莫戈洛夫方程二、切普曼科尔莫戈洛夫方程切普曼柯尔莫哥洛夫方程切普曼柯尔莫哥洛夫方程对于齐次马尔可夫链，切普曼柯尔莫哥洛夫方程第7页/共15页定理定理设为马尔可夫链。其状态空间为S,且 ，则Xk的k维概率分布为二、切普曼科

3、尔莫戈洛夫方程二、切普曼科尔莫戈洛夫方程第8页/共15页由状态i到状态j，记为ij三、马尔可夫链中的状态分类三、马尔可夫链中的状态分类1 1、状态可达和相通、状态可达和相通状态可达状态可达 定理定理状态相通状态相通定理定理由ik，kj，则ij状态i状态j，且状态j状态i，记为由状态i状态k，状态k状态j，则状态i状态j第9页/共15页三、马尔可夫链中的状态分类三、马尔可夫链中的状态分类2 2、首次进入时间、首次进入时间对于任何两个状态i和j，在事件X0=i上引入随机变量其中，Tij表示从状态i出发，首次进入状态j的时间终生等待第10页/共15页四、遍历性机及平稳分布四、遍历性机及平稳分布1 1、遍历性、遍历性定义定义 设 Xn=i为齐次马氏链，对一切状态i，j有其中，j为平稳分布 j0 第11页/共15页四、遍历性机及平稳分布四、遍历性机及平稳分布2 2、平稳分布、平稳分布定义定义 设 Xn=i为齐次马氏链，概率分布pi，满足其中，pi为平衡分布 pj0 第12页/共15页四、遍历性机及平稳分布四、遍历性机及平稳分布2 2、平稳分布、平稳分布对于平稳分布，有另外另外 则则 第13页/共15页五、马尔可夫序列五、马尔可夫序列齐次性与n无关定义定义 设一个随机序列Xn连续，有则称此随机序列为马尔可夫序列其条件概率密度为平稳性第14页/共15页谢谢您的观看！第15页/共15页