随机过程马氏过程幻灯片.ppt

《随机过程马氏过程幻灯片.ppt》由会员分享，可在线阅读，更多相关《随机过程马氏过程幻灯片.ppt（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、随机过程马氏过程第1页，共23页，编辑于2022年，星期三2 我们注意到，齐次马氏链的我们注意到，齐次马氏链的n步转移概率当步转移概率当n趋趋于无穷时于无穷时,即过程的转移无限进行下去时即过程的转移无限进行下去时,其极限其极限可能存在，而且也可能与起始状态可能存在，而且也可能与起始状态i无关，例如只有无关，例如只有两个状态的马氏链，其一步转移概率矩阵为两个状态的马氏链，其一步转移概率矩阵为易知其任意步转移概率矩阵为易知其任意步转移概率矩阵为 第2页，共23页，编辑于2022年，星期三3 又如一齐次马氏链，状态空间为又如一齐次马氏链，状态空间为E=1,2,3，其一步转移概率矩阵，其一步转移概率矩

2、阵,二步二步,三步转移概率矩阵三步转移概率矩阵为为第3页，共23页，编辑于2022年，星期三4 于是由此可推测于是由此可推测第4页，共23页，编辑于2022年，星期三5 因此因此,一般来说，通常讨论关于齐次马氏链一般来说，通常讨论关于齐次马氏链的的n步转移概率的两方面问题，一是其极限步转移概率的两方面问题，一是其极限是否存在？二是如果此极限存在，那么它是是否存在？二是如果此极限存在，那么它是否与现在所处状态否与现在所处状态i无关，在马氏链理论中，无关，在马氏链理论中，有关这两方面问题的定理，统称为遍历性定理。有关这两方面问题的定理，统称为遍历性定理。第5页，共23页，编辑于2022年，星期三6

3、一一 齐次马氏链的遍历性齐次马氏链的遍历性 定义定义4.1 设齐次马氏链的状态空间为设齐次马氏链的状态空间为E=1,2,，若对于若对于E中所有的状态中所有的状态 i,j，存在不依赖于，存在不依赖于i的常数的常数j，为其转移概率的极限，即，为其转移概率的极限，即其相应的转移矩阵有其相应的转移矩阵有第6页，共23页，编辑于2022年，星期三7则称此齐次马氏链具有遍历性，并称则称此齐次马氏链具有遍历性，并称j为状态为状态j的的稳态概率。稳态概率。第7页，共23页，编辑于2022年，星期三8 定理定理4.1 设齐次马氏链设齐次马氏链X(n),n1的状态空间为的状态空间为E=1,2,N，若存在正整数，若

4、存在正整数m，使对任意的，使对任意的i,jE，其，其m步转移概率均大于步转移概率均大于0,即即 则此马氏链具有遍历性；且各状态的稳态概率满足则此马氏链具有遍历性；且各状态的稳态概率满足下列方程组下列方程组第8页，共23页，编辑于2022年，星期三9及概率分布条件及概率分布条件注注1 判断马氏链的遍历性有很多方法判断马氏链的遍历性有很多方法,本定理只本定理只是其中一个较为简单的方法是其中一个较为简单的方法.注注2 本定理不仅给出了判断马氏链的遍历性本定理不仅给出了判断马氏链的遍历性的方法的方法,也给出了求其稳态概率的方法也给出了求其稳态概率的方法.第9页，共23页，编辑于2022年，星期三10

5、例例4.1 设齐次马氏链的状态空间设齐次马氏链的状态空间E=1,2,3，其一，其一步转移概率为步转移概率为 试问此链是否具有遍历性试问此链是否具有遍历性?若有若有,试求其稳态概率试求其稳态概率.第10页，共23页，编辑于2022年，星期三11 解：注意到解：注意到 即知其所有的二步转移概率均大于即知其所有的二步转移概率均大于0，由定理，由定理4.1知，知，此链具有遍历性此链具有遍历性.第11页，共23页，编辑于2022年，星期三12再由转移概率与稳态概率满足的方程组得再由转移概率与稳态概率满足的方程组得 解之可得稳态概率为解之可得稳态概率为第12页，共23页，编辑于2022年，星期三13例例4

6、.2 设齐次马氏链的状态空间设齐次马氏链的状态空间E=1,2，其一步，其一步转移概率矩阵为转移概率矩阵为试讨论该链的遍历性。试讨论该链的遍历性。解：容易计算得出，该链的其解：容易计算得出，该链的其n步转移矩阵与其一步步转移矩阵与其一步转移矩阵转移矩阵P相同，即相同，即第13页，共23页，编辑于2022年，星期三14故由定义故由定义4.1知，此链不具有遍历性知，此链不具有遍历性,也不存在稳态也不存在稳态概率。概率。第14页，共23页，编辑于2022年，星期三15二二 齐次马氏链的平稳分布齐次马氏链的平稳分布定义定义4.2 设设X(n),n0是一齐次马氏链，若存在是一齐次马氏链，若存在实数集合实数

7、集合rj,jE，满足，满足 则称则称X(n),n0是一平稳齐次马氏链，是一平稳齐次马氏链，称称rj,j E 为该过程的一个平稳分布。为该过程的一个平稳分布。第15页，共23页，编辑于2022年，星期三16例例4.3 已知已知X(n),n0的初始分布为的初始分布为 其一步转移矩阵为其一步转移矩阵为试说明此马氏链是平稳的试说明此马氏链是平稳的,且其初始分布为其平稳分且其初始分布为其平稳分布。布。第16页，共23页，编辑于2022年，星期三17解解 由平稳分布满足的方程组注意到由平稳分布满足的方程组注意到第17页，共23页，编辑于2022年，星期三18即此初始分布满足定义即此初始分布满足定义4.2中

8、条件，故具有上述转移中条件，故具有上述转移概率的齐次马氏链为一平稳齐次马氏链，初始分布概率的齐次马氏链为一平稳齐次马氏链，初始分布为其一个平稳分布。为其一个平稳分布。定理定理4.2 设设X(n),n0是一平稳齐次马氏链，若是一平稳齐次马氏链，若其初始分布其初始分布P(0)=p1(0)，p2(0),pj(0),为此链为此链的平稳分布时，则对任何的平稳分布时，则对任何n1，绝对概率等于初，绝对概率等于初始概率，即：始概率，即：证证 若平稳齐次马氏链的初始分布为平稳分布若平稳齐次马氏链的初始分布为平稳分布 时时,则有则有第18页，共23页，编辑于2022年，星期三19而齐次马氏链的绝对概率为其初始分

9、布与转移概而齐次马氏链的绝对概率为其初始分布与转移概率确定率确定第19页，共23页，编辑于2022年，星期三20第20页，共23页，编辑于2022年，星期三21 由此可见，当我们能判定齐次马氏链的初始由此可见，当我们能判定齐次马氏链的初始分布是一平稳分布时，则该马氏链在任何时刻的分布是一平稳分布时，则该马氏链在任何时刻的绝对概率分布都与初始分布相同。事实上，平稳绝对概率分布都与初始分布相同。事实上，平稳分布就是不因转移步数变化而改变的分布。此时分布就是不因转移步数变化而改变的分布。此时马氏链处于状态马氏链处于状态j的概率与时间推移无关，即具有的概率与时间推移无关，即具有平稳性。平稳性。注注1

10、一般来说，平稳齐次马氏链的平稳分布并不一般来说，平稳齐次马氏链的平稳分布并不唯一唯一.注注2 在定理在定理4.1条件下条件下,平稳齐次马氏链的稳态概率平稳齐次马氏链的稳态概率即为其平稳分布。即为其平稳分布。第21页，共23页，编辑于2022年，星期三22例例4.4 设齐次马氏链的状态空间为设齐次马氏链的状态空间为E=1,2,其一其一步转移概率矩阵为步转移概率矩阵为 由例由例4.2知知,此齐次马氏链不是遍历的此齐次马氏链不是遍历的,其稳态概率不其稳态概率不存在存在,但有但有第22页，共23页，编辑于2022年，星期三23可见其平稳分布是存在的，且具有无穷多个可见其平稳分布是存在的，且具有无穷多个.均为其平稳分布。均为其平稳分布。第23页，共23页，编辑于2022年，星期三