概率论第八章课件.ppt
马尔可夫链的定义及例子马尔可夫链的定义及例子多步转移概率及多步转移概率及C-KC-K方程方程 遍历性与平稳分布遍历性与平稳分布一一 马尔可夫链的定义马尔可夫链的定义 8.18.1马尔可夫链的定义及一些例子马尔可夫链的定义及一些例子证证 由定义知，只要证明在已知由定义知，只要证明在已知已知已知的条件下的条件下相互独立即可相互独立即可由独立增量的定义知，当由独立增量的定义知，当时，增量时，增量与与相互独立。根据条件相互独立。根据条件即有即有与与相互独立。这表明相互独立。这表明相相互独立。即互独立。即是一个马尔可夫过程。是一个马尔可夫过程。状态和时间参数都是离散的马尔可夫过程称为状态和时间参数都是离散的马尔可夫过程称为马尔可夫链马尔可夫链，或，或马氏链。马氏链。证证可见可见,的状态空间的状态空间对任意的对任意的及及是一个马氏链。是一个马氏链。由马氏链定义及概率论知识可知由马氏链定义及概率论知识可知 所以，马氏链的有限维分布完全由初始分所以，马氏链的有限维分布完全由初始分布和条件概率确定。如何确定这些条件概率是布和条件概率确定。如何确定这些条件概率是马尔可夫链理论和应用中的重要问题之一。马尔可夫链理论和应用中的重要问题之一。转移概率的性质转移概率的性质二二 转移概率转移概率否则，就称之为非时齐的。否则，就称之为非时齐的。例例3：（0-1传输系统）在只传输数字传输系统）在只传输数字0和和1的的串联系统中，设每一级的传真率（输出与输入串联系统中，设每一级的传真率（输出与输入数字相同的概率称为系统的传真率，相反情形数字相同的概率称为系统的传真率，相反情形称为误码率）为称为误码率）为 ，误码率为，误码率为 ，并设一，并设一个单位时间传输一级，个单位时间传输一级，是第一级的输入，是第一级的输入，是是第第 级的输出级的输出 。那么，。那么，是一随机是一随机过程，状态空间过程，状态空间 。12n 显然，当显然，当 为已知时，为已知时，所处的状所处的状态的概率分布只与态的概率分布只与 有关，而与时刻有关，而与时刻 以前以前所处的状态无关。所处的状态无关。所以他是一个马尔可夫所以他是一个马尔可夫链，而且还是齐次的。链，而且还是齐次的。他的一步转移概率为他的一步转移概率为从而他的一步转移概率矩阵为从而他的一步转移概率矩阵为解解 对任意的对任意的n及及所以所以 为马氏链。为马氏链。由于由于独立同分布，因而独立同分布，因而所以所以为齐次马氏链。其一步转移概率为齐次马氏链。其一步转移概率 同样可以讨论带有一个吸收壁及两个反同样可以讨论带有一个吸收壁及两个反射壁的随机游动，当然也可以讨论没有吸收射壁的随机游动，当然也可以讨论没有吸收壁和反射壁的自由随机游动。总之，改变游壁和反射壁的自由随机游动。总之，改变游动的概率规则，就可得到不同方式的游动和动的概率规则，就可得到不同方式的游动和相应的马氏链。相应的马氏链。随机到达者随机到达者等候室等候室服务台服务台系系 统统离去者离去者类似地，有类似地，有于是该马氏链的一步转移概率矩阵为于是该马氏链的一步转移概率矩阵为马氏链考题：马氏链考题：1、设任意相继的两天中，雨天转晴天的概、设任意相继的两天中，雨天转晴天的概率为率为 ，晴天转雨天的概率为，晴天转雨天的概率为 ，任一天晴，任一天晴或雨是互为逆事件。以或雨是互为逆事件。以0表示晴天状态，以表示晴天状态，以1表表示雨天状态，示雨天状态，表示第表示第 天的状态（天的状态（0或或1）。试）。试写出马氏链写出马氏链 的一步转移概率矩阵和两步的一步转移概率矩阵和两步转移概率矩阵。又若已知转移概率矩阵。又若已知5月月1日为晴天，问日为晴天，问5月月2日和日和4日都是晴天的概率是多少？日都是晴天的概率是多少？2、一个老鼠、一个老鼠“学习学习”过程的模型如下：过程的模型如下：如果老鼠如果老鼠“学到学到”某种技巧（如取得一颗花生某种技巧（如取得一颗花生或者避开一次电休克等），那么说它处于状态或者避开一次电休克等），那么说它处于状态1；如果它还没有学会，那么说它处于状态；如果它还没有学会，那么说它处于状态2，假定它一旦学会了就将一直记住，而如果它还假定它一旦学会了就将一直记住，而如果它还没有学会，它在一次试验中没有学会，它在一次试验中“学会学会”的概率是的概率是 ，写出，写出1步，步，2步转移概率矩阵；如果初始分布步转移概率矩阵；如果初始分布为为 ，求，求 。马氏链的有限维分布马氏链的有限维分布(1)一维分布一维分布设链的设链的由全概公式由全概公式一维分布可用行向量表示一维分布可用行向量表示利用矩阵的乘法利用矩阵的乘法：说明马氏链在任一时刻说明马氏链在任一时刻n的的一维分布由初始分布一维分布由初始分布与与n步步 转移概率矩阵确定。转移概率矩阵确定。所以，马氏链的所以，马氏链的有限维分布完全由初始分布有限维分布完全由初始分布和转移概率确定。和转移概率确定。(2)n维分布维分布 8.2 8.2 多步转移概率及多步转移概率及C-KC-K方程方程类似地也可以得出类似地也可以得出n步转移概率满足下面两个性质：步转移概率满足下面两个性质：此方程称为此方程称为Chapman-kolmogorov(切普曼柯尔切普曼柯尔莫哥洛夫莫哥洛夫)方程方程,简称简称C-K方程方程.证：证：如果把转移概率写成矩阵的形式，那么如果把转移概率写成矩阵的形式，那么CK方程具有以下简单的形式方程具有以下简单的形式特别地特别地,步转移概率由一步转移概率步转移概率由一步转移概率完全决定。完全决定。解：解：（2 2）由）由可知可知（3 3）由）由C-KC-K方程可知方程可知解解:先求出二步转移概率矩阵先求出二步转移概率矩阵于是于是00，8次，次，01，18次；次；10，18次，次，11，52次。次。因此，一步转移概率可用频率近似地表示为因此，一步转移概率可用频率近似地表示为（1 1）试求一步转移概率；）试求一步转移概率；（2 2）若计算机在前一段（）若计算机在前一段（1515分钟）的状态为分钟）的状态为0 0，那么从本时段起，此计算机能连续那么从本时段起，此计算机能连续3 3个时段正常工个时段正常工作的概率是多少；作的概率是多少；解解 （1 1）9696次状态转移的情况是：次状态转移的情况是：（2 2）由题意，计算机在前一段（）由题意，计算机在前一段（1515分钟）的状分钟）的状态为态为0 0，意味着初始分布为，意味着初始分布为计算机能连续计算机能连续3 3个时段正常工作的概率是个时段正常工作的概率是 例例 11 11 对于只有两个状态的马氏链，一步转移对于只有两个状态的马氏链，一步转移概率矩阵一般可表示为：概率矩阵一般可表示为：试求试求n步转移概率矩阵。步转移概率矩阵。解解 ，特征方程为，特征方程为有相异特征值有相异特征值由线性代数知识，可将矩阵由线性代数知识，可将矩阵P P 表示为对角阵表示为对角阵 的相似矩阵的相似矩阵。，则，则 由由，容易算得，容易算得对应的特征向量对应的特征向量具体做法是：求出具体做法是：求出 练习：练习：设马氏链设马氏链 的状态空间为的状态空间为 ，初始分布为，初始分布为 一步转移概率一步转移概率矩阵为矩阵为（1）计算）计算 ；（2）证明）证明 ；（3）计算）计算 ；（4）计算）计算 。8.3 8.3 遍历性与平稳分布遍历性与平稳分布对于一个系统来说，考虑它的长期的性质是很对于一个系统来说，考虑它的长期的性质是很必要的，比如当必要的，比如当时，时，的极限的极限 是否存在？是否存在？所以问题可以转化为研究所以问题可以转化为研究的极限性质，即研究的极限性质，即研究是否存在？存在的话，其极限是否与是否存在？存在的话，其极限是否与有关？有关这两方面问题的定理，统称为遍历性有关？有关这两方面问题的定理，统称为遍历性定理。定理。一一 遍历性遍历性由全概公式可知由全概公式可知对于一般的两个状态的马氏链，有对于一般的两个状态的马氏链，有 具有遍历性的马氏链是否存在呢？具有遍历性的马氏链是否存在呢？由于由于，上式得极限为，上式得极限为可见此马氏链的可见此马氏链的步转移概率有一个稳定的极限，步转移概率有一个稳定的极限，什么时候会存在呢？什么时候会存在呢？无关，并且无关，并且对于一般的马氏链，对于一般的马氏链，其极限与其极限与证：由于：证：由于：故故即，经过无穷次转移后处于即，经过无穷次转移后处于 状态的概率与状态的概率与初始状态无关，与初始状态的分布也无关初始状态无关，与初始状态的分布也无关。推论推论8-18-1 如果马氏链是遍历的，则如果马氏链是遍历的，则 所取的值与初始状态的分布无关。所取的值与初始状态的分布无关。解解 先求出二步转移概率矩阵先求出二步转移概率矩阵于是于是（1 1）（2 2）（3 3）由于所有的二步转移概率均大于零，由定理）由于所有的二步转移概率均大于零，由定理8-28-2可知，此链具有遍历性；可知，此链具有遍历性；又又，则，则，可得，可得（4 4）由）由例例1212 设一马氏链的一步转移概率矩阵为设一马氏链的一步转移概率矩阵为试讨论它的遍历性。试讨论它的遍历性。解解:先算得先算得定义定义 8-8 8-8 一个定义在状态空间上的概率分布一个定义在状态空间上的概率分布称为马氏链的平稳分布，如有：称为马氏链的平稳分布，如有：即即，有：，有：在定理在定理8-28-2的条件下，马氏链的极限分布又是平的条件下，马氏链的极限分布又是平稳分布。稳分布。二二 平稳分布平稳分布例例 8-13 8-13 设马氏链的一步转移概率矩阵为设马氏链的一步转移概率矩阵为试求其平稳分布。试求其平稳分布。解得解得，平稳分布满足方程，平稳分布满足方程 解：由解：由例例8-148-14 设一马氏链的一步转移概率矩阵为设一马氏链的一步转移概率矩阵为试求此马氏链具不具有遍历性，是否存在平稳分布。试求此马氏链具不具有遍历性，是否存在平稳分布。，显然此链不具有遍历性。但是，显然此链不具有遍历性。但是则此链具有平稳分布则此链具有平稳分布且有无穷多个。且有无穷多个。解解 易知，易知，
