第五章马尔科夫过程精选文档.ppt

《第五章马尔科夫过程精选文档.ppt》由会员分享，可在线阅读，更多相关《第五章马尔科夫过程精选文档.ppt（72页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章马尔科夫过程2022/9/241本讲稿第一页，共七十二页5.1 马氏过程的定义马氏过程的定义引例引例1、直线上随机点的游动。、直线上随机点的游动。0 1 2 3-1-2-3 X(0)=0,以概率为以概率为 p和和q向左或右移动一个位置，经向左或右移动一个位置，经n步移动后随机点的步移动后随机点的位置为位置为 特点：时刻特点：时刻n 随机点的位置只依赖与时刻随机点的位置只依赖与时刻n-1 时的位置时的位置,而而与时刻与时刻n-2及以前的位置无关。及以前的位置无关。引例引例2、电话交换台在、电话交换台在t时刻前要求提供服务的次数时刻前要求提供服务的次数X(t)。具有与引例具有与引例1类似的特

2、点。类似的特点。本讲稿第二页，共七十二页 1、马尔科夫性、马尔科夫性在在设设之前所处的状态无关，则称之前所处的状态无关，则称是一个随机过程，如果是一个随机过程，如果所处的状态为已知时，它在时刻所处的状态为已知时，它在时刻 所处状态的所处状态的条件分布与其在条件分布与其在 具有马尔科夫性。具有马尔科夫性。2、马尔科夫过程、马尔科夫过程设设的状态空间为的状态空间为S，如果，如果都有都有5.1 马氏过程的定义马氏过程的定义本讲稿第三页，共七十二页 则称则称为马尔科夫过程。为马尔科夫过程。由定义可知：引例由定义可知：引例1、2所给出的过程均为马尔科夫过程。所给出的过程均为马尔科夫过程。3、马尔可夫链、

3、马尔可夫链为方便，将马氏链的状态空间记作为方便，将马氏链的状态空间记作 参数集和状态空间都是离散的马尔科夫过程，称为马尔科参数集和状态空间都是离散的马尔科夫过程，称为马尔科夫链。夫链。将马氏链记作将马氏链记作将参数集记作将参数集记作此时马尔科夫性为此时马尔科夫性为5.1 马氏过程的定义马氏过程的定义本讲稿第四页，共七十二页或或5.1 马氏过程的定义马氏过程的定义本讲稿第五页，共七十二页5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布 1、马氏链的转移概率、马氏链的转移概率设设是马氏链，称是马氏链，称 为为在在 时的时的步转移概率。步转移概率。到达状态到达状态 它表示系统在时刻它表示

4、系统在时刻 处于状态处于状态的条件下，经过的条件下，经过的条件概率。的条件概率。当当称称一步转移概率。一步转移概率。显然，显然，满足：满足：(1)(2)本讲稿第六页，共七十二页同样地同样地,也具有以上性质。也具有以上性质。约定约定称以称以为第为第 行、第行、第 列的元素的矩阵为一步转移概率列的元素的矩阵为一步转移概率矩阵，记作矩阵，记作类似地类似地步转移概率矩阵为步转移概率矩阵为特别，特别，或或 2、方程方程5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第七页，共七十二页证明：证明：即即方程中，令方程中，令得得5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲

5、稿第八页，共七十二页类推可得类推可得这就表明任何这就表明任何 步转移概率矩阵都可以用一步转移概率矩阵步转移概率矩阵都可以用一步转移概率矩阵 表示。表示。称称设设 并称并称为初始分布，记为初始分布，记为为X的初始分布向量，由的初始分布向量，由方程，得方程，得:马氏链马氏链X的有限维分布函数族，由初始分布和一步转的有限维分布函数族，由初始分布和一步转移概率矩阵列移概率矩阵列所唯一确定。所唯一确定。5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第九页，共七十二页设设为为X的绝对分布，记的绝对分布，记 利用利用可得可得即即5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布

6、本讲稿第十页，共七十二页 2、齐次马氏链、齐次马氏链有关，而与初始时刻有关，而与初始时刻若若只与只与无关的马氏无关的马氏链，称为链，称为 齐次马氏链。齐次马氏链。由定义，对于由定义，对于齐次马氏链齐次马氏链 为此，不妨设初始时刻为为此，不妨设初始时刻为0，即即记记由由方程得方程得(1)(2)X的有限维分布函数族由初始分布和一步转移概率矩的有限维分布函数族由初始分布和一步转移概率矩阵完全确定。阵完全确定。5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十一页，共七十二页 例例1、设质点只能停留在在、设质点只能停留在在1，2，3，4各点上随机游动各点上随机游动,移动移动规则为：

7、移动前若在规则为：移动前若在2，3点，则以概率点，则以概率1/3向左或右移动一个向左或右移动一个单位、或停留在原处；移动前若在单位、或停留在原处；移动前若在1或或4点，则以概率点，则以概率1移动到移动到2或或3点上。写出一步转移概率矩阵、设初始分布为（点上。写出一步转移概率矩阵、设初始分布为（0，1/2，1/2，0），求经一步转移后系统所处的状态、并求概率），求经一步转移后系统所处的状态、并求概率解：解：5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十二页，共七十二页5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十三页，共七十二页球的个数球的个数 一

8、号球一号球 二号球二号球 三号球三号球口袋口袋I 2 1 1口袋口袋II 2 0 1口袋口袋III 3 2 05.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十四页，共七十二页5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十五页，共七十二页4 3 2 1 4 3 1 1 2 32 1 2 3 4 4 3 3 1 11 3 3 2 1 2 2 3 4 42 3 2 3 1 1 2 4 3 11 2 3 4 1 4 4 1 1 10 2 3 2 4 3 11 3 4 4 2 1 11 4 0 1 4 2 75.2 马氏链的转移概率与概率分布马氏链的转移概率

9、与概率分布本讲稿第十六页，共七十二页5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十七页，共七十二页5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十八页，共七十二页5.2 马氏链的转移概率与概率分布马氏链的转移概率与概率分布本讲稿第十九页，共七十二页5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类 1、状态的基本属性、状态的基本属性(1)首达概率与迟早概率首达概率与迟早概率设设称称为系统在为系统在0时从状态时从状态的概率，简称首达概率。的概率，简称首达概率。出发经出发经步转移后首次到达状态步转移后首次到达状态称称为系统在为系统在0时从状态时从

10、状态 出发经过有限步转移后迟早要返回出发经过有限步转移后迟早要返回状态状态的概率，简称迟早概率。的概率，简称迟早概率。本讲稿第二十页，共七十二页称称为系统在为系统在0时从状态时从状态出发永远也不能回到状态出发永远也不能回到状态的概率。的概率。下面给出引理一下面给出引理一1)2)3)(2)设设称称为系统首次到达为系统首次到达状态状态的时间的时间,简称首达时简称首达时,当当即即时时,也就是系统在有限时间内不也就是系统在有限时间内不可能到达状态可能到达状态显然，显然，是随机变量。是随机变量。5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十一页，共七十二页 下面给出引理二下面给出引

11、理二 3)1)2)出发，首次返回状态出发，首次返回状态称称为从状态为从状态出发，到达状态出发，到达状态的平均转移步数；的平均转移步数；称为从状态称为从状态的平均返回时间。的平均返回时间。即即 (3)设设若若 则称其最大公约则称其最大公约数为状态数为状态的周期的周期,记为记为则存在则存在 下面给出引理三下面给出引理三1)若若使得使得5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十二页，共七十二页2)若若则存在则存在使得使得3)若若中一个存在中一个存在,则另一个也存在则另一个也存在,且相等且相等,即即 (4)设设 则称状则称状态态1)若若则称状态则称状态为常返态为常返态;若若为

12、非常返态为非常返态;是正常返态，是正常返态，2)若若是常返态且是常返态且则称状态则称状态若若是常返态且是常返态且则称状态则称状态是零常返态。是零常返态。为周期态状态为周期态状态,且周期为且周期为为非周期状态为非周期状态;若状态若状态 3)若若则称状态则称状态若若则称状态则称状态是正常返是正常返5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十三页，共七十二页非周期状态，则称状态非周期状态，则称状态为遍历态。为遍历态。(5)设状态设状态若若使得使得则称则称状态状态可达状态可达状态记为记为若若则称则称状态状态与状态与状态互通，记作互通，记作下面给出引理四下面给出引理四1)可达的传

13、递性：若可达的传递性：若则则2)互通的转递性：互通的转递性：则则3)互通的对称性：若互通的对称性：若则则 下面给出引理五和引理六下面给出引理五和引理六则则1)设设2)设设是常返态，是常返态，则则且且5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十四页，共七十二页2、状态属性的判定、状态属性的判定(1)(Doeblin公式公式)有有则则推论推论:1)设设2)设设则则5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十五页，共七十二页 (2)是常返态的充要条件是以下三条件之一成立是常返态的充要条件是以下三条件之一成立2)1)3)从而从而是非常返态的充要条件是以下

14、三条件之一成立是非常返态的充要条件是以下三条件之一成立1)2)3)如果如果时时,(3)对任意给定的对任意给定的是常返态且周期为是常返态且周期为则则当当5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十六页，共七十二页 (4)设状态设状态是常返态是常返态,则则1)是零常返的充要条件为是零常返的充要条件为是遍历的充要条件是是遍历的充要条件是2)(5)对状态对状态 1)如果存在正整数如果存在正整数使得使得步转移概率矩阵步转移概率矩阵 相应相应于于状态状态的那一列元素全不为零，则的那一列元素全不为零，则是非周期的；是非周期的；3)正常返周期的充要条件是正常返周期的充要条件是不存在不存

15、在,但此但此一收敛于某正数的子列。一收敛于某正数的子列。时有时有2)若有正整数若有正整数使得使得则状态则状态是非周是非周期的期的;5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十七页，共七十二页则必存在正整数则必存在正整数使得对使得对3)设状态设状态有周期有周期所有所有均有均有 (6)设设则状态则状态类型相同。类型相同。3、状态空间的分解、状态空间的分解(1)闭集闭集设设有有则称则称 为闭集。为闭集。若单个状态若单个状态 构成闭集构成闭集则称则称 为吸收状态。为吸收状态。显然，状态空间显然，状态空间S是一个闭集。是一个闭集。5.3 齐次马氏链状态类型的分类齐次马氏链状态类型

16、的分类本讲稿第二十八页，共七十二页 若闭集若闭集C中不含有任何非空的子集，则称中不含有任何非空的子集，则称C是不可约的是不可约的,当状态空间当状态空间S 是不可约时，则称此马氏链为不可约的，否则是不可约时，则称此马氏链为不可约的，否则称为可约的。所以一个马氏链是不可约的充要条件为称为可约的。所以一个马氏链是不可约的充要条件为S中所中所有状态互通。有状态互通。为了讨论状态空间的分解，下面给出引理：为了讨论状态空间的分解，下面给出引理：1)设设则则的充要条件为的充要条件为2)设设是常返态是常返态,若若且且则则3)设设是常返态是常返态,若若且且则则 (2)由引理可得下列结论：由引理可得下列结论：5.

17、3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第二十九页，共七十二页1)S中所有状态构成一个闭集中所有状态构成一个闭集;2)在不可约的马氏链中，所有状态或是常返态、或在不可约的马氏链中，所有状态或是常返态、或 是非常是非常返态；返态；3)对任一马氏链的状态空间对任一马氏链的状态空间S,可唯一地分解成有限个可唯一地分解成有限个或可列个互不相交的子集或可列个互不相交的子集之并之并,即即并使得并使得(I)任一个任一个中的状态到达。中的状态到达。是由常返态构成且是互通的闭集是由常返态构成且是互通的闭集,而且而且 不可能由不可能由中的状态到达中的状态到达;(II)在在中的所有状态属于同一类且

18、中的所有状态属于同一类且中任意两个中任意两个状态状态均有均有中状态中状态5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第三十页，共七十二页(III)是一切非常返态所构成是一切非常返态所构成,且且中的状态不可中的状态不可能自能自中的状态到达。中的状态到达。例例5、设、设X是一个马氏链，状态空间为是一个马氏链，状态空间为转移概率矩阵为转移概率矩阵为 试分析各状态类型并分解状态空间。试分析各状态类型并分解状态空间。5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第三十一页，共七十二页解：由一步转移概率矩阵作出相应的转移概率图如下：解：由一步转移概率矩阵作出相应的转移概率

19、图如下：由图可知：由图可知：ceadb其中其中为正常返、非周期状态构成的闭集；为正常返、非周期状态构成的闭集；构成的闭集；构成的闭集；为非常返状态为非常返状态5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第三十二页，共七十二页 例例6、设一齐次马氏链的状态空间为、设一齐次马氏链的状态空间为概率矩阵为概率矩阵为其转移其转移其中其中*表示一个正数。试分析状态类型。表示一个正数。试分析状态类型。5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第三十三页，共七十二页解：由于解：由于所以所以0是吸收态，又是吸收态，又故故6是非常返态，从而可达状态是非常返态，从而可达状态6的

20、也是非常返态，故的也是非常返态，故 状态状态1可达可达2，2可达可达1，故，故 1，2 是周是周期为期为 2的正常返状态集。的正常返状态集。3，4，5构成一个非周期构成一个非周期常返态闭集。常返态闭集。例例7、设一齐次马氏链的状态空间为、设一齐次马氏链的状态空间为 其转其转移概率图为移概率图为0123j5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第三十四页，共七十二页(1)试写出试写出P矩阵；矩阵；(2)试写出该链为常返链的充分必要条件。试写出该链为常返链的充分必要条件。解解：(1)由转移概率图可得：由转移概率图可得：(2)由于本链的所有状态是互通的由于本链的所有状态是互通的

21、,只须确定其中一个状只须确定其中一个状 态是常返态的态是常返态的条件即可条件即可,如状态如状态0,可得可得5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第三十五页，共七十二页欲使欲使其充分必要条件为其充分必要条件为即即5.3 齐次马氏链状态类型的分类齐次马氏链状态类型的分类本讲稿第三十六页，共七十二页 5.4 转移概率的稳定性能转移概率的稳定性能本目考虑本目考虑的情形。的情形。若若设设是非常返态或零常返态，必有是非常返态或零常返态，必有1、转移概率的极限、转移概率的极限以下讨论正常返态的情形。以下讨论正常返态的情形。令令表示系统从状态表示系统从状态出发，在某时刻出发，在某时刻首

22、次到达状态首次到达状态的迟早概率，且的迟早概率，且本讲稿第三十七页，共七十二页 (1)有关定理有关定理1)设设是正常返态，则是正常返态，则其中其中是是是平均转回时间。是平均转回时间。是不可约的齐次马氏链，是不可约的齐次马氏链，它的每一个状态都是正常返的，而且有周期它的每一个状态都是正常返的，而且有周期 推论：设推论：设状态空间被状态空间被唯一地分解成唯一地分解成则则 5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第三十八页，共七十二页特别地，如果特别地，如果则则 2)设齐次马氏链设齐次马氏链状态空间为状态空间为S,如果如果存在正整数存在正整数使使的一步转移概率矩阵的一步转移概率矩阵的的次幂

23、次幂中的每个元素都大于零中的每个元素都大于零,则该链则该链是不可约的是不可约的,而且而且必存在必存在,且此极限与初且此极限与初状态状态无关无关,记为记为即有即有若若X是一个不可约的遍历链，是一个不可约的遍历链，推论推论:均有均有 5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第三十九页，共七十二页 (2)极限分布极限分布设设C为互通的遍历状态构成的闭集为互通的遍历状态构成的闭集,则则则则于是若马氏链是一个不可约的遍历链，于是若马氏链是一个不可约的遍历链，都有都有且满足且满足故故构成一概率分布，称为马氏链的极限分布。构成一概率分布，称为马氏链的极限分布。于是，不可约的马氏链为遍历链的充要条件

24、为极限分布存在且于是，不可约的马氏链为遍历链的充要条件为极限分布存在且唯一。唯一。5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十页，共七十二页2、平稳分布、平稳分布(1)定义：定义：如果对任意时间如果对任意时间均有均有称具有此性质的初始分布为称具有此性质的初始分布为为马氏链的平稳为马氏链的平稳分布，并称此链为平稳的马氏链。分布，并称此链为平稳的马氏链。(2)初始分布为平稳分布的充要条件初始分布为平稳分布的充要条件 初始分布初始分布满足下列方程组满足下列方程组为平稳分布的充要条件是为平稳分布的充要条件是 5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十一页，共七十二页设设即即

25、设设又又为一分布，故为一分布，故证明对于任意时刻证明对于任意时刻有有 5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十二页，共七十二页设设时刻有时刻有成立成立所以所以为一平稳分布。为一平稳分布。5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十三页，共七十二页设马氏链的平稳分布为设马氏链的平稳分布为（未知）马氏（未知）马氏链的一步转移概率矩阵为链的一步转移概率矩阵为则上述方程组为则上述方程组为 3、极限分布与平稳分布的关系、极限分布与平稳分布的关系 非周期不可约的马氏链，如果是正常返的，其充要条件是它的平稳分非周期不可约的马氏链，如果是正常返的，其充要条件是它的平稳分布存在，且该

26、平稳分布就是极限分布。布存在，且该平稳分布就是极限分布。例例8、设状态空间为、设状态空间为S=0，1，2的马氏链，其一步转的马氏链，其一步转 移概率矩阵为移概率矩阵为试求极限分布。试求极限分布。5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十四页，共七十二页 解：由一步转移概率矩阵知，此链为不可约的遍历链，解：由一步转移概率矩阵知，此链为不可约的遍历链，故平稳分布存在，且就是极限分布，设极限分布为故平稳分布存在，且就是极限分布，设极限分布为满足满足于是有于是有解之得解之得 5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十五页，共七十二页例例9、设有状态空间设有状态空间S=0,1

27、,2,6的齐次马氏链的齐次马氏链,其一步转移其一步转移概率矩阵为概率矩阵为(1)试对试对S进行分类进行分类,并说明各状态的类型并说明各状态的类型;(2)求平稳分布求平稳分布,其平稳分布是否唯一其平稳分布是否唯一?为什麽为什麽?(3)求求 5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十六页，共七十二页 解解:(1)由转移概率矩阵作出转移概率图如下由转移概率矩阵作出转移概率图如下:4560123其中其中 (2)由由(1)知本链有三个不同的正常返状态的不可约闭集知本链有三个不同的正常返状态的不可约闭集,故其故其平稳分布不唯一平稳分布不唯一,并且具有无穷多个平稳分布。并且具有无穷多个平稳分布

28、。每个状态都每个状态都有闭路！有闭路！5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十七页，共七十二页 (3)所以所以 5.4 转移概率的稳定性能转移概率的稳定性能本讲稿第四十八页，共七十二页 5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程 1、基本概念与性质、基本概念与性质设设 是马氏过程，状态空间为是马氏过程，状态空间为引入引入为过程为过程在时刻在时刻处于状态处于状态 称称条件下，于时刻条件下，于时刻到达状态到达状态转移概率。转移概率。(1)的性质的性质1)2)本讲稿第四十九页，共七十二页 3)其中其中元为元为相应的矩阵形式为相应的矩阵形式为是第是第的矩阵，称为转移概

29、率矩阵。的矩阵，称为转移概率矩阵。4)只依赖于只依赖于 若若其值与其值与s无关，而无关，而即即 则称该过程为齐次马氏则称该过程为齐次马氏 过程。过程。对于齐次马氏过程，记对于齐次马氏过程，记转移概率函数满足：转移概率函数满足：1)5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十页，共七十二页2)3)相应矩阵形式为相应矩阵形式为4)假定假定在在处连续处连续,即即 2.的连续性与可微性的连续性与可微性1)对任意对任意是是t 的一致连续函数。的一致连续函数。证明：设证明：设 5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十一页，共七十二页由于由于可得可

30、得所以有所以有若若同理可得同理可得又又所以所以 2)设设处的导数处的导数(右导数右导数)存在存在(可可为为在在 5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十二页，共七十二页即即由于由于上式又可写成上式又可写成在在3)设设处导数存在且有限处导数存在且有限,即即导数存在且有限导数存在且有限,则对一切则对一切4)若若在在和和存在且连续，并满足关系市式：存在且连续，并满足关系市式：状态状态 由由的意义可知，它表示从的意义可知，它表示从转移到状态转移到状态的转移强度。的转移强度。5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十三页，共七十二页而而称为从

31、状态称为从状态跳到其它任意跳到其它任意状态状态的强度，即发生跳跃的强度。的强度，即发生跳跃的强度。3.状态转移概率强度矩阵状态转移概率强度矩阵将上述导数排成一个矩阵将上述导数排成一个矩阵即即称之为转移概率强度矩阵。称之为转移概率强度矩阵。5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十四页，共七十二页当当时，对于任意有限状态的马氏过程，时，对于任意有限状态的马氏过程，有：有：当上述状态空间可列时，有当上述状态空间可列时，有上式等号成立时，称相应的马氏过程为保守过程。上式等号成立时，称相应的马氏过程为保守过程。已知已知矩阵时，由于矩阵时，由于利用极限与无穷小的关系，得利用

32、极限与无穷小的关系，得 5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十五页，共七十二页4.初始分布初始分布称称为马氏链的初始分布。为马氏链的初始分布。5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程和和 当马氏链的初始分布当马氏链的初始分布转移概率转移概率都已知时，有都已知时，有当该链为齐次时，有当该链为齐次时，有本讲稿第五十六页，共七十二页 例例9、假定某商店有一部电话。如果时刻、假定某商店有一部电话。如果时刻t 电话正被使电话正被使用，置用，置X(t)=1,否则置否则置X(t)=0。假定。假定具有转移具有转移概率矩阵概率矩阵 又假定初始分布为又假定初始

33、分布为试求：试求：(1)的分布。的分布。解解:(1)(2)5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十七页，共七十二页(3)设设X(t)的分布为的分布为则则 5.5 状态离散参数连续的马氏过程状态离散参数连续的马氏过程本讲稿第五十八页，共七十二页 5.6 柯氏前进方程和后退方程柯氏前进方程和后退方程1、后退的柯氏方程、后退的柯氏方程对对满足后退的柯氏方程满足后退的柯氏方程的充要条件为的充要条件为证明：证明：若若方程无意义，故方程无意义，故 对对方程两端方程两端求和得求和得本讲稿第五十九页，共七十二页即即两边令两边令取极限得取极限得相应的矩阵形式为相应的矩阵形式为 5

34、.6 柯氏前进方程和后退方程柯氏前进方程和后退方程本讲稿第六十页，共七十二页 2、前进的柯氏方程、前进的柯氏方程对对满足前进的柯氏方程满足前进的柯氏方程的充要条件为的充要条件为其矩阵形式为其矩阵形式为证明方法同证明方法同1、。、。3、所满足的微分方程所满足的微分方程设设为保守的状态可列的马氏过程为保守的状态可列的马氏过程令令则则满足下列微分方程满足下列微分方程 5.6 柯氏前进方程和后退方程柯氏前进方程和后退方程本讲稿第六十一页，共七十二页 证明：设初始分布为证明：设初始分布为即即由于此级数关于由于此级数关于t一致收敛，故有一致收敛，故有 5.6 柯氏前进方程和后退方程柯氏前进方程和后退方程本

35、讲稿第六十二页，共七十二页又由前进方程又由前进方程上式两端同乘以上式两端同乘以并对所有的并对所有的求和求和即即 令令则上述结论的矩阵形式为则上述结论的矩阵形式为 初始条件为初始条件为 5.6 柯氏前进方程和后退方程柯氏前进方程和后退方程本讲稿第六十三页，共七十二页 5.7 状态分类与平稳分布状态分类与平稳分布1、离散骨架、离散骨架过程，转移概率矩阵为过程，转移概率矩阵为设设是状态离散参数连续的齐次马氏是状态离散参数连续的齐次马氏为一常数，为一常数，则称则称为为的步长为的步长为的离散骨架。的离散骨架。由定义可知由定义可知:(1)为一齐次马氏链为一齐次马氏链;(2)具有相同的分布具有相同的分布;(

36、3)本讲稿第六十四页，共七十二页表示在时刻表示在时刻系统的状态系统的状态,由由齐次性齐次性 2、离散骨架的性质、离散骨架的性质 设所讨论的随机过程为状态可列、参数连续齐次的马设所讨论的随机过程为状态可列、参数连续齐次的马氏过程，假定所有状态互通，即氏过程，假定所有状态互通，即(1)是不可约、非周期的马氏链。是不可约、非周期的马氏链。证明：证明：5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第六十五页，共七十二页由于由于因而因而 是非周期的，又所有状态互通，故链是非周期的。是非周期的，又所有状态互通，故链是非周期的。下面证不可约，即对下面证不可约，即对由假设，对任意由假设，对任意先取足够大的

37、先取足够大的由于由于 5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第六十六页，共七十二页推论：对一切推论：对一切下列极限存在且与下列极限存在且与无关无关(2)若有若有证明：证明：于是连续参数的马氏过程的所有状态互通的充要条件是它的任意于是连续参数的马氏过程的所有状态互通的充要条件是它的任意步长的离散骨架的所有状态是互通的。步长的离散骨架的所有状态是互通的。上述讨论表明，若马氏链的所有状态互通，则它的任意离上述讨论表明，若马氏链的所有状态互通，则它的任意离散骨架散骨架的所有状态是的所有状态是互通的。互通的。5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第六十七页，共七十二页 从而可把马

38、氏链的状态分类法应用到连续参数的马氏过从而可把马氏链的状态分类法应用到连续参数的马氏过程上来。程上来。(3)对一切对一切对对1)2)3)对对 5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第六十八页，共七十二页 3、平稳分布、平稳分布设设则称则称 为状态离散参数连续的马氏过程的平稳分为状态离散参数连续的马氏过程的平稳分布，并称此过程为平稳的马氏过程。布，并称此过程为平稳的马氏过程。为平稳分布的必要条件是满足下为平稳分布的必要条件是满足下 列方程组：列方程组：初始分布初始分布 5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第六十九页，共七十二页 证明：证明：由于由于是平稳分布，是平稳分布，即即 5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第七十页，共七十二页令令 4、极限分布、极限分布若在互通的马氏链中有一个若在互通的马氏链中有一个 则对一切则对一切即即 5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第七十一页，共七十二页作业作业:P204 习题五习题五 1、3、6、7、14、15、17、19、21、24、27。5.7 状态分类与平稳分布状态分类与平稳分布本讲稿第七十二页，共七十二页