泊松过程、马尔科夫链.ppt

《泊松过程、马尔科夫链.ppt》由会员分享，可在线阅读，更多相关《泊松过程、马尔科夫链.ppt（30页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第七章第七章 泊松过程、马尔科夫链泊松过程、马尔科夫链按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。7.1 7.1 独立增量过程与泊松过程独立增量过程与泊松过程一、独立增量过程一、独立增量过程1.独立增量过程独立增量过程随机变量随机变量则称则称 X(t),t0 是独立增量过程，又称可加过程是独立增量过程，又称可加过程.是相互独立的，是相互独立的，设设X(t),t0是随机过程，如果对于任意的正整数是随机过程，如果对于任意的正整数n和和平稳独立增量过程2.2.平稳独立增量过程平稳独立增

2、量过程(齐次增量过程齐次增量过程)设设X(t),t0是独立增量过程，若对任意是独立增量过程，若对任意0st,随机变量随机变量X(t)-X(s)的分布仅依赖于的分布仅依赖于t-s,而与起点而与起点s和终点和终点t本身无关，则本身无关，则称称X(t),t0,+)是平稳是平稳(也称齐次也称齐次)独立增量过程独立增量过程.二、泊松过程二、泊松过程1.计数过程计数过程 若若N(t)表示到时刻表示到时刻t为止已发生的为止已发生的“事件事件A”的总数，且的总数，且N(t)满足以下条件：满足以下条件：则随机过程则随机过程N(t),t0为计数过程。为计数过程。泊松过程2.2.泊松过程泊松过程 (1)(1)泊松过

3、程的定义泊松过程的定义 设随机过程设随机过程X(t),t0的状态空间为的状态空间为X=0,1,2,且满足下列三个条件：且满足下列三个条件：则称则称X(t),t0为强度是为强度是的泊松过程。的泊松过程。复习：泊松分布泊松量过程的数字特征(2)(2)泊松过程的数字特征泊松过程的数字特征设设t,s0,+),且且st，(3)泊松过程的一个实例泊松过程的一个实例设设N(t)表示某电话交换台在时间表示某电话交换台在时间0,t)内接到的呼唤次数。内接到的呼唤次数。可以证明，对固定的可以证明，对固定的t，呼唤次数，呼唤次数N(t)是服从某参数是服从某参数的泊松分的泊松分布的随机变量。证明从略。布的随机变量。证

4、明从略。(4)时间间隔与等待时间的分布时间间隔与等待时间的分布X(t),t0是泊松过程X(t)表示t时刻事件A发生(如:顾客出现)的次数，Wn,n=1,2,为泊松过程的等待时间序列为泊松过程的等待时间序列Tn,n=1,2,为泊松过程的等待为泊松过程的等待(或到达或到达)时间序列间隔序时间序列间隔序列。列。泊松量过程的实例 时间间隔的分布：定理时间间隔的分布：定理7.1.27.1.2设设X(t),t0是具有参数是具有参数的泊松过程，的泊松过程，Tn,n1是对应的是对应的时间间隔序列，则随机变量时间间隔序列，则随机变量Tn(n=1,2,)独立同服从均值为独立同服从均值为1/的指数分布的指数分布,其

5、分布函数为其分布函数为证明(p233)等待时间的分布：定理等待时间的分布：定理7.1.37.1.3设设Wn,n=1,2,是与泊松过程是与泊松过程X(t),t0对应的一个等待对应的一个等待时间序列，则时间序列，则Wn服从参数为服从参数为n和和的的分布，其概率为分布，其概率为 证明(p234)到达时刻的条件分布 到达时刻的条件分布到达时刻的条件分布 设设X(t),t0是具有参数是具有参数的泊松过程。在的泊松过程。在0,t内事件内事件A已已经发生经发生n次，则第次，则第k(kn)次事件次事件A发生的时刻发生的时刻Wk的条件概率密的条件概率密度函数为度函数为证明(p235)正态过程与维纳过程(略)7.

6、2 7.2 正态过程与维纳过程正态过程与维纳过程(自习内容自习内容)一、二阶矩过程一、二阶矩过程若随机过程X(t),tT的二阶矩存在(有限),则称之为二阶矩过二阶矩过程程。二、正态过程二、正态过程设设X(t),tT是随机过程，若对任意正整数是随机过程，若对任意正整数n和和则称则称X(t),tT是正态过程或高斯过程。是正态过程或高斯过程。从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不涉及它的有限维分布，这种理论称为随机过程的相关理论相关理论。1.定义定义 正态过程的一种特殊情形：维纳过程三、维纳过程三、维纳过程定义：设定义：设W(t),t0为随机过程，如果满足：为随机过程，如果满

7、足：则称则称W(t),t0为维纳过程。为维纳过程。2.2.正态过程的一个重要性质正态过程的一个重要性质随机过程为正态过程的充分必要条件是其任意有限个状态随机过程为正态过程的充分必要条件是其任意有限个状态的线性组合为一维正态随机变量。的线性组合为一维正态随机变量。7.3 7.3 马尔科夫链马尔科夫链 一、马尔科夫过程一、马尔科夫过程 马尔科夫过程是具有这样特性的过程：当已知随机过程现在时刻处于某状态时，此过程“将来”的情况便与“过去”的情况无关。这种特性通常称为无后效性。设设X(t),tT为随机过程，若对任意正整数为随机过程，若对任意正整数n及及且其条件分布且其条件分布则称则称X(t),tT为马

8、尔科夫过程为马尔科夫过程.例：直线上的随机游动例：直线上的随机游动 马尔科夫链 二、马尔科夫链二、马尔科夫链 ,有有 设设Xn,n0为随机变量序列，其状态空间为为随机变量序列，其状态空间为如果对任意的正整数如果对任意的正整数n及任意及任意n+1个状态个状态则称此随机过程序列为马尔科夫链。则称此随机过程序列为马尔科夫链。1.1.马尔科夫链的定义马尔科夫链的定义 例：在玻尔氢原子模型中，电子可在允许的轨道上运动，假设以例：在玻尔氢原子模型中，电子可在允许的轨道上运动，假设以Xn-1=ai表示电子在第表示电子在第i条轨道上运动，并且电子轨道的跃迁只在条轨道上运动，并且电子轨道的跃迁只在t1,t2,t

9、3,发生，发生，显然，在时刻显然，在时刻tn由第由第i轨道变到第轨道变到第j轨道的概率只与轨道的概率只与i,j有关，而与电子过去有关，而与电子过去在什么轨道上无关在什么轨道上无关,这个过程这个过程Xn,n0是个马尔科夫过程。是个马尔科夫过程。一步转移概率 2.2.转移概率转移概率(一步转移概率一步转移概率)设设Xn,n0为马尔科夫链，其状态空间为为马尔科夫链，其状态空间为 则称条件概率则称条件概率 为马尔科夫链为马尔科夫链Xn,n0在时刻在时刻n的的一步转移概率，简称为转一步转移概率，简称为转移概率移概率，记作，记作 .一般地，转移概率不仅与状态有关，还与时刻有关。当转移一般地，转移概率不仅与

10、状态有关，还与时刻有关。当转移概率与时刻无关时，表示马尔科夫链具有平稳转移概率，称概率与时刻无关时，表示马尔科夫链具有平稳转移概率，称这样的马尔科夫链是齐这样的马尔科夫链是齐次的或时齐的次的或时齐的，并记，并记 pij(n)为为pijP244例例6(简讲简讲)一步转移概率的性质 转移概率的性质：转移概率的性质：转移概率可写成矩阵形式：转移概率可写成矩阵形式：有有限限状状态态空空无无限限状状态态空空间间 或或 例7(p246)多步转移概率 三、多步转移概率三、多步转移概率 2.2.性质性质 1.1.定义定义 设设Xn,n0为马尔科夫链，为马尔科夫链，则称条件概率，则称条件概率 为马尔科夫链在为马

11、尔科夫链在m时刻从状态时刻从状态ai 经经n步转到步转到m+n时刻时刻的状态的状态aj的的n步转移概率步转移概率,记作记作 .其状态空间为其状态空间为 多步转移概率的计算 3.3.n 步转移概率的计算步转移概率的计算上式称切普曼上式称切普曼-柯尔莫哥洛夫方程，又称柯尔莫哥洛夫方程，又称C-K方程。方程。定理：设定理：设Xn,n0为马尔科夫过程，则对任意非负为马尔科夫过程，则对任意非负整数整数mm+r0 服从泊松分布的随机变量，其数期望和方差为服从泊松分布的随机变量，其数期望和方差为 求等待时间间隔求等待时间间隔Tn的分布函数：的分布函数：求等待时间求等待时间W Wn的分布函数及概率密度：的分布

12、函数及概率密度：事件关系：第事件关系：第n个事件在时刻个事件在时刻t或之前发生或之前发生,当且当且仅当时间仅当时间t已发生的事件数目已发生的事件数目X(t)至少为至少为n，即，即于是于是 上式对上式对t t求导，得求导，得证明：到达时刻的条件分布证明：到达时刻的条件分布 (p234)(p234)在在0,t内已发生内已发生n次条件上次条件上,第第k次事件发生时刻次事件发生时刻Wk的概率密度为的概率密度为 例例7(p246):直线上带完全反射壁的随机游戏的一步转移概率。直线上带完全反射壁的随机游戏的一步转移概率。解：游走的状态空间为解：游走的状态空间为X=-2s,-s,0,s,2s,对应对应X=a

13、1,a2,a3,a4,a5由给出的游走规则，可知由给出的游走规则，可知 得一步转移概率为得一步转移概率为例例10(p250):直线上带完全反射壁的随机游戏的二步转移概率。直线上带完全反射壁的随机游戏的二步转移概率。解：解：例例14(p252):在在“直线上带完全反射壁的随机游戏直线上带完全反射壁的随机游戏”中设随机质点中设随机质点开始处于线段的中点开始处于线段的中点x=0处，求随机质点经两步到达反射壁的概率。处，求随机质点经两步到达反射壁的概率。分析：给定初始状态，也就是给出了初始的概率分布。分析：给定初始状态，也就是给出了初始的概率分布。依据马尔科夫链一维分布的计算公式依据马尔科夫链一维分布的计算公式经两步到达反射壁的概率为：经两步到达反射壁的概率为：已知：已知：根据：根据：例例15(p254):齐次马尔科夫链齐次马尔科夫链Xn,n=0,1,2,的状态空间为的状态空间为X=0,1,2,初始分布初始分布为为 其一步转移概率矩阵为其一步转移概率矩阵为解解:(1)可由乘法公式结合马氏性求，可由乘法公式结合马氏性求，马氏性马氏性也可直接由也可直接由n维分布概率公式求维分布概率公式求:001(2)直接由直接由n维分布概率公式求维分布概率公式求(3)注意，所求的是条件概率，是两步转移概率。注意，所求的是条件概率，是两步转移概率。