随机过程及其应用全套完整教学课件.pptx

《随机过程及其应用全套完整教学课件.pptx》由会员分享，可在线阅读，更多相关《随机过程及其应用全套完整教学课件.pptx（492页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、,#,随机过程及其应用,第,1,章,概率论基础,.pptx,第,2,章,随机过程基础,.pptx,第,3,章,泊松过程及其推广,.pptx,第,4,章,马尔可夫过程,.pptx,第,5,章,2,阶矩过程及其均方分析,.pptx,第,6,章,平稳过程,.pptx,全套,PPT,课件,第一章,概率论基础,第一章,概率论基础,1.1,概率空间,1，,概念与术语,：,1.1,概率空间,123,概率公,理,1.1,概率空间,123,1.1,概率空间,例,1.2：,分析掷均匀骰子问题,。,解：,123,：,1.1,概率空间,例,1.3：,分析,01（,伏特）上的随机电压值，假定其取,值,是等可能的,。,解

2、,所有的子集,？,123,概念的提升,：,事件,域,1.1,概率空间,123,概念的提升,：,概率,+,事件,1.1,概率空间,123,概念的提升,：最小,域,1.1,概率空间,123,例,1.3：,分析,01（,伏特）上的随机电压值，假定其取,值,是等可能的,。,解,：,1.1,概率空间,123,2，,基本公,式,1.1,概率空间,123,3，,连续,性,1.1,概率空间,123,4，,条件与独,立,1.1,概率空间,123,5，,其他公,式,1.1,概率空间,123,5，,其他公,式,1.1,概率空间,123,第一章,概率论基础,1.2,随机变量,1，,定义,1.2,随机变量,123,1，

3、,定义,1.2,随机变量,123,1，,定义,1.2,随机变量,123,2，,分布函数与密度函,数,1.2,随机变量,123,阶跃与冲激的使用（,示性函数扩展,）,例：,均匀骰子实,验,1.2,随机变量,123,3，,分类,1.2,随机变量,123,4，,典型分,布,1.2,随机变量,123,4，,典型分,布,指数分布,：常用于描述一些,具有随机性的等待时间,。比如，在公交车站等车的时间；排队等候服务的时间；电话交换机或服务器等待呼叫的时间；设备工作到出现故障的时间等等。,无记忆性,：,1.2,随机变量,123,4，,典型分,布,1.2,随机变量,123,4，,多维随机变,量,1.2,随机变量

4、,计算概,率,123,4，,多维随机变,量,1.2,随机变量,边缘概,率,123,4，,多维随机变,量,例,1.13,1.2,随机变量,123,4，,多维随机变,量,例,1.13,1.2,随机变量,N,123,5，,条件随机变,量,1.2,随机变量,勘误：第一版教材,p10,底部,B,不应该用花体,！,123,6，,独立,性,1.2,随机变量,123,重要公,式,1.2,随机变量,123,条件随机变量的“变化,”,1.2,随机变量,123,Bayesian,应用,例,1.16,1.2,随机变量,综合的,初始的,测量的,123,第一章,概率论基础,1.3,随机变量的函数,1，,概念,1.3,随机

5、变量的函数,随机变量,123,2，,一元函,数,1.3,随机变量的函数,123,2，,一元函,数,1.3,随机变量的函数,例,1.17,绝,对值,函数,123,2，,一元函,数,例,1.18,1.3,随机变量的函数,绝对值,函数,123,3，,多元函,数,1.3,随机变量的函数,123,3，,多元函,数,例,1.20,瑞利,与莱斯分,布,1.3,随机变量的函数,123,3，,多元函,数,例,1.20,瑞利,与莱斯分,布,1.3,随机变量的函数,123,1.3,随机变量的函数,3，,多元函,数,例,1.20,瑞利,与莱斯分,布,123,1.3,随机变量的函数,3，,多元函,数,例,1.20,瑞利

6、,与莱斯分,布,123,3，,多元函,数,例,1.20,瑞利,与,莱斯,分布,1.3,随机变量的函数,123,3，,多元函,数,应用：窄带过,程,1.3,随机变量的函数,123,3，,多元函,数,应用：窄带过,程,1.3,随机变量的函数,123,第一章,概率论基础,1.4,数字特征,1,Riemann,Stieljes,1.4,数字特征,123,1,Riemann,Stieljes,1.4,数字特征,123,2,数,学期,望,1.4,数字特征,123,3,矩,1.4,数字特征,123,4,线,性无关、正交与独,立,1.4,数字特征,123,4,切,比雪夫不等式、柯西,-,许瓦兹不等,式,1.4

7、,数字特征,123,第一章,概率论基础,1.5,条件数学期望,1.概念,：,1.5,条件数学期望,123,1.概念,：,1.5,条件数学期望,123,1.5,条件数学期望,例,1.22,123,例,1.22,1.5,条件数学期望,123,1.5,条件数学期望,例,1.22,123,例,1.22,1.5,条件数学期望,123,例,1.22,1.5,条件数学期望,123,勘误：第一版教材,p20,表,1.5.1,上面文字,“注意到,(1),=,(2)=8/14”,！,2,.数学解释,1.5,条件数学期望,123,3,.多元情形,1.5,条件数学期望,123,4,.性质：,1.5,条件数学期望,12

8、3,例,1.23:,1.5,条件数学期望,123,例,1.5,条件数学期望,123,例,1.5,条件数学期望,123,例,1.5,条件数学期望,123,例,1.5,条件数学期望,123,例,1.25,1.5,条件数学期望,Bernoulli,序列,：000,1-,0110-0010-,010,1-,11,0,（取,1,的概率,=p）,1）首个,1的位置（平均），例如,，4,2）,首个”,k,个连,1,”的位置，例如,（k=3,为例,），16+2,123,1.5,条件数学期望,Bernoulli,序列,：000,1-,0,11,0-0010-,010,1-,1,1,0,（取,1,的概率,=p）,

9、1）,首,个,1,的位置（平均），例如,，4,2）首个”k个连1”的位置，例如（,k=3,为例,），16+2,123,1.5,条件数学期望,无后效性从任何时刻,m,向后，变化规律与原来是完全一样的，只是初值不,同,而已，只对多久结束有所影,响,123,1.5,条件数学期望,123,第一章,概率论基础,1.6,特征函数、矩母函数,1,.概念：,1.6,特征函数、矩母函数,123,1,.概念：,特征函数是一种重要的,变换分析方法,：,1.6,特征函数、矩母函数,123,2,.例：,1.6,特征函数、矩母函数,123,3,.性质：,1.6,特征函数、矩母函数,123,3,.性质：,1.6,特征函数、

10、矩母函数,多,元,123,3,.性质：,1.6,特征函数、矩母函数,多,元,勘误：第一版教材,p25,eq(1.6.10),有错,123,3,.性质：,1.6,特征函数、矩母函数,123,4.,1.6,特征函数、矩母函数,123,4.,1.6,特征函数、矩母函数,1,123,二元,二项式,泊松,1.6,特征函数、矩母函数,123,5.Laplace,变换,1.6,特征函数、矩母函数,123,6,.其他特征函数,1.6,特征函数、矩母函数,123,第一章,概率论基础,1.7,随机收敛与极限定理,1,.概念：,1.7,随机收敛与极限定理,123,2,.收敛性：,1.7,随机收敛与极限定理,123,

11、3,.大数定理：,判断大数量的随机现象的,平均结果是否趋向常数,的,定律,1.7,随机收敛与极限定理,123,1.7,随机收敛与极限定理,123,4,.中心极限定理：,研究随机序列的,部分和是否趋近于正态分布,的一类定,理,1.7,随机收敛与极限定理,123,谢 谢,随机过程及其应用,第二章,随机过程基础,第二章,随机过程基础,2.1,定义与基本概念,2.1,定义与基本概念,123,2.1,定义与基本概念,类型,：随,机,序列,或,离散,随机过,程,多参量,随机过,程，或,随机,场,多维（向量）,随机过,程,123,2.1,定义与基本概念,1.,概率特性的描述,：,123,2.1,定义与基本概

12、念,1.,概率特性的描述,：,123,2,.数字特征,2.1,定义与基本概念,123,2,.数字特征,2.1,定义与基本概念,123,联合特性（,多个随机过程,）,概率分布函数（密度函数与特征函数,）,数字特征,2.1,定义与基本概念,123,复过程（,对比,多维,）,定义,：,分布函数,2.1,定义与基本概念,123,数字特征,：,2.1,定义与基本概念,123,举例,：,2.1,定义与基本概念,123,2.1,定义与基本概念,举例：,(,利用条件期望,),123,2.1,定义与基本概念,举例：,123,2.1,定义与基本概念,举例：,123,2.1,定义与基本概念,举例：,123,2.1,

13、定义与基本概念,举例：,123,2.1,定义与基本概念,举例：,123,第二章,随机过程基础,2.2,平稳性与平稳过程,1,.定义,2.2,平稳性与平稳过程,123,1,.定义,2.2,平稳性与平稳过程,123,2.2,平稳性与平稳过程,1,.定义,123,第二章,随机过程基础,2.3,独立过程与白噪声过程,2.3,独立过程与白噪声,独立过程,与,白噪声,是简单与理想的过程,。,123,2.3,独立过程与白噪声,123,第二章,随机过程基础,2.4,高斯过程,高斯过程定义,2.4,高斯过程,123,1.高斯分布定义（,密度函数,）,2.4,高斯过程,123,2.4,高斯过程,1.高斯分布定义（

14、,特征函数,）,123,2.4,高斯过程,1.高斯分布定义（,向量形式,）,123,2.4,高斯过程,123,一般线性变换的一、二阶矩：,2.4,高斯过程,123,一般线性变换的一、二阶矩：,2.4,高斯过程,123,一般线性变换的一、二阶矩：,2.4,高斯过程,123,2.高斯分布性质,2.4,高斯过程,123,3.高斯分布定理,2.4,高斯过程,勘：第一版教材,p46,证,明中有错,！,1,1,1,123,3.高斯分布定理,2.4,高斯过程,V,V,V,1,1,V,1,123,3.高斯分布定理,2.4,高斯过程,123,4,.高斯过程定义,2.4,高斯过程,123,4,.高斯过程概率特性,

15、：,2.4,高斯过程,123,2.4,高斯过程,123,4,.高斯过程性质,：,2.4,高斯过程,123,2.4,高斯过程,123,2.4,高斯过程,123,2.4,高斯过程,123,2.4,高斯过程,123,第二章,随机过程基础,2.5,独立增量过程,1,.概念：,2.5,独立增量过程,123,2,.性质：,2.5,独立增量过程,123,2,.性质：,2.5,独立增量过程,123,3,.平稳增量,：平稳独立增量过程,2.5,独立增量过程,123,3,.平稳增量,：平稳独立增量过程,2.5,独立增量过程,123,性质,2.5,独立增量过程,123,2.5,独立增量过程,123,第二章,随机过程

16、基础,2.6,布朗运动,1,.背景,2.6,布朗运动,分析,：均值、方差、特征函,数,利用,连续,性,深入,特征函,数,123,1,.背景,2.6,布朗运动,分析,：均值、方差、特征函,数,利用,连续,性,深入,特征函,数,123,1,.背景,2.6,布朗运动,123,2.6,布朗运动,123,2.6,布朗运动,123,2.6,布朗运动,2,.基本性质,123,2.6,布朗运动,123,2.6,布朗运动,转移特性,123,2.6,布朗运动,轨道特性,123,2.6,布朗运动,123,2.6,布朗运动,123,2.6,布朗运动,123,谢 谢,随机过程及其应用,第三章,泊松过程及其推广,第三章,

17、泊松过程及其推广,3.1,定义与背景,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,反复出现事件计数,N,(,t,),生活中,顾客服务,、,电信中的,电话转接,、,网络服务的,数据包,、,微观中的,粒子,产生、,交通中的,车辆,通过,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,3.1,定义与背景,123,第三章,泊松过程及其推广,3.2,泊松事件到达时

18、间与时间间隔,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到达时间与时间间隔,123,3.2,到

19、达时间与时间间隔,123,第三章,泊松过程及其推广,3.3,到达时间的条件分布,3.3,到达时间的条件分布,123,3.3,到达时间的条件分布,?,123,3.3,到达时间的条件分布,123,3.3,到达时间的条件分布,123,3.3,到达时间的条件分布,123,3.3,到达时间的条件分布,123,3.3,到达时间的条件分布,123,3.3,到达时间的条件分布,123,第三章,泊松过程及其推广,3.4,过滤泊松过程,3.4,过滤泊松过程,123,3.4,过滤泊松过程,123,3.4,过滤泊松过程,123,3.4,过滤泊松过程,123,3.4,过滤泊松过程,123,3.4,过滤泊松过程,123,

20、3.4,过滤泊松过程,123,3.4,过滤泊松过程,N(t),再求,E,()=,123,第三章,泊松过程及其推广,3.5,复合泊松过程,3.5,复合,泊松过程,标准叠加过,程,123,3.5,复合,泊松过程,123,第三章,泊松过程及其推广,3.6,非齐次泊松过程,3.6,非齐次泊松过程,123,3.6,非齐次泊松过程,123,3.6,非齐次泊松过程,123,3.6,非齐次泊松过程,123,3.6,非齐次泊松过程,123,3.6,非齐次泊松过程,123,第三章,泊松过程及其推广,3.7,更新过程,3.7,更新过程,平稳独立增量,，但,不,一定是,指数分,布,基本关系,：,123,3.7,更新过

21、程,平稳独立增量,，但,不,一定是,指数分,布,123,3.7,更新过程,123,3.7,更新过程,123,3.7,更新过程,123,3.7,更新过程,123,3.7,更新过程,例题：,假定更新过程的,平均更新次数,随时间,线性增,长,它为,参数为,a,的指数分布,，即，,泊松过程,。,123,谢 谢,随机过程及其应用,第四章,马尔可夫过程,第四章,马尔可夫过程,4.1,马尔可夫链与举例,4.1,马尔可夫链与举例,过去,与将来,独立，过去对于将来无直接影响，称为,“,无后效,性”。,4.1.1,一般马尔可夫过程,4.1.1,一般马尔可夫过程,按照参数集T,与,状态空间E,的,不同，马尔可夫过程

22、可分为,：,4.1,马尔可夫链与举例,上式表明：“将来完全,由,现在,决,定,，与过去,无关”。,4.1.2,马尔可夫链,考虑离散参数集为非负整数，记,为,取值状态空间为有限或无限可数集，记,为,4.1,马尔可夫链与举例,4.1,马尔可夫链与举例,4.1,马尔可夫链与举例,4.1,马尔可夫链与举例,4.1.3,转移概率、,C-K方程与概率分布,定义,4.3,转移概率,：,转移概率矩阵,：,4.1,马尔可夫链与举例,4.1.3,转移概率、,C-K方程与概率分布,-,随机矩阵,。,4.1,马尔可夫链与举例,4.1.3,转移概率、,C-K方程与概率分布,4.1.3,转移概率、,C-K方程与概率分布,

23、证明,：,4.1,马尔可夫链与举例,概率分布向量,：,4.1,马尔可夫链与举例,4.1.3,转移概率、,C-K方程与概率分布,定义,4.5,绝对概率,：,初始分布,：,向量形式,：,4.1,马尔可夫链与举例,4.1.3,转移概率、,C-K方程与概率分布,4.1.4,其次马尔可夫链,此时,，,4.1,马尔可夫链与举例,4.1,马尔可夫链与举例,4.1.4,其次马尔可夫链,证明,：,4.1,马尔可夫链与举例,4.1.4,其次马尔可夫链,4.1,基本概念与举例,4.1.4,其次马尔可夫链,(2),4.1,马尔可夫链与举例,4.1.4,其次马尔可夫链,4.1,马尔可夫链与举例,4.1.5,举例,讨论,

24、Xn,的马尔可夫性,。,例,4.5,随机游走是一种简单而用,途,广泛的数学模型。当,Zn,只取,+1,-,1,时,，称,Xn,为简单随,机,游动。这时,，,r,=,P,Zn,=,0=0,。,进而,，当,p,=,q,=1/2,时，称,Xn,为,对称,的随机游,动,。,4.1,马尔可夫链与举例,4.1.5,举例,状态转移图（以,5,个状态为例,）,4.1,马尔可夫链与举例,4.1.5,举例,随机游走几种常见形式,：,状态转移图（以,5,个状态为例,）,4.1,马尔可夫链与举例,4.1.5,举例,随机游走几种常见形式,：,状态转移图（以,5,个状态为例,）,4.1,马尔可夫链与举例,4.1.5,举例

25、,随机游走几种常见形式,：,4.1,马尔可夫链与举例,4.1.5,举例,随机游走几种常见形式,：,质点在环线上前后运动,。,状态转移图（以,6,个状态为例,）,4.1,马尔可夫链与举例,4.1.5,举例,例,4.6,讨论该过程的马尔可夫性,。,解：,4.1,马尔可夫链与举例,4.1.5,举例,更一般的情况，每个位置上的“逃离”与“捕回”概率不同,，则,4.1,马尔可夫链与举例,4.1.5,举例,例,4.7,一般而言,，,，这时，它可被看作只有两个弹性壁的随机游走,。,4.1,马尔可夫链与举例,4.1.5,举例,4.1,马尔可夫链与举例,4.1.5,举例,例,4.8,两端为反射壁的非均匀随机游动

26、，其概率配置关于中心左右对称，并构成一,种,向中心游动的趋势，向中心游走的概率大于远离中心的概率，且大的程度与,离,中心的距离成正比,。,4.1,马尔可夫链与举例,4.1.5,举例,4.1,马尔可夫链与举例,4.1.5,举例,例,4.9,4.1,马尔可夫链与举例,4.1.5,举例,易见,：,4.1,马尔可夫链与举例,4.1.5,举例,例,4.10,4.1,马尔可夫链与举例,4.1.5,举例,第四章,马尔可夫过程,4.2,状态特性与分类,4.2,状态特性与分类,考察,例,4.5,中,两端具有吸收壁的随机游走,：,4.2,状态特性与分类,篱笆图与过程演进路,线,，,表示,：,。,4.2,状态特性与

27、分类,显然,，,。,从 出,发永远不能到,达 的,概率,。,4.2,状态特性与分类,4.2,状态特性与分类,例,4.11,例题,4.5,4.2,状态特性与分类,4.2,状态特性与分类,4.2,状态特性与分类,从,X,0,=,i,出发经过长期演进经过状,态,j,的次数记为,：,4.2,状态特性与分类,于是，总次数的均值为,：,4.2,状态特性与分类,证明,：,4.2,状态特性与分类,定理,4.6,若,或同为零态,。,则它们同为非常返态，或同为正常返态,，,4.2,状态特性与分类,定理,4.7,有限状态的马尔可夫链必有正常返态，可能有暂态,，,但没有零常返态,。,4.2,状态特性与分类,4.2,状

28、态特性与分类,马尔可夫链的状态可划分为几种重要类别,：,4.2,状态特性与分类,，,例,4.12,4.2,状态特性与分类,例,4.13,第四章,马尔可夫过程,4.3,状态空间分解,4.3,状态空间分解,4.3.1,等价类:,状态,互通,关系是一种,等价,关系，它满足,：,（1）,自反性：,因为规定,，,对称性：若,传递性：若,，则,，,；,则,4.3,状态空间分解,4.3.1,等价类:,证明,（3）,传递性,：,4.3,状态空间分解,4.3.1,等价类:,同类：两个互通的状态,。,等价类：彼此互通的所有状态构成,的集合,。同一个等价,类,中的所有状态都具有完全相同的特性,。,定理,4.8,若,

29、则,（1）,i,与,j,或同为非常返态，或同为常返态,；,若同为常返态，则,i,与,j,或同为正常返态，或同为零态,；,（2）,i,与,j,或有相同的周期，或同为非周期的,。,4.3,状态空间分解,，,都,有,则称,C,为闭集,。若,C,的任何真子集都不是闭集，则称,C,是不可约的,（Irreducible）,。,直观地讲，从闭集内部不能到达其外部，这意味着马尔可夫,链,一旦进入某个闭集，就将永远滞留在其中。显然，吸收态可以构,成,一个单点的闭集；而整个状态空间,E,是最大的闭集,。,定义,4.15,如果马尔可夫链的整个状态空间,E,是不可约的，则,称,它为不可约链,。,4.3.2,状态闭集与

30、空间分解:,定义,4.14,设状态子,集,若,4.3,状态空间分解,定理,4.10,（状态分解定理）状态空,间,E,可唯一地分解,为,其中,，,为基,本常返闭集,，,T,为所有非常返态的集合,。,4.3.2,状态闭集与空间分解:,定理4.9,:若常返状态存在，则它们全体构成的集合是闭集,。,4.3,状态空间分解,例,4.14,设马尔可夫链有五个状,态,E,=,1,2,3,4,5,，,其,状态转移矩阵,为,试找出等价类，判断各状态类别，并进行状态分解。,解：该,马尔可夫链状态有限，其状态转移图如下,图。,4.3,状态空间分解,根据状态的互通可得三个等价类,1,2，3,与,4,5,。,其状态空间可

31、以分解为,，,E,=,1,2,U,3,U,4,5,=TU,C,。,第四章,马尔可夫过程,4.4,遍历性、极限分布与平稳分布,4.4,遍历性、极限分布与平稳分布,4.4.1,遍历性的基本概念,例4.15,（先分析两状态马尔可夫链的极限情况,）,假定状态,为,0,与,1,的齐次马尔可夫链的转移矩阵为,：,其中,，,相应的状态转移图为,：,4.4,遍历性、极限分布与平稳分布,可求得特征值为,：,特征列向量分别为,：,，再,求,解：对矩,阵,进行特征分解。设矩,阵,的两个特征值分别,为,出对应,于,的特征向量，从而构造特征向量矩,阵,，则有,：,构成的特征向量矩阵为,：,及逆矩阵为,：,故有,4.4,

32、遍历性、极限分布与平稳分布,4.4,遍历性、极限分布与平稳分布,可见：一个状态的极限概率分布值，正是系统经历长时间后进,入,该状态的转移概率值，又恰好是该状态平均回返时间的倒数值,。,对任意初始分布,(0),=,(p,1-,p),0,p,1,4.4,遍历性、极限分布与平稳分布,定义,4.16,称马尔可夫链具有遍历,性,，,若,存在不依赖,于,的常,数,使,得,4.4.1,遍历性的基本概念,时收敛,于,定义4.17,若,马尔可夫链的概率分布,在,，即,或,则,称,为该链的极限分布或最终分,布,。,4.4,遍历性、极限分布与平稳分布,定义,4.18,个概率分,布,设马尔可夫链的转移矩阵,为,P,，

33、,若存在,一,，使,得,4.4.1,遍历性的基本概念,则,称,为该链的平稳分布或不变分布,。,显然，一旦马尔可夫链进入某个平稳分布，它,将,一直处于此分布上，不再改变,。,若初始分,布,是平稳分布，则该链为严格平,稳,过程,。,4.4,遍历性、极限分布与平稳分布,4.4.1,遍历性的基本概念,4.4,遍历性、极限分布与平稳分布,;,定理4.11,：若,有限状态马尔可夫链具有遍历性，,则,存在极限分,布,，并,且,极限分布是平稳分布,。,证明:（1）,记,，于,是,4.4.2,有限状态链的遍历性,4.4,遍历性、极限分布与平稳分布,4.4.2,有限状态链的遍历性,证明,:（2,）,由,，,有,即

34、,，所,以,是平稳分布,。,;,定理4.11,：若,有限状态马尔可夫链具有遍历性，,则,存在极限分,布,，并,且,极限分布是平稳分布,。,4.4,遍历性、极限分布与平稳分布,4.4.3,有限状态链的遍历性,定理,4.12,对于有限状态的马尔可夫链，若存在正整,数,，使,时,，,，则该链具有遍历性。且,极,限分,布,为方,程,在满足条,件,与,时的唯一解,。,4.4,遍历性、极限分布与平稳分布,例4.16,（社会阶层变迁模型）社会各阶层可以按某种标准,粗,略地划分为上、中、下三个层次，社会学家发现一个家庭,的,后代所处的阶层与其父辈原来所处的阶层密切相关，有时,可,以简单地假设某种社会中家庭所处

35、阶层及其变迁过程近似,为,三状态齐次马尔可夫链。设转移概率矩阵为,，,求该模型的极限分布,。,因此，长期来看该社会的上、中、下阶层所占比例,分,别是,14.3%，62.5%,与,23.2%,。,解：该模型是有限状态不可约遍历链，于是，它具有,平,稳分布且为极限分布。,得：,4.4,遍历性、极限分布与平稳分布,4.4,遍历性、极限分布与平稳分布,4.4.3,有限状态链的遍历性,定理4.13：全互通的非周期正常返链具有遍历性，,且,定理4.14：全互通的非周期正常返链恒有唯一的平稳,分布,。,定理4.15：非周期不可约链是正常返链的充要条件是,：,存在平稳分布，且该分布就是极限分布,。,有：,第四

36、章,马尔可夫过程,4.6,连续时间马尔可夫链及其基本性质,4.6,连续时间马尔可夫链及其基本性质,4.6.1,.定义,定义,4.19,：,随机过,程,的状态空间,E,为可数集,，若,则称该过程,是,连续参,数,的马尔可夫链,。,转移概率,：,转移概率矩阵,：,4.6,连续时间马尔可夫链及其基本性质,4.6.1,.定义,定义4.20：,如果概率转移矩,阵,与初始时刻,s,无关,，,称该马尔可夫链,是,齐,次,的,或,时,齐,的。分别简记转移概率,与,转移概率矩阵,为,且,规定,（无穷单位阵,），,易知转移矩,阵,满足,：,（1）,是随机矩阵：,有,4.6,连续时间马尔可夫链及其基本性质,4.6.

37、1,.定义,(2,)满足,C-,K（,查普曼-柯尔莫哥洛夫）,方程,即,4.6,连续时间马尔可夫链及其基本性质,即,通常假定连续参数齐次,链,是随机连续的,，,或,即,的每一个元素都在原点处连续，也称满足标准性条件,。,4.6.2,Q,矩阵,其实，标准性条件就,是,在,右连续，其直观意义是：,在,充分小的时段内，过程的状态不会突变。实际情形中，这样的假设,是,合理的,。,4.6连续时间马尔可夫链及其基本性质,4.6.2,Q,矩阵,定义4.21,若,过程是随机连续的,，记,称为转移速率矩阵或密度矩阵，简称,为,Q,矩阵。若对所,有,都,有,则称,Q,为保守的,。,Q矩阵各元,素,的具体计算如下,

38、：,4.6连续时间马尔可夫链及其基本性质,例,4.19,设,是参数,为,的泊松过程，因为它,是,独立增量过程，易见它是连续参数的马尔可夫链，试,求,Q,矩阵,。,解：,4.6连续时间马尔可夫链及其基本性质,例,4.19,设,是参数,为,的泊松过程，因为它,是,独立增量过程，易见它是连续参数的马尔可夫链，试,求,Q,矩阵,。,解：,因此，它是保守的,。,4.6连续时间马尔可夫链及其基本性质,（2）,当状态有限时等号必定成立,。,4.6.2,Q,矩阵,满足下面的两条,：,（1）,可交换次序（比如状态有,限,证明：如,果,时），由于,，,4.6连续时间马尔可夫链及其基本性质,4.6.2,Q,矩阵,在

39、研究连续时间链时不仅关心过程将转移到哪个状态,，转,移机率是多少，还关心它在当前状态上的逗留时间有多长,。,令,它表示首次离开初始状态的时刻（即，初始状态上的逗留,时,间）,。,服从参数,为,可以证明,，,在,状态上的逗留时,间,的指数分布，因此，平均逗留时间为,：,4.6连续时间马尔可夫链及其基本性质,4.6.2,Q,矩阵,4.6,连续时间马尔可夫链及其基本性质,程,4.6.3,向前向后微分方程,定理,4.16,若,过,是随机连续的且状态有限，,则,有,，,向前方程中微分处理在“未来”时段；而向后方程中,微,分处理在“过去”时,段。,4.6.3,向前向后微分方程,两个方程的分量形式为,，,4

40、.6,连续时间马尔可夫链及其基本性质,4.6连续时间马尔可夫链及其基本性质,例4.20,设,某触发器有两个状态,，表,示,t,时,刻该触发器的状态。假定触发器状态翻转具有马尔可夫性,，,且,，,其中,，,为高阶无穷小。试,求,。,解：,易,见,是随机连续的，,且,由向前方程有,，,4.6连续时间马尔可夫链及其基本性质,，,于是,解该常系数微分方程易得,，,其中,同理有,，,并且,4.6,连续时间马尔可夫链及其基本性质,互通是一种等价关系，通过互通可以将状态空间,划,分为若干个等价类，若所有状态彼此互通，整个状态,空,间是一个类，则称该马尔可夫链是不可约的,。,定,义,4.22,若存,在,，使,

41、，则称状,态,可达状,态 ，,记,为,；否则,，若,有,，,则称 不,可,达 ，,记,为,；若,且,，,则,称,与,互通，记,为,。,4.6.4,互通、遍历性与平稳分布,4.6连续时间马尔可夫链及其基本性质,（只与,j,有关）则称该,马,定义,4.23,（1）,尔可夫链是遍历的,。,（2）若,，概率分布满,足,存在，,则,称为极限分布,。,，则,称,为,平,（3）若,稳分布。,4.6.4,互通、遍历性与平稳分布,4.6连续时间马尔可夫链及其基本性质,4.6.4,互通、遍历性与平稳分布,定理4.17,对,于连续参数的有限状态齐次马尔可夫链，若,存,在,，使 时 ，,则该链具有遍历性,。且,是其极

42、限分布，也是其唯一的平稳分布,。,4.6,连续时间马尔可夫链及其基本性质,，对其求导并代入柯尔莫哥洛夫,向,证明：由,于,前方程,，有,若,是平稳分布，,则,。仿上有,，,若,是平稳分布，则它,是,的解,。,4.6.4,互通、遍历性与平稳分布,定理4.18,若,是过程在,t,时刻的概率分布，则当,E,有限,时,有,Fokker-,Planck,方程,，,4.6,连续时间马尔可夫链及其基本性质,例4.21,对上例中两状态触发器的状,态,，假定初始分,布,为,，,，求,t,时刻的分布与极限分布,。,解：,极限分布,为,其实,，,是,有限状,态,的,且,互,通,，它,是,不可约遍历,链,。,因此，,

43、其,平稳分布与极限分布都存在且相,等,。,所以，也,可,通过求平稳分布来求极限分布,。,第四章,马尔可夫过程,4.7,生灭过程,4.7,生灭过程,定义,4.24,状,态空间为非负整数，且转移速率矩阵,为,的连续参数马尔可夫链称为生灭过程，其中,i,为非负整数,，,且有界,。,可见,，Q,矩阵是保守的，其特征是,，当,时，,4.7,生灭过程,其实，生灭过程的等价定义：任取充分小的,h,0，,其中,，,为高阶无穷小。,4.7,生灭过程,4.7,生灭过程,用状态转移速率图来描述生灭过程的状态转移与速率特点,。,4.7,生灭过程,；,例,4.22,泊,松过程是最简单的纯生过,程,例,4.23,线,性纯

44、生过程（Yule,过程,）,考察一种初等生物群体的繁殖过程模型：假定每一个体,繁,的泊松分布,；且,为,t,时,殖后代的过程独立同分布，服从参数,为,繁殖的后代不会死亡，并继续繁殖。,记,刻生物群体的个数，称为,Yule,过,程,。,，,在,上,的转移概率可表达式为,，,4.7,生灭过程,其,Q,矩阵为,：,于是,，,是一个“生长速率”与当时的状态值成正比,的,生灭过程，是泊松过程的一个推广,。,4.7,生灭过程,例,4.24,有,迁入的线性生灭过,程,考察某区域内生物再生与人口增长过程。假定每一个体独,立,地以指数,率,出生，以指数,率,死亡；同时，群体又因外,界,迁入的影响，以指数,率,增

45、长。,t,时刻群体的个数可以描,述,为生灭过,程,，转移速率图如下,：,4.7,生灭过程,生灭过程满足向前与向后方程,：,还,满足,Fokker-,Planck方程：,4.7,生灭过程,生灭过程,的,稳态分,布与,极限分,布,。由方,程,得：,通过递归方法可得,，,4.7,生灭过程,容易发现，如,果,则,进而可解,出,。于是，生灭,过,程有唯一的平稳分布，也等于其极限分布,。,（2）如,时，可解出平,特别是,，（1）,纯生过程没有平稳分,布,果状态数无限，,且,当,稳分布为,，,4.6,连续参数马尔可夫链及其基本性质,例,4.25,两,状态触发器的状态过程如例,4.20,。易知，它是只,有,且

46、,解得,：,直接求解。,即,两个状,态,的生灭过程，求其平稳分布,。,解：,由于状态数限，平稳分布可由方,程,第四章,马尔可夫过程,4.8,排队论及其应用简介,4.8,排队论及其应用简介,4.8.1,排队系统,在系统中，顾客随机到来，形成输入流；服务结束离开的顾客形,成,输出流，服务所用的时间是随机的,。,系统的状态：其内部所包含的顾客数，记,为,。它是动,态,的与随机的，是连续参数,Markov,链，可以用生灭过程进行描述,。,“生”对应于来到的顾客；“灭”对应于服务结束后离开的顾客,。,这类系统称为随机服务系统或排队系统，简称队列,。,4.8,排队论及其应用简介,队列的特性取决于输入流与服

47、务时间的特性,。,输入过程：指输入流的统计特性。输入流可以具有任意分布，,最基本,的,是指数流（即泊松过程,）,。,服务时间：指服务各顾客所用时间的统计特性。它们可以为任意分布，,有时甚至为某确定值。,最基本的是独立同分布的指数序,列,。一般可以认为：,输,入,流与服务时间是彼此独立,的,。,排队规则：指形成队列与等候服务的规则。通常有“,顺序服,务,”，也称,为“,FIFO（,先到先服务,）”，“,随机选择服,务,”，“,优先级服,务,”和“,后到先,服,务,”等其他规则。,系统能力：工作的,服务,台,（或称为通道,）,的数,目,；,等候队列的容,量,，是,无限的还是有限的。,4.8,排队论

48、及其应用简介,坎道尔提出了一种描述队列及其特性的简明方法,：,其基本形式：“输入过程,/,服务时间,/,通道数目,”。,常用的符号有,：1）M,泊松过程（或指数分布,）；2）D,某确定值,；,3）,n,阶爱尔朗分布,；,4）G,某任意分布,。,通道数目用数字直接表示,如,1,2,3,.,。,若有第四部分，表示系统（即等候队列）的容量或特性,。,例,4.26,解,释下列队列的基本特性,：（1）M/M/1;(2,),M/G/n;(3,),M/M/n/m;,(4,),M/M/1/1,。,解：,M/M/1,-输入过程为,泊松过,程,，服务时间为,独立同分布的指数分,布,，,有,1,个服务台，队列长度,

49、无限,制,。,M/G/n,-输入过程为,泊松过,程,，服务时间为某种,特定分,布,（非指数分,布），,有,n,个服务台，队列长,度,无限,制,。,M/M/n/m,-输入过程为,泊松过,程,，服务时间为,独立同分布的指数分,布,，,有,n,个服务台，系统最多可容纳,m,位顾,客,（m=n）,。,M/M/1/1,-输入过程为,泊松过,程,，服务时间为,独立同分布的指数分,布,，,有,1,个服务台,，,系统繁忙时顾客离,开,。,4.8,排队论及其应用简介,4.8.2,马尔可夫队列及其举例,1,.,M/M/1,队列,队列中只有一个服务台，顾客到达流为参,数 的,泊松过程，每个顾客,的,服务时间独立同分

50、布、服从参,数 的,指数分布，并且两者相互独立。,队,列长度无限制,。,在任何一个很短的,h,时段上，本服务系统具有如下特征,：,（1）,新到,1,位顾客的概率为,，即系统人数的“增加率,”为,；,（2）,离开,1,位顾客的概率为,，即系统人数的“减少率,”为,；,（3）,系统内人数变化大于,1,人的概率为,；,（4）,系统内人数保持不变的概率为,。,4.8,排队论及其应用简介,4.8.2,马尔可夫队列及其举例,定义队列,的,业务强,度,为，,当,，有,得平稳分布与极限分布,：,4.8,排队论及其应用简介,4.8.2,马尔可夫队列及其举例,由此，可以获得该队列的基本稳态指标,：,（1）,平均队