应用随机过程PPT课件.ppt

《应用随机过程PPT课件.ppt》由会员分享，可在线阅读，更多相关《应用随机过程PPT课件.ppt（287页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于应用随机过程关于应用随机过程第一张，PPT共二百八十七页，创作于2022年6月前前言言第二张，PPT共二百八十七页，创作于2022年6月第三张，PPT共二百八十七页，创作于2022年6月第第1 1章章 预备知识预备知识1.1概率空间概率空间在自然界和人类的活动中经常遇到各种各样的现象，在自然界和人类的活动中经常遇到各种各样的现象，大体上分为两类：大体上分为两类：必然现象和随机现象必然现象和随机现象。具有随机性的现象具有随机性的现象随机现象随机现象对随机现象的观察或为观察而进行的实验对随机现象的观察或为观察而进行的实验随机试验随机试验随机试验的结果随机试验的结果基本事件或样本点。基本事件或样

2、本点。所有可能的结果称为所有可能的结果称为样本空间样本空间。A称为事件称为事件。（有（有3个特征）个特征）第四张，PPT共二百八十七页，创作于2022年6月事件的性质事件的性质假设假设A,B,C是任意事件，则他们满足：是任意事件，则他们满足：(1)交换律交换律(2)结合律结合律(3)分配律分配律(4)对偶原则对偶原则(DeMorgan律律)第五张，PPT共二百八十七页，创作于2022年6月定义定义1.1第六张，PPT共二百八十七页，创作于2022年6月性质性质假假第七张，PPT共二百八十七页，创作于2022年6月例例1.1例例1.2例例1.3第八张，PPT共二百八十七页，创作于2022年6月随

3、机试验随机试验:掷一枚骰子，观察出现的点数，掷一枚骰子，观察出现的点数，思考题：思考题：第九张，PPT共二百八十七页，创作于2022年6月定义定义1.2结论：结论：第十张，PPT共二百八十七页，创作于2022年6月定义定义1.3第十一张，PPT共二百八十七页，创作于2022年6月定义定义1.4第十二张，PPT共二百八十七页，创作于2022年6月例例1.1：第十三张，PPT共二百八十七页，创作于2022年6月概率的基本性质概率的基本性质单调性单调性次可列可加性次可列可加性第十四张，PPT共二百八十七页，创作于2022年6月第十五张，PPT共二百八十七页，创作于2022年6月事件列极限事件列极限1

4、：结论：结论：第十六张，PPT共二百八十七页，创作于2022年6月定理：定理：具体情况：具体情况：第十七张，PPT共二百八十七页，创作于2022年6月事件列极限事件列极限2：定义定义1.5的下极限的下极限的上极限的上极限第十八张，PPT共二百八十七页，创作于2022年6月例例1.2：关系：关系：含义：含义：第十九张，PPT共二百八十七页，创作于2022年6月例例1.3：第二十张，PPT共二百八十七页，创作于2022年6月1.2随机变量和分布函数随机变量和分布函数随机变量：随机变量：用实数来表示随机实验的各种结果用实数来表示随机实验的各种结果.定义定义1.6关于随机变量的几点说明：关于随机变量的

5、几点说明：第二十一张，PPT共二百八十七页，创作于2022年6月第二十二张，PPT共二百八十七页，创作于2022年6月定理定理1.1：第二十三张，PPT共二百八十七页，创作于2022年6月定义定义1.7分布函数的含义：分布函数的含义：分布函数分布函数的性质：的性质：第二十四张，PPT共二百八十七页，创作于2022年6月随机变量的类型：随机变量的类型：离散型：离散型：连续型：连续型：多维随机变量：多维随机变量：d维随机向量维随机向量第二十五张，PPT共二百八十七页，创作于2022年6月多维随机变量联合分布函数：多维随机变量联合分布函数：性质：性质：第二十六张，PPT共二百八十七页，创作于2022

6、年6月一些常见的分布：一些常见的分布：1.离散均匀分布：离散均匀分布：分布列：分布列：2.二项分布：二项分布：分布列：分布列：3.几何分布：几何分布：分布列：分布列：第二十七张，PPT共二百八十七页，创作于2022年6月4.Poisson分布：分布：分布列：分布列：_参数为参数为的的Poisson分布分布5.均匀分布：均匀分布：6.正态分布：正态分布：第二十八张，PPT共二百八十七页，创作于2022年6月7.分布：分布：函数的性质：函数的性质：第二十九张，PPT共二百八十七页，创作于2022年6月8.指数分布：指数分布：9.分布：分布：10.d维正态分布：（略）维正态分布：（略）第三十张，PP

7、T共二百八十七页，创作于2022年6月第三十一张，PPT共二百八十七页，创作于2022年6月1.3数字特征、矩母函数与特征函数数字特征、矩母函数与特征函数一、数字特征一、数字特征定义定义1.8：X的一阶矩的一阶矩第三十二张，PPT共二百八十七页，创作于2022年6月第三十三张，PPT共二百八十七页，创作于2022年6月二、二、Rieman-Stieltjes 积分积分Rieman-Stieltjes 积分：积分：第三十四张，PPT共二百八十七页，创作于2022年6月注：注：第三十五张，PPT共二百八十七页，创作于2022年6月R-S 积分性质：积分性质：可加性可加性注：注：第三十六张，PPT共

8、二百八十七页，创作于2022年6月第三十七张，PPT共二百八十七页，创作于2022年6月四、矩母函数与特征函数四、矩母函数与特征函数1.矩母函数矩母函数（momentgeneratingfunction)定义定义1.9：第三十八张，PPT共二百八十七页，创作于2022年6月矩母函数的性质：矩母函数的性质：第三十九张，PPT共二百八十七页，创作于2022年6月2.特征函数特征函数（characteristicfunction)复随机变量复随机变量定义定义1.10：复随机变量的数学期望复随机变量的数学期望第四十张，PPT共二百八十七页，创作于2022年6月特征函数的性质：特征函数的性质：有界性有界

9、性共轭对称性共轭对称性第四十一张，PPT共二百八十七页，创作于2022年6月第四十二张，PPT共二百八十七页，创作于2022年6月例例3.1：例例3.2：例例3.3：例例3.4：例例3.5：第四十三张，PPT共二百八十七页，创作于2022年6月作业题：作业题：第四十四张，PPT共二百八十七页，创作于2022年6月1.4条件概率条件概率条件期望条件期望独立性独立性一、条件概率一、条件概率1.定义：定义：1.基本公式基本公式定理定理1:(乘法公式乘法公式)第四十五张，PPT共二百八十七页，创作于2022年6月定理定理2:(全概率公式全概率公式)定理定理3:(Bayes公式公式)第四十六张，PPT共

10、二百八十七页，创作于2022年6月二、独立性二、独立性1.定义：定义：第四十七张，PPT共二百八十七页，创作于2022年6月注注1：两两独立并不包含独立性。两两独立并不包含独立性。例：例：第四十八张，PPT共二百八十七页，创作于2022年6月注注2我们有我们有第四十九张，PPT共二百八十七页，创作于2022年6月2.独立性的性质：独立性的性质：定理定理4：推论推论1：推论推论2：第五十张，PPT共二百八十七页，创作于2022年6月定理定理5：第五十一张，PPT共二百八十七页，创作于2022年6月定理定理6：第五十二张，PPT共二百八十七页，创作于2022年6月四、条件期望四、条件期望1.边缘分

11、布边缘分布称称X,Y独立独立.第五十三张，PPT共二百八十七页，创作于2022年6月第五十四张，PPT共二百八十七页，创作于2022年6月2.条件分布函数条件分布函数第五十五张，PPT共二百八十七页，创作于2022年6月3.条件数学期望条件数学期望异同：异同：第五十六张，PPT共二百八十七页，创作于2022年6月第五十七张，PPT共二百八十七页，创作于2022年6月第五十八张，PPT共二百八十七页，创作于2022年6月定义：定义：第五十九张，PPT共二百八十七页，创作于2022年6月第六十张，PPT共二百八十七页，创作于2022年6月第六十一张，PPT共二百八十七页，创作于2022年6月定理：

12、定理：例例2：第六十二张，PPT共二百八十七页，创作于2022年6月五、独立随机变量和的分布五、独立随机变量和的分布卷积公式卷积公式称为称为的卷积的卷积第六十三张，PPT共二百八十七页，创作于2022年6月注：注：结合律结合律分配律分配律第六十四张，PPT共二百八十七页，创作于2022年6月第六十五张，PPT共二百八十七页，创作于2022年6月第六十六张，PPT共二百八十七页，创作于2022年6月第六十七张，PPT共二百八十七页，创作于2022年6月第六十八张，PPT共二百八十七页，创作于2022年6月第六十九张，PPT共二百八十七页，创作于2022年6月第七十张，PPT共二百八十七页，创作于

13、2022年6月第第2 2章章 随机过程的基本随机过程的基本 概念和基本类型概念和基本类型2.1基本概念基本概念在概率论中，我们研究了随机变量，在概率论中，我们研究了随机变量，维随机向量。维随机向量。在极限定理中，我们研究了无穷多个随机变量在极限定理中，我们研究了无穷多个随机变量，但局限但局限在它们相互独立的情形。在它们相互独立的情形。将上述情形加以推广，将上述情形加以推广，即研究即研究一族无穷多个、相互有关的随机变量，一族无穷多个、相互有关的随机变量，这就是随机过程。这就是随机过程。定义定义2.12.1：设设是一概率空间，是一概率空间，对每一个参数对每一个参数，是一定义在概率空间是一定义在概率

14、空间上的随机上的随机变量，变量，则称随机变量族则称随机变量族为该概率为该概率空间上的一随机过程。空间上的一随机过程。称为参数集。称为参数集。第七十一张，PPT共二百八十七页，创作于2022年6月随机过程的两种描述方法：随机过程的两种描述方法：用映射表示用映射表示即即是一定义在是一定义在上的二元单值函数，上的二元单值函数，固定固定是一定义在样本空间是一定义在样本空间上的函数，上的函数，即为一随机变量；即为一随机变量；对于固定的对于固定的是一个是一个关于参数关于参数的函数，的函数，或称随机或称随机过程的一次实现。过程的一次实现。记号记号通常称为样本函数，通常称为样本函数，有时记为有时记为或简记为或

15、简记为参数参数一般表示时间或空间。一般表示时间或空间。参数常用的一般有：参数常用的一般有：第七十二张，PPT共二百八十七页，创作于2022年6月(1)(2)(3)当参数取可列集时，当参数取可列集时，一般称随机过程为随机序列。一般称随机过程为随机序列。随机过程随机过程可能取值的全体所构成的集合可能取值的全体所构成的集合称为此随机过程的状态空间，记作称为此随机过程的状态空间，记作S.S中的元素中的元素称为状态。状态空间可以由复数、实数或更一般的称为状态。状态空间可以由复数、实数或更一般的抽象空间构成。抽象空间构成。第七十三张，PPT共二百八十七页，创作于2022年6月第七十四张，PPT共二百八十七

16、页，创作于2022年6月随机过程分为以下四类：随机过程分为以下四类：(1)离散参数离散型随机过程；离散参数离散型随机过程；(2)连续参数离散型随机过程；连续参数离散型随机过程；(3)连续参数连续型随机过程；连续参数连续型随机过程；(4)离散参数连续型随机过程。离散参数连续型随机过程。第七十五张，PPT共二百八十七页，创作于2022年6月以随机过程的统计特征或概率特征的分类，一般有以随机过程的统计特征或概率特征的分类，一般有：独立增量过程；独立增量过程；Markov过程；过程；二阶矩过程；二阶矩过程；平稳过程；平稳过程；更新过程；更新过程；Poission过程；过程；维纳过程。维纳过程。鞅；鞅；

17、第七十六张，PPT共二百八十七页，创作于2022年6月随机过程举例随机过程举例例例2.1例例2.2抛掷一枚硬币，样本空间为抛掷一枚硬币，样本空间为定义：定义：随机过程。随机过程。第七十七张，PPT共二百八十七页，创作于2022年6月例例2.3第七十八张，PPT共二百八十七页，创作于2022年6月2.2有限维分布与有限维分布与Kolmogvrov定理定理一、随机过程的分布函数一、随机过程的分布函数1.一维分布函数一维分布函数第七十九张，PPT共二百八十七页，创作于2022年6月2.二维分布函数二维分布函数第八十张，PPT共二百八十七页，创作于2022年6月3.n维分布函数维分布函数第八十一张，P

18、PT共二百八十七页，创作于2022年6月4.有限维分布族有限维分布族称为有限维分布族称为有限维分布族5.有限维分布族的性质有限维分布族的性质(1)对称性对称性第八十二张，PPT共二百八十七页，创作于2022年6月(2)相容性相容性注注1：随机过程的统计特性完全由它的有限维分：随机过程的统计特性完全由它的有限维分布族决定。布族决定。注注2：有限维分布族与有限维特征函数族相互唯有限维分布族与有限维特征函数族相互唯一确定。一确定。问题：问题：一个随机过程一个随机过程是否描述了该过程的全部概率特性？是否描述了该过程的全部概率特性？的有限维分布族，的有限维分布族，第八十三张，PPT共二百八十七页，创作于

19、2022年6月定理：定理：（Kolmogorov存在性定理）存在性定理）设分布函数族设分布函数族满足以上提到的对称性和相容性满足以上提到的对称性和相容性，则必有一随机过程则必有一随机过程恰好是恰好是的有限维分布族，即：的有限维分布族，即：定理说明定理说明：的有限维分布族包含了的有限维分布族包含了的所有概率信息。的所有概率信息。第八十四张，PPT共二百八十七页，创作于2022年6月例例2.4第八十五张，PPT共二百八十七页，创作于2022年6月例例2.5第八十六张，PPT共二百八十七页，创作于2022年6月第八十七张，PPT共二百八十七页，创作于2022年6月二、随机过程的数字特征二、随机过程的

20、数字特征1.均值函数均值函数随机过程随机过程（假设是存在的）（假设是存在的）的均值函数定义为：的均值函数定义为：2.方差函数方差函数随机过程随机过程的的方差方差函数定义为：函数定义为：第八十八张，PPT共二百八十七页，创作于2022年6月3.(自自)协方差函数协方差函数第八十九张，PPT共二百八十七页，创作于2022年6月4.(自自)相关函数相关函数第九十张，PPT共二百八十七页，创作于2022年6月5.(互互)协方差函数协方差函数6.互相关函数互相关函数第九十一张，PPT共二百八十七页，创作于2022年6月7.互不相关互不相关8.特征函数特征函数为随机过程为随机过程的有限维特征函数族。的有限

21、维特征函数族。记：记：第九十二张，PPT共二百八十七页，创作于2022年6月例例2.6例例2.7第九十三张，PPT共二百八十七页，创作于2022年6月作业作业1第九十四张，PPT共二百八十七页，创作于2022年6月2.3随机过程的基本类型随机过程的基本类型一、严平稳过程一、严平稳过程定义定义1：第九十五张，PPT共二百八十七页，创作于2022年6月二、严平稳过程的特点二、严平稳过程的特点则则第九十六张，PPT共二百八十七页，创作于2022年6月三、宽平稳过程三、宽平稳过程(简称平稳过程简称平稳过程)定义定义2：第九十七张，PPT共二百八十七页，创作于2022年6月注注1：注注2：第九十八张，P

22、PT共二百八十七页，创作于2022年6月例例2.8例例2.9第九十九张，PPT共二百八十七页，创作于2022年6月四、平稳过程相关函数的性质四、平稳过程相关函数的性质性质性质1：性质性质2：结论：结论：性质性质3：第一百张，PPT共二百八十七页，创作于2022年6月性质性质4：注：注：第一百零一张，PPT共二百八十七页，创作于2022年6月定义：定义：注：注：性质性质5：性质性质6：性质性质7：第一百零二张，PPT共二百八十七页，创作于2022年6月性质性质8：性质性质9：例例2.10：第一百零三张，PPT共二百八十七页，创作于2022年6月五、独立增量过程五、独立增量过程定义定义1例例2.1

23、1：第一百零四张，PPT共二百八十七页，创作于2022年6月定义定义2第一百零五张，PPT共二百八十七页，创作于2022年6月六、遍历性定理六、遍历性定理第一百零六张，PPT共二百八十七页，创作于2022年6月第一百零七张，PPT共二百八十七页，创作于2022年6月第一百零八张，PPT共二百八十七页，创作于2022年6月定义定义1:第一百零九张，PPT共二百八十七页，创作于2022年6月定义定义2:第一百一十张，PPT共二百八十七页，创作于2022年6月例例2.12:第一百一十一张，PPT共二百八十七页，创作于2022年6月例例2.13:第一百一十二张，PPT共二百八十七页，创作于2022年6

24、月定理定理2.2:(均值遍历性定理均值遍历性定理)第一百一十三张，PPT共二百八十七页，创作于2022年6月推论推论2.1:推论推论2.2:第一百一十四张，PPT共二百八十七页，创作于2022年6月定理定理2.2:(协方差函数遍历性定理协方差函数遍历性定理)第一百一十五张，PPT共二百八十七页，创作于2022年6月作业作业1:作业作业2:书第二章书第二章习题习题2.6.作业作业3:第一百一十六张，PPT共二百八十七页，创作于2022年6月第第3 3章章 PoissonPoisson过程过程3.1Poisson过程过程定义定义3.13.1：第一百一十七张，PPT共二百八十七页，创作于2022年6

25、月第一百一十八张，PPT共二百八十七页，创作于2022年6月Poission过程是计数过程，而且是一类最重要、应用广泛过程是计数过程，而且是一类最重要、应用广泛的计数过程，它最早于的计数过程，它最早于1837年由法国数学家年由法国数学家Poission引入。引入。第一百一十九张，PPT共二百八十七页，创作于2022年6月定义定义3.23.2：第一百二十张，PPT共二百八十七页，创作于2022年6月例例3.13.1：解解：见板书。见板书。第一百二十一张，PPT共二百八十七页，创作于2022年6月定义定义3.2:3.2:一计数过程一计数过程是是独立增量独立增量及平稳增量及平稳增量过程，即任取过程，

26、即任取相互独立；相互独立；第一百二十二张，PPT共二百八十七页，创作于2022年6月定义定义3.23.2的解释的解释:第一百二十三张，PPT共二百八十七页，创作于2022年6月第一百二十四张，PPT共二百八十七页，创作于2022年6月定理定理3.1:3.1:由增量平稳性，记：由增量平稳性，记：（I）情形：因为情形：因为我们有：我们有：另一方面另一方面第一百二十五张，PPT共二百八十七页，创作于2022年6月代入上式，我们有：代入上式，我们有：令令我们有：我们有：（II）情形：因为：情形：因为：第一百二十六张，PPT共二百八十七页，创作于2022年6月故有：故有：化简并令化简并令得：得：两边同乘

27、以两边同乘以，移项后有：，移项后有：当当时，有：时，有：第一百二十七张，PPT共二百八十七页，创作于2022年6月由归纳法可得：由归纳法可得：注意：注意：因此因此代表单位时间内事件代表单位时间内事件出现的平均次数。出现的平均次数。第一百二十八张，PPT共二百八十七页，创作于2022年6月由归纳法可得：由归纳法可得：注意：注意：因此因此代表单位时间内事件代表单位时间内事件出现的平均次数。出现的平均次数。第一百二十九张，PPT共二百八十七页，创作于2022年6月第一百三十张，PPT共二百八十七页，创作于2022年6月例例3.23.2：第一百三十一张，PPT共二百八十七页，创作于2022年6月例例3

28、.33.3：第一百三十二张，PPT共二百八十七页，创作于2022年6月例例3.43.4：第一百三十三张，PPT共二百八十七页，创作于2022年6月作业作业1 1：作业作业2 2：书第三章习题书第三章习题3.5,3.6,3.103.5,3.6,3.10第一百三十四张，PPT共二百八十七页，创作于2022年6月3.2Poisson过程相联系的若干分布过程相联系的若干分布第一百三十五张，PPT共二百八十七页，创作于2022年6月复习复习：1.1.指数分布指数分布2.2.无记忆性无记忆性第一百三十六张，PPT共二百八十七页，创作于2022年6月定理定理3.23.2：结论结论：第一百三十七张，PPT共二

29、百八十七页，创作于2022年6月定义定义3.33.3：注注：第一百三十八张，PPT共二百八十七页，创作于2022年6月例例3.53.5:(:(见书见书例例3.43.4)第一百三十九张，PPT共二百八十七页，创作于2022年6月例例3.63.6:第一百四十张，PPT共二百八十七页，创作于2022年6月定理定理3.33.3：证明证明：见板书。见板书。第一百四十一张，PPT共二百八十七页，创作于2022年6月引理引理：第一百四十二张，PPT共二百八十七页，创作于2022年6月第一百四十三张，PPT共二百八十七页，创作于2022年6月原因原因：注注：第一百四十四张，PPT共二百八十七页，创作于2022

30、年6月定理定理3.43.4：第一百四十五张，PPT共二百八十七页，创作于2022年6月例例3.73.7:(:(见书见书例例3.53.5)第一百四十六张，PPT共二百八十七页，创作于2022年6月例例3.83.8:(:(见书见书例例3.63.6)第一百四十七张，PPT共二百八十七页，创作于2022年6月3.3Poisson过程的推广过程的推广一、非齐次一、非齐次PoissonPoisson过程过程第一百四十八张，PPT共二百八十七页，创作于2022年6月定义定义3.4:3.4:过程有过程有独立增量独立增量；第一百四十九张，PPT共二百八十七页，创作于2022年6月定义定义3.53.5：注注2:2

31、:定义定义3.43.4与定义与定义3.53.5是等价的。是等价的。注注1:1:我们称我们称m(t)m(t)为非齐次为非齐次poissonpoisson过程的均值或强度。过程的均值或强度。第一百五十张，PPT共二百八十七页，创作于2022年6月定理定理3.53.5：注注3:3:用此定理可以简化非齐次用此定理可以简化非齐次PoissonPoisson过程的问题过程的问题到齐次到齐次PoissonPoisson过程中进行讨论。另一方面也可以过程中进行讨论。另一方面也可以进行反方向的操作，即从一个参数为进行反方向的操作，即从一个参数为 的的PoissonPoisson构造一个强度函数为构造一个强度函数

32、为 的非齐次的非齐次PoissonPoisson过程。过程。定理定理3.53.5：（一般了解）（一般了解）第一百五十一张，PPT共二百八十七页，创作于2022年6月例例3.93.9:(:(见书见书例例3.73.7)第一百五十二张，PPT共二百八十七页，创作于2022年6月二、复合二、复合PoissonPoisson过程过程定义定义3.63.6:物理意义物理意义:如如表示粒子流表示粒子流，第一百五十三张，PPT共二百八十七页，创作于2022年6月例例3.103.10:(:(见书见书例例3.83.8)第一百五十四张，PPT共二百八十七页，创作于2022年6月例例3.113.11:(:(见书见书例例

33、3.9 3.9 顾客成批到达的排队系统顾客成批到达的排队系统)第一百五十五张，PPT共二百八十七页，创作于2022年6月定理定理3.63.6：第一百五十六张，PPT共二百八十七页，创作于2022年6月例例3.123.12:（见书例（见书例3.103.10）第一百五十七张，PPT共二百八十七页，创作于2022年6月作业作业1:1:作业作业2:2:参考参考 例例3.123.12:（见书例（见书例3.103.10）作业作业3:3:见书习题见书习题3.123.12第一百五十八张，PPT共二百八十七页，创作于2022年6月第第5 5章章 MarkovMarkov过程过程5.1基本概念基本概念直观意义直观

34、意义：1.Markov链的定义链的定义第一百五十九张，PPT共二百八十七页，创作于2022年6月定义定义5.15.1：第一百六十张，PPT共二百八十七页，创作于2022年6月定义定义5.25.2：定义定义5.35.3：2.转移概率转移概率第一百六十一张，PPT共二百八十七页，创作于2022年6月注注：有定义有定义5.15.1知知第一百六十二张，PPT共二百八十七页，创作于2022年6月第一百六十三张，PPT共二百八十七页，创作于2022年6月转移矩阵的性质：转移矩阵的性质：定义定义5.45.4：第一百六十四张，PPT共二百八十七页，创作于2022年6月2.Markov链的例子链的例子带有一个吸

35、收壁的随机游动：带有一个吸收壁的随机游动：特点：特点：当当就停留在零状态。就停留在零状态。此时此时是一齐次马氏链，其状态空间为是一齐次马氏链，其状态空间为，一步转移概率为：，一步转移概率为：注意；注意；状态为马氏链的吸收状态的充要条件是：状态为马氏链的吸收状态的充要条件是：例例5.15.1：第一百六十五张，PPT共二百八十七页，创作于2022年6月带有带有两两个吸收壁的随机游动：个吸收壁的随机游动：此时此时是一齐次马氏链是一齐次马氏链,状态空间为状态空间为为两个吸收状态为两个吸收状态,它的一步转移它的一步转移概率为：概率为：例例5.25.2：第一百六十六张，PPT共二百八十七页，创作于2022

36、年6月它的它的一步转移概率一步转移概率矩阵矩阵为：为：第一百六十七张，PPT共二百八十七页，创作于2022年6月特点：特点：概率为：概率为：例例5.35.3：带有一个反射壁的随机游动：带有一个反射壁的随机游动：一旦质点进入零状态，下一步它以概率一旦质点进入零状态，下一步它以概率向右移动一格，向右移动一格，以概率以概率停留在零状态。停留在零状态。此时的状态空间为此时的状态空间为它的它的一步转移一步转移第一百六十八张，PPT共二百八十七页，创作于2022年6月例例5.45.4：第一百六十九张，PPT共二百八十七页，创作于2022年6月例例5.55.5：第一百七十张，PPT共二百八十七页，创作于20

37、22年6月第一百七十一张，PPT共二百八十七页，创作于2022年6月4.n步转移概率步转移概率C-K方程方程定义定义5.5（n步转移概率）步转移概率）第一百七十二张，PPT共二百八十七页，创作于2022年6月定理定理5.1:(Chapman-Kolmogorov方程，简称方程，简称C-K方程方程)第一百七十三张，PPT共二百八十七页，创作于2022年6月例例5.65.6：第一百七十四张，PPT共二百八十七页，创作于2022年6月例例5.75.7:(:(隐隐MarkovMarkov模型）模型）或者为正面或者为反面或者为正面或者为反面.在任何给定时刻只有一枚硬在任何给定时刻只有一枚硬呈现，但是有时

38、硬币可能被替换而不改变其正反面呈现，但是有时硬币可能被替换而不改变其正反面.硬币硬币M和和W分别具有转移概率分别具有转移概率在任何给定时刻硬币被替换的概率为在任何给定时刻硬币被替换的概率为30%,替换完成时，替换完成时，硬币的状态不变硬币的状态不变.这一这一Markov链有链有4个状态，分别个状态，分别记为记为1:UM;2:DM;3:UW;4:DW.状态状态1、3表示正面表示正面U,状态状态2、4表示反面表示反面D转移矩阵为转移矩阵为4X4的矩阵的矩阵.我们我们第一百七十五张，PPT共二百八十七页，创作于2022年6月可以计算转移概率可以计算转移概率,比如比如,首先首先(无转移无转移),而后而

39、后(无转移无转移).因此转移概率为因此转移概率为其他转移概率类似可得，转移方式为其他转移概率类似可得，转移方式为转移概率矩阵为转移概率矩阵为第一百七十六张，PPT共二百八十七页，创作于2022年6月例例5.85.8:第一百七十七张，PPT共二百八十七页，创作于2022年6月例例5.95.9:第一百七十八张，PPT共二百八十七页，创作于2022年6月带有带有两两个个反射反射壁的随机游动：壁的随机游动：此时此时是一齐次马氏链是一齐次马氏链,状态空间为状态空间为为两个为两个反射反射状态状态,求求它的一步转它的一步转移移概率概率。作业作业1 1：第一百七十九张，PPT共二百八十七页，创作于2022年6

40、月作业作业2:2:第一百八十张，PPT共二百八十七页，创作于2022年6月5.3状态的分类及性质状态的分类及性质引入：引入：第一百八十一张，PPT共二百八十七页，创作于2022年6月定义定义5.7注：注：定理定理5.3：第一百八十二张，PPT共二百八十七页，创作于2022年6月注：注：定义定义5.8:例例1：第一百八十三张，PPT共二百八十七页，创作于2022年6月定义定义5.9(周期性周期性)规定：规定：例例2(书书5.14)注注1：注注2：第一百八十四张，PPT共二百八十七页，创作于2022年6月定理定理5.4：证明：板书。证明：板书。注注:当两个状态的周期相同时，有时其状态之间当两个状态

41、的周期相同时，有时其状态之间有显著差异。有显著差异。如：如：第一百八十五张，PPT共二百八十七页，创作于2022年6月定义定义5.10:(常返性常返性)第一百八十六张，PPT共二百八十七页，创作于2022年6月注注2：注注3：注注1：第一百八十七张，PPT共二百八十七页，创作于2022年6月例例3定义定义5.11第一百八十八张，PPT共二百八十七页，创作于2022年6月例例4第一百八十九张，PPT共二百八十七页，创作于2022年6月引理引理5.1（）第一百九十张，PPT共二百八十七页，创作于2022年6月定理定理5.5第一百九十一张，PPT共二百八十七页，创作于2022年6月引理引理5.2定理

42、定理5.6第一百九十二张，PPT共二百八十七页，创作于2022年6月作业作业1：第一百九十三张，PPT共二百八十七页，创作于2022年6月思考题：思考题：第一百九十四张，PPT共二百八十七页，创作于2022年6月定理定理5.5第一百九十五张，PPT共二百八十七页，创作于2022年6月引理引理5.2定理定理5.6第一百九十六张，PPT共二百八十七页，创作于2022年6月闭集及状态空间的分解定理闭集及状态空间的分解定理闭集：闭集：第一百九十七张，PPT共二百八十七页，创作于2022年6月相关性质：相关性质：任何两个状态均互通任何两个状态均互通所有常返态构成一个闭集所有常返态构成一个闭集在不可约马氏

43、链中在不可约马氏链中,所有状态具有相同的状态所有状态具有相同的状态类型类型.第一百九十八张，PPT共二百八十七页，创作于2022年6月状态空间分解定理：状态空间分解定理：定理定理5.7：第一百九十九张，PPT共二百八十七页，创作于2022年6月例例5第二百张，PPT共二百八十七页，创作于2022年6月例例6：第二百零一张，PPT共二百八十七页，创作于2022年6月作业作业1：第二百零二张，PPT共二百八十七页，创作于2022年6月周期链分解定理：周期链分解定理：定理定理5.8：第二百零三张，PPT共二百八十七页，创作于2022年6月例例7:第二百零四张，PPT共二百八十七页，创作于2022年6

44、月5.4极限理论与不变分布极限理论与不变分布5.4.1极限理论极限理论第二百零五张，PPT共二百八十七页，创作于2022年6月例例8（书例（书例5.17）(0-1传输系统）传输系统）第二百零六张，PPT共二百八十七页，创作于2022年6月第二百零七张，PPT共二百八十七页，创作于2022年6月208推论推论设设i常返，则常返，则(1)i零常返零常返(2)i遍历遍历定理定理5.9设设i常返且有周期为常返且有周期为d，则则其中其中 i为为i的平均返回时间的平均返回时间.当当 i=时时第二百零八张，PPT共二百八十七页，创作于2022年6月209证证:(1)i零常返零常返,i=,由定理由定理5.9知

45、，知，对对d的非整数倍数的的非整数倍数的n，从而子序列从而子序列i是零常返的是零常返的第二百零九张，PPT共二百八十七页，创作于2022年6月210(2)i是遍历的，是遍历的，d=1，i ，子序列子序列所以所以d=1，从而从而i为非周期的，为非周期的，i是遍历的是遍历的第二百一十张，PPT共二百八十七页，创作于2022年6月定理定理5.10结论：结论：第二百一十一张，PPT共二百八十七页，创作于2022年6月第二百一十二张，PPT共二百八十七页，创作于2022年6月(a)所有非常返状态组成的集合不可能是闭集所有非常返状态组成的集合不可能是闭集;(b)没有零常返状态没有零常返状态;(c)必有正常

46、返状态必有正常返状态;(d)不可约有限马氏链只有正常返态不可约有限马氏链只有正常返态;(e)状态空间可以分解为状态空间可以分解为:其中：每个其中：每个均是由正常返状态均是由正常返状态组成的有限不可约闭集，组成的有限不可约闭集，是非常返态集。是非常返态集。第二百一十三张，PPT共二百八十七页，创作于2022年6月214注注1：有限状态的马氏链，不可能全是非常返状态，有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。的马氏链必为正常返的。证证设设S=0,1,N，如如S全是非常返状态全是非常返状态，则

47、对任意，则对任意 i,j I，知知故故矛盾。矛盾。如如S含有零常返状态含有零常返状态i，则则C=j:ij是有限不可约闭集是有限不可约闭集，由定理知，由定理知，C中均为零常返状态，知中均为零常返状态，知第二百一十四张，PPT共二百八十七页，创作于2022年6月215由引理知由引理知所以所以第二百一十五张，PPT共二百八十七页，创作于2022年6月216注注2:如马氏链有一个零常返状态，则必有无限多个如马氏链有一个零常返状态，则必有无限多个证证设设i为零常返状态为零常返状态，则则C=j:ij是不可约闭集，是不可约闭集，C中均为零常返状态，故中均为零常返状态，故C不能是有限集。否则不能是有限集。否则

48、零常返状态。零常返状态。第二百一十六张，PPT共二百八十七页，创作于2022年6月217称概率分布称概率分布 j,j I为马尔可夫链为马尔可夫链的平稳分布（不变分布），若的平稳分布（不变分布），若设设Xn,n 0是齐次马尔可夫链，状态空间为是齐次马尔可夫链，状态空间为I，转移转移概率为概率为pij5.4.2平稳分布平稳分布(不变分布不变分布)与极限分布与极限分布定义定义5.12一、一、平稳分布平稳分布(不变分布不变分布)第二百一十七张，PPT共二百八十七页，创作于2022年6月218注：注：(1)若初始概率分布若初始概率分布pj,j I 是平稳分布，则是平稳分布，则(2)对平稳分布对平稳分布

49、j,j I，有有矩阵形式矩阵形式 =其中其中=(j)，()pj=pj(1)=pj(2)=pj(n)第二百一十八张，PPT共二百八十七页，创作于2022年6月219二、遍历性的概念与极限分布二、遍历性的概念与极限分布对于一般的两个状态的马氏链对于一般的两个状态的马氏链,由上节内容可知由上节内容可知,意义意义对固定的状态对固定的状态j,不管链在某一时刻的什么不管链在某一时刻的什么状状态态i出发出发,通过长时间的转移到达状态通过长时间的转移到达状态j 的概率都趋的概率都趋第二百一十九张，PPT共二百八十七页，创作于2022年6月定义定义5.13第二百二十张，PPT共二百八十七页，创作于2022年6月

50、221或定义或定义则称此链具有则称此链具有遍历性遍历性.第二百二十一张，PPT共二百八十七页，创作于2022年6月定理定理5.13第二百二十二张，PPT共二百八十七页，创作于2022年6月223定理定理不可约非周期马尔可夫链是正常返的充要条件不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布是存在平稳分布，且此平稳分布就是极限分布推论推论2若不可约马尔可夫链的所有状态是非常返或若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布零常返，则不存在平稳分布.推论推论1有限状态的不可约非周期马尔可夫链必存在有限状态的不可约非周期马尔可夫链必存在平稳分布。平稳分