第1章随机过程与马尔可夫链PPT讲稿.ppt

《第1章随机过程与马尔可夫链PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第1章随机过程与马尔可夫链PPT讲稿.ppt（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第1章随机过程与马章随机过程与马尔可夫链尔可夫链第1页，共82页，编辑于2022年，星期一第第1节节 随机变量随机变量1、复杂性系统复杂性系统：事件本身很复杂，社会复杂性。2、随机现象、随机现象。抛掷硬币、射击等 特点：单次不确定和多次统计规律性3、研究随机事件的必要性和可行性4、随机变量随机变量:实函数，用大写字母表示5、频率和概率频率和概率第2页，共82页，编辑于2022年，星期一6、数学特征、数学特征第第1节节 随机变量随机变量第3页，共82页，编辑于2022年，星期一7、连续随机变量的概率密度函数和分布函数第第1节节 随机变量随机变量8、离散随机变量的分布律和分布函数9、随机变量的函

2、数 X Y=g1(X)=X2 Z=g2(X)=X2 第4页，共82页，编辑于2022年，星期一第第1节节 随机变量随机变量说明：随机变量研究的是一次试验中可能出现的各种情况。第5页，共82页，编辑于2022年，星期一1、随机试验：、随机试验：可以在相同的条件下重复进行。每次试验的可能结果不止一个但预先知道所有可能的结果。每次试验前不能确定哪个结果会出现。2、随机过程的概念和数学描述、随机过程的概念和数学描述研究连续单次随机试验，在某一具体时间为一个随机变量，在不同的时刻，随机变量不同。第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义第6页，共82页，编辑于2022年，星期一

3、例2：在天气预报中，若用X(n)表示某地区第n次统计所得的该天最高气温。例1：电话交换台在时间段0，t内接到的呼叫次数是与t有关的随机变量X(t)。第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义参量参量(时间时间)连续，状态连续，状态(呼叫次数呼叫次数)离散离散参量参量(次数次数)离散，状态（温度）连续离散，状态（温度）连续X(10)是离散随机变量，X(11.5)是离散随机变量，X(2)是连续随机变量，X(5)是连续随机变量，第7页，共82页，编辑于2022年，星期一例4：连续抛掷一枚骰子的实验，第n次实验的结果记为X(n)(n=1,2,)例3：在时间段0，)内电路中某器

4、件的热噪声电压X(t)第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义参量参量(时间时间)连续，状态（电压）连续连续，状态（电压）连续参量参量(次数次数)离散，状态（点数）离散离散，状态（点数）离散X(10)是连续随机变量，X(11.5)是连续随机变量，第8页，共82页，编辑于2022年，星期一第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义 设E是随机试验，Se是其样本空间。如果对于每一个样本e S，总可以有一个确定的参数为t的实值函数X(e，t)，t T与之对应，我们称之为随机过程，记作：X(e，t)，e S，t T，简写为：X(t)，t T 通常情

5、况下，t表示时间。3、随机过程的定义、随机过程的定义第9页，共82页，编辑于2022年，星期一4、随机过程的物理意义：、随机过程的物理意义：1）、对于一个特定的试验结果（样本）eiS，X(ei，t)表示对应于ei的样本函数，也是随机过程的一次实现。（样本函数族）2）、对于每一个固定的参数 tjT，X(e，tj)是一个定义在S上的随机变量。（随机变量族）随机过程是依赖于参量 tT的一族随机变量。第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义第10页，共82页，编辑于2022年，星期一4、例(p330)：X(t)a cos（t），a，为常数，为在(0,2)上服从均匀分布的随机

6、变量。1)、t为具体值时，X(t)为一随机变量。随机变量族第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义第11页，共82页，编辑于2022年，星期一 2)、当随机变量随机取一个值j时，得到相应的样本函数xj(t)a cos（t j）样本函数族第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义第12页，共82页，编辑于2022年，星期一5、为什么要研究随机过程？1)、通信过程中的信号是随机过程，2)、噪声也是随机过程第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义第13页，共82页，编辑于2022年，星期一6、说明：、说明：理论分析时通

7、常以随机变量族为描述方式。实际测量和处理中往往采用样本函数族为描述方式。为什么？第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义第14页，共82页，编辑于2022年，星期一第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义o第15页，共82页，编辑于2022年，星期一3)、说明：可列(离散)与非可列(连续)7、随机过程的分类1）、按随机过程任一时刻的状态，可分为连续型随机过程和离散型随机过程。2）、按参量t（通常表示时间）时离散还是连续可分为连续参量随机过程和离散参量随机过程如：时间可列型连续随机过程第第2节节 一维随机过程的定义及物理意义一维随机过程的定

8、义及物理意义第16页，共82页，编辑于2022年，星期一1、一维分布函数、一维分布函数1)、定义：给定随机过程 ，对于任意一 ，随机变量 的分布函数一般与t有关，记为：称为随机过程 的一维分布函数，而 称为一维分布函数族。第第3节节 一维随机过程的统计特性一维随机过程的统计特性第17页，共82页，编辑于2022年，星期一第第3节节 一维随机过程的统计特性一维随机过程的统计特性2）、对于随机过程，可以用n（足够大）维分布函数 来近似描述随机过程的统计特性。第18页，共82页，编辑于2022年，星期一例题：p352 T1利用抛掷一枚硬币的试验定义一随机过程第第3节节 一维随机过程的统计特性一维随机

9、过程的统计特性第19页，共82页，编辑于2022年，星期一分析：第第3节节 一维随机过程的统计特性一维随机过程的统计特性第20页，共82页，编辑于2022年，星期一第第3节节 一维随机过程的统计特性一维随机过程的统计特性第21页，共82页，编辑于2022年，星期一第第3节节 一维随机过程的统计特性一维随机过程的统计特性第22页，共82页，编辑于2022年，星期一1)、均值函数2)、方差函数3)、均方值函数第第3节节 一维随机过程的统计特性一维随机过程的统计特性2、随机过程的数字特征、随机过程的数字特征第23页，共82页，编辑于2022年，星期一第第3节节 一维随机过程的统计特性一维随机过程的统

10、计特性5)、自协方差函数4)、自相关函数第24页，共82页，编辑于2022年，星期一例：P353 T5已知随机过程 的均值函数 和协方差函数 ,是普通的函数。试求随机过程的均值函数和协方差函数第第3节节 一维随机过程的统计特性一维随机过程的统计特性第25页，共82页，编辑于2022年，星期一分析：第第3节节 一维随机过程的统计特性一维随机过程的统计特性第26页，共82页，编辑于2022年，星期一第第3节节 一维随机过程的统计特性一维随机过程的统计特性第27页，共82页，编辑于2022年，星期一1）定义二维随机过程设X(t),Y(t)是定义在同一样本空间S和同一参数集T上的随机过程，对于不同的t

11、 T，(X(t),Y(t)是不同的二维随机变量，我们称(X(t),Y(t),t T为二维随机过程。第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性第28页，共82页，编辑于2022年，星期一第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性2）二维随机过程的分布函数用二维随机过程的m+n维随机变量的分布函数近似代替随机过程的分布函数，即：称为二维随机过程的mn维分布函数或随机过程X(t)与Y(t)的mn维联合概率分布。第29页，共82页，编辑于2022年，星期一则称随机过程X(t)与Y(t)相互独立第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性第30页，共8

12、2页，编辑于2022年，星期一6)、互相关函数7)、互协方差函数二维随机过程的情况第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性第31页，共82页，编辑于2022年，星期一例：P353 T7第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性第32页，共82页，编辑于2022年，星期一第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性第33页，共82页，编辑于2022年，星期一作业作业P352 T2,3,9例题最好做在另外一个本子上第34页，共82页，编辑于2022年，星期一1、马尔可夫过程1）、马尔可夫性（无后效性，遗忘特性）：过程在时刻t0所处的状态为已知的

13、情况下，过程在tt0所处的状态的条件分布与过程在时刻t0之前的状态无关。第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述第35页，共82页，编辑于2022年，星期一2）、马尔可夫过程定义：设随机过程X(t),t T的状态空间为I。如果对时间t的任意n个数值t1 t2 tn，n3，tiT，在条件 X(ti)=xi，i1，2，n1下，X(tn)的条件分布函数等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数。即：第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述第36页，共82页，编辑于2022年，星期一第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述则

14、称之为马尔可夫过程说明：其中状态空间I可离散可连续，参量空间T可离散可连续。第37页，共82页，编辑于2022年，星期一例：例：p373 T1第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述第38页，共82页，编辑于2022年，星期一第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述分析：若第m次取值为i，则第m+1次取值样本空间为1,2,i,设取值为j，则有：第39页，共82页，编辑于2022年，星期一第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述思考：思考：从上面的例子可以看出，用条件概率可以很直观地表示马尔可夫过程，那为什么要用条件分布函数(而不是条件

15、概率)来定义马尔可夫过程呢？条件概率只存在于离散情况，而条件分布函数可以总括连续和离散随机过程。第40页，共82页，编辑于2022年，星期一1、马尔可夫链的定义 时间和状态都离散的马尔可夫过程称为马尔可夫链。记作：Xn=X(n),n=0,1,第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述第41页，共82页，编辑于2022年，星期一2、马尔可夫链的表示、马尔可夫链的表示表示马氏链在m时刻处于状态ai的条件下，在m1时刻转移到状态aj的概率。称为在以m为起始点的1步转移概率。第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述（1）1步转移概率。马尔可夫链的遗忘特性通

16、常以条件概率来表述。1）1步转移第42页，共82页，编辑于2022年，星期一(2)1步转移概率矩阵第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述第43页，共82页，编辑于2022年，星期一(3)状态转移图第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述123第44页，共82页，编辑于2022年，星期一第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述设一醉汉Q在如图所示的直线点集I=1,2,3,4,5上作随机游动，且仅在1秒、2秒等时刻发生游动。游动的规律是：如果Q现在在点i(1i0则此链为具有遍历性。2、遍历性证明第第8节节 马尔可夫链的遍历性

17、马尔可夫链的遍历性第72页，共82页，编辑于2022年，星期一3、如果齐次马氏链具有遍历性，则有以下性质：、如果齐次马氏链具有遍历性，则有以下性质：我们称（1，2，3，j，）为马氏链的平稳分布第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性设齐次马氏链的状态空间为I，如果对于所有的aj，ajI，转移概率pij(n)有极值存在：n 时，pij(n)j。即a.极限分布（平稳分布）存在第73页，共82页，编辑于2022年，星期一b.平稳分布满足：P第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性第74页，共82页，编辑于2022年，星期一例：P374 T8第第8节节 马尔可夫链的遍历性马尔可夫链的遍

18、历性第75页，共82页，编辑于2022年，星期一第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性第76页，共82页，编辑于2022年，星期一第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性第77页，共82页，编辑于2022年，星期一第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性第78页，共82页，编辑于2022年，星期一第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性第79页，共82页，编辑于2022年，星期一讨论：初始概率分布矢量为（1，0）第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性第80页，共82页，编辑于2022年，星期一初始概率分布矢量为（1/2，1/2）第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性第81页，共82页，编辑于2022年，星期一P373-375 T5 T10例题最好做在另外一个本子上作业：作业：第82页，共82页，编辑于2022年，星期一