随机过程与马尔可夫链精.pptx
第1节 随机变量1、复杂性系统：事件本身很复杂，社会复杂性。2、随机现象。抛掷硬币、射击等 特点：单次不确定和多次统计规律性3、研究随机事件的必要性和可行性4、随机变量:实函数，用大写字母表示5、频率和概率第1页/共82页6、数学特征第1节 随机变量第2页/共82页7、连续随机变量的概率密度函数和分布函数第1节 随机变量8、离散随机变量的分布律和分布函数9、随机变量的函数 X Y=g1(X)=X2 Z=g2(X)=X2 第3页/共82页第1节 随机变量说明：随机变量研究的是一次试验中可能出现的各种情况。第4页/共82页1、随机试验：可以在相同的条件下重复进行。每次试验的可能结果不止一个但预先知道所有可能的结果。每次试验前不能确定哪个结果会出现。2、随机过程的概念和数学描述研究连续单次随机试验，在某一具体时间为一个随机变量，在不同的时刻，随机变量不同。第2节 一维随机过程的定义及物理意义第5页/共82页例2：在天气预报中，若用X(n)表示某地区第n次统计所得的该天最高气温。例1：电话交换台在时间段0，t内接到的呼叫次数是与t有关的随机变量X(t)。第2节 一维随机过程的定义及物理意义参量参量(时间时间)连续，状态连续，状态(呼叫次数呼叫次数)离散离散参量参量(次数次数)离散，状态（温度）连续离散，状态（温度）连续X(10)是离散随机变量，X(11.5)是离散随机变量，X(2)是连续随机变量，X(5)是连续随机变量，第6页/共82页例4：连续抛掷一枚骰子的实验，第n次实验的结果记为X(n)(n=1,2,)例3：在时间段0，)内电路中某器件的热噪声电压X(t)第2节 一维随机过程的定义及物理意义参量参量(时间时间)连续，状态（电压）连续连续，状态（电压）连续参量参量(次数次数)离散，状态（点数）离散离散，状态（点数）离散X(10)是连续随机变量，X(11.5)是连续随机变量，第7页/共82页第2节 一维随机过程的定义及物理意义 设E是随机试验，Se是其样本空间。如果对于每一个样本e S，总可以有一个确定的参数为t的实值函数X(e，t)，t T与之对应，我们称之为随机过程，记作：X(e，t)，e S，t T，简写为：X(t)，t T 通常情况下，t表示时间。3、随机过程的定义第8页/共82页4、随机过程的物理意义：1）、对于一个特定的试验结果（样本）eiS，X(ei，t)表示对应于ei的样本函数，也是随机过程的一次实现。（样本函数族）2）、对于每一个固定的参数 tjT，X(e，tj)是一个定义在S上的随机变量。（随机变量族）随机过程是依赖于参量 tT的一族随机变量。第2节 一维随机过程的定义及物理意义第9页/共82页4、例(p330)：X(t)a cos（t），a，为常数，为在(0,2)上服从均匀分布的随机变量。1)、t为具体值时，X(t)为一随机变量。随机变量族第2节 一维随机过程的定义及物理意义第10页/共82页 2)、当随机变量随机取一个值j时，得到相应的样本函数xj(t)a cos（t j）样本函数族第2节 一维随机过程的定义及物理意义第11页/共82页5、为什么要研究随机过程？1)、通信过程中的信号是随机过程，2)、噪声也是随机过程第2节 一维随机过程的定义及物理意义第12页/共82页6、说明：理论分析时通常以随机变量族为描述方式。实际测量和处理中往往采用样本函数族为描述方式。为什么？第2节 一维随机过程的定义及物理意义第13页/共82页第2节 一维随机过程的定义及物理意义o第14页/共82页3)、说明：可列(离散)与非可列(连续)7、随机过程的分类1）、按随机过程任一时刻的状态，可分为连续型随机过程和离散型随机过程。2）、按参量t（通常表示时间）时离散还是连续可分为连续参量随机过程和离散参量随机过程如：时间可列型连续随机过程第2节 一维随机过程的定义及物理意义第15页/共82页1、一维分布函数1)、定义：给定随机过程 ，对于任意一 ，随机变量 的分布函数一般与t有关，记为：称为随机过程 的一维分布函数，而 称为一维分布函数族。第3节 一维随机过程的统计特性第16页/共82页第3节 一维随机过程的统计特性2）、对于随机过程，可以用n（足够大）维分布函数 来近似描述随机过程的统计特性。第17页/共82页例题：p352 T1利用抛掷一枚硬币的试验定义一随机过程第3节 一维随机过程的统计特性第18页/共82页分析：第3节 一维随机过程的统计特性第19页/共82页第3节 一维随机过程的统计特性第20页/共82页第3节 一维随机过程的统计特性第21页/共82页1)、均值函数2)、方差函数3)、均方值函数第3节 一维随机过程的统计特性2、随机过程的数字特征第22页/共82页第3节 一维随机过程的统计特性5)、自协方差函数4)、自相关函数第23页/共82页例：P353 T5已知随机过程 的均值函数 和协方差函数 ,是普通的函数。试求随机过程的均值函数和协方差函数第3节 一维随机过程的统计特性第24页/共82页分析：第3节 一维随机过程的统计特性第25页/共82页第3节 一维随机过程的统计特性第26页/共82页1）定义二维随机过程设X(t),Y(t)是定义在同一样本空间S和同一参数集T上的随机过程，对于不同的t T，(X(t),Y(t)是不同的二维随机变量，我们称(X(t),Y(t),t T为二维随机过程。第4节 二维随机过程及其统计特性第27页/共82页第4节 二维随机过程及其统计特性2）二维随机过程的分布函数用二维随机过程的m+n维随机变量的分布函数近似代替随机过程的分布函数，即：称为二维随机过程的mn维分布函数或随机过程X(t)与Y(t)的mn维联合概率分布。第28页/共82页则称随机过程X(t)与Y(t)相互独立第4节 二维随机过程及其统计特性第29页/共82页6)、互相关函数7)、互协方差函数二维随机过程的情况第4节 二维随机过程及其统计特性第30页/共82页例：P353 T7第4节 二维随机过程及其统计特性第31页/共82页第4节 二维随机过程及其统计特性第32页/共82页作业P352 T2,3,9例题最好做在另外一个本子上第33页/共82页1、马尔可夫过程1）、马尔可夫性（无后效性，遗忘特性）：过程在时刻t0所处的状态为已知的情况下，过程在tt0所处的状态的条件分布与过程在时刻t0之前的状态无关。第5节 马尔可夫过程及其数学表述第34页/共82页2）、马尔可夫过程定义：设随机过程X(t),t T的状态空间为I。如果对时间t的任意n个数值t1 t2 tn，n3，tiT，在条件 X(ti)=xi，i1，2，n1下，X(tn)的条件分布函数等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数。即：第5节 马尔可夫过程及其数学表述第35页/共82页第5节 马尔可夫过程及其数学表述则称之为马尔可夫过程说明：其中状态空间I可离散可连续，参量空间T可离散可连续。第36页/共82页例：p373 T1第5节 马尔可夫过程及其数学表述第37页/共82页第5节 马尔可夫过程及其数学表述分析：若第m次取值为i，则第m+1次取值样本空间为1,2,i,设取值为j，则有：第38页/共82页第5节 马尔可夫过程及其数学表述思考：从上面的例子可以看出，用条件概率可以很直观地表示马尔可夫过程，那为什么要用条件分布函数(而不是条件概率)来定义马尔可夫过程呢？条件概率只存在于离散情况，而条件分布函数可以总括连续和离散随机过程。第39页/共82页1、马尔可夫链的定义 时间和状态都离散的马尔可夫过程称为马尔可夫链。记作：Xn=X(n),n=0,1,第6节 马尔可夫链的定义及数学表述第40页/共82页2、马尔可夫链的表示表示马氏链在m时刻处于状态ai的条件下，在m1时刻转移到状态aj的概率。称为在以m为起始点的1步转移概率。第6节 马尔可夫链的定义及数学表述（1）1步转移概率。马尔可夫链的遗忘特性通常以条件概率来表述。1）1步转移第41页/共82页(2)1步转移概率矩阵第6节 马尔可夫链的定义及数学表述第42页/共82页(3)状态转移图第6节 马尔可夫链的定义及数学表述123第43页/共82页第6节 马尔可夫链的定义及数学表述设一醉汉Q在如图所示的直线点集I=1,2,3,4,5上作随机游动，且仅在1秒、2秒等时刻发生游动。游动的规律是：如果Q现在在点i(1i0则此链为具有遍历性。2、遍历性证明第8节 马尔可夫链的遍历性第71页/共82页3、如果齐次马氏链具有遍历性，则有以下性质：我们称（1，2，3，j，）为马氏链的平稳分布第8节 马尔可夫链的遍历性设齐次马氏链的状态空间为I，如果对于所有的aj，ajI，转移概率pij(n)有极值存在：n 时，pij(n)j。即a.极限分布（平稳分布）存在第72页/共82页b.平稳分布满足：P第8节 马尔可夫链的遍历性第73页/共82页例：P374 T8第8节 马尔可夫链的遍历性第74页/共82页第8节 马尔可夫链的遍历性第75页/共82页第8节 马尔可夫链的遍历性第76页/共82页第8节 马尔可夫链的遍历性第77页/共82页第8节 马尔可夫链的遍历性第78页/共82页讨论：初始概率分布矢量为（1，0）第8节 马尔可夫链的遍历性第79页/共82页初始概率分布矢量为（1/2，1/2）第8节 马尔可夫链的遍历性第80页/共82页P373-375 T5 T10例题最好做在另外一个本子上作业：第81页/共82页感谢您的观看！第82页/共82页
