随机过程马氏过程1.ppt

《随机过程马氏过程1.ppt》由会员分享，可在线阅读，更多相关《随机过程马氏过程1.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1一、马尔可夫过程的数学定义一、马尔可夫过程的数学定义二、满足马氏性的随机过程二、满足马氏性的随机过程三、马氏过程的分类三、马氏过程的分类四、马氏过程的有限维分布族四、马氏过程的有限维分布族2一、马尔可夫过程的数学定义一、马尔可夫过程的数学定义 马尔可夫过程是具有所谓马尔可夫性马尔可夫过程是具有所谓马尔可夫性的一类特殊的随机过程的一类特殊的随机过程.1 马尔可夫特性马尔可夫特性 若当某随机过程若当某随机过程X(t),t T在某时刻在某时刻tk所处的状态已知的条件下，过程在时刻所处的状态已知的条件下，过程在时刻t(ttk)处的状态只会与过程在处的状态只会与过程在tk时刻的状态有关，而与时刻的状态

2、有关，而与过程在过程在tk以前所处的状态无关。这种特性即称为以前所处的状态无关。这种特性即称为马尔可夫性马尔可夫性,亦称之为无后效性。亦称之为无后效性。3例如例如:假设一部电梯是由进入电梯内的人自行假设一部电梯是由进入电梯内的人自行操纵的，那么电梯下一步会运行到何处，只依操纵的，那么电梯下一步会运行到何处，只依赖于当前在电梯内的人的意图，而与过去电梯赖于当前在电梯内的人的意图，而与过去电梯从何而来是无关的；从何而来是无关的；又如又如:某电话交换台在时段某电话交换台在时段0,tk)内收到内收到xk次呼唤，则在时段内次呼唤，则在时段内0,t)(ttk)收到的呼唤收到的呼唤次数次数X(t)为在为在0

3、,tk)内收到的呼唤次数与内收到的呼唤次数与tk,t)内收到的呼唤次数之和，其中内收到的呼唤次数之和，其中xk为确定为确定已知时，这个数已知时，这个数X(t)就与就与tk以前呼唤的历史情以前呼唤的历史情况无关况无关.4定义定义1.1 设设X(t),t T为一随机过程，为一随机过程，E为为其状态空间，若对任意的其状态空间，若对任意的t1t2tntn，故视，故视t为为“将来将来”，自然视时刻，自然视时刻t1t2tn-1为为“过去过去”，因此上述定义中的条件可表述为：，因此上述定义中的条件可表述为：在在tn时刻过程时刻过程X(t)处于处于X(tn)=xn的状态条件的状态条件下，下，X(t)的的“将来

4、将来”状态只与状态只与“现在现在”状态状态有关，而与有关，而与“过去过去”状态无关。状态无关。8所以有人形象地将马氏过程戏称为一个所以有人形象地将马氏过程戏称为一个“健健忘忘”过程，即指它是一个只注重现在，而把过程，即指它是一个只注重现在，而把过去经历统统忘却的一类特殊的随机过程。过去经历统统忘却的一类特殊的随机过程。也可以说，过程也可以说，过程X(t)的的“将来将来”只通过只通过“现现在在”与与“过去过去”发生联系，一旦发生联系，一旦“现在现在”已经已经确定，则确定，则“将来将来”与过去无关。与过去无关。9二、满足马氏性的随机过程二、满足马氏性的随机过程1 独立随机过程为马氏过程独立随机过程

5、为马氏过程 证：设证：设X(t)为一独立随机过程，则由定义可为一独立随机过程，则由定义可知，对于任意的知，对于任意的 1011例例1.1 设设X(t)为一个随机过程，其中为一个随机过程，其中X(n)如下定义如下定义 由于由于n次投掷同一枚硬币时，每一次投掷与其次投掷同一枚硬币时，每一次投掷与其它各次投掷是相互独立的，故而为一独立随机它各次投掷是相互独立的，故而为一独立随机过程，故知它是马氏过程。过程，故知它是马氏过程。12注意注意:独立过程为马氏过程，但马氏过程不一独立过程为马氏过程，但马氏过程不一定为独立过程，马氏过程只是满足马氏性的特定为独立过程，马氏过程只是满足马氏性的特殊随机过程。殊随

6、机过程。例例1.2 设设X(n)为第为第n次投掷一骰子出现朝上次投掷一骰子出现朝上的点数，的点数，X(n)的参数空间的参数空间T=n,n1,状状态空间态空间 E=1,2,6,且对于任意的且对于任意的nm,X(n)与与X(m)相互独立的，即此相互独立的，即此X(n)是一是一独立随机过程，亦为一马氏过程。独立随机过程，亦为一马氏过程。13 如果如果 X(t),t0,+)0,+)为一独立增量过为一独立增量过程，且有程，且有P(X(0)=x0)=1（x0为常数），则此为常数），则此X(t)为马氏过程。为马氏过程。2 独立增量过程为马氏过程独立增量过程为马氏过程 证：因为证：因为X(t)为一独立增量过程

7、，由定义可知，为一独立增量过程，由定义可知，对于任意的对于任意的0t1t2tntT，下列的增，下列的增量量相互独立相互独立:不妨设不妨设X0=0,则易见增量则易见增量 X(t)-X(tn)与与X(t1),14X(t2)=X(t2)-X(t1)+X(t1),X(tn-1)=X(tn-1)-X(tn-2)+X(t2)-X(t1)+X(t1)均是独立的，故对任意的实数：均是独立的，故对任意的实数：条件分布函数条件分布函数15此即马尔可夫性得证此即马尔可夫性得证,因而独立增量过程亦为马因而独立增量过程亦为马氏过程。氏过程。因此有因此有16分别表示在时间段分别表示在时间段 0,t1),t1,t2),tn

8、,t)内电话交换台接到的呼叫次数，自然可以认内电话交换台接到的呼叫次数，自然可以认为它们是相互独立的，所以是一独立增量过为它们是相互独立的，所以是一独立增量过程，因而亦为马尔过程。程，因而亦为马尔过程。例例1.3 设设X(t)表示电话交换台在时段表示电话交换台在时段0,t)内收到的呼叫次数内收到的呼叫次数,则则X(t)为一随机过程。显为一随机过程。显见对于任意的见对于任意的0t1t2tnt T，相应，相应的增量的增量 17例例1.4 （二项过程）设在每次试验中，事件（二项过程）设在每次试验中，事件A发生的概率为发生的概率为p(0p1)，独立地重复进行，独立地重复进行这项试验，以这项试验，以X(

9、n)表示到第表示到第n次为止事件次为止事件A发发生的次数，则生的次数，则X(n),n=1,2,是一个平稳是一个平稳独立增量过程。独立增量过程。实际上，由二项分布知识可知，实际上，由二项分布知识可知，X(n)服从二项服从二项分布分布B(n,p)，故称此为二项过程。若令增量为，故称此为二项过程。若令增量为显见显见Yn是第是第n次试验中事件次试验中事件A发生的次数：发生的次数：18 即为一平稳独立增量过程，亦为一马氏过程。即为一平稳独立增量过程，亦为一马氏过程。19三、马氏过程的分类三、马氏过程的分类 马氏过程亦可根据参数空间与状态空间的马氏过程亦可根据参数空间与状态空间的离散与连续类型分为以下四种

10、类型：离散与连续类型分为以下四种类型：（1）离散参数集，离散状态集马氏过程；）离散参数集，离散状态集马氏过程；（2）离散参数集，连续状态集马氏过程；）离散参数集，连续状态集马氏过程；（3）连续参数集，离散状态集马氏过程；）连续参数集，离散状态集马氏过程；（4）连续参数集，连续状态集马氏过程）连续参数集，连续状态集马氏过程.其中第一种类型，即离散参数集，离散状其中第一种类型，即离散参数集，离散状态集的马氏过程，称之为马尔可夫链，简称马态集的马氏过程，称之为马尔可夫链，简称马氏链。氏链。20例例1.5 若每隔一分钟观察噪声电压，以若每隔一分钟观察噪声电压，以X(n)表示第表示第n分钟观察噪声电压所

11、得结果，则分钟观察噪声电压所得结果，则X(n)为一随机变量，为一随机变量，X(n),n1为一随机过程，为一随机过程，此过程是马氏过程吗？此过程是马氏过程吗？实际上实际上,每隔一分钟观察所得噪声电压值每隔一分钟观察所得噪声电压值相互并不影响相互并不影响,且且X(n)为一连续型随机变量为一连续型随机变量,因而因而X(n),n1是独立同分布的连续型随是独立同分布的连续型随机变量列机变量列,故知它为离散参数集故知它为离散参数集,连续状态集的连续状态集的马尔可夫过程马尔可夫过程.21四、马氏过程的有限维分布族四、马氏过程的有限维分布族 实际上实际上,若若X(t)为马尔可夫过程为马尔可夫过程,对于任意对于

12、任意的的n,t1t2tn,对应的随机变量对应的随机变量X(t1),X(t2),X(tn),的联合变量的联合变量(X(t1),X(t2),X(tn)的分布函数为的分布函数为 马氏过程的马氏过程的n维分布函数是由一些条件维分布函数是由一些条件分布函数与初始时刻对应的随机变量的分布分布函数与初始时刻对应的随机变量的分布函数的乘积得出。函数的乘积得出。(1)马氏过程的马氏过程的n维分布函数维分布函数2223（2）若若X(t)为连续型随机变量时，马氏过为连续型随机变量时，马氏过程的有限维密度函数为程的有限维密度函数为即此时马氏过程的有限维概率密度函数等于一即此时马氏过程的有限维概率密度函数等于一些条件概率密度与初始时刻些条件概率密度与初始时刻t1对应的随机变量对应的随机变量的概率密度函数的乘积，上式中的条件概率密的概率密度函数的乘积，上式中的条件概率密度常称为转移概率密度。度常称为转移概率密度。24 即此时，马氏过程的有限维概率分布可表示为即此时，马氏过程的有限维概率分布可表示为一些条件概率与初始时刻对应的随机变量的概一些条件概率与初始时刻对应的随机变量的概率分布的乘积，上式中的条件概率常称为转移率分布的乘积，上式中的条件概率常称为转移概率。概率。（2）若）若X(t)为离散型随机变量时，马氏过程为离散型随机变量时，马氏过程的有限维概率分布为的有限维概率分布为