2022年马尔可夫过程及其应用 .pdf

马尔可夫过程马尔可夫过程（Markov Process）什么是马尔可夫过程1、马尔可夫性(无后效性 )过程或（系统）在时刻t0所处的状态为已知的条件下，过程在时刻t t0所处状态的条件分布，与过程在时刻t0之前年处的状态无关的特性称为马尔可夫性或无后效性。即：过程 “ 将来 ” 的情况与 “ 过去 ” 的情况是无关的。2、马尔可夫过程的定义具有 马尔可夫 性的随机过程称为马尔可夫过程。用分布函数表述马尔可夫过程：设 I：随机过程X(t),tin T 的状态空间，如果对时间t 的任意 n 个数值 : （注：X(tn)在条件 X(ti) = xi下的条件分布函数）(注： X(tn)在条件 X(tn - 1) = xn - 1下的条件分布函数）或写成：这时称过程具马尔可夫性或无后性，并称此过程为马尔可夫过程。3、 马尔可夫链的定义名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 4 页 - - - - - - - - - 时间和状态都是离散的马尔可夫过程称为马尔可夫链 , 简记为。编辑 马尔可夫过程的概率分布研究时间和状态都是离散的随机序列:,状态空间为1、用分布律描述马尔可夫性对任意的正整数n,r 和， 有：PXm + n = aj | Xm = ai，其中。2、 转移概率称 条件概率Pij(m,m + n) = PXm + n = aj | Xm = ai为马氏链在时刻m 处于状态ai条件下，在时刻m+n 转移到状态aj的转移概率 。说明：转移概率具胡特点：。由转移概率组成的矩阵称为马氏链的转移概率矩阵。它是随机矩阵。3、平稳性当转移概率Pij(m,m + n)只与 i,j 及时间间距n 有关时，称转移概率具有平稳性。同时也称些链是齐次的或时齐的。此时，记Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai(注：称为马氏链的n 步转移概率 ) 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 4 页 - - - - - - - - - P(n) = (Pij(n)为 n 步转移概率矩阵。特别的 , 当 k=1 时 ,一步转移概率：Pij = Pij(1) = PXm + 1 = aj | Xm = ai。一步转移概率矩阵：P(1) 编辑 马尔可夫过程的应用举例设任意相继的两天中，雨天转晴天的概率为1/3 ，晴天转雨天的概率为1/2 ，任一天晴或雨是互为逆事件。以0 表示晴天状态，以1 表示雨天状态，Xn表示第 n 天状态（ 0 或 1）。试定出马氏链的一步转移概率矩阵。又已知5 月 1 日为晴天，问5 月 3 日为晴天， 5 月5 日为雨天的概率各等于多少？解：由于任一天晴或雨是互为逆事件且雨天转晴天的概率为1/3， 晴天转雨天的概率为1/2，故一步转移概率和一步转移概率矩阵分别为：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 4 页 - - - - - - - - - 故 5 月 1 日为晴天， 5 月 3 日为晴天的概率为：又由于：故 5 月 1 日为晴天， 5 月 5 日为雨天的概率为：P01(4) = 0.5995名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 4 页 - - - - - - - - -