随机过程-习题-第2章.pdf
设)(t是一马尔可夫过程，又设knnnttttt121。试证明：)/(),/(1/1,/11nnttknnntttxxfxxxfnnknnn 即一个马尔可夫过程的反向也具有马尔可夫性。证明：首先，由条件概率的定义式得),(),(),/(1,1,1,/111knnttknnntttknnntttxxfxxxfxxxfknnknnnknnn 根据马尔可夫性将上式中的分子和分母展开，并化简得)()()/()()/()/()()/()/()/(),/(11/112/1/1/12/1/1,/11112111211ntntnnttntnnttknknttntnnttnnttknknttknnntttxfxfxxfxfxxfxxfxfxxfxxfxxfxxxfnnnnnnnknknnnnnnknknknnn 于是，。)/()(),(),/(1/11,1,/1111nnttntnnttknnntttxxfxfxxfxxxfnnnnnknnn 试证明对于任何一个马尔可夫过程，如“现在”的)(t值为已知，则该过程的“过去”和“将来”是相互统计独立的，即如果有321ttt，其中2t代表“现在”，1t代表“过去”，3t代表“将来”，若22)(xt为已知值。试证明：)/()/()/,(23/21/231/,2321231xxfxxfxxxfttttttt 证明：首先，由条件概率的定义式得 )(),()/,(2321,231/,2321231xfxxxfxxxfttttttt 然后，根据马尔可夫性将上式中的分子展开，并化简得 )(),()/()()()/()/()/,(221,23/2112/23/231/,22123211223231xfxxfxxfxfxfxxfxxfxxxftttttttttttttt )/()/(21/23/2123xxfxxftttt 】若)(t是一马尔可夫过程，2121mmmttttt。试证明：)/,(),/,(21/,2121,/,212121mmmtttmmmtttttxxxfxxxxxfmmmmmm 证明：首先，利用性质：|CBPBCAPCABP得),/(),/(),/,(211,/1212,/2121,/,21112122121mmttttmmmtttttmmmtttttxxxxfxxxxxfxxxxxfmmmmmmmm 于是，由马尔可夫性得 )/(),/(),/,(1/12,/2121,/,1122121mmttmmmtttmmmtttttxxfxxxfxxxxxfmmmmmmmm 再利用性质|CABPCBPBCAP得),/,(2121,/,2121mmmtttttxxxxxfmmm=)/,(21/,21mmmtttxxxfmmm;若有随机变量序列,21n，且,21n之间相互统计独立，n的概率密度函数为)()(nnnxfxfn，),2,1(0nEn。定义另一随机变量序列n如下：nn21321321211 试证明：（1）序列,21n具有马尔可夫性；（2）111112211/,/nnnnnnnyyEyyyE(1)证明：由于,21n相互统计独立，其n维联合概率密度函数为)()()(),(21212121nnyfyfyfyyyfnn 由随机变量序列n与n的关系可得如下的雅可比行列式 1111011001J.所以，,21n的n维联合概率密度函数为)()()(),(1121212121nnnxxfxxfxfxxxfnn 于是，)()()()()()()()(),/(121121121121121,/2121121nnnnnnnnnnxxfxxfxxfxfxxfxxfxxfxfxxxxfnnnnnn 由于 221211211221211ddd)()()()(ddd),(),(21211nnnnnnnnnxxxxxfxxfxfxxfxxxxxxfxxfnnnnn 且 221211212211211ddd)()()(ddd),()(211211nnnnnnxxxxxfxxfxfxxxxxxfxfnnn(所以，)()/(11/1nnnnxxfxxfnnn 因此)/(),/(1/121,/1121nnnnxxfxxxxfnnnn 所以，序列,21n具有马尔可夫性。(2)证明：根据条件均值的定义得/)/(),/(,/111/121,/1122111121nnnnnnnnnnnnnnyEdyyyfydyyyyyfyyyyEnnnn 于是，由给定的关系-nn21 和0nE 11112211,/nnnnnnyyEyyyE 设有随机过程(n)(n=1，2，3，)，它的状态空间 I：x：0 x1是连续的，它的参数T为离散的，T=n(n=1，2，3，)。设(1)为（0，1）间均匀分布的随机变量，即(1)的概率密度为)(0)10(1)()(11)1(11其它值xxfxf (1),(2),(m)的联合概率密度为 值其它immmmmmmmmxxxxfxxxxxxxxxfxxxf,0),()10(1),(),(21,2,11112121)(,),2(),1(21,2,1(1)求(2)的边际概率密度f2(x2)；.(2)试问该过程是否为马尔可夫过程；(3)求转移概率密度f2|1(x2|x1)，fm|m1(xm|x m 1)。(4)求31)3(,43)1(P。(1)解：由给出的(1),(2),(m)的联合概率密度函数可知)10(1),(121212,1xxxxxf 其分布区域如右图加黑部分所示。因此，)2(的边际概率密度函数为 值其它ixxxxdxxxf,01)(0 ln1)(12211222-(2)证明：因为 11211,2,121,2,11211,2,1|1),(),(),|(mmmmmmmmmxxxxfxxxfxxxxf (0 xm xm1 x1 1)显然,1,2,1|mmf只与xm1有关，所以该过程是马尔可夫过程。(3)解：由(2)得 1x2x21xx 1 11211,2,1|11|1),|()|(mmmmmmmmmxxxxxfxxf 其中，0 xm xm11(m=1，2，3，)。(4)解：由给出的(1)，(2)，(m)的联合概率密度函数可知!其它值,0)10(,1),(123213213,2,1xxxxxxxxf 于是，131313212212321313,1ln1d1d),(),(xxxxxxxxxxxxxxxfxxf其它值,0)10(,ln113311xxxxx所以，31)23ln(32)23ln(32dln21ddln131)3(,43)1(23/10343313/104/33131133 xxxxxxxxPxx 设有一参数离散、状态连续的随机过程,2,1),(nn，它的状态空间为0;:xxI，又)1(的概率密度函数为 值其它100)()(111111xxexfxfx!)(,),2(),1(m的m维联合概率密度为 值其它ixxxxfxxxxxxxxxxxxxxxxfmmmmmmmmmm0),()0,0,0()(exp),(21,2,12111221112121,2,1（1）求边际概率密度),(1211,2,1mmxxxf（2）求)2(的概率密度；（3）说明该过程是马尔可夫过程，并求其转移概率密度)/(1/1mmttxxfmm(1)解：由m维联合概率密度可得m-1 维联合概率密度)(exp)exp()(exp)(exp),(11221221011122112101122111211211,2,1xxxxxxxxdxxxxxxxxxxxdxxxxxxxxxxxxxxfmmmmmmmmmmmmmmmmm(2)解：同(1)理可求得：()(exp),(112323212212,2,1xxxxxxxxxxxfmmmmm )(exp),(1121212,1xxxxxxf 所以，值其它222201112122,00,)1(1)(exp)(xxxdxxxxxxf(3)解：由条件概率的定义可得)exp(),(),(),/(111211,2,121,2,11211,2,1/mmmmmmmmmmmxxxxxxfxxxfxxxxf 由此可见，当m-1 时刻的状态确定时，m时刻的状态与以前时刻的状态无关。所以，该过程为马尔可夫过程。其转移概率密度为、值其它immmmmmmmmxxxxxxxxf,00,0,)exp(/11111/有三个黑球和三个白球。把六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：0，1，2，3。现每次从甲、乙两袋中各取一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲袋，经过n次交换，过程的状态为)(n(n=1，2，3，4，)。(1)试问此过程是否为马尔可夫链；(2)计算它的一步转移概率矩阵。(1)证明：显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关，与其它时刻的状态无关。因此，该过程是为马尔可夫链。(2)解：以甲袋中的白球数i作为该过程的状态。当0i和 3 时，过程状态由i转移到j概率为 值其它，jijiijiiijiinjnP0)1(,3)(,3332)1(,33)(|)1(22 当i=0 时，101P，)1(00jPj；当i=3 时，132P，)2(03jPj。于是，一步转移概率矩阵为：0100000010919494949491P 设)(n是一马尔可夫链，它的状态转移空间为 I：0，1，2，它的初始状态的概率分布为410)0(P，211)0(P，412)0(P；它的一步转移概率矩阵为 4341031313104341P(1)计算概率1)2(,1)1(,0)0(P；(2)计算)2(01p。(1)解：由马尔可夫性可得 0)0(0)0(|1)1(1)1(|1)2(1)2(,1)1(,0)0(PPPP 其中，311)1(|1)2()1(11pP 430)0(|1)1()1(01pP 于是 1614143311)2(,1)1(,0)0(P(2)解：二步转移概率矩阵为 48314813121361336163674116716543410313131043414341031313104341(2)P 所以，167)2(01p%另一种解法是根据切普曼-柯尔莫哥洛夫方程得 1674103143434120)1(1)1(0)2(01iiippp 设有马尔可夫链，它的状态转移空间为 I：0，1，2，它的一步转移概率矩阵为 01001010ppP(1)试求(2)P，并证明(4)(2)PP；(2)求1,n)(nP。(1)证明：(2)P和(4)P分别为 pppppppp01010010100101001001010(2)P pppppppppppp010100101010010101001(2)(2)(4)PPP 所以，(4)(2)PP(2)解：实际上，一步转移概率矩阵P可以经过行列变换为 01100100pp 由此可见，这是一个周期为 2 的马尔可夫链。所以，当n为奇数时 01001010pp)(nP n为偶数时 pppp0101001)(nP 设有马尔可夫链，它的状态转移空间为 I：0，1，它的一步转移概率矩阵为 )10(11Pppppp 试用数学归纳法证明 nnnnnpppp)12(2121)12(2121)12(2121)12(2121P)(证明：当n=1 时，显然是成立的。假设1 kn成立，即 1111)1()12(2121)12(2121)12(2121)12(2121Pkkkkkpppp 则当kn 时&ppppppppkkkkkk)11)12(2121)12(2121)12(2121)12(2121PPP1111)1(kkkkpppp)12(2121)12(2121)12(2121)12(2121 所以结论成立。设有马尔可夫链，它的状态空间为1,0:I，它的一步转移概率矩阵为 )10,10(11babbaaP 试求)(nP（利用矩阵的特征值、特征矢量方法计算）解：解算此题有以下三种方法：方法一：利用矩阵的相似变换：首先，容易解得矩阵P的两个特征值和对应的 特征向量分别为：11,11 baba,12 由这些特征向量做为列向量构成的矩阵Q和其逆阵Q-1为 bababaababQbaQ11111 与矩阵P存在如下关系 baPQQ10011 baQQ10011 并且 QPQPQQPQPQQQPQQnn11111)()于是得 babababababbbabaaababbaaQbaQPnnnnnn)1()1()1()1(10011)(方法二：利用矩阵的特征值、特征矢量：首先，由下面的等价关系 XXPXPXPPXXPXnn)(2 可知n是)(nP的特征值，P的特征向量是)(nP的特征向量。因此，可由P的所有特征值和特征向量，利用XXPnn)(这个等式解)(nP。设 4321)(ppppPn 对于本题，可得方程组如下 111114321npppp bababappppn)1(4321 解得4321,pppp的值与方法一的结果相同。方法三：利用母函数：首先，转移概率矩阵对应的母函数为 111)()1(1)1(1)()(sbbsassaPsIsPsGnnn sabsassbsbasba)1(1)1(11)2()1(12 将矩阵)(sG的第一行第一列元素展开成s的级数为 00)1(1)1(1nnnnnsbabsbabaasbabsbabaa 其中，sn项的系数就是)(nP的第一行第一列元素，即$babbabaapn)1(1 同理可得432,ppp。天气预报问题。其模型是：今日是否下雨依赖于前三天是否有雨(即一连三天有雨；前面两天有雨，第三天是晴天；)，问能否把这个问题归结为马尔可夫链。如果可以，问该过程的状态有几个如果过去一连三天有雨，今天有雨的概率为；过去三天连续为晴天，而今天有雨的概率为；在其它天气情况时，今日的天气与昨日相同的概率为。求这个马尔可夫链的转移矩阵。解：此问题本来不是马尔可夫链，但是通过将连续三天的天气情况定义为一个状态，则可以认为是一个马尔可夫链。每天的天气状况分为有雨（用“1”表示）和无雨（用“0”表示）两种情况，所以该马尔可夫链有 23=8 中状态。将连续四天的天气情况用Y 和 N 表示。例如，前三天有雨，第四天无雨，则表示为 YYYN。根据题意可知，如果过去一连三天有雨，今天有雨的概率为；过去三天连续为晴天，而今天有雨的概率为；即 P1111=，P0001=，在其它天气情况时，今日的天气与昨日相同的概率为，即 P0011=P0111=P1011=.P1100=P0000=P0100=P1000=于是可得其它的概率值为 P0000=1-P0001=，P0010=1-P0000=，P0101=1-P0100=P0110=1-P0111=，P1001=1-P1000=，P1010=1-P1011=因此，概率转移矩阵为 8.002.000000000000008.02.0001000000006.04.006.04.006.04.000000000000000000000006.04.000002.08.0 设有马尔可夫链，它的状态空间为 I：0，1，它的一步转移概率矩阵为 32312121P 试求)1(00f，)2(00f，)3(00f，)1(01f，)2(01f，)3(01f。解：21)1(00)1(00 pf，21)1(01)1(01 pf 412121613121)1(01)1(00)2(01)1(10)1(01)2(00ppfppf 9131322181212121)1(10)1(11)1(01)3(01)1(01)1(00)1(00)3(01pppfpppf 另一种方法是利用母函数 )6)(1(2116)(,)6)(1(2)()6)(1(3)(,)6)(1(3216)(01000100ssssPssssPssssPssssP 由下面的关系)()(1)(000000sPsFsP 可得 00220000642646463)(11)(nnnnssssssssPsF)1(00f就是s项的系数，)1(00f就是2s项的系数，)1(00f就是3s项的系数。所以，916421646161616421212)3(00)2(00)1(00fff 同理可得)1(01f，)2(01f，)3(01f。两种方法的结果是一致的，但是后一种方法不会漏项，尤其在)(njif中n很大时只能采用这种方法。设有一个三状态0，1，2的马尔可夫链，它的一步转移概率为 332211000pqqpqp)(nP 试求)1(00f，)2(00f，)3(00f，)1(01f，)2(01f，)3(01f。解：1)1(01)1(011)1(00)1(00qpfppf 1111)1(21)1(02)1(01)1(00)2(0131)1(20)1(02)1(10)1(01)2(0000000qpqpppppfqqppppf 1213131111)1(21)1(22)1(02)1(01)1(20)1(02)1(21)1(02)1(00)1(01)1(00)1(00)3(013213332121)1(20)1(22)1(02)1(10)1(21)1(02)1(20)1(12)1(01)1(10)1(11)1(01)3(000000000000qppqqpqppppppppppppppfqqqqpqqqpqppppppppppppf 此题也可以用习题的方法，通过求)(sFij获得上述值。
