2022年随机过程复习提纲 .pdf

. . . . . 1 / 22 第一章：1 填空假设 X1,X2, ,Xn是相互独立的随机变量 , 且 gi(t) 是 Xi的特征函数 ,i=1,2,n)那么 X=X1+X2+Xn的特征函数 g(t)= g1(t) g2(t) gn(t) 2. 设 P(S)是X的母函数，试证 : (1) 假设 E(X)存在，那么 EX=P(1) (2) 假设 D(X)存在，那么 DX = P(1)+ P(1)- P(1)2 证明:(1) 因为 ps=spkkk0，那么 ps=skpkkk11，令 s1，得EX=1kkkp p (1) 。2同理可证 DX=p (1)+ p(1) p (1) 23. 设 X服从 B(n,p) , 求 X的特征函数 g(t) 与 EX,EX2,DX. 解：X的分布列为 P(X=k)=1kknnCpq, q=1-p,k=0,1,2,.n, 00knnnitkkknkkitnkitgteCpqCpeqpeqnnkk由性质得npitdtdiiEXtnqepg0,0pnqepdtdgiEXnpqititn22022220npqDXEXEX224 设 XN(0,1), 求特征函数 g(t). 解dxxtgeitx2221)(由于eexxxixitx2222，且dxxeitx2221，故由积分号下求导公式有deeixegxidxxtixtitx2222221)(名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 22 页 - - - - - - - - - . . . . . 2 / 22 dxxtxieeitxitx222222)(ttg于是得微分方程 g(t)+tg(t)=0 解得方程的通解为eCttg22)(由于 g(0)=1, 所以 C=0 ，于是得 X的特征函数为ettg22)(5 设随机变量 YN(，2)，求 Y的特征函数是 gY(t). 解：设 XN(0,1), 那么由例 1.3 知 X的特征函数ettg22)(令 Y=X, 那么 YN(，2) ，由前面的命题知 Y的特征函数是egegttttiXxiY222，6设 X1,X2Xn是相 互 独 立 的 随机 变 量 ，且Xib(ni,p),i=1,2,n, 那么niiniipbYnX11,证 因为 Xib(ni,p), 所以其特征函数为,.2, 1,niitntXqepgii由特征函数的性质知，niixY1的特征函数为,111niniYqepqepggitnitntXtniiii再有唯一性定理知niiniipbYnX11,7设X1,X2Xn是 相 互 独 立 的 随 机 变 量 ， 且,.2, 1,niiiX那 么niiniiXY11名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 22 页 - - - - - - - - - . . . . . 3 / 22 证 因为,iiX所以其特征函数为nietXegitii,.2, 1,1有特征函数的性质知，niiXY1的特征函数为eeggniitiitiieetXtniniY11111再由唯一性定理知niiniiXY11。8 设 X1，X2Xn是相互独立的随机变量，且niNiiiX,.2, 1,2，那么211,iniiniiNYX。证 因为,2iiiNX所以其特征函数为nititXegiiit,.2 ,1,2221有特征函数的性质知，niiXY1的特征函数为eeggttitXtniiniiiitinitiniY212122211211再由唯一性定理知211,iniiniiNYX9 设商店在一天的顾客数N服从参数 =1000的泊松分布，又设每位顾客所花的钱数 Xi服从 N(100,502) ，求商店日销售 Z 的平均值。解：由条件知niiXz1而 EN=1000 ，EX1=100,故 EZ=EN EXi=1000100=100000(元) 10设随机变量 X的特征函数为 gx(t),Y=aX+b,其中 a,b 为任意实数，证明Y的特征函数 gY(t) 为.attgegXitbY证it aXbi at Xibtibti at XibtYXtEEEatggeeeeee名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 22 页 - - - - - - - - - . . . . . 4 / 22 11求以下各分布的随机变量X的特征函数 g(t). (1) 两点分布 b(1,p) (5)正态分布 N(，2) (2) 二项分布 b(n,p) (6)指数分布 Exp() (3) 泊松分布 p() (7)均匀分布 U(a,b) (4) 几何分布 Ge(p) (8)伽马分布 (， ) 解：(1) 令 Xb(1,p), 那么 P(X=0)=1-p=q,p(x)=p. 那么根据特征函数的定义，得：eeeeitititkpqpqnkpitXtgk?101.2, 1,(2) 令 Xb(n,p), 那么.2, 1,1,nkpqkXpqpCknkkn有特征函数定义，可知qpeqpeCqpCeitittgnknkkknknkkknitk00(3) 令 Xp(), 那么nkkkXpek.1 ,0,0,!)(有特征函数定义可知：eeeeeeeeeitkktgititkkkkitk100!1!(4) 设 XGe(p),那么 p(X=k)=pqk-1,q=1-p,k=1,2n 有特征函数定义知：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 22 页 - - - - - - - - - . . . . . 5 / 22 eeeeqeqeititititkkkkitkqpqqqpitqpptg?11)(111(5) 设 XN(，2), 因为当 =0,=1时得出特征函数为ettg22)(，令 X=x+, 那么 X的特征函数为eeeetitiittgtg222222)(6) 设 XExp(), 那么可知密度函数0, 00,)(xxxfex那么有特征函数定义，可得：iteeeeeititdxdxdxxftgxitxitxitxitx11000)(7) 设 XU(a,b), 那么可知密度函数为其它,0,1)(bxaabxf名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 22 页 - - - - - - - - - . . . . . 6 / 22 那么eeeeeeitaitbbaitxbaitxbaitxitxitabitabdxabdxabdxxftg1111)(8) 设 x(, ), 那么密度函数0,00,1xxxfexx那么ititeitUexexeedUitxUdxdxdxxftgUxitxitxitx11it)(010110令第二章：1、随机过程假设按状态空间与参数集分类可分为离散参数链，连续参数链，随机序列，随机过程四类 . 2、假设X(t) ，t T是零均值的二阶矩过程，假设对任意的t1t2t30, 其中 Y，Z 是相互独立的 N0，1随机变量，求 X(t)，t0 的一维和二维概率密度族 . 解：由于 X与 Z 是相互独立的正态随机变量，故其线性组合仍为正态随机变量，要计算 X(t) ，t0 的一、二维随机概率密度，只要计算数字特征mx(t) ，DX(t) ，即可. mx(t)=E(Y+Zt)=EY+tEZ=0 ，DX(t)=D(Y+Zt)=DY+t2DZ=1+t2，BX(s,t)=EX(s)X(t)- mx(s) mx(t)=E(Y+Zs)(Y+Zt)=1+st，名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 22 页 - - - - - - - - - . . . . . 7 / 22 =，故随机过程 X(t) ，t0 的一、二维概率密度分别为ft(x)=exp-，t0，fs,t(x1,x2)=.exp,s,t0,其中4、设X(t) ，t 0是实正交增量过程， X(0)=0 ，V 是标准正态随机变量，假设对任意的 t 0，X(t) 与 V相互独立 , 令 Y(t)=X(t)+V，求随机过程 Y(t) ，t 0的协方差函数 . 解：依题意知 EX(t)=0 ，EV=0,DV=1,所以EY(t)=EX(t)+V=EX(t)+EV=0，BY(t1，t2)=E(X(t1)+V)(X(t2)+V) =EX(t1)X(t2)+EV2=2X(min(t1,t2)+1. 5、试证明维纳过程是正态过程。证明：设 B(t) ，t 0 是参数为2的维纳过程，对于任意的n，任取0t1t2tn， 由于 B(t1) ， B(t2)- B(t1)， ,B(tn)-B(tn-1)相互独立 , 而且 B(tk)-B(tk-1)N(0, 2(tk-tk-1), 所以B(t1),B(t2)-B(t1), ,B(tn)-B(tn-1) 是 n 维正态向量 ,于是: 即B(t1),B(t2), ,B(tn) 是n维正态随机向量B(t1),B(t2)-B(t1), ,B(tn)-B(tn-1)的线性变换 , 所以 B(t1),B(t2), ,B(tn) 是 n 维正态随机向量,n=1,2, , 故B(t),t0 是正态过程 . 6、 设 X(t)， t a,b是 正 交 增 量 过 程 ， 且 X(a)=0 ， 定 义 F(t) 表 示)B(t.)B(t)B(tn211.11.0.110.01)B(t-)B(t.)B(t-)B(t)B(t1-nn121名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 22 页 - - - - - - - - - . . . . . 8 / 22 EX(t)2=RX(t,t)，t T，那么有：(1)RX(s,t)=F(min(s,t) (2)F(t)是a,b 上的非负单调不减函数 . 证明： 1假设astb,RX(s,t)=EX(s)X(t) =EX(s)X(s)X(s)-X(t) =EX(s)2=F(s) 同理假设 sstb, 那么 RX(s,t)=F(t) 所以 RX(s,t)=F(min(s,t) (2) 对任意的 ast0 的泊松过程， 假设它满足以下条件：(1)X(0)=0; (2) X(t) 是独立增量过程；(3) 在任一长度为 t 的区间 (s,s+t中，事件 A发生的次数 X(t+s)-X(s)服从参数t的泊松分布，即对任意s, t 0, 有,.1 , 0,!)()(nnnsXtsXPtent2、泊松过程的定义：称计数过程X(t),t 0 为具有参数 0 的泊松过程，假设它满足以下条件：(1) X(0)=0; (2) X(t) 是独立、平稳增量过程；(3) X(t) 满足以下两式：PX(t+h)-X(t)=1=t+o(h), PX(t+h)-X(t)2=o(h) 3、设Xt , t 0 是参数为 0的泊松过程，那么（1） 均值函数： mX(t)=EX(t)=EX(t)-X(0)=t ; （2） 方差函数：tXtXDtDXtX)0()()(2（3） 自相关函数： RXs,t =2st+ min(s,t) （4） 特征函数族：1expeegiutiuXXtEu名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 22 页 - - - - - - - - - . . . . . 10 / 22 4、设 X(t)， t 0 是具有跳跃强度2/)cos1()(tt的非齐次泊松过程)0(。求 EX(t)和 DX(t)。解：)(tXE)(tmx=tdsws0)cos(1 (2/1=)sin(/1(2/1tt)sin(/1(2/1)()(tttmtXDx5、设移民到某地区定居的户数是一泊松过程，平均每周有2 户定居。如果每户的人口数是随机变量，一户四人的概率为1/6 ，一户三人的概率为1/3 ，一户二人的概率为 1/3 ，一户一人的概率为1/6 ，并且每户的人户数是相互独立的，求在五周移民到该地区人口的数学期望和方差。解：设 N(t) 为在时间 0 ，t 的移民户数， Yi表示每户的人口数，那么在0 ，t的移民人数 X(t)=)N(1iiYt是一个复合泊松过程。Yi是相互独立且具有一样分布的随机变量，其分布列为P(Y=1)= P(Y=4)=1/6 P(Y=2)=P(Y=3)=1/3 EY=15/6 , EY2=43/6 根据题意知 N(t) 在 5 周是强度为 10 的泊松过程， m x(5)=10EY1=10 15/6=25 x (5)=10EY12 =10 43/6=215/3 6、设 X1(t) 和 X2(t) 是分别具有参数1和 2的相互独立的泊松过程，证明:Y(t)=X1(t)+X2(t) 是具有参数 1+2的泊松过程。证明： Y(t)是独立增量过程，且 PY(t+)-Y(t)=n =PX1(t+ )+X2(t+ )X1(t) X2(t)=n =PX1(t+ ) X1(t)+X2(t+ ) X2(t)=n- n0i1122i(t)X-)(tXi,-n(t)X-)(tPX名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 22 页 - - - - - - - - - . . . . . 11 / 22 =i(t)X-)(tPXi-n(t)X-)(tPX11n0i22 = =, n=0,1,27、 设到达某商店顾客组成强度为 的泊松过程，每个顾客购置商店的概率为P，且与其它顾客是否购置商品无关， 假设Yt ， t 0是购置商品的顾客数， 证明Yt ，t 0 是强度为 P的泊松过程。证明: 设X(t) ，t 0 表示到达商店的顾客数，i表示第 i 个顾客购物与否，即：,i, 1.i,0i个顾客购物第个顾客不购物第那么由题意知i，i=1 ，2，独立同分布，且与 X(t)独立Pi=1=p，Pi=0=1-p 因此， Y(t)=X(t)1ii是复合泊松过程，EY(t)= tE(i)=pt ，Y(t) 的强度Y=EY(t)/t= p. 8、 设 在t,0事 件A 已 经 发 生n 次 ， 且 0st ， 对 于nk0, 求nX(t)kX(s)P. 解：利用条件概率与泊松分布得：PnX(t)kX(S)=P X(s)k,X(t)nP X(t)n=P X(s)k,X(t)-X(s)n-kP X(t)n =n!t)(ek)!-(ns)-(tek!s)(ens-k-ns)-(tks =k-nkkn)ts-(1)ts(C名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 22 页 - - - - - - - - - . . . . . 12 / 22 这是一个参数为 n 和ts的二项分布。9、 设0tX(t) ，是具有参数为的泊松过程，假定 S是相邻事件的时间间隔，证明 P121sSssS=P2sS，即假定预先知道最近一次到达发生在s1秒，下一次到达至少发生在将来s2秒的概率等于在将来s2秒出现下一次事件的无条件概率 . 解：P121sSssS=P0)X(s-)sX(s121 =2s02e!0)s(=2se=1-P(Ss2)=P(Ss2) 10、设在0,t事件 A已经发生 n 次，求第 k 次事件 A发生的时间 Wk的条件概率密度函数。11、设X1(t),t0 和X2(t),t0 是两个相互独立的泊松过程，它们在单位时间平均出现的事件数分别为1和 2。记wk1为过程 X1(t) 的第 k 次事件到达事件，w21为过程 X2(t) 的第 1 次事件到达时间，求Pwk10 时，由于nWtX tn , 故etmWtmnjjnjntXPtP!)(上式对 t 求导。得到 Wn的概率密度为etmmftmjnjjWn)(1!由于ttm。故etmmftmnnjnWn)(1!1当 t 0时，0tWfn故其它, 00,!11tntWetmftmnn15、设到达某商店的顾客组成强度为 的泊松方程，每个顾客购置商品的概率为 p，且与其它的顾客是否购置商品无关，假设Yt, t 0 使购置商品的顾客数，证明Yt, t 0是强度为 p的泊松过程。解：设 Xt ,t 0表示到达商店的顾客数，i表示第 i 个顾客购物与否，即个顾客不购物。，第个顾客购物，第iii0, 1那么由题意知i,i=1,2 独立同分布，且与Xt 独立， P ( i=1)=p, P ( i=0)=1-p, 因此，)(1tXiitY是复合泊松过程， EY(t)= tE( 1)=pt Y(t) 的强度 Y=EY(t)/t=t 16、设Xt ,t 0为具有参数 的泊松过程，证明（1） E(Wn)=n, 即泊松过程第n 次到达时间的数学期望恰好是到达概率倒数的名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 22 页 - - - - - - - - - . . . . . 15 / 22 n 倍。（2） D(Wn)=2n, 即泊松过程第n 次到达时间的方差恰好是达到概率倒数的n倍。证明： (1) 设 Ti 表示Xt ,t 0第 i-1次事件发生到第 i 次事件发生的时间间隔，那么 Ti ，i=1, ,n 相互独立且服从均匀值为1/ 的指数分布。21,1TTiIDE, ，i=1, ,n (1)nEEniiniinTTDW11(2)211nDniiniinDTTDW16、设0tX(t),是具有参数0的泊松过程 , 试求其有限维概率分布族. 解：对任意的自然数n，n21t.tt0与任意的非负整数n21k,.,k,k有：nn2211k)X(t,.,k)X(t,k)X(tP显然n21k.kk =1-nn1-nn121211k-k)X(t-)X(t,.,k-k)X(t-)X(t,k)X(tP =1-nn1-nn121211k-k)X(t-)X(tP.k-k)X(t-)X(tPk)X(tP =)!k(ke)t-(t)!k(ke)t-(t!ke)t(1n)t -(tkk1-nn12)t -(tkk121tk11-nn1nn121211n =)!k(k)!k(k!k)t-(t)t-(tte1n121kk1 -nnkk12k1t1nn121nknn17、0tX(t),是具有参数0的泊松过程 ,1n,Tn是对应的时间间隔序列, 试证明随机变量1,2,.)(nTn是独立同分布的均值为1的指数分布 . 解：首先注意到事件tT1发生当且仅当泊松过程在区间t , 0没有事件发生 , 因而t1e0X(t)PtTP, 即t11Te1tTP1tTP(t)F1, 所以 T1名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 22 页 - - - - - - - - - . . . . . 16 / 22 服从均值为1的指数分布 . 利用泊松过程的独立、平稳增量性质, 有: 内没有事件发生在内没有事件发生在tss,PsTtss,PsTtTP112 =0X(s)-s)X(tP =te0X(0)-X(t)P即t22Te1tTP1tTP(t)F2, 故 T2也是服从均值为1的指数分布 .对于任意1n和0s,.,s,st,1-n21, 有0)s.sX(s-)s.sX(tPsT.,. ,sTtTP1-n211-n11-n1-n11nte0X(0)X(t)P, 即tnTe1tTP(t)Fn所以对任一1)(nTn, 其分布是均值为1的指数分布证明：18.,0设是泊松过程，求其特征函数族Xtt( )0( )( )iuX tiunXnguE eeP X tn00()()!niuniunttnnttee eennexpexp(1)tiuiuetet e3.8,0X tt例设是具有跳跃强度( )( )( )XEX tDX tmt解：1( )(1cos)2tt 的非齐次泊松过程0.E X tD X t求和001( )(1cos)2tts dss ds名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 22 页 - - - - - - - - - . . . . . 17 / 22 第四章1、设Tn,Xn为马尔可夫链 ,试证明 : 对任意整数0n,nl1和Iji,n 步转移概率l)-(nkjIk(l)ik(n)ijppp证明: 利用全概率公式与马尔可夫性, 有iXPjXi,XPiXjXPpmnmmmnm(n)ijIkmlmmlmmnmlmmiXPkXi,XPkXi,XPjXk,Xi,XPIkmlmlmnmiXk XPkXjXPIkl)-(nkj(l)ik(l)ikIkl)-(nkjpp(m)l)p(mp2、设质点在数轴上游动 , 每次游动一格 , 向右移动的概率为p, 向左移动的概率为p1q, 这种运动称为无限制随机游动. 以nX表示时刻n质点所处的位置 , 那么Tn,Xn是一个齐次马尔可夫链, 试写出它的一步和 k 步转移概率 . 解: 显然Tn,Xn的状态空间2,.1,0,I, 其一步转移概率矩阵为11sin2tt例 3.10 某镇有一小商店， 每日上午 8:00 开始营业，从 8:00 到 11:00 平均顾客到达率线性增加，在 8:00 顾客平均到达 5 人/h ；11:00 到达率达到最顶峰20 人/h ；从上午11:00 到下午 1:00 平均顾客到达率为20 人/h ；从下午 1 :00 到下午 5:00 顾客到达率线性下降，到下午5:00 时为 12 人/h ，假定在不重叠的区间内到达商店的顾客数是相互独立的，问在上午8:30 至 9:30 时间内无顾客到达商店的概率，并求这段时间到达商店的顾客数的数学期望。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 17 页，共 22 页 - - - - - - - - - . . . . . 18 / 22 .p0q0.0p0q.P设在第 k 步转移中向右移了x 步, 向左移了 y步, 且经过 k 步转移状态从 i 进入 j, 那么: i,-jy-xk,yx从而2i)-(jkx,2i)-(j-ky. 由于 x,y 都只能取整数 , 所以i)-(jk必须是偶数 . 又在 k 步中哪 x 步向右 , 哪 y 步向左是任意的 , 选取的方法有xkC种.于是.i)-(jk,0,i)-(jk,qpCpyxxk(k)ij为奇数为偶数3、设昨日、今日都下雨 , 明日有雨的概率为0.7 ；昨日无雨，今日有雨，明日有雨的概率为0.5 ；昨日有雨，今日无雨，明日有雨的概率为 0.4；昨日、今日均无雨，明日有雨的概率为0.2. 假设星期一、星期二均下雨，求星期四下雨的概率. 解: 设昨日、今日连续两天有雨称为状态0(RR)，昨日无雨、今日有雨称为状态 1(NR)，昨日有雨、今日无雨称为状态2(RN)，昨日、今日无雨称为状态 3(NN)，于是天气预报模型可看作一个四状态的马尔可夫链，其转移概率为：7.0RRRPPRRRRPp00今昨明今昨明今连续三天有雨（不可能事件）今昨明今0RRRNPp01，3.07.01RRNPRRRRPp02今昨明今昨明今（不可能事件）今昨明今0RRNNPp03, 其中 R代表有雨，N代表无雨 .类似地可得到所在状态的一步转移概率. 于是它的一步转移概率矩阵名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 18 页，共 22 页 - - - - - - - - - . . . . . 19 / 22 为: 0.800.200.6.00.4000.500.500.300.7ppppppppppppppppP33323130232221201321111003020100其两步转移概率矩阵为 : 0.640.100.160.100.480.200.120.200.300.150.200.350.180.210.120.490.800.200.600.4000.500.500.300.70.800.200.600.4000.500.500.300.7PPP(2)由于星期四下雨意味着过程所处的状态为0 或 1, 因此星期一、星期二连续下雨， 星期四下雨的概率为：61.012. 049.0ppp(2)01(2)00. 4、设质点在线段4, 1上做随机游动 , 假设它只能在时刻Tn发生移动 ,且只能停留在1,2,3,4点上. 当质点转移到 2,3 点时, 它以31的概率向左或向右移动一格 , 或停留在原处 . 当质点移动到点1 时, 它以概率1停留在原处 . 当质点移动到点 4时, 它以概率 1移动到点 3. 假设以nX表示质点在时刻n 所处的位置 , 那么Tn,Xn是一个齐次马尔可夫链 ,其转移概率矩阵为 : 0100313131003131310001试画出各状态之间的转移关系图与标出相应的转移概率. 解: 由题意可得各状态之间的转移关系与相应的转移概率如以下图所示: 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 19 页，共 22 页 - - - - - - - - - . . . . . 20 / 22 5、 设 马 尔可 夫 链 状态 空 间4, 3, 2, 1I, 其 一 步 转移 概 率 矩阵 为0210210323100001002121R, 试将状态进展分类 . 解: 对于n0f(n)44,10ff1nn4444状态 4 为非常返状态对于32f(1)33,2)(n0f(n)33132ff1n(n)3333,状态 3 是非常返的对于21f(1)1121f(2)111fff(2)11(1)1111又 d=1 状态 1 是正常返 , 非周期的 , 从而为遍历的对于0f(1)2221f(2)222(3)22212121f3(4)2221f1 -n(n)2221f(n)2222n-1n 1n 21ff12所以状态 2 为正常返 ,d=1, 非周期的 , 从而是遍历的各状态之间的转移关系与相应的转移概率如以下图所示: 1 1 1 2 4 3 313131313131名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 20 页，共 22 页 - - - - - - - - - . . . . . 21 / 22 6 、 设 马 尔 可 夫 链nX的 状 态 空 间 为.,2 , 10,I转 移 概 率 为21P00,21P1ii,21Pi0，Ii, 试证明各状态均为遍历的. 证明: 根据题意可得 : 21f(1)00,2(2)0021f，3(3)0021f，n(n)0021f21121121ff1nn1n(n)0000所以状态 0 为常返221nfn1nn1n(n)000状态 0 为正常返， d=1，非周期是遍历的又各状态与 0 互通，所以其余状态也为遍历的. 7、1 211 2 4 3 31213221211,2,6 ,设马尔可夫链的状态空间为转移矩阵为I00 10 0 00000 0 10000 1 01/3 1/3 0 1/3 00100 00 00 1/2 0 00 1/2名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 21 页，共 22 页 - - - - - - - - - . . . . . 22 / 22 8、设,X ttT为 随 机 过 程 ， 假 设 对 任 意 正 整 数n与12nttt ，112211,0nnP X tx X txX tx，且条件概率满足112211,nnnnP XxXx XxXx11nnnnP XxXx那么称 X(t ) ，t T为马尔可夫过程。9、称条件概率1ijnnpnP Xj Xi为马尔可夫链,nXnT在时刻n的一步转移概率，其中, i jI。10、称条件概率,0,1nijm nmpP Xj Xii jI mn为马尔可夫链,nXnT在时刻n的步n转移概率，其中, i jI。12、画出状态转移图，求出所有闭集，并指出其中的不可约集试画出状态转移图、按状态类型分解此链并指出各状态的常返性及周期性。1,2,116 ,设转移矩阵为I00 10 0 000 00 0 100 00 1 01/3 1/3 0 1/3 0 010 000 00 1/2 000 1/2画出状态转移图，试按状态类型分解此链并指出各状态的常返性及周期性。11,2,3,4,5MarkovI例设链的状态空间其一步转移概率矩阵为11000221100022001001000001000名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 22 页，共 22 页 - - - - - - - - -