2022年随机过程及其应用-清华大学终稿 .pdf

《2022年随机过程及其应用-清华大学终稿 .pdf》由会员分享，可在线阅读，更多相关《2022年随机过程及其应用-清华大学终稿 .pdf（26页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、4.1(等待时间的和 )设诚恳按照参数的 Poisson 过程来到公交站，公交车于时刻t发出，那么在, 0t时间段内到达的乘客等待时间总和的期望应该如何计算那？对于某一个乘客而言，假设其到达时间为kt，那么他等待时间就是ktt所以乘客总的等待时间为)(0)()(tNkktttS使用条件期望来处理平均等待)(| )()(ntNtEEtSE对于某已成了而言，其到达时刻kt随机,0t内均匀分布的随机变量。但在车站上，乘客是先后到达次序排队，所以在ntN)(的条件下，nttt,.,21形成了独立均匀分布的顺序统计量。不过就他们的和ntt.1而言，可以那他们看着顺序统计量，也可以把他们看着不排顺序的n各

2、 独 立的, 0t内均 匀分 布的 随 机 变 量 ， 所 以2)(2)2)()(22)()(| )(20ttNEtttNEtEEntntnttEntntNtEEnkk从而有4.2(数值记录 )设,NnXn是一独立同分布的非负期望随机变量序列。定义风险率)(t如下)(1)()(tFtft这里)()(tFtf和分别是kX的概率密度分布和分布函数。定义随机过程)(tN如下),.,max(:#)(01tXXXXntNnnn这里A#表示集合 A 中的元素个数。如果把)(tN中的时间t看做时间，那么)(tN是一个非齐次 Poisson过程。事实上，由于kX彼此独立，所以)(tN具有独立增量性。 很明显0

3、)0(N，于是只需要检查一个时间微元内)(tN的状态。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 26 页 - - - - - - - - - 假定t充分小，在0,.,XXn中只有nX在,(ttt上，因此111-11 -11111)()()(),.,(),(),.,(),.,max(,(),.,max(,()1)()(nnnnnnnnnnnntFtottftXtXPttXPtXtXttXPXXXttXPXXXttXPtNttNP所以)()()(1)()()()()()

4、1)()(21totttFtottfxFtottftNttNPnn另一方面，可以证明)()2)()(totNttNP所以)(tN是非齐次的 Poisson过程，强度)(t。这里所提到的风险率在可靠性研究中有着重要作用。假定某种起见的寿命为随机变量， 其概率分布和密度分布为)()(tftF和，那么风险率微元)()(tott表示该器件在 1 ,0时间段内为失效的条件下，将会在,ttt内失效的概率。由此可以说明“风险”一次的含义。从而可知，与指数相应的风险率是常数，而且在所有非负连续随机变量的分布函数中，唯有指数分布相应的风险率为常数。事实上，由)exp(1)(0)0(),(1()(ttFFtFtF

5、dtd直接解得上式正好指数分布的分布函数。4.3(Poisson 过程的和与差)两个独立的Poisson 过程的和仍然是Poisson 过程，事实上，设是两个和)()(21tNtN独立的 Poisson 过程，参数分别是21和。则)()(21tNtN的母函数为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 26 页 - - - - - - - - - )1()exp(),(),()()(),(21)()()()()()(21212121zttzGtzGzzEzEtzGNN

6、tNtNtNtNtNtN所以)()(21tNtN是参数21的 Poisson过程。 类似的结论可以拓广到n个独立的 Poisson过程的和：如果个是，ntNtNn)(.,)(1独立的 Poisson过程，参数分别为n.,1，那么)(.)(1tNtNn仍然是 Poisson过程，参数n.1。考虑两个独立 Poisson过程差21)(NNtX。可以肯定，)(tX不是Poisson过程，因为0)0)(tXP，这与 Poisson过程的非负明显矛盾。计算)(tX的特征函数可以知道：) 1)()exp()1)(exp() 1)(exp(exp()()()(exp()(exp()()(exp()(2121

7、)()(21211121jPtjtjtjjtNjEtNjEtNtNjEjtNtNNN这里)exp()exp()(212211jjjP所有)(tX是 Poisson过程， 其中 Poisson过程参数n1， 随机变量kY服从两点分布：212211)1(,)1(kkYPYP4.4(事件分类 )0,t内进入商店的顾客服从Poisson 过程，顾客有男有女之分。如果每次进入商店的顾客中，男顾客出现的概率为p，女顾客出现的概率为q，1qp那么每次进入想点的男顾客人数)(tNm有)(0)(tNkkmYtN其中，kY为取值 0,1 独立同分布的随机变量，不妨设男顾客出现时kY取 1，名师资料总结 - - -

8、精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 26 页 - - - - - - - - - kY0 1 kYPq p 根据式)1)(exp()()()()()()(1tYtYtNtYtjGj) 1)(exp(exp() 1)(exp(exp() 1)(exp(exp(),exp()(jptqjptjttjYtNm得到可以看到，进入商店的男顾客人数)(tNm服从参数为p的 Poisson过程。同理女顾客人数服从参数为q的 Poisson过程。4.6(散弹噪声分析 )电真空以及半导体中的噪声有很大

9、一部分来源于“散弹效应”。单个电子在器件内渡越是会引起微小的窄脉冲电流，设该波形为)(ti。而阴极发射的电子数目服从Poisson分布，大量电子的运动在电路中的总电流强度可以用过滤Poisson过程进行近似。其他其中, 0,0,2)()()(2)(0aatNkkttqtititYq 为电子所携带电荷量，a为电子在器件内的渡越时间。由式atYtdthtYEtm设,),()()(0得atYstqdiitm,)()(0如果设由式),min(0),(),(),(stYdtshthstC可知)(tY的协方差函数为),min(0)()(),(stYdsitistC整理后得到aaaaaaYststststq

10、stC| ,|, 0)(61)(214),(3242所以散弹效应所引起的噪声电流是宽平稳的随机过程。4.7(发射强度很大时的Gauss近似)过滤 Poisson过程的性质不仅仅受到滤波器冲击响应h 的影响，和标准Poisson过程)(tN的强度也有名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 26 页 - - - - - - - - - 很大关系。现需要研究当时， 过滤 Poisson过程)(tY的渐进形态，为此首先把)(tY归一化。设令,)()(),()(tYVart

11、tYEtmYY)()()()(ttmtYtYY则)(1)(,0)(ttVartE。的特征函数满足)()()(exp)()()(ttmtjYtYYYt取对数以后得到)2exp()(2)(lg(12),()(2),()()()()1),()(exp()()()(lg()()()(lg(2)(2)(2022200)()(tttYtYYYtYYYYtYYYtodthtdthtjtmtjdthtjtmtjttmtj也就是说时有所以当所以当单位时间内出现的脉冲个数趋于无穷大时，归一化的过滤Poisson过程的极限分布为Gauss分布。4.8(特烈：Poisson过程 )如果某个更新过程的更新强度为0, 0

12、0,)(ttN可以利用更新方程式来计算时间间隔的概率分布，由式dftttfTtNNT)()()()(0得)(1()()(tFtFdtdtfTT立刻得)exp(1)(ttF恰好说明分布函数就是指数分布。4. 7.6(周期性)状态i的周期id是集合的最大公约数，即0:)( niiiPnT0:gcd)(niiiPnd如果, 11d就状态i非周期的。如果1id，则称状态i名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 26 页 - - - - - - - - - 为周期态。7.1

13、0(两个状态的 Markov 链)设离散时间 Markov 链的样本空间只有两个状态，这种连接在现实生活中十分常见。比如天气预报问题，吧晴天和阴天作为 (0,1)两种样本状态，可以通过构造Markov 链来研究天气在两种状态之间的统计规律。两个状态Markov 链的一步转移概率为 2*2 的随机矩阵，为)11(P其中。，1 ,0要得到 n 步转移概率，需要计算。nP可以利用特征分解吧矩阵对角化一简化矩阵乘幂的计算。以上矩阵为列，设其两个特征值不同，则可以找到2*2的矩阵 Q， 使得110)00(QQP其中10，非标是矩阵 P的两个特征值，矩阵 Q 的列分别是对应于10，的特征向量。从而有110

14、)00(QQPnnn只需要具体求出 P 的特征向量就可以完成nP的计算。P 的特征值是下列 特 征 方 程 的 解0)(d e tIP其 中I是 单 位 矩 阵 。 于 是0)1)(1(得 到 的 两 个 解 是1110，因，进而得到所以10,0, 0)11(Q且有)11(11Q所以)()1 ()(1)11)()1(001)(11(1nnnP如果时，有那么当 n1,|1|趋于无穷大时，即当时间 n)(1nP名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 26 页 - -

15、- - - - - - - N步 咋 混 一 概 率 存 在 极 限 ， 即)(10n)(00nlimlimnnPP和)(01n)(11nlimlimnnPP抓 你 概 率 极 限 与 初 始 状 态 无 关 ， 如 果，即，必然有121|1|此时转移概率为性，过程具有很强的周期一个状态，随机性消失链从一个状态转移到另)0110(P正是这种周期导致你步转移概率在n时不存在极限。7.11设有三个状态 0,1，2的 Markov 链，一步转移矩阵为)3231041412102121(有于2102104110, 0211201，导致，故。而所以PP相通，是不可约的，所以该链所以状态都得到和01202

16、10311021PP。状态图7.12 设有四个状态0，1，2，3 的 Markov 链，一步转移概率为)100021212121002121002121(状态如下所示，状态3 是吸收态。状态 0，1 相互可达，但是两者都无法到达状态2。所以该链有两个闭集 3 和0,1 。状态名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 26 页 - - - - - - - - - 2 可以到达其他状态，而无法从其他状态到达状态2. 不可约链的一步转移矩阵具有明显的特征，即不可能通过初等

17、行列置换得到如下形式：）（CBD0其中 C 是方阵。如果链还可约的，那么一定可以同初等行列吧一步转移矩阵变换为式）（CBD0的形式， 子 阵C 本身就是随机矩阵。进一步证明，任何一个Markov 链的转移概率矩阵通过适当行列置换可以化为如下的一般形式：)000000000(2121QRRRPPPPmm其中m1.,PP，分别是不可约的闭子集的转移矩阵，且相应于Q 的状态不存在不可约的闭子集。7.14(两个状态的周期性 )最简单也是基本的两个状态周期链0,1 具有如下形式的一步转移矩阵：)0110(P其状态转移图如下所示， 该链周期 2。名师资料总结 - - -精品资料欢迎下载 - - - - -

18、 - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 26 页 - - - - - - - - - 如果周期i具有周期id，并不是说对于任何的正整数 k，都有。0)(ikdiiP当 k 充分大后，这一论断成立。可以证明，相同的状态具有相同的周期性，即周期性的类性质。设jiji和,的周期分别为id和jd，则使得,knmnkdmdPPPPiinjikdjjmijnkdmiijj|0)()()()(ndkmdPPPPiinjidkjjmijndkmiiii)1(|0)()1()()1(所以。，因此同理可证明jiijijdddddd|,|利用周

19、期性，可以对Markov 链中的状态从周期的角度进行分类。为方便起见，只讨论不可约链的情况， ，此时各个状态周期d 都相同。状态空间为 E，整条链呈现出从一组状态向另一组状态转移的循环往复的特征。选状态0i，引入如下子类。)(mod1,0,)(mod1,0,)(mod0,0,)(1)(1)(0000ddnPEjCdnPEjCdnPEjCnjidnjinji很明显110.dCCCE上面给出的子类的表示方法说明了链的转移很规律，当时，10dk从子类。回到，然后从子类转移到01 -d1CCCCkk为说明上述分析的正确性， 只需验证如果，进而有所以。由于，则，1pkd1a,kda,0j0)(1pijp

20、0pPCPCiaii而结论是自然的，如下图,0001iiaiiaiiPPP名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 26 页 - - - - - - - - - 7.14（不可约周期性链的转移矩阵）上面的结果如果从转移矩阵的角度出发可以看得更清楚。 通过适当的行列置换， 周期为 d 且不可约的Markov链 的 一 步 转 移 概 率 矩 阵 可 以 写 成 如 下 形 式)000000000000(1, 12312dddAAAAP自行计算体会其变化规律。，,.,3

21、2PP7.15(一维无限制随机游动)研究一维无限制随机游动中个状态的性质。链中质点向右和向左的概率分别为pp1和。该状态所以状态都相通，故各个状态具有相同的性质。因而只需要讨论0 状态。经你步从 0 转移的概率为12,02,)1 ()2()(00knknppkkPkkn由1n)(niiP可知，0 状态十分具有常返性决定于下列级数是否收敛，即1k1k)1(!)!2()1 ()2(kkkkppkkkppkk为分析该 级 数 的 收 敛 性 ， 引 入Stirling公 式nennnn,)(2!则 有 ：kppppekkekkppkkkkkkkkk)2(4)1()(2)2(22)1()2(22（其中

22、是?）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 26 页 - - - - - - - - - 如果 p=1/2， 级数11k1)1(4kkkkpp发散， 吃屎 0 状态是 常返状态。如果2/1p,1)1(4app,级数状态是滑过态。收敛，此时 0)1(411kkkkkakpp7.16(二维随机无限制“平衡”时的随机游动)现在讨论二维平面上随机游动的各状态性质， 质点的位置是平面上坐标为整数点，每个一点代表一个状态， 每一个状态有上下左右四个相邻状态，质点的每一次转

23、移都以一定的概率转移到四个相邻状态之一。故平面上的随机游动也是不可约的。根据一维随机游动的结论，只讨论“平衡”的情况，此时向上下左右运动的概率完全相同，均为1/4。由于链不可约，所以仍然只研究 (0,0)状态，入下图所示。主要到奇数步不可能返回，所以只考虑偶数步从（ 0,0）转移到 (0,0)的概率。nknknnknnknnnknknkknP1212200,00)(2)41()41()!()!( !)!2(）（根据有关组合的恒等式nknnknnkn0)2()(得到22)2(0000)2()21(nnPnn，使用 Stirling 公式位发散级数。，nnPnnn1)4()41(22)2(0000

24、11)2(00,001kknnP。”是随机游动是常返的得到二维无限制“平衡7.17 设有四个状态 0，1，2，3的 Markov 链，其一步转移矩阵为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 26 页 - - - - - - - - - )001000100001212100(有图知，该链所以状态图都相通，是不可约链，所以状态都是常返的。7.18 设有5 个状态 0,1,2,3,4 的 Markov 链，其一步转移矩阵为)210041410212100021210

25、000021210002121(由图知 0,1 和2,3 是两个闭真子集，子集内状态彼此相通，所以状态0,1,2,3 均常返。而状态4位非常返。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 26 页 - - - - - - - - - 7.19(一维无限制随机游动 )已经知道当21p时，一维无限制随机游动是常返的，现在进一步研究其是否为正常返。由于链中有无穷多个相通状态，所以尽管链是不可约的， 也无法对它是否正常返值直接做判断。因此所限计算以)(00nP为系数的幂级数

26、 （列 7.15） 。利用负二项式定理，有。2120202)2(00)1()2(!)!2()(zzkkkzPzPkkkkk利用式)()1 (lim1lim110nzAzanznkk得到1021211)2(000)1)(1 (lim)()1 (lim1limnkzzknzzzPzPn所以0，从而可知 0 状态是零常返的， 进而得到一维无限制随机游动的所有状态为零常返。7.20(正常返，但转移概率无极限)这个列子在讨论周期性时提过。这链 有 两 个 状 态 0,1 ， 一 步 转 移 矩 阵 为)0110(P容 易 看 出12,02, 1)(11)(00knknPPnn所以有211lim10)(1

27、1nknnPn很明显该链为正常返， 且平均返回时间为2,。可是另一方面，)(11)(00limlimnnnnPP和都不存在极限。这说明几遍是正常返的链，其n 步转移概率的极限仍然可能不存在。7.21(无穷多个平稳分布 )设 Markov 链有四个状态 1,2,3,4 ，其一步转移概率矩阵为)0100100000010010(则有两个不可约正常返的闭真子集，1,2和3,4 。该链的平稳分布为1,0,),2,2,2,2(所以平稳分布有无穷多个。7.22(双随机转移矩阵 )1i名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整

28、理 - - - - - - - 第 13 页，共 26 页 - - - - - - - - - 7.23(Ehrenfest 模型)Ehrenfest 买模型的状态空间,.,2 ,1 ,0M是有限集合，其一步转移矩阵为011012030210110MMMMMMMMM很明星该模型是不可约的，且状态有限，所以所有状态都正常返。状态转移如图所示现求它的平稳分布。1111011,.,2, 1,1)11 (1MMiiiMMiMiMiM可以求得0iMi所以MiMMMiiiM00000212平稳分布为MIiMMi,.2, 1,21零状态的平均返回时间0，有平稳分布得到MM2112100007.24(带有一个

29、反射壁的一维随机游动)设带一个反射壁的随机游动状名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 26 页 - - - - - - - - - 态空间为,.2, 1 ,0， 0 为反射壁，其一步转移矩阵为pqpqpqP000000很明显该链是不可约的， 状态转移如图所示，现求其平衡方程式P的解,.,101,11100jqpqjjj由此得到0jjqp所以，要让成为分布，必须满足1000jjjjqp话句话说，需要0jjqp如果qp，则上式成立，此时该链正常返，平稳分布为1,1

30、,10jqpqpqpjj7.25定理(带一个反射壁的一维随机游动)正如在 7.24中所提到过得，利用平稳方程无法判断该链的正常性。所以利用定理 7.9(常返性判据)，有21pyy，,.3, 2,11kqypyykkk解得120)1)(1(ypqppynkkn可见该方程具有非零有界解得充分必要条件是pqpqpqkk1)(0因此当 qp 时，该链常返。综合7.24 的结果知该链为正常返的条件是。，非常返条件是零常返的条件是2121,21ppp7.26(一维无限制的随机游动)本列采用定理7.9 研究 7.15 中给定的随机游动，列 7.15 中给出的方法涉及诸如String 公式等复杂的分析工名师资

31、料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 26 页 - - - - - - - - - 具。现在用定理 7.9重新分析该问题。 划去 0 状态所有对应的行和列，有,.3 ,2,1121kpypyypyykkk，,.3, 2,1121kqypyyqyykkky得到,.3 ,2,)1)(120nypqqpynkkn,.3 ,2,)1)(120nyqpqpynkkn不难看出，是上述方程没有非零有界解得充分不要条件是00)(,)(kkkkqppq且所以只有当时qp，否则一定常返

32、。7.27(首次返回时间 )Markov 链中最典型也是最重要的停时时首次返回 时 间 ， 也 就 是 从 状 态i出 发 首 次 返 回i的 时 间 ， 即|:inf0iXiXnTni如果。那么,inTniX7.28(首次击中时间 )另外一个重要停时是Markov 链首次到达状态空间 返 回 时 间 的 某 个 子 集A的 时 间AT, 称 为 首 次 击 中 时 间:infAXnTnA很明显A)(XA,)(XA,.,)(X:n)(Tn1-n0A：7.29(停时的延迟 )如果是停时，0n是确定整数，那么+0n也是停时，因为事件mn0等价于事件0nm，而根据停时定义，事件0nm仅依赖于,.,0

33、10nmXXX，因此是停时。也就是说，停时确定性延迟还是停时。7.30(停时反列 )设nX为 Markov 链，i为该链的一个状态，对随机时间做如下定义：:0inf1iXnn则不是停时，因为事件1nXn和有关，不是有决定。,.,10nXXX名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 26 页 - - - - - - - - - 7.30(停时反列 )设nX为 Markov 链，i为该链的一个状态，对随机时间做如下定义：:0supiXnn则不是停时，因为事件1nkkX

34、n和有关，不仅仅有0kkXn和所决定。7.32(赌徒输光问题 )两个赌徒甲、乙入赌场进行一些赌博。令A 为甲的原始读本， 每次读本输赢的概率相同， 赌注为 1.假设甲手中的赌术到达 B 时，即认为自己到达了赚钱的目的，会离开赌场，那么在他达到赚钱目的之前， 有多大的肯会把手中的赌本全部输光？该问题称为赌徒输光问题。设0X是甲在起始时刻的赌本， 每次下注的结果为kX，第n时刻甲手中的赌本为nS，高过程具有两个吸收壁(0 和 B)的唯一对称随机游动，即nkknXXS00这里,.2, 1,21)1() 1(iXPXPii于是赌徒输光问题就变成了过程Sn在到达 B 之前到达 0 的概率有多大。 这个问

35、题可以使用 Wald等式解决。设:infBSSnTnn或很显然 T 是过程Xk的停时。由 Wald 等式，得到0)()()()()()0()(11XETEXEBSPABSPATkkTT且有1)()0(BSPSPTT，所以有BABSPBABSPTT)0(,)(。7.33(首达时间的计算 )考虑一维无限制随机游动，向右和向左的概率分别为p和pq1，设10X,现在通过母函数来计算从1 出发到达 0所用时间的概率分布。令 1|0:inf00XXnTn则0T分布的母函数为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - -

36、 - - - - - 第 17 页，共 26 页 - - - - - - - - - ) 10|()1,2|() 1|()(01010000XXzqEXXzpEXzEzGTTT，)1,2|()1,2|(01010XXzqEXXzpzET这里0T是首次到达 2 之后，继续转移并首次到达0 所用的时间。 由于首次到达 2 的时间是停时， 有强Markov性得到)2|() 1,2|(10100XzEXXzETT所以qzXzpzEzGT)2|()(10由于010TTT，其中1T是达到 2 后，继续转移并首次到达 1 的时间：0T是到达 1 后，继续转移并首次到达0 所需的时间。再次使用强Markov

37、性，有)() 1|()2|(21101zGXzEXzETTT因此qzzpzGzG)()(2进而有pzpqzzG2411)(2其中，0)(TzG为的母函数。通过Taylor 展开可以得到0T的分布，同时还可以得到0T的均值，即qppqqpzGdzdXTEz,1,)(lim)1|(1007.34(更新时刻 )考虑 Markov 链0nnX，设0T0，且iX0，令,.2, 1,:inf1kiXTnTnkkkT代表是从状态i出发后，第k次到达状态i的 时 间。 鱼 鱼mTk仅决 定 于0nnX， 所 以kT是 停 时。 设1kkkTT，则得到随机序列,.,21，且有),|0,(),.,|(111111

38、BiXsmiXiXPsssPkkkTkmTTkkkk这里随机,. ,1111ssBkk是1kT前所发生的事件。根据 Markov 性， 在iXkT1的条件下， B 和1kT后发生的事件kks相互独立，所以)|0 ,(),.,|(111111iXsmiXiXsssPkkkTkmTTkkkk再 根 据Markov 性，得到)|0,(11iXsmiXiXPkkkTkmTT名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 18 页，共 26 页 - - - - - - - - - )()|()

39、|0 ,()|0,(0001111kkkkTkmTkmTTsPiXsPiXsmiXiXPiXsmiXiXPkkkkkk所以1kk是独立同分布的随机序列， 满足)()(siikfsP。习惯上称时刻kT为相应状态i的更新时刻。7.35设 Markov 链的状态空间为 1,2,3,4,5,6,其一步转移概率矩阵为0414104141210210003131031000021021031003103121000210很明显，该链是不可约且非周期的， 其平稳分布为41811638116381，可以直接验证EjiPPjijiji,成立。 所以该为可逆 Markov 链。并不是所有在平稳分布的Markov

40、链都是可逆的。如状态空间(1,2,3)的 Markov 链，具有如下转移矩阵210212121002121很明显，该链是不可约且状态有限，是正常返且存在平稳分布)31,31,31(但是061212121PP所以该链是不可逆的。7.36利用细致平衡方程求解7.35，得到名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 19 页，共 26 页 - - - - - - - - - 32212332233432454261436243644265立刻得到分布为41811638116381，所以

41、链是可逆的，且平稳分布为。7.37(Ehrenfest模型)该模型的一步转移矩阵如式011011030210110MMMMMMMMMM所示，可以得到如下关系iiMiiMiMiMM1)1 ()1(11即MiMiMiMii0,)1(1所以该模型是可逆。因此求解细致平衡方程MiiMMMiMMMiiMMii1 ,12).1()1().(1(.) 1(100101得到M210MiiMMi1 ,217.38(整数值生灭过程 )设 Markov 链的状态空间为整数集Z，一步转移高了为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理

42、 - - - - - - - 第 20 页，共 26 页 - - - - - - - - - 其他,01,1,ijqijpPiiij其细致平衡方程为1110011!01101011110,.0,.1iikkkiikkkikkkiiiiikkkiiiiiiiipqqpipqpqiqpqpqp由此知道，如果故该链可逆，否则不可逆。如果转移概率满足qqppii,那么该链就退化成了一维无限制随机游动， 此时一定不可逆， 不能使用细致平衡方程来求解平稳分布。7.39(带反射壁的整数值生灭过程)吧列 7.38中抓住哪个台 0 改为反射壁，于是得到新的一步转移概率其他,010,1,0,10,0, 0,00i

43、jiqijipjipjiqPiiij其细致平衡方程为0,0,010111iqpiqpikkkiiiii所以很明显，如果时当qpqqppii,该链是不可逆的。有于qp意味着链主要向左移动， 而左边有反射壁， 所以练会呈现出往返复运动的态势，可逆性比较符合直观。7.40(带反射壁的整数值生灭过程)把列 7.16已就“平衡”情况讨论了二维无限制随机游动的常返性， 现在利用细致平衡方程讨论该链的可逆 性 ， 并 讨 论 平 稳 分 布),(nm的 存 在 性 。 其 一 步 转 移 概 率 为为其他整值),( , 0) 1 , 0(),1 , 0(),0 , 1 (),( ,),)(,(lklkaPl

44、kljkiji名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 21 页，共 26 页 - - - - - - - - - 选择(0,0)作为基点，二维空间上任何一点 (m,n)都可以找到一条路径和(0,0)相通。不妨设0,nm,则路径为)0,0(.)1,0(),0(.), 1(),(nnnmnm对于其他情况，可以构造出相应的路径。利用细致平衡方程，得到)0, 0(101,00, 10, 1)1,0(101,00, 10, 1),0(0, 10, 1),1(0,10, 1),(.nmn

45、mnmnmnmaaaaaaaaaaaa，同理可得)0,0(1, 01 ,00, 10, 1)1,0(1, 01,00, 10, 1),0(0, 10, 1),1(0, 10, 1),(.nmnmnmnmnmaaaaaaaaaaaa)0,0(1 ,01, 00, 10, 1)1,0(1, 01, 00, 10, 1),0(0, 10, 1), 1(0, 10,1)- ,(.nmnmnmnmnmaaaaaaaaaaaa)0,0(1 ,01, 00, 10, 1)1,0(1,01, 00, 10, 1),0(0,10,1), 1(0, 10,1),(.nmnmnmnmnmaaaaaaaaaaaa所以

46、该链可逆条件是01 ,01,01, 01 ,000, 10, 10,10, 1nnnmmmaaaaaaaa这 个 条 件 是 无 法 到 达 的 ， 所 以 该 链 不 可 逆 。 事 实 上 ， 当1,00, 11 ,00, 1aaaa时，二维无限制“平衡”的随机游动的所有状态都是零常返，平稳分布不存在：其他情况下，所有状态均为非常返态，名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 22 页，共 26 页 - - - - - - - - - 平稳分布同样不存在。 和一位情形相似，

47、 如果设x轴和y轴为反射壁，限制质点在第一象限运动，那么可逆条件为001,01 ,00, 10, 1mnnmaaaa只需要1,01 ,00, 10, 1,aaaa且即可满足可逆条件。此时平稳分布为11,01, 010, 10, 11,01 ,00, 1-0, 1),(11aaaaaaaanmnm7.41设有离散分支过程， 群体中单个个体繁殖下一代的数目如下分布则个体繁殖下一代数目的均值值Xm为0161716131632211Xm母函数321611632141)(zzzzG求解zzG)(，得到222,222, 10)44)(1(3212zzzzzz最 小 正 根 ( 灭 种 概率)828.01-

48、22）（如果调整下一代个体繁殖数目的概率取值，可以得到表所示的结果0p1p2p3pXm最 小 正根8321161161116131 4121163161116170.828 412181811890.732 41210 411450.618 有表可知，通过改变个体繁殖数目的统计特性，可以调整其均值并而名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 23 页，共 26 页 - - - - - - - - - 影响群体的灭种概率。当1Xm时，群体必然灭种；而当1Xm时，增大Xm可以改变母

49、函数)(zG的形状，从而灭种概率想笑的方向发展。7.43(有限个非常返态 )如果 Markov 链中非常返态的数目有限， 则其一步转移矩阵可以写成QBDP0可知nnnQDP*0由式 7-74(如果状态j 非常返，那么i即nPnij, 0)()，对于非常态j 有nPnij, 0)(，所以nQn,0，由此得到AAnnnIQnvv0lim)(lim也就是说，如果非常返态数目有限，则在非常返态中无限逗留的概率是0。这和直观非常一致。列 7.44(带有一个反射壁的一维随机游动)列 7.25中已经讨论了带一个反射壁的随机游动的常返性，使用的工具定理是7.9。这里从另外一个角度，利用“从状态i出发永不访问

50、0 状态的概率0iv”以说明当qp时 0 状态为非常，从而该链所有状态均为非常返。选定 A=N,解方程得到Qvv1121123112)()(1()(1)1(1ikkipqvpqpqvqvvpvvpqvpv鉴于pqvpqvvkki11)(, 10101由于的是方程Qvvv最大解，所有pqv11从而得到iipqv)(1其实只要有01v就可以说明 0 状态非常返了名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 24 页，共 26 页 - - - - - - - - - 7.45(设备维修问