2022年马尔可夫过程在信源编码中的应用.docx

《2022年马尔可夫过程在信源编码中的应用.docx》由会员分享，可在线阅读，更多相关《2022年马尔可夫过程在信源编码中的应用.docx（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选学习资料 - - - - - - - - - 河南城建学院马尔科夫过程在信源编码中的应用 信 息 论 基 础姓名：王坤专业名称：电子信息工程专业班级：0934121 指导老师：贺伟所在院系：电气与信息工程学院2022 年 12 月 20 日名师归纳总结 - - - - - - -第 1 页,共 15 页精选学习资料 - - - - - - - - - 摘要第一主要叙述了马尔科夫过程, 对马尔科夫过程进行了简介, 介绍了马尔 科夫过程的数学描述方法并对马尔科夫过程的进展历史进行了简述；在其次章节对马尔科夫过程在信源编码中的应用进行了简洁的论述及讲解；信息论中的编码主要包括信源编码和信道编码；

2、信源编码的主要目的是提高有效性,通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率；信道编码的主要目标是提高信息传输的牢靠性,在信息传输率不超过信道容量的前提下, 尽可能增加信源冗余度以减小错误译码概率；争论编码问题是为了设计出访通信系统优化的编译码设备随机过程是与时间相关的随机变量,在确定的时刻它是随机变量； 随机过程的详细取值称作其样本函数, 全部样本函数构成的集合称作随机过程的样本 函数空间,全部样本函数空间及其统计特性即构成了随机过程；名师归纳总结 - - - - - - -第 2 页,共 15 页精选学习资料 - - - - - - - - - 目录 1 引言 1 名师归

3、纳总结 2 马尔科夫过程 2 3 马尔科夫过程在信源编码中的应用 4 4 参考文献 13 第 3 页,共 15 页- - - - - - -精选学习资料 - - - - - - - - - 1 引言 随着现代科学技术的进展, 特殊是移动通信技术的进展, 信息的传输在社 会科学进步的位置越来越重要； 因此如何更加高效的传输信息成了现代科技研 究的重要目标； 马尔可夫过程是一类特别重要的随机过程；许多在应用中显现的马氏过程模型的争论受到越来越多的重视；在现实世界中, 有许多过程都是马尔可夫过程,马尔可夫过程在争论质点的随机运动、自动掌握、通信技术、生物工程等领域中有着广泛的应用； 我们可以通过对马

4、尔可夫过程的争论来分 析马尔可夫信源的特性；由于争论马尔科夫过程在信源编码中的作用,传输的 冗余, 提高信息传输的效率；可以利用马尔科夫模型削减信息马尔可夫信源是一类有限长度记忆的非平稳离散信源,信源输出的 消息是非平稳的随机序列,它们的各维概率分布可能会随时间的平移而 转变；由于马尔可夫信源的相关性及可压缩性,它已成为信息领域的热 点问题；1 名师归纳总结 - - - - - - -第 4 页,共 15 页精选学习资料 - - - - - - - - - 2 马尔科夫过程 2.1 尔可夫过程简介 马尔科夫过程 MARKOV Process是一个典型的随机过程；设 Xt 是一随 机过程,当过程

5、在时刻 t0 所处的状态为已知时,时刻 ttt0 所处的状态与 过程在 t0 时刻之前的状态无关,这个特性成为无后效性；无后效的随机过程 称为马尔科夫过程； 马尔科夫过程中的时同和状态既可以是连续的,又可以是 离散的；2.2 马尔可夫过程的数学描述 2.2.1 马尔科夫过程 马尔可夫过程是下述这样的一种过程： 在已经时刻 t0 系统所处状态的条件下,在时刻 t0 以后系统到达的情形与时刻t0 以前系统所处的状态无关, 完全取决于时刻 t0 系统所处的状态；这个特性称为无后效性, 也称为“ 马尔可夫性” ；马尔可夫过程数学定义如下：设 Xt,tT 为随机过程,假如对于任意正整数 n及t1t2.t

6、n,P X t 1x 1 ,X t2x2,.,X tn1 xn1 0,并且其条件分布为P X tnxn|X t 1x 1 ,X t2 x2 ,.,Xtn1 xn1 P X tnxn|Xtn1 xn1 就称 Xt,tT为马尔可夫过程,或称该过程具有马尔可夫性；依据时间和状态的离散、连续情形马尔可夫过程可分为三类：1 时间与状态（空间）都离散的过程,称为马尔可夫链；2 时间连续与状态（空间）离散的过程,称为连续时间的马尔可夫过链；3 时间与状态（空间）都连续的马尔可夫过程；2.2.2 马尔可夫链马尔可夫链的数学定义 : T和任意的 i 0,i 1, i n+1I ,设有随机过程 Xn,nT ,如对

7、于任意的整数 n条件概率满意P Xn1in1|X0i0,X1i1 ,.,Xnin P Xn1in1|Xnin 就称 XnnT为马尔科夫链,简称马氏链；2.3 马尔可夫过程的进展 20 世纪 50 岁月以前, 争论马尔可夫过程的主要工具是微分方程和半群理 论；1936 年前后就开头探讨马尔可夫过程的轨道性质,直到把微分方程和半 群理论的分析方法同争论轨道性质的概率方法结合运用,才使这方面的争论工作进一步深化,并形成了对轨道分析必不行少的强马尔可夫性概念；1942 年,2 名师归纳总结 - - - - - - -第 5 页,共 15 页精选学习资料 - - - - - - - - - 伊藤清用他创

8、立的随机积分和随机微分方程理论来争论一类特殊而重要的马尔可夫过程 扩散过程,开创了争论马尔可夫过程的又一重要途径；出于扩大极限定理应用范畴的目的,马尔科夫在20 世纪初开头考虑相依随机变量序列的规律, 并从中选出了最重要的一类加以争论；1906 年他在大 数定律关于相依变量的扩展 一文中,第一次提到这种犹如锁链般环环相扣的 随机变量序列, 其中某个变量各以多大的概率取什么值,完全由它前面的一个 变量来打算, 而与它更前面的那些变量无关； 这就是被后人称作马尔科夫链的 闻名概率模型；也是在这篇论文里,马尔科夫建立了这种链的大数定律；马尔科夫链的引入,在物理、化学、天文、生物、经济、军事等科学领域

9、 都产生了连锁性的反应, 很快地涌现出一系列新的课题、 新的理论和新的学科,并掀开了概率论中一个重要分支随机过程理论蓬勃进展的序幕；3 名师归纳总结 - - - - - - -第 6 页,共 15 页精选学习资料 - - - - - - - - - 3 马尔可夫过程在信源编码中的应用 3.1 通信中争论随机过程的重要性 在通信、雷达探测、地震探测等领域中, 都有传递信号与接收信号的问题；传递信号时会受到噪声的干扰, 为了精确地传递和接收信号, 就要把干扰的性 质分析清晰, 然后实行方法排除干扰； 这是信息论的主要目的； 噪声本身是随机的,所以概率论是信息论争论中必不行少的工具；争论在接收信号时

10、如何最大限度地排除噪声的干扰,信息论中的滤波问题就是 而编码问题就是争论实行什么样的手段发射信号, 能最大限度地抗击干扰； 在空间科学和工业生产的自动化技术中需要用到信息论和掌握理论,用到马尔可夫随机过程；而争论带随机干扰的掌握问题, 也要图 3.1 是通信系统模型； 从信息论的角度来说, 通信的过程就是不确定度 减小的过程； 而不确定性就是过程的随机性, 所以从这个角度来说通信过程的 争论可以归结到对于随机过程特性的争论过程；信息发信传输媒介收信受信噪声图 3. 1 通信系统模型从图中可以看到,通信系统中用于表示信息的信号不行能是单一的确定的,而是具有不确定性和随机性的；这种具有不确定性,

11、随机性的信号即称为随机信号；同时通信系统中存在各种干扰和噪声,这些干扰和噪声的波形更具有随机性,是不行猜测的, 我们称其为随机噪声；尽管随机信号和随机噪声都是不行猜测的,但是它们具有肯定的统计规律性；在通信系统中, 编码过程分为信源编码和信道编码两种,信源编码是为了 压缩信息之间的相关性, 最大限度提高传信率, 目的在于提高通信效率； 而信 道编码就相反, 通过引入相关性, 使信息具有肯定的纠错和检错的才能从而提 高传输信息的牢靠性；对于信源编码,实现降低相关性有两种途径, 一种是信源概率分布匀称化,概率分布匀称化就是 另一种是信源独立化； 从概率论和随机过程的角度来说,每个大事发生的概率大致

12、相同,这样就会使每个信源携带的信息量基本相同,那么不确定性就达到最大, 即传输过程中产生的信息量就最大；类似的信源独立化是通过对信源进行扩展达到的,通过信源的高次扩展, 是扩展信源中每个 4 名师归纳总结 - - - - - - -第 7 页,共 15 页精选学习资料 - - - - - - - - - 符号显现的概率大致相同,这样也实现信息量最大化；对于信道编码, 由于信道中存在随机噪声, 或者随机干扰, 使得经过信道传输后所接收到的码元与发送码元之间存在差异,这种差异就是传输产生的差错；一般信道噪声干扰越大,码元产生差错的概率也就越大；所以信道编码的任务就是构造出以最小冗余度代价换取最大抗

13、干扰性能 的码字组合； 从信道编码的构造方法看, 其基本思路是依据肯定的规律在待发送的信息码中加入一些人为余外的码字；性,虽然降低了信息所能携带的信息量,声引入的误码情形；3.2 马尔可夫信源 3.2.1 马尔可夫信源概述这些码字的引入时信息之间具有相关 但是通过相关性可以克服由于随机噪马尔可夫信源是一类相对简洁的有记忆信源,信源在某一时刻发出某一符 号的概率除与该符号有关外,只与此前发出的有限个符号有关；图 3.2 马尔可夫信源模型我们把前面如干个符号看作一个状态, 可以认为信源在某一时刻发出某一符号的概率除了与该符号有关外,只与该时刻信源所处的状态有关,而与过去的状态无关； 信源发出一个符

14、号后, 信源所处的状态即发生转变, 这些状态的 变化组成了马氏链；马尔可夫信源有记忆的特点： 有限记忆长度；信源输出不仅与符号集有关,而且与状态有关； 每发一个符号状态要发生转移；符号组构成的序列；5 所谓状态, 是指有限的相关名师归纳总结 - - - - - - -第 8 页,共 15 页精选学习资料 - - - - - - - - - 信源的状态集：se e 2 ,. ej 信源基本符号集：xX1 ,X2 ,.Xn在每一状态下可能输出的符号：输出随机符号序列：X X 2 . X l 1 X l .输出随机状态序列：SS S S l .设 l 时刻信源处于 ie,输出 kx的概率为p l x

15、 e i , p l e e 在 l 时刻,其前一时刻的状态 ie之下而转移到 je的状态转移概率为op S l e x l x S e i 1 称为一步状态转移概率信源输出的随机状态序列：SS S S l . 构成一个马尔可夫链p lx e i,p l e e一般与时刻 l 相关假如上述条件概率与时刻pL0. e e i0l 无关,称随机过程为时齐的；即有：此时,信源输出的随机状态序列：SS S S l.构成时齐马尔科夫链马尔可夫信源：以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源,其 满意以下条件：（1） 某时刻输出符号仅与此刻信源所处的状态有关；6 名师归纳总结 - - -

16、 - - - -第 9 页,共 15 页精选学习资料 - - - - - - - - - pS le xlx S e io1当具有时齐性时,满意p x e ipx e（2）某时刻所处状态由当前输出符号与前一时刻信源状态唯独确定pS le xlx Sl1e io1马尔可夫信源输出的状态序列呈时齐马尔科夫链；下面是一个马尔可夫信源的分析实例,马尔可夫信源的信源符号X3x x x3 , 其可能的状态Se e e e e 5 ,状态转移图及1p x e i1矩阵如下所示：b）一步转移矩阵ka）矩阵表示图 3.3 马尔可夫信源的状态转移图及相关矩阵xlxm1/x 1 . xmx x2,. xmk1 .

17、xkm, pplxkm1/x7 名师归纳总结 - - - - - - -第 10 页,共 15 页精选学习资料 - - - - - - - - - p e e ipx e i,31pS lejxl/x S l1e ik3.2.2m 阶马尔可夫信源信源输出当前符号仅与前面m个符号有关的马尔可夫信源, 这 m个符号为信源在当前时刻的状态； 状态总数为 n 的 m次方；信源输出长度为 m+1的随机 序列转化为对应的状态序列,其构成马尔科夫链；exxm1/x1 .xm x x2, . xmk. 1xkmplplxkm1/xHM1 的运算m阶马尔可夫信源的条件概率Pxkn/xk. 1xkm.xkm1.

18、xkn 1P xkn/xkNM.xkNM1. .xkN 1PkM1xkx/xk. 1m. m阶马尔可夫信源的极限熵名师归纳总结 HN limHlog2 PxkM1/xk. 1xkm./X X2 .XN1 M1log2PxkM1/xlim Nm1.m1Pxk1 . xkN. log2 PxkN/xk. 1xkN1. kikNN limm1.km1Pxk 1. xkN. log2 P xkM1/xk. 1xkm. kiNN1.km1xk.xkm.1 . log2 P xkM1/xk. 1xkm .kiM11HxM1/x x2 .xmHm1H HM1 的运算 : m1. e e ikn8 1Pxk1

19、 . xkm1. xkM1kimPxkM1/xk1 . xkm .Px e ip ej/e i第 11 页,共 15 页- - - - - - -精选学习资料 - - - - - - - - - ; x xk. 2xkme xkm1xk;xk2.x xkm 1ejp e 是马尔可夫信源稳固后（N）各状态的极限概率j/e ie iP xkM1/xk. 1xkm. P x e ip ep ej/HHM1nmm n jp e p ej/ei log2i13.2.3 各态经受定理对于有限齐次马尔科夫链,如存在正整数l01,对一切 i,j=1,2, ,nm都有x x , ,x,就对每一个 j 都存在不依

20、靠于 I 的极限lim LpL/e iPj1,2,.MN称此马尔科夫链是各态历经的；其极限概率是约束方程组的解Pejjn ImPe i pe e iJ1,2,. nm 1suchp e0,n ImP ej119 名师归纳总结 - - - - - - -第 12 页,共 15 页精选学习资料 - - - - - - - - - 马氏链的各态历经定理说明： 只有在转移了肯定步数后各状态之间可相通 的条件下,当转移步数足够大时, 处于某一状态的概率才能稳固在某一极限值；各状态相通, 均可经受；每个由各状态经受过程产生的序列都有同样的统计特 性,即统计匀称性；3.2.4 信源的相关性和剩余度 争论信源

21、最主要的目的是为了得到高效率的信源编码,衡量信源编码效率 的尺度是什么？能够使信源编码提高效率的根本缘由是什么？信源的冗余度 实际上就是信源在发出消息时无用信息量所占的百分比；初始信源的冗余度通常是很大的, 这为信源的压缩编码供应了可能；编码方法,使得编码后消息序列中的冗余度趋近于压缩编码的目标就是查找某种 0. 假如将这种编码包含在信源中,也可以说是查找某种能够使信源冗余度趋近于 0 的编码方法； 冗余度成为衡量信源编码效率的一个物理量,冗余度越低,编码效率就越高；实际离散信源熵的运算与近似表示过程：HHNX平稳信源无记实际信源近似M 阶马尔科1 阶马尔科夫忆信夫信源信源源图 3.4 信源的

22、马尔可夫建模由最大熵定理：H1 X2H0X log2 n,log2 n H0H1H.Hm1H信源符号的相关性越强, 所供应的平均信息量就越少； 冗余度是编码理论中的一个重要的概念； 在信源编码中, 人们总是在查找压缩信源冗余度的方法10 名师归纳总结 - - - - - - -第 13 页,共 15 页精选学习资料 - - - - - - - - - 来提高传输的有效性； 在信道编码中, 人们又总是实行注入冗余度的方法来提 高传输的牢靠性；信源的剩余度来自两个方面,一是信源符号间的相关性,相关程度越大,符号间的依靠关系越长, 信源的实际熵越小, 另一方面是信源符号分布的不均 匀性使信源的实际熵

23、越小；为了更经济有效的传送信息, 需要尽量压缩信源的剩余度, 压缩剩余度的 方法就是尽量减小符号间的相关性,并且尽可能的使信源符号等概率分布；从提高信息传输效率的观点动身,人们总是期望尽量去掉剩余度； 但是从提高抗干扰才能角度来看, 却期望增加或保留信源的剩余度,由于剩余度大的消息抗干扰才能强；3.3 马尔科夫模型的其他应用隐马尔可夫模型是马尔可夫链的一种,它的状态不能直接观看到, 但能通过观测向量序列观看到, 每个观测向量都是通过某些概率密度分布表现为各种 状态,每一个观测向量是由一个具有响应概率密度分布的状态序列产生；近年 来,隐马尔可夫模型 HMM在模式识别与随机信号处理中有着最广泛的应

24、用,最胜利的例子如语音识别和文字识别；信核心技术“ 多用户的检测” ；HMM仍被引入运算机文字识别和移动通11 名师归纳总结 - - - - - - -第 14 页,共 15 页精选学习资料 - - - - - - - - - 四 参考文献1 周炯槃 . 通信原理,北京邮电高校,2005 2 樊平毅 . 随机过程理论与应用 M. 北京：清华高校出版社 ,2005. 3 胡细宝 . 概率论、数理统计、随机过程,北京邮电高校,2004 4 陆传费 . 工程系统中的随机过程,电子工业出版社,2000 5 邵雅丽 , 夏成娇 , 李晓翠 . 三种无记忆信源编码的比较 J. 2022,18 . 6 池秀清 . 信源编码与信道编码 J. 科技情报开发与经济 , 2001,06 . 7 张海刚 . 编码与调制移动通信系统关键技术争论D. 山东高校 , 2022 . 12 名师归纳总结 - - - - - - -第 15 页,共 15 页