信息论中的重要不等式PPT讲稿.ppt

《信息论中的重要不等式PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论中的重要不等式PPT讲稿.ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论中的重要不等式第1页，共46页，编辑于2022年，星期四主要内容信息论中的重要不等式信息论中的重要不等式相对熵相对熵互信息互信息 l对对数数函函数数基基本本不不等等式式l詹詹森森不不等等式式l费费诺诺不不等等式式2第2页，共46页，编辑于2022年，星期四1.4 重要不等式对任意实数对任何两组满足条件 的实数，等号成立的充要条件是 对数函数的基本不等式对数函数的基本不等式3第3页，共46页，编辑于2022年，星期四重要不等式对任何两组实数 ,对数和不等式.4第4页，共46页，编辑于2022年，星期四重要不等式詹森不等式詹森不等式 是一个随机变量，表示 的数学期望，是上凸函数，则费诺不等式

2、 是在 中取值的随机变量，记 则 5第5页，共46页，编辑于2022年，星期四相对熵（互熵）两个概率分布“差异性”的度量值，也是一种重要的信息度量.同一字母集上两个概率分布的相对熵：对任意概率分布对任意概率分布pi，它对其他概率分布，它对其他概率分布qi的自信息量的自信息量-logqi取数学期望时的差异取数学期望时的差异.6第6页，共46页，编辑于2022年，星期四相对熵的性质 ，等号成立 是概率分布对 的凸函数7第7页，共46页，编辑于2022年，星期四互信息8第8页，共46页，编辑于2022年，星期四互信息I(信息量)=不确定程度的减小量 如果信道是无噪的，当信源发出消息x后，信宿必能准确

3、无误地收到该消息，彻底消除对x的不确定度，所获得的信息量就是x的不确定度，即x本身含有的全部信息.信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了.9第9页，共46页，编辑于2022年，星期四 1.互信息 (1)yj对xi的互信息 I(xi;yj)即：I(xi;yj)=I(xi)-I(xi/yj)p(xi)先验概率：信源发xi的概率 p(xi/yj)后验概率：信宿收到yj后，推测信源发xi的概率 含义 互信息I(xi;yj)=自信息I(xi)-条件自信息I(xi/yj)I(xi)_信宿收到yj之前，对信源发xi的不确定度 I(xi/yj)_信宿收到yj之后，对信源发xi的不确定度

4、I(xi;yj)_收到yj而得到(关于xi)的互信息 =不确定度的减少量互信息10第10页，共46页，编辑于2022年，星期四(2)xi对yj的互信息 I(yj;xi)含义 信源发xi前、后，信宿收到yj的不确定度的减少互信息11第11页，共46页，编辑于2022年，星期四2.互信息的性质 (1)对称性I(xi;yj)=I(yj;xi)(2)X与Y独立时I(xi;yj)=0 (3)I(xi;yj)可为正、负、03.条件互信息 给定zk条件下，xi 与yj间互信息互信息12第12页，共46页，编辑于2022年，星期四I(xi;yj)可为正、负、0的举例设yj代表“闪电”，则当xi代表“打雷”时，

5、I(xi/yj)=0，I(xi;yj)=I(xi)0 当xi代表“下雨”时，I(xi/yj)I(xi)，I(xi;yj)0当xi代表“雾天”时，I(xi/yj)=I(xi)，I(xi;yj)=0当xi代表“飞机正点起飞”时，I(xi/yj)I(xi)，I(xi;yj)0 互信息13第13页，共46页，编辑于2022年，星期四平均互信息为了客观地测度信道中流通的信息，定义互信息量I(xi;yj)在联合概率空间p(x,y)中的统计平均值为Y对X的平均互信息量：X对Y的平均互信息量：14第14页，共46页，编辑于2022年，星期四平均互信息由关系式，可以推导出 表示通过信源和信道来观测到达信宿信息量

6、，而没有观察信宿表示通过信源和信道来观测到达信宿信息量，而没有观察信宿 15第15页，共46页，编辑于2022年，星期四平均互信息表示通过信道和信宿来观察到达信宿信息量，而没有表示通过信道和信宿来观察到达信宿信息量，而没有观察信源观察信源 16第16页，共46页，编辑于2022年，星期四平均互信息17第17页，共46页，编辑于2022年，星期四1.Y对X：2.X对Y：3.合写：平均互信息（表达式）H(X)H(X/Y)H(Y)H(Y/X)H(X)+H(Y)H(XY)18第18页，共46页，编辑于2022年，星期四1.I(X;Y)=H(X)H(X/Y)(1)H(X)信源熵：X的不确定度 H(X/Y

7、)已知Y时，对X仍剩的不确定度 结论“Y已知”使得对X的不确定度减小了,即获得了I(X;Y)的信息量 (2)H(X)信源含有的平均信息量(有用总体)I(X/Y)信宿收到的平均信息量(有用部分)结论 H(X/Y)因信道有扰而丢失的平均信息量，故称损失熵平均互信息（物理意义）19第19页，共46页，编辑于2022年，星期四2.I(Y;X)=H(Y)H(Y/X)=I(X;Y)(1)H(Y)信宿收到的平均信息量 I(X;Y)信道传输的平均信息量 结论 H(Y/X)因信道有扰而产生的称噪声熵、散布度 (2)H(Y)Y的先验不定度 H(Y/X)发出X后，关于Y的后验不定度结论 I(Y;X)发X前后，Y不定

8、度的减少量平均互信息（物理意义）20第20页，共46页，编辑于2022年，星期四3.I(X;Y)=H(X)+H(Y)H(XY)H(X)+H(Y)通信前，整个系统的先验不确定度H(XY)通信后，整个系统仍剩的不确定度I(X;Y)通信前后，整个系统不确定度的减少量，即传输的互信息结论 I(X;Y)平均每传送一个信源符号时，流经信道的平均(有用)信息量H(X)I(X;Y)H(Y)H(X|Y)H(Y|X)平均互信息（物理意义）21第21页，共46页，编辑于2022年，星期四文氏图文氏图 I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H

9、(XY)+I(X;Y)=H(X)+H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X)I(X;Y)H(Y)H(X/Y)H(Y/X)22第22页，共46页，编辑于2022年，星期四文氏图文氏图 I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(XY)+I(X;Y)=H(X)+H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X)I(X;Y)H(Y)H(X/Y)H(Y/X)23第23页，共46页，编辑于2022年，星期四 1.非负性I(X;Y)0，尽管I(xi;yj)的某些元素可为

10、负 2.对称性I(X;Y)=I(Y;X)3.极值性 I(X;Y)H(X)I(X;Y)H(Y)特例 I(X;Y)=H(X)H(X/Y)当 H(X/Y)=0 时，I(X;Y)=H(X)信道无噪（X、Y一一对应）当 I(X;Y)=0 时，H(X/Y)=H(X)信道中断（X、Y独立）平均互信息（性质）24第24页，共46页，编辑于2022年，星期四 4.凸函数性 (1)I(X;Y)是信源概率分布P(X)的上凸函数 （最大值）信道容量的基础；(2)I(X;Y)是信道转移概率P(Y/X)的下凸函数 （最小值）率失真函数的基础.平均互信息（性质）25第25页，共46页，编辑于2022年，星期四让一百万只猴子

11、花一百万年的时间来打字，我们就能最终得到一本圣经；如今，我们搞定了！只花了经过相当程度缩减的时间。借助我们特别训练的马尔可夫猴，我们可以实时的重写整部圣经了。26第26页，共46页，编辑于2022年，星期四马尔可夫链马尔可夫链（离散时间）马尔可夫链马尔可夫链，因安德烈马尔可夫（A.A.Markov，18561922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。27第27页，共46页，编辑于2022年，星期四马尔可夫链马尔可夫链马尔可夫性马尔可夫性质是概率论中的一个概念。随机过

12、程被称为是具有马尔可夫性质，当给定现在状态时该过程的未来状态的条件概率分布，仅依赖于当前状态。换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的。具有马尔可夫性质的过程通常称之为马尔可夫过程。28第28页，共46页，编辑于2022年，星期四马尔可夫链马尔可夫链马尔可夫过程马尔可夫过程 Markov process 一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态(现在)的条件下，它未来的演变(将来)不依赖于它以往的演变(过去)。例如森林中动物头数的变化构成马尔可夫过程。在现实世界中，有很多过程都是马尔

13、可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。29第29页，共46页，编辑于2022年，星期四马尔可夫链马尔可夫链关于该过程的研究，1931年A.H.柯尔莫哥洛夫在概率论的解析方法一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。30第30页，共46页，编辑于2022年，星期四马尔可夫链马尔可夫链马氏链模型描述一类重

14、要的随机动态过程的模型：系统在每个时期所处的状态是随机的；从一时期到下时期的状态按一定概率转移；下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）；马氏链的两个重要类型 1.正则链 从任一状态出发经有限次转移能以正概率到达另外任一状态；2.吸收链 存在吸收状态（一旦到达就不会离开的状态）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态31第31页，共46页，编辑于2022年，星期四如果随机变量 与 关于 条件独立，即 称 为马尔可夫链；齐次马尔可夫链:如果转移概率与所处的状态 无关,即马尔可夫链马尔可夫链32第32页，共46页，编辑于2022年，星期四定理 若

15、 是一个马尔可夫链，则 若是齐次马尔可夫链，则马尔可夫链马尔可夫链33第33页，共46页，编辑于2022年，星期四 数据处理定理数据处理定理:当消息通过多级处理器时，随着处理器数目当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息的增多，输入消息与输出消息之间的平均互信息量趋于变小。量趋于变小。（X-Y-Z构成马氏链）构成马氏链）第一级处理器第二级处理器XYZ输入图示图示 级联处理器级联处理器平均互信息平均互信息（应用）（应用）34第34页，共46页，编辑于2022年，星期四 数据处理定理 I(X;Z)I(X;Y)I(X;Z)I(Y;Z)意义 信息不增原理 每经一

16、次 处理，可能丢失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息平均互信息（应用）（应用）35第35页，共46页，编辑于2022年，星期四 符号符号xi与符号对与符号对yj zk之间的之间的互信息量互信息量定义为：定义为：I(xi;yjzk)=log 定义定义 条条件件互互信信息息量量是是在在给给定定zk条条件件下下，xi与与yj之之间间的的互互信信息量，定义为：息量，定义为：I（xi;yj|zk）=log（三维）（三维）平均互信息量平均互信息量36第36页，共46页，编辑于2022年，星期四I（xi;yjzk）I（xi;zk）I（xi;yj|zk）说明:一个联合事件yjzk出现后所提供的

17、有关xi的信息量I(xi;yjzk)等于zk事件出现后提供的有关xi的信息量I（xi;zk）,加上在给定zk条件下再出现yj事件后所提供的有关xi的信息量 I（xi;yj/zk）（三维）（三维）平均互信息量平均互信息量I（xi;yjzk）I（xi;yj）I（xi;zk/yj）37第37页，共46页，编辑于2022年，星期四I（xi;yjzk）=I（xi;zkyj）证明:因为 所以 I（xi;yjzk）=I（xi;zkyj）（三维）（三维）平均互信息量平均互信息量38第38页，共46页，编辑于2022年，星期四I（X;YZ）I（X;Y）I（X;Z|Y）I(X;YZ)I(X;Z)I(X;Y/Z)I

18、(YZ;X)I(Y;X)I(Z;X/Y)三维联合集三维联合集XYZ上的上的 平均互信息量平均互信息量 39第39页，共46页，编辑于2022年，星期四 数据处理定理 I(X;Z)I(X;Y)I(X;Z)I(Y;Z)意义 信息不增原理 每经一次 处理，可能丢失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息平均互信息（应用）（应用）40第40页，共46页，编辑于2022年，星期四证明证明:图中图中 X是输入消息集合是输入消息集合 Y是第一级处理器的输出消息集合是第一级处理器的输出消息集合 Z为第二级处理器的输出消息集合为第二级处理器的输出消息集合 假设：假设：在在Y条件下条件下X与与Z相互独立

19、相互独立可得：可得：即得即得 (1)41第41页，共46页，编辑于2022年，星期四而且而且 (2)又由又由 I(X;YZ)I(X;Y)I(X;Z/Y)和和 I(X;YZ)I(X;ZY)I(X;Z)I(X;Y/Z)得得:I(X;Z)=I(X;Y)I(X;Z/Y)-I(X;Y/Z)综合综合(1)、(2)得：得：I(X;Z)=I(X;Y)将将 I(YZ;X)I(Y;X)I(Z;X/Y)中的中的X代替代替Y、Y代替代替Z、Z代替代替X得得 I(XY;Z)I(X;Z)I(Y;Z/X)（）（）再将式（）右边的再将式（）右边的X和和Y互换得：互换得：I(XY;Z)I(Y;Z)I(X;Z/Y)（）42第42

20、页，共46页，编辑于2022年，星期四由式（）和（由式（）和（）得：）得：I(X;Z)I(Y;Z/X)=I(Y;Z)I(X;Z/Y)所以，有所以，有 I(X;Z)=I(Y;Z)I(X;Z/Y)-I(Y;Z/X)I(X;Z)I(Y;Z)综合综合(1)、(2)得：得：证毕。证毕。结论：结论：数据处理过程中只会失掉一些信息，绝不会创数据处理过程中只会失掉一些信息，绝不会创造出新的信息，所谓造出新的信息，所谓信息不增性信息不增性。43第43页，共46页，编辑于2022年，星期四例题例题1猜宝游戏.3扇门中有一扇门后藏有一袋金子并且3扇门后面藏有金子的可能性相同。如果有人随机打开一扇门并告诉你门后是否藏有金子，他给了你多少关于金子位置的信息量？藏金子的位置；这个人开的门44第44页，共46页，编辑于2022年，星期四天气预报.X表示当地的实际天气情况，Y表示气象台预报的天气情况；例题例题245第45页，共46页，编辑于2022年，星期四互信息量与熵互信息量与熵之间的关系图之间的关系图H(X/Y)H(Y/X)I(X;Y)H(X)H(Y)H(XY)46第46页，共46页，编辑于2022年，星期四