信息论与编码理论第二章PPT讲稿.ppt

《信息论与编码理论第二章PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论与编码理论第二章PPT讲稿.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码理论第二章信息论与编码理论第二章第1页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院信息量和熵信息量和熵2.1 离散变量的非平均信息量离散变量的非平均信息量2.2 离散集的平均自信息量熵离散集的平均自信息量熵2.3 离散集的平均互信息量离散集的平均互信息量(mutual information)2.4 连续随机变量的互信息和熵连续随机变量的互信息和熵2.5 凸函数和互信息的凸性凸函数和互信息的凸性(convex)第2页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院2.1 离散变量的非平均信息

2、量离散变量的非平均信息量第3页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院输入，输出空间定义输入，输出空间定义输入空间输入空间X=xk,k=1,2,K,概率记为概率记为Q(xk)输出空间输出空间Y=yj,j=1,2,J,概率记为概率记为(yj)联合空间联合空间XY=xkyj;k=1,2,K;j=1,2,J,概率为概率为p(xkyj)P(xkyj)=P(xk|yj)(yj)=P(yj|xk)Q(xk)联合联合概率概率后验概后验概率率先验概先验概率率P P(y yj j|x xk k)YX第4页，共52页，编辑于2022年，星期四西安电子科技大学通信

3、工程学院西安电子科技大学通信工程学院非平均互信息量非平均互信息量例例2.1.12.1.1传送消息传送消息传送消息传送消息码字码字码字码字P(xk)看到看到看到看到0 0 0 0P(Xk|0)看到看到看到看到01010101P(Xk|01)看到看到看到看到011011011011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000第5页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院每种可

4、能性都是每种可能性都是1/81/8第6页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院0X1X1到到x4x4可能性都是可能性都是1/41/4X5X5到到x8x8可能性都是可能性都是0 0看到看到0 0第7页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院01X3X3到到x4x4可能性都是可能性都是1/21/2其他可能性都是其他可能性都是0 0第8页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院011x4x4可能性是可能性是1 1其他可能性都是其他可能性都是0

5、0第9页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院非平均互信息量非平均互信息量输入消息输入消息码字码字P(xk)收到收到0P(Xk|0)收到收到01P(Xk|01)收到收到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61/31/61/30000001/32/3000000010000第10页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院非平均互信息量非平均互信息量信息量与后验概率有

6、关，与先验概率有关信息量与后验概率有关，与先验概率有关先验概率越大，得到的信息量越小，反之先验概率越大，得到的信息量越小，反之信息量越大信息量越大中国足球队中国足球队3:0战胜巴西足球队战胜巴西足球队巴西足球队巴西足球队3:0战胜中国足球队战胜中国足球队第11页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院非平均互信息量非平均互信息量例例2.1.2输入消输入消息息码字码字p(xk)收到收到0P(Xk|0)收到收到01P(Xk|01)收到收到011P(Xk|011)X1X20001111/21/21-pp1/21/21-pp1-p1-p0011ppB

7、SC第12页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院非平均互信息量非平均互信息量第13页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院条件互信息和联合事件互信息条件互信息和联合事件互信息三个事件集的条件互信息定义为三个事件集的条件互信息定义为可以推广到任意有限多个空间情况可以推广到任意有限多个空间情况第14页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院互信息的可加性系统u1u2u3系统u1u2u3第15页，共52页，编辑于2022年，星期四西安电子科

8、技大学通信工程学院西安电子科技大学通信工程学院离散变量的非平均自信息量离散变量的非平均自信息量第16页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院非平均自信息的性质非平均自信息的性质非负非负体现先验不确定性大小体现先验不确定性大小第17页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院条件自信息和联合自信息条件自信息和联合自信息第18页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院自信息、条件自信息和互信息自信息、条件自信息和互信息I(xk)I(yj)I(x

9、k;yj)第19页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院参考习题参考习题2.1，2.3，2.4，2.5，2.11第20页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院2.2 离散集的平均自信息量熵离散集的平均自信息量熵第21页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院熵熵-Entropy表示集表示集X X中事件出现的平均不确定性，说明一个中事件出现的平均不确定性，说明一个事件集合的平均信息量事件集合的平均信息量例例 二元信源的熵二元信源的熵 例例

10、 例例2.1.12.1.1信源的熵信源的熵例例 一个英文字母的熵一个英文字母的熵4.034.03比特比特 一个汉字的熵为一个汉字的熵为9.659.65比特比特第22页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院条件熵和联合熵条件熵和联合熵 XY独立时有独立时有H(X|Y)=H(X)第23页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院熵的性质熵的性质对称性对称性非负性非负性确定性确定性扩展性扩展性可加性可加性极值性极值性是是P上凸函数上凸函数第24页，共52页，编辑于2022年，星期四西安电子科技大学

11、通信工程学院西安电子科技大学通信工程学院熵的性质可加性熵的性质可加性第25页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院熵的极值性熵的极值性引理引理1:lnxx-1第26页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院熵的极值性熵的极值性引理引理2 2：H(X|Y)H(X)H(U1UN)H(U1)+H(UN)第27页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院熵的凸性熵的凸性H(P)H(P)是是P P的上凸函数的上凸函数第28页，共52页，编辑于2022

12、年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院2.3 离散集的平均互信息量离散集的平均互信息量第29页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院平均互信息量平均互信息量1.非负性非负性2.对称性对称性3.第30页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院平均互信息量平均互信息量4.I(X;Y)H(X),I(X;Y)H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)第31页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院条件

13、互信息条件互信息第32页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院信息处理定理信息处理定理Z Z出现情况下，出现情况下，X X和和Y Y独立独立,构成一个马氏链构成一个马氏链系统系统1 1系统系统2 2XYZ第33页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院信息处理定理信息处理定理第34页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院参考习题参考习题2.7，2.8，2.9，2.14，2.17，2.18第35页，共52页，编辑于2022年，星期四西安电

14、子科技大学通信工程学院西安电子科技大学通信工程学院2.4 连续随机变量的互信息和连续随机变量的互信息和 微分熵微分熵第36页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院连续随机变量的互信息连续随机变量的互信息信息处理定理信息处理定理第37页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院例例:求高斯随机变量的互信息求高斯随机变量的互信息第38页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院 第39页，共52页，编辑于2022年，星期四西安电子科技大学通信工程

15、学院西安电子科技大学通信工程学院随机变量的微分熵随机变量的微分熵第40页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院均匀分布的微分熵均匀分布的微分熵第41页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院高斯分布的微分熵高斯分布的微分熵熵功率熵功率第42页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院微分熵的极大化微分熵的极大化1.1.峰值功率受限峰值功率受限n均匀分布微分熵最大均匀分布微分熵最大2.2.平均功率受限平均功率受限n高斯分布微分熵最大高斯分布微

16、分熵最大3.3.平均功率大于等于熵功率平均功率大于等于熵功率第43页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院微分熵的极大化微分熵的极大化峰值功率受限峰值功率受限第44页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院微分熵的极大化微分熵的极大化平均功率受限平均功率受限第45页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院2.5 凸函数与互信息的凸性凸函数与互信息的凸性第46页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学

17、通信工程学院凸函数凸函数凸集凸集 R：a a，b b属于属于R，qaqa+(1-+(1-q q)b b也属于也属于R，其中，其中0q q1 1概率矢量概率矢量矢量矢量a a的所有分量和为的所有分量和为1 1上凸函数上凸函数第47页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院凸函数的性质凸函数的性质1.f(a)是上凸的，是上凸的，f(a)是下凸的是下凸的2.f1(a),fL(a)是是R上的上凸函数，上的上凸函数，c1,cL是是正数，正数，c1f1(a)+cLfL(a)也是上凸函数也是上凸函数3.f(a)是上凸函数，是上凸函数，Ef(a)fE(a),

18、E为求数学期为求数学期望望第48页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院K-T条件条件f(a)是定义域是定义域R上的上凸函数，上的上凸函数，a是概率矢量。是概率矢量。偏导数偏导数 存在且连续，存在且连续，f(a)在在R上为极大的上为极大的 充分必要条件充分必要条件第49页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院互信息的凸性互信息的凸性p(y|x)给定，给定，I(X;Y)是是q(x)的上凸函数的上凸函数Q(x)给定，给定，I(X;Y)是是p(y|x)的下凸函数的下凸函数第50页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院互信息的凸性互信息的凸性q1和和q2是是X上的任意两上的任意两个概率矢量，相应的互个概率矢量，相应的互信息为信息为I1和和I2，令，令满满足足01。q=q1(1)q2是合成概率矢是合成概率矢量，此时输入量，此时输入X和输和输出出Y之间的互信息为之间的互信息为I。需要证明需要证明 第51页，共52页，编辑于2022年，星期四西安电子科技大学通信工程学院西安电子科技大学通信工程学院参考习题参考习题2.27,2.28,2.29,2.31第52页，共52页，编辑于2022年，星期四