信息理论与编码PPT讲稿.ppt

《信息理论与编码PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息理论与编码PPT讲稿.ppt（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息理论与编码第1页，共25页，编辑于2022年，星期四2-5：居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生的消息，问获得多少信息量。A=“女孩”，B=“大学生”，C=“身高1.6m以上”P(B/A)=0.25 P(C/AB)=0.75 P(C/A)=0.5第2页，共25页，编辑于2022年，星期四第一节：单符号离散信源一：符号的信息量二：信源的平均信息量1、信息熵、信息熵信源信源X中各符号平均中各符号平均信息量。单位信息量。单位bit/symbol第3页，共25页，编辑于2022年

2、，星期四定义：在给定定义：在给定定义：在给定定义：在给定Y Y Y Y条件下，条件下，条件下，条件下，X X X X的条件熵的条件熵的条件熵的条件熵 H H H H（X/YX/YX/YX/Y）=2 2、条件、条件熵熵相应地，在给定相应地，在给定相应地，在给定相应地，在给定X X X X的条件下，的条件下，的条件下，的条件下，Y Y Y Y的条件熵的条件熵的条件熵的条件熵H(Y/X)H(Y/X)H(Y/X)H(Y/X)定义为定义为定义为定义为H(Y/X)=H(Y/X)=H(Y/X)=H(Y/X)=H(Y/X):H(Y/X):噪声对各符号产生的平均信量，噪声对各符号产生的平均信量，称为噪声熵。称为

3、噪声熵。H(X/Y)：在传输符号时平均损失的：在传输符号时平均损失的信息量，称为疑义度。信息量，称为疑义度。3、联合熵、联合熵H（XY）=联合熵联合熵H（XY）表示）表示X和和Y同时提供的符号平均信息量同时提供的符号平均信息量 第4页，共25页，编辑于2022年，星期四4、平均互信息量平均互信息量表示通信系统在传输一个符号时，所传送的平均信息量。表示通信系统在传输一个符号时，所传送的平均信息量。各参数的意义总结各参数的意义总结:H H H H（X X X X）是符号集合）是符号集合）是符号集合）是符号集合X X X X中每个符号包含的平均信息量中每个符号包含的平均信息量中每个符号包含的平均信息

4、量中每个符号包含的平均信息量.I I I I（X X X X；Y Y Y Y）信道上能传输的平均信息量信道上能传输的平均信息量.H（XY）称为疑义度，它是信道中每个符号损失的）称为疑义度，它是信道中每个符号损失的 信息量。信息量。H（YX）称为噪声熵。称为噪声熵。H(XY)联合熵联合熵第5页，共25页，编辑于2022年，星期四第6页，共25页，编辑于2022年，星期四第7页，共25页，编辑于2022年，星期四 H H H H（XYXYXYXY）H H H H（X X X X）H H H H（Y Y Y YX X X X）H H H H（XYXYXYXY）H H H H（Y Y Y Y）H H

5、H H（X X X XY Y Y Y）第8页，共25页，编辑于2022年，星期四1）I（X；Y）=H（X）一）一H（XY）2)I（X；Y）=H（Y）一）一 H（YX）3）I（X；Y）=I（Y；X）4)I(X;Y)=H(X)+H(Y)-H(XY)第9页，共25页，编辑于2022年，星期四例例2-92-9：二进制通信系统使用符号：二进制通信系统使用符号0 0和和1 1，由于存在失真，传输，由于存在失真，传输时会产生误码。设：时会产生误码。设：u0-u0-发出一个发出一个0 0；u1u1发出一个发出一个1 1；v0v0收到一个收到一个0 0；v1v1收到一个收到一个1 1。P(u0)=1/2,p(v

6、0/u0)=3/4,p(v0/u1)=1/2.P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2.(1)(1)已知发出一个已知发出一个0 0，求收到符号后的信息量；，求收到符号后的信息量；(2)(2)已知发出一个符号，求收到符号后的信息量；已知发出一个符号，求收到符号后的信息量；(3)已知发出的和收到的符号，求能得到的信息量；已知发出的和收到的符号，求能得到的信息量；(4)已知收到的符号，求被告知发出的符号能得到的信息量。已知收到的符号，求被告知发出的符号能得到的信息量。求求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY)(4)H(X/Y)?I(X;Y)第10页，共

7、25页，编辑于2022年，星期四求求:(1)H(Y/u0)(2)H(Y/X)(3)H(XY(4)H(X/Y)?I(X;Y)第11页，共25页，编辑于2022年，星期四2-10 2-10 在一个袋中放入在一个袋中放入5 5个黑球、个黑球、1010个白球，以摸出一个球个白球，以摸出一个球为一次实验，摸出的球不再放进去。求：为一次实验，摸出的球不再放进去。求：（1 1）一次实验）一次实验X X包含的不确定度；包含的不确定度；（2 2）第一次实验）第一次实验X X摸出的是黑球，第二次实验摸出的是黑球，第二次实验Y Y给出的给出的不确定度；不确定度；（3)3)第一次实验第一次实验X X摸出的是白球，第二

8、次实验摸出的是白球，第二次实验Y Y给出的不给出的不确定度；确定度；（4 4）第二次实验）第二次实验Y Y包含的不确定度。包含的不确定度。求求:(1)H(X)(1)H(X)(2)H(Y/X=“(2)H(Y/X=“黑黑”)”)(3)H(Y/X=“(3)H(Y/X=“白白”)”)(4)H(Y)(4)H(Y)第12页，共25页，编辑于2022年，星期四求求:(1)H(X)(1)H(X)(2)H(Y/X=“(2)H(Y/X=“黑黑”)”)(3)H(Y/X=“(3)H(Y/X=“白白”)”)(4)H(Y)(4)H(Y)(1)H(X)=H(1/3,2/3)=0.92(1)H(X)=H(1/3,2/3)=0

9、.92(2)H(Y/X=“(2)H(Y/X=“黑黑”)=H(2/7,/5/7)=0.86”)=H(2/7,/5/7)=0.86(3)H(Y/X=“(3)H(Y/X=“白白”)=H(5/14,9/14)=0.94”)=H(5/14,9/14)=0.94(4)H(Y)(4)H(Y)P(y=“P(y=“黑黑”)=1/3,P(y=“”)=1/3,P(y=“白白”)=2/3”)=2/3H(Y)=0.92H(Y)=0.92通过第通过第2次的实验结果能够获得的关于第次的实验结果能够获得的关于第1次实次实验的信息量为验的信息量为I(X;Y)=?练习练习:习题习题2-11第13页，共25页，编辑于2022年，星

10、期四什么叫全损离散信道?分析分析分析分析:I:I:I:I（X X X X；Y Y Y Y）H H H H（X X X X）-H-H-H-H（X X X XY Y Y Y）如果如果如果如果X X X X与与与与Y Y Y Y是相互独立的，是相互独立的，是相互独立的，是相互独立的，I I I I（X X X X；Y Y Y Y）=0=0=0=0。信源发出的信息量在信道上全部损失掉了，此时称为全信源发出的信息量在信道上全部损失掉了，此时称为全信源发出的信息量在信道上全部损失掉了，此时称为全信源发出的信息量在信道上全部损失掉了，此时称为全损离散信道损离散信道损离散信道损离散信道什么叫无扰离散信道什么叫

11、无扰离散信道什么叫无扰离散信道什么叫无扰离散信道?由于没有噪声，由于没有噪声，由于没有噪声，由于没有噪声，X=Y,X=Y,X=Y,X=Y,所以信道不损失信息量，疑义所以信道不损失信息量，疑义所以信道不损失信息量，疑义所以信道不损失信息量，疑义度度度度H H H H（X X X XY Y Y Y）为零，噪声熵也为零。）为零，噪声熵也为零。）为零，噪声熵也为零。）为零，噪声熵也为零。此时有：此时有：此时有：此时有：I I I I（X X X X；Y Y Y Y）=H=H=H=H（X X X X）这时的信道叫无扰离散信道。）这时的信道叫无扰离散信道。）这时的信道叫无扰离散信道。）这时的信道叫无扰离散

12、信道。第14页，共25页，编辑于2022年，星期四 数据处理定理数据处理定理(1):当消息通过多级处理器时，随着处理器数目的增多，当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。输人消息与输出消息之间的平均互信息量趋于变小。三、数据处理中信息的变化I(X;Z)=I(X;Y)I(X;Z)=I(Y;Z)数据处理定理数据处理定理(2):如果想从测量值如果想从测量值Y中获得关于中获得关于X的信息量，的信息量，则测量次数越多越好。则测量次数越多越好。I(X;Y1)=0,I(X;Y)=02、对称性 H(p1,p2,pn)=H(p2,p1,pn)3、确定性 H(1

13、,0,0,0)=04、最大熵定理：对于Xa1,a2,an 当p(ai)=1/n时，Hmax(X)=log2n5、条件熵小于无条件熵 H(X/Y)=H(X)H(X/Y1Y2)=H(x)H(XY)=(X)=H(XH(XH(XH(XL L L L/X/X/X/X1 1 1 1X X X X2 2 2 2XXXXL-1L-1L-1L-1)（3 3）H HL L(X)(X)是是L L的单调非增函数的单调非增函数H H H H0 0 0 0(X):(X):(X):(X):信源等概率时的熵（最大熵）信源等概率时的熵（最大熵）信源等概率时的熵（最大熵）信源等概率时的熵（最大熵）H H H H1 1 1 1(X

14、):(X):(X):(X):单符号信源熵单符号信源熵单符号信源熵单符号信源熵H H H HL L L L(X):(X):(X):(X):序列长度为序列长度为序列长度为序列长度为L L L L的平均符号熵的平均符号熵的平均符号熵的平均符号熵H H(X):(X):极限熵极限熵第22页，共25页，编辑于2022年，星期四第4节 连续信源的熵和互信息一：熵的定义第23页，共25页，编辑于2022年，星期四第24页，共25页，编辑于2022年，星期四 Hc(XY)Hc(XY)Hc(XY)Hc(XY)Hc(X)Hc(X)Hc(X)Hc(X)Hc(Y/X)Hc(Y/X)Hc(Y/X)Hc(Y/X)Hc(Y)Hc(Y)Hc(Y)Hc(Y)Hc(X/Y)Hc(X/Y)Hc(X/Y)Hc(X/Y)I(X;Y)I(X;Y)I(X;Y)I(X;Y)I(Y;X)I(Y;X)I(Y;X)I(Y;X)Hc(X)-Hc(X/Y)Hc(X)-Hc(X/Y)Hc(X)-Hc(X/Y)Hc(X)-Hc(X/Y)Hc(X)Hc(X)Hc(X)Hc(X)Hc(Y)-Hc(XY)Hc(Y)-Hc(XY)Hc(Y)-Hc(XY)Hc(Y)-Hc(XY)Hc(Y)-Hc(Y/X)Hc(Y)-Hc(Y/X)Hc(Y)-Hc(Y/X)Hc(Y)-Hc(Y/X)第25页，共25页，编辑于2022年，星期四