信息论与编码信息的度量精选PPT.ppt

《信息论与编码信息的度量精选PPT.ppt》由会员分享，可在线阅读，更多相关《信息论与编码信息的度量精选PPT.ppt（65页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码信息的度量1第1页，此课件共65页哦2.5 2.5 联合熵和条件熵联合熵和条件熵 联合熵：联合自信息量的统计平均。联合熵：联合自信息量的统计平均。条件熵：条件自信息量的统计平均条件熵：条件自信息量的统计平均各类熵之间的关系：与各类熵之间的关系：与各类自信息量之间的关系各类自信息量之间的关系对应。对应。2第2页，此课件共65页哦1 1 联合熵联合熵设联合概率空间为设联合概率空间为 联合符号联合符号 的先验不确定性称为联合自信息量的先验不确定性称为联合自信息量:统计平均统计平均联合熵熵熵 的物理意义的物理意义:信源信源 的平均不确定性。的平均不确定性。3第3页，此课件共65页哦2 2

2、条件熵条件熵设联合概率空间为设联合概率空间为 条件自信息量条件自信息量:统计平均统计平均条件熵4第4页，此课件共65页哦3 3 各类熵之间的关系各类熵之间的关系同理同理总之总之熵的强可加性 推广推广5第5页，此课件共65页哦各类熵之间的关系各类熵之间的关系(续续)于是于是因此，熵之间的关系简化：因此，熵之间的关系简化：熵的可加性 推广：推广：当当 与与 相互独立，则相互独立，则统计独立时，有统计独立时，有6第6页，此课件共65页哦X01P2/31/3例例 已知某离散信源如下，且其符号转移概率如右下所示，求H(X)、H(Y|X)和H(X,Y)7第7页，此课件共65页哦解：解：8第8页，此课件共6

3、5页哦另一方面：后验概率可以求出：可以求出条件熵：同样可以求出联合熵：9第9页，此课件共65页哦例例 已知一离散二维平稳信源已知一离散二维平稳信源一维概率一维概率 分布分布 二维概率分布二维概率分布 表表2.2 ajai0 01 12 20 01/41/41/181/180 01 11/181/181/31/31/181/182 20 01/181/187/367/36求两种熵。求两种熵。10第10页，此课件共65页哦解解:(1)(1)计算条件概率计算条件概率二维条件概率分布表二维条件概率分布表2.3 ajai0 01 12 20 09/119/111/81/80 01 12/112/113/

4、43/42/92/92 20 01/81/87/97/911第11页，此课件共65页哦(2)(2)(3)(3)另另12第12页，此课件共65页哦2.6 平均互信息量及其性质平均互信息量及其性质平均互信息量 平均互信息量的基本性质 13第13页，此课件共65页哦n 互信息量互信息量互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量；互信息量可能为正数、负数、0；对于无干扰信道，I(xi;yj)=I(xi)xiyj信道p(xi):发送端发送 xi 的概率；P(xi|yj):接收端收到 yj 后，发送端发送 xi 的概率定义:14第14页，此课件共65页哦 为什么需要定义平均互信

5、息量？互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。15第15页，此课件共65页哦 平均互信息量：与 之间的平均互信息量 是统计平均意义下的先验不确定性与后验不确定性之差，也是互信息量 的统计平均统计平均：16第16页

6、，此课件共65页哦1.对称性对称性根据互信息量的对称性，容易推得根据互信息量的对称性，容易推得I(X;Y)=I(Y;X)说明说明从集合从集合Y中获取中获取X的信息量，等于从集的信息量，等于从集合合X中获取中获取Y的信息量的信息量。17第17页，此课件共65页哦 2.与各种熵的关系与各种熵的关系I(X;Y)=H(X)H(X|Y)I(Y;X)=H(Y)H(Y|X)I(X;Y)=H(X)+H(Y)H(XY)H(XY)为为X集合和集合和Y集合的集合的共熵共熵，或称，或称联合熵联合熵。共熵应该是共熵应该是联合符号集合联合符号集合XY上的每个元素对上的每个元素对xy的自信息量的的自信息量的概率加权统计平均

7、值概率加权统计平均值。18第18页，此课件共65页哦I(X;Y)=H(X)+H(Y)H(XY)根据各种熵的定义，从该式可以清楚看出平均根据各种熵的定义，从该式可以清楚看出平均互信息量互信息量是一个表征信息流通的量是一个表征信息流通的量其物理意义就是其物理意义就是信源端的信息通过信道后传信源端的信息通过信道后传输到信宿端的平均信息量输到信宿端的平均信息量。19第19页，此课件共65页哦 3有界性 各种熵以及平均互信息量之间的关系可用以下文氏图表示。熵、平均互信息量关系图20第20页，此课件共65页哦例例 已知信源空间已知信源空间 信道特性如图所示，求在该信道上传输的信道特性如图所示，求在该信道上

8、传输的 平均互信息量平均互信息量I(X;Y)。图图 信道特性信道特性21第21页，此课件共65页哦解解（1）根据根据P(xiyj)=P(xi)P(yj|xi)，求各联合概率，得，求各联合概率，得P(x1y1)=P(x1)P(y1|x1)=0.50.98=0.49P(x1y2)=P(x1)P(y2|x1)=0.50.02=0.01P(x2y1)=P(x2)P(y1|x2)=0.50.20=0.10P(x2y2)=P(x2)P(y2|x2)=0.50.80=0.40（2）根据根据 ，求，求Y集合中各符号的概率，集合中各符号的概率，得得P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2

9、)=0.50.980.50.2=0.59P(y2)=1 0.59=0.4122第22页，此课件共65页哦（3）根据）根据P(xi|yj)=P(xi yj)/P(yj)，求各后验概率，得，求各后验概率，得P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.97623第23页，此课件共65页哦（4）求熵，有）求熵，有 I(X;Y)=H(X)+H(Y)H(X

10、Y)=1+0.98-1.43=0.55 比特比特/信符信符24第24页，此课件共65页哦2.7 2.7 离散无记忆信源的扩展离散无记忆信源的扩展 DMSDMSDMS研究信源输出的研究信源输出的单个符号单个符号的统的统计特性计特性研究信源输出的研究信源输出的符号串符号串的的统计特性统计特性单符号信源单符号信源 的的 次扩展信源次扩展信源多符号信源多符号信源?25第25页，此课件共65页哦输出的消息序列中各符号之间无相互依赖关输出的消息序列中各符号之间无相互依赖关系的信源。亦称为系的信源。亦称为单符号离散平稳无记忆信单符号离散平稳无记忆信源的扩展信源源的扩展信源。序列长度就是扩展次数序列长度就是扩

11、展次数。单符号信源单符号信源0，1经过扩展，经过扩展，变成了：变成了：00，01，10，11例例2.2.126第26页，此课件共65页哦27第27页，此课件共65页哦 N 次扩展信源：离散无记忆信源 ，考虑任意N 个相邻时刻的输出随机变量 把 看成是一个新的离散无记忆信源的输出，称为 的N 次扩展信源。扩展信源 的熵：bit/N 元符号 28第28页，此课件共65页哦扩展信源的熵扩展信源的熵DMSDMS?因为是因为是DMSDMS，故，故 独立同分布，所以独立同分布，所以29第29页，此课件共65页哦单符号信源如下单符号信源如下,求二次扩展信源熵求二次扩展信源熵扩展信源：扩展信源：例例30第30

12、页，此课件共65页哦31第31页，此课件共65页哦 扩展信源模型的求法扩展信源模型的求法例例 设有离散无记忆信源设有离散无记忆信源 。（1 1）求）求 和和 ；（；（2 2）当）当 时，计算时，计算 。解解 （1 1）求）求2 2次和次和3 3次扩展信源的符号表次扩展信源的符号表:32第32页，此课件共65页哦扩展信源模型的求法扩展信源模型的求法(续一续一)求概率：求概率：根据信源的无记忆特性，有根据信源的无记忆特性，有 同理可得：同理可得：33第33页，此课件共65页哦 扩展信源模型的求法扩展信源模型的求法(续二续二)（2 2）当）当 时，计算时，计算 。有两种求法。有两种求法。方法一：方法

13、一：Bit/Bit/符号符号Bit/Bit/三元符号三元符号方法二：方法二：Bit/Bit/三元符号三元符号34第34页，此课件共65页哦2.8 离散有记忆信源的熵离散有记忆信源的熵 N阶平稳信源 的联合熵 bit/N 长符号串 或 bit/符号 一般离散有记忆信源的极限熵：考虑 ，bit/符号 进一步推导可得出 35第35页，此课件共65页哦 如果 是无记忆的，则有 于是 bit/符号36第36页，此课件共65页哦2.10 离散信源的信息（速）率和离散信源的信息（速）率和信息含量效率信息含量效率信息率 信息速率 信息含量效率 相对冗余度 37第37页，此课件共65页哦 信息率 用来衡量信源发

14、出信息的能力。定义为平均一个符号所携带的信息量，即信源的实在信息，在数值上等于信源的极限熵。bit/符号信息速率 信源单位时间内发出的平均信息量。如果信源平均秒发出一个符号，则 bit/秒 38第38页，此课件共65页哦 信息含量效率 定义为实际的实在信息与最大的实在信息之比。显然 当且仅当 是DMS且等概率分布 （）时，。39第39页，此课件共65页哦 相对冗余度 表示信源含无效成份的程度。定义为当然也有当且仅当 ，。对于DMS，只须把公式中的极限熵 换成普通熵 即可。40第40页，此课件共65页哦信源的信源的信息含量效率信息含量效率 ：信源的信源的相对冗余度相对冗余度 ：当且仅当信源是当且

15、仅当信源是DMSDMS且等概率分布（且等概率分布（）时）时 例例 设设DMSDMS为为 。求信源的信息含。求信源的信息含量效率和相对冗余度。量效率和相对冗余度。解解：41第41页，此课件共65页哦作业作业:PP.2.6;2.10(1);2.11;42第42页，此课件共65页哦2.11 连续随机变量下的熵和平均互连续随机变量下的熵和平均互信息量信息量2.11.1 连续随机变量下的熵2.11.2 连续随机变量下的平均互信息量2.11.3 微分熵的极大化问题2.11.4 连续信源的熵功率43第43页，此课件共65页哦作业：作业：P.50 2.6 2.1144第44页，此课件共65页哦2.11.1 连

16、续随机变量下的熵连续随机变量下的熵连续信源的数学模型 连续随机变量的微分熵 45第45页，此课件共65页哦连续信源 的数学模型 是连续随机变量，其取值集合是连续区间 ，概率密度函数是 ，连续信源 的数学模型为：46第46页，此课件共65页哦连续随机变量 的微分熵 把连续熵看成离散熵的极限情况，将 的值域 等分为K 个子区间：，第k个子区间内的概率 为 ，这样得到一个离散随机变量 ，其概率空间为47第47页，此课件共65页哦 且概率空间是完备的：根据离散熵公式，有48第48页，此课件共65页哦 将区间 无限细分，即 ，对离散熵 取极限即可得连续熵 的实际值：第二项为无穷大，因此，连续熵为无穷大，

17、失去意义。第一项表示连续熵的相对值，称其为连续随机变量 的微分熵，记为 。49第49页，此课件共65页哦 微分熵的更一般的定义式为 微分熵 就不当作连续随机变量的真正测度。在考虑熵的变化时，微分熵仍具相对意义。微分熵是去掉无穷大项后剩下的有限项，因此失去作为不确定性度量的某些重要性质，如：不具备非负性，可能出现负值；在随机变量的一一变换之下，微分熵可能改变。50第50页，此课件共65页哦连续随机变量 和 之间的平均互信息量51第51页，此课件共65页哦平均互信息量与微分熵之间的关系 即 连续情况下的平均互信息量有实际的物理意义，仍具有互易性和非负性，即 52第52页，此课件共65页哦求均匀分布

18、的连续信源熵例2.3.153第53页，此课件共65页哦2 2 平均互信息量的物理解释平均互信息量的物理解释信源观察过程 从从从从 中获得的关于中获得的关于中获得的关于中获得的关于 的信息的信息的信息的信息 的先验的先验的先验的先验(平均平均平均平均)不确定性不确定性不确定性不确定性 的后验的后验的后验的后验(平均平均平均平均)不确定性不确定性不确定性不确定性54第54页，此课件共65页哦3 3 公式推导公式推导?推导推导:55第55页，此课件共65页哦4 4 平均互信息量的性质平均互信息量的性质（1 1）互易性）互易性:说明说明:56第56页，此课件共65页哦（2 2）非负性：）非负性：注意：

19、注意：可正可负。可正可负。条件熵不会大于无条件熵，增加条件只可能使不确定性减小，不会增大不确定性 推广：条件多的熵不会大于条件少的熵推广：条件多的熵不会大于条件少的熵 。即。即57第57页，此课件共65页哦（3 3）有界性）有界性 ：简证：简证：58第58页，此课件共65页哦例例 均匀分布随机变量的熵均匀分布随机变量的熵设连续随机变量服从均匀分布，即概率密度函数为：设连续随机变量服从均匀分布，即概率密度函数为：由微分熵定义式，由微分熵定义式，有有注意：注意：微分熵不具备非负性！微分熵不具备非负性！59第59页，此课件共65页哦60第60页，此课件共65页哦2.11.3 微分熵的极大化问题微分熵

20、的极大化问题 求连续随机变量的最大微分熵，还须附加一些约束条件，如幅值受限、功率受限等等。1 幅值受限 2 方差受限61第61页，此课件共65页哦1 幅值受限 即随机变量的取值受限于某个区间之间。幅值受限和峰值功率等价。在幅值受限条件下，随机变量服从均匀分布时，微分熵最大。定理定理 设 的取值受限于有限区间 ，则 服从均匀分布时，其熵达到最大。62第62页，此课件共65页哦2 方差受限 设 的方差受限为 ，即 式中 为 的均值。而 所以 也就是说，均值一定时，方差受限为 等价于平均功率受限于 。方差受限条件下，随机变量服从高斯分布时，微分熵最大。63第63页，此课件共65页哦 定理定理 设 的均值为 ，方差受限为 ，则 服从高斯分布时，其熵达到最大。当 服从均值为 、方差为 的高斯分布时，其熵最大，最大熵为 特例：当均值为零时，这时，定理的结论为 的高斯分布时，其熵达到最大，最大熵为64第64页，此课件共65页哦65第65页，此课件共65页哦