第四章信道失真率函数精选文档.ppt

《第四章信道失真率函数精选文档.ppt》由会员分享，可在线阅读，更多相关《第四章信道失真率函数精选文档.ppt（53页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章信道失真率函数本讲稿第一页，共五十三页4.1基本概念4.1.1失真函数与平均失真度失真函数与平均失真度4.1.2信息率失真函数的定义信息率失真函数的定义4.1.3信息率失真函数的性质信息率失真函数的性质率失真函数的定义域率失真函数的定义域率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性率失真函数的单调递减和连续性率失真函数的单调递减和连续性2本讲稿第二页，共五十三页引入限失真的必要性失真在传输中是不可避免的失真在传输中是不可避免的连续信源的绝对熵为无限大，若要无失真地进行传输，则要求连续信源的绝对熵为无限大，若要无失真地进行传输，则要求信息传输率也为无限大，然而现实世

2、界中信道带宽总是有限的，信息传输率也为无限大，然而现实世界中信道带宽总是有限的，信道容量总有一定限度，因此不可能实现完全无失真的信源信信道容量总有一定限度，因此不可能实现完全无失真的信源信息的传输息的传输另一方面，从无失真信源编码考虑，由于要求码字包含的信另一方面，从无失真信源编码考虑，由于要求码字包含的信息量不小于信源的熵，所以对于连续信源，要用无限多个比息量不小于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述，这是不现实的特才能完全无失真地来描述，这是不现实的即使是离散信源，若要处理的信息量很大，采用无失真即使是离散信源，若要处理的信息量很大，采用无失真编码将使得信息的

3、存储和传输成本非常高，而且在很多编码将使得信息的存储和传输成本非常高，而且在很多场合，过高的信息传输率是不必要的场合，过高的信息传输率是不必要的3本讲稿第三页，共五十三页引入限失真的必要性(续)信信宿宿只只具具有有有有限限的的的的分分辨辨能能力力与与灵灵敏敏度度，超超过过分分辨辨能能力力与与灵灵敏敏度度的的信息传送过程是毫无意义的信息传送过程是毫无意义的例例1：由于人耳能够接收的带宽和分辨率是有限的，因此：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣对数字音频传输的时候，就允许有一定的失真，并且对欣赏音乐没有太大的影响赏音乐没有太大的影响例例2

4、：对于数字电视，由于人的视觉系统的分辨率有限，：对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量失部分高频分量例例3：放映电影，理论上要完全无失真地表现出一个连续动：放映电影，理论上要完全无失真地表现出一个连续动作，需要用无穷多个静态画面连续放映，但利用人眼的作，需要用无穷多个静态画面连续放映，但利用人眼的“视视觉暂留性觉暂留性”，只要每秒钟连续放映，只要每秒钟连续放映24幅静态画面，就几乎幅静态画面，就几乎让观众感觉不到失真的存在让观众感觉不到失真的存在4本讲稿第四页，共五十三页引入限失

5、真的必要性(续)如如果果允允许许信信息息有有某某些些失失真真，就就可可以以大大大大降降低低信信息息传传输输速速率率，从从而而降降低低通通信信成本成本应用种类 象素数/行 行数/帧 信息传输率(码率)bps压缩前压缩后HDTV19201080 1.18 G2025 M普通电视普通电视 720480167 M 48 M会议电视会议电视 352288 36.5 M 1.52 M电视电话电视电话128112 5.2 M 56 K在在允允许许一一定定程程度度失失真真的的条条件件下下，怎怎样样用用尽尽可可能能少少的的码码符符号号来来表表达达信信源源的的信信息息，也也就就是是信信源源熵熵所所能能压压缩缩的的

6、极极限限或或者者说说编编码码后后信信息息传传输输率率压缩的极限值是多少？压缩的极限值是多少？保真度准则下的离散信源编码定理：在在允允许许一一定定失失真真度度 D 的的情情况况下下，信源输出的信息传输率可压缩到极限值信源输出的信息传输率可压缩到极限值信息率失真函数信息率失真函数 R(D)5本讲稿第五页，共五十三页失真函数由由于于本本章章学学习习内内容容只只涉涉及及信信源源编编码码问问题题，因因此此可可以以把把从从信信源源编编码码器器到到信信源源译译码码器器之之间间的的所所有有部部件件合合在在一一起起等等效效为为一一个个有有噪噪声声的的试试验验信信道道试验信道试验信道信源信源信源信源译码器译码器信

7、源信源编码器编码器无无损损无无噪噪信信道道信宿信宿6本讲稿第六页，共五十三页对每一对对每一对(xi,yj)，指定一个，指定一个非负的函数的函数失真函数(续)称称为为单单个个符符号号的的失真度或或失真函数，表表示示离离散散信信源源发发出出一一个个符符号号 xi 而在接收端再现成而在接收端再现成 yj 所引起的误差和失真。所引起的误差和失真。上述非负的失真函数共有上述非负的失真函数共有 n m 个，可以整体表示成个，可以整体表示成失真矩阵由由于于信信源源发发出出的的符符号号 X 和和信信宿宿收收到到(再再现现)的的符符号号 Y 均均是是随随机机变变量量，因此单个符号的失真函数因此单个符号的失真函数

8、 d(xi,yj)也是随机变量也是随机变量(的一次实现的一次实现)7本讲稿第七页，共五十三页常用的失真函数失失真真函函数数是是根根据据人人们们的的实实际际需需要要和和失失真真引引起起的的损损失失、风风险险、主主观观感感觉觉上上的的差别等因素人为规定的，可以有多种形式差别等因素人为规定的，可以有多种形式平方误差失真函数平方误差失真函数 绝对误差失真函数绝对误差失真函数 相对误差失真函数相对误差失真函数 误码失真函数误码失真函数 平平方方失失真真和和绝绝对对失失真真只只与与(yj-xi)有有关关，而而不不是是分分别别与与 xi,yj 有有关关，在在数数学学处处理理上上比比较较方方便便；相相对对失失

9、真真与与主主观观特特性性比比较较匹匹配配，因因为为主主观观感觉往往与客观量的相对数成正比，但其数学处理比较困难感觉往往与客观量的相对数成正比，但其数学处理比较困难误误码码失失真真函函数数表表明明，只只要要发发送送符符号号与与接接收收符符号号不不同同，由由此此引引起起的的失失真真 都都 相相 同同(为为 常常 数数 a a )。若若 常常 数数 值值 为为 1，则则 称称 为为汉 明 失 真适用于适用于连续信源连续信源适用于离散信源适用于离散信源8本讲稿第八页，共五十三页平均失真度由由于于单单个个符符号号的的失失真真函函数数 d(xi,yj)是是随随机机变变量量(的的一一次次实实现现)，它它只只

10、能能表表示示两两个个特特定定的的具具体体符符号号 xi,yj 之之间间的的失失真真，无无法法从从整整体体上上描描述述信信道道平平均每传递一个符号所引起失真大小均每传递一个符号所引起失真大小定定义义平均失真度为为失失真真函函数数的的数数学学期期望望，即即 d(xi,yj)在在 X 和和 Y的的联联合概率空间合概率空间 P(XY)中的统计平均值中的统计平均值平均失真度平均失真度 与信源统计特性与信源统计特性 、信道统计特性、信道统计特性 和和规规定定的的失失真真度度 有有关关；如如果果信信源源和和失失真真度度给给定定以以后后，就只是信道统计特性的函数就只是信道统计特性的函数如如果果规规定定平平均均

11、失失真真度度不不超超过过某某一一允允许许失失真真的的上上界界 D(最最大大允允许许平平均均失失真度，简称真度，简称允许平均失真度)，则称：，则称：为为保真度准则满满足足保保真真度度准准则则的的限限定定条条件件下下，求求信信息息传传输输率率的的最最小小值值9本讲稿第九页，共五十三页符号序列的失真度若若信信源源是是单单符符号号离离散散无无记记忆忆信信源源的的 N 次次扩扩展展，其其限限失失真真编编码码可可视视为为 N 长长随随机机序序列列 经经由由单单符符号号离离散散无无记记忆忆信信道的道的 N 次扩散信道，再现为次扩散信道，再现为 N 长的随机序列长的随机序列 N 长输入符号序列长输入符号序列

12、与与 N 长长输出符号序列输出符号序列 间的失真函数：间的失真函数：由于由于 N 次扩展信源和次扩展信源和 N 次扩展信道都是无记忆的，因此：次扩展信道都是无记忆的，因此：10本讲稿第十页，共五十三页符号序列的平均失真度符号序列的平均失真度：符号序列的平均失真度：符号序列的保真度准则：符号序列的保真度准则：为为同同一一单单符符号号离离散散无无记记忆忆信信源源 X 在在 N 个个不不同同时时刻刻通通过过同同一一单单符符号号离离散散无无记记忆忆信信道道所所造造成成的的平平均均失失真真度度，因因此此都都等等于于单单符符号号离离散散无无记记忆忆信信源源 X 通通过过单符号离散无记忆信道所造成的平均失真

13、度，即：单符号离散无记忆信道所造成的平均失真度，即：11本讲稿第十一页，共五十三页4.1.2信息率失真函数的定义在在单单符符号号信信源源已已知知并并规规定定了了单单符符号号失失真真度度后后，并并非非所所有有的的信信道道都都能能满满足足保保真真度度准准则则 ；凡凡满满足足保保真真度度准准则则的的信信道道称称为为 D 失真许可试验信道，所有的，所有的 D 失真许可试验信道构成集合：失真许可试验信道构成集合：对对于于离离散散无无记记忆忆 N 次次扩扩展展信信源源和和 N 次次扩扩展展信信道道，相相应应的的 D 失失真真许许可可试试验信道为：验信道为：对对于于固固定定的的信信源源分分布布，平平均均互互

14、信信息息是是信信道道转转移移概概率率的的下下凸凸函函数数，也也就就是是说说，存存在在一一个个信信道道使使给给定定的的信信源源经经过过此此信信道道传传输输时时，信信道道的的平平均均互互信息达到最小信息达到最小信信源源限限失失真真编编码码后后的的信信息息传传输输率率 R 就就是是通通过过试试验验信信道道的的平平均均互互信信息息 I(X;Y)，为为了了便便于于传传送送和和处处理理，人人们们总总是是希希望望将将信信息息传传输输率率 R 压压缩缩到到最最小小12本讲稿第十二页，共五十三页信息率失真函数的定义(续)给给定定信信源源和和失失真真度度后后，在在所所有有的的 D 失失真真许许可可试试验验信信道道

15、中中，寻寻找找一一个个信信道道使使得得从从输输入入端端传传送送过过来来的的信信息息量量最最小小。这这个个最最小小的的平平均均互互信信息息称为称为信息率失真函数 R(D)，简称，简称率失真函数：在在研研究究 R(D)时时，计计算算 I(X;Y)所所用用的的条条件件概概率率并并没没有有实实际际信信道道的的含含义义，只只是是为为了了求求平平均均互互信信息息的的最最小小值值而而引引用用的的、假假想想的的可可变变试试验验信信道道的的信信道道特特性性。实实际际上上这这些些信信道道反反映映的的仅仅是是不不同同的的限限失失真真信信源源编编码码，或称或称信源压缩R(D)是是在在限限定定允允许许平平均均失失真真为

16、为 D 时时信信源源最最小小信信息息传传输输率率；可可以以通通过过改改变变试试验验信信道道特特性性来来达达到到，实实质质上上是是选选择择一一种种限限失失真真信信源源编编码码方方式式使使试试验验信信道道的的信信息息传传输输率率为为最最小小，即即在在满满足足保保真真度度准准则则下下，使使信信源源的的压压缩率达到最高缩率达到最高13本讲稿第十三页，共五十三页率失真函数的定义域(D 的下界)允许失真度允许失真度 D 是平均失真度的上限，而是平均失真度的上限，而 是非负函数是非负函数 的的数数学学期期望望，因因此此 D 的的下下界界至至多多为为 0，对对应应于于无无失失真真的的情情况况，此时信息传输率应

17、等于信源输出的信息熵，即此时信息传输率应等于信源输出的信息熵，即 D 能能否否达达到到下下界界 0，与与单单个个符符号号的的失失真真函函数数有有关关；在在给给定定的的失失真真矩矩阵阵中中，对对每每一一个个 xi，找找一一个个 yj 与与之之对对应应，使使 d(xi,yj)最最小小，不不同同的的 xi 对对应应的的最最小小 d(xi,yj)也也不不相相同同。相相当当于于在在失失真真矩矩阵阵的的每每一一行行找找一一个个最最小小的的 d(xi,yj)，然然后后对对各各行行不不同同的的 d(xi,yj)求求统统计计平平均均值值，就就是是信源平均失真度上限的下界信源平均失真度上限的下界 显显然然，如如果

18、果失失真真矩矩阵阵的的每每一一行行至至少少有有一一个个 0 元元素素，信信源源平平均均失失真真度度上限上限 D 的下界才能取到的下界才能取到 014本讲稿第十四页，共五十三页率失真函数的定义域(D 的上界)R(D)是是在在一一定定约约束束条条件件下下平平均均互互信信息息 I(X;Y)的的最最小小值值，由由于于I(X;Y)是非负的，其下界为至多为是非负的，其下界为至多为 0如如果果不不允允许许失失真真，平平均均传传送送一一个个信信源源符符号号所所需需的的信信息息传传输输率率最最大大，R(D)可可以以达达到到信信源源熵熵；反反之之如如果果允允许许一一定定的的失失真真，则则信信息息传传输输率可以小一

19、些；或者说信息传输率越小，容忍的平均失真度越大率可以小一些；或者说信息传输率越小，容忍的平均失真度越大显显然然，当当 R(D)达达到到下下界界 0 时时，允允许许的的平平均均失失真真度度最最大大，由由于于满满足足 R(D)=0 的的 D 可可以以有有无无穷穷多多个个，定定义义使使 R(D)=0 成成立立的的最最小小的的 D 值值为率失真函数的定义域的上界为率失真函数的定义域的上界 Dmax 当当 R(D)=0 时时，最最小小的的 I(X;Y)=0 ，这这相相当当于于 X 和和 Y 相相互互统统计计独独立立的的情情况况；这这意意味味着着接接收收端端收收不不到到信信源源发发送送的的任任何何信信息息

20、，与与信信源源不不发发送送任任何何信信息息是是等等效效的的，所所以以在在理理论论上上，传传送送信信源源符符号号的的信信息息传传输输率可以压缩至率可以压缩至 0 15本讲稿第十五页，共五十三页率失真函数的定义域(Dmax 的计算)如果试验信道的转移概率满足如果试验信道的转移概率满足 即即 X 和和 Y 相相互互统统计计独独立立，等等效效于于信信道道关关闭闭或或者者信信源源不不发发任任何何消消息，此时必有：息，此时必有：，从而，从而 用用不不同同的的输输出出概概率率分分布布 对对 求求数数学学期期望望，取取最最小小的的那一个作为那一个作为 如果在如果在 中找到最小的中找到最小的 ，当该，当该 j

21、对应的对应的而其余的输出概率为而其余的输出概率为 0 时，上式计算出的时，上式计算出的 值最小，即：值最小，即：16本讲稿第十六页，共五十三页率失真函数率失真函数 R(D)的定义域为的定义域为(Dmin,Dmax)一般情况下：一般情况下：Dmin=0，R(Dmin)=H(X)当当 D Dmax 时：时：R(D)=0当当 D (Dmin,Dmax)时时：0 R(D)H(X)17本讲稿第十七页，共五十三页率失真函数对允许平均失真度的下凸性18本讲稿第十八页，共五十三页新新试试验验信信道道在在所所有有满满足足保保真真准准则则 的的信信道道集集合合中中 并并不不一一定定是达到率失真函数是达到率失真函数

22、 （使平均互信息（使平均互信息 达到最小）的信道达到最小）的信道新新 试试 验验 信信 道道 的的允允许许平平均均失失真真度度固定信源固定信源 X，平均互信息，平均互信息 I(X;Y)是信道转移概率的下凸函数：是信道转移概率的下凸函数：因此因此 R(D)在定义域内是允许平均失真度在定义域内是允许平均失真度 D 的下凸函数，即：的下凸函数，即：19本讲稿第十九页，共五十三页率失真函数的连续性由由数数学学分分析析理理论论：“定义在开区间上的凸函数必是连续函数”知知：定定义义域域为为(Dmin,Dmax)且具有下凸性的且具有下凸性的 R(D)是连续函数是连续函数首首尾尾相相连连的的弦弦线线斜斜率率

23、是是 递递 增增 的的20本讲稿第二十页，共五十三页由于允许的平均失真越大，所要求的信息率就可以越小由于允许的平均失真越大，所要求的信息率就可以越小率率失失真真函函数数 R(D)是是在在平平均均失失真真度度小小于于或或等等于于允允许许平平均均失失真真度度为为 D 的的所所有试验信道组成的集合有试验信道组成的集合 PD 中，取平均互信息中，取平均互信息 I(X;Y )的最小值的最小值当当允允许许的的平平均均失失真真度度增增大大后后，集集合合 PD 也也随随之之扩扩大大，它它当当然然仍仍包包含含原原来来满满足足保保真真度度准准则则的的所所有有信信道道；这这时时再再在在扩扩大大的的 PD 集集合合中

24、中挑挑选选 I(X;Y)的的最最小小值值，显显然然新新挑挑选选出出最最小小值值或或者者不不变变，或或者者变变小小，所所以以率率失失真真函函数数 R(D)是是单单调非增的调非增的以以下下将将通通过过证证明明率率失失真真函函数数 R(D)在在定定义义域域(Dmin,Dmax)内内不不可可能能为为常常数数从从而证明率失真函数是严格单调递减的函数而证明率失真函数是严格单调递减的函数率失真函数的单调递减性21本讲稿第二十一页，共五十三页22本讲稿第二十二页，共五十三页新新试试验验信信道道在在所所有有满满足足保保真真准准则则的的信信道道集集合合中中并并不不一一定定是是达达到到率率失失真真函函数数的信道，因

25、此：的信道，因此：R(D)I(X;Y)满足保真准则满足保真准则固定信源，平均互信息是信道转移概率的下凸函数，所以：固定信源，平均互信息是信道转移概率的下凸函数，所以：综上分析可知：综上分析可知：时，时，可见，可见在区间在区间 上不是常数，原假设不成立。上不是常数，原假设不成立。23本讲稿第二十三页，共五十三页根根据据率率失失真真函函数数所所具具有有的的下下凸凸性性、连连续续性性、严严格格单单调调下下降降性性可可绘绘出出率失真函数的典型曲线图率失真函数的典型曲线图率失真函数曲线的一般形式连续信源连续信源离散信源离散信源连续信源连续信源离散信源离散信源对于连续信源，对于连续信源，R(0)，曲线不与

26、，曲线不与 R(D)相交相交R(Dmin)H(X)及及 R(Dmax)=0 决决 定定 了了 率率 失失 真真 函函 数数 曲曲 线线 边边 缘缘 的的两个交点两个交点24本讲稿第二十四页，共五十三页4.2离散信源的信息率失真函数由由率率失失真真函函数数的的定定义义可可知知，求求解解 R(D)实实质质上上是是求求解解平平均均互互信信息息的的条条件极值，与求信道容量件极值，与求信道容量 C 类似，可以采用拉格朗日乘子法求解类似，可以采用拉格朗日乘子法求解R(D)是是求求解解 I(X;Y)的的条件极小值，具具体体而而言言，给给定定信信源源概概率率分分布布 p(x)和和失失真真函函数数 d(x,y)

27、，在在满满足足保保真真度度准准则则 的的试试验验信信道道集集合合 PD 中中选选择择信信道道转转移移概概率率 p(y|x )，使使 I(X;Y)最最小小需要满足以下需要满足以下 n+1 个限定条件：个限定条件：很很难难求求解解出出 I(X;Y)条条件件极极小小值值的的显显式式表表达达式式，在在一一般般情情况况下下只只能能求求得得用用参参量量(R(D)的的斜斜率率 S)来来描描述述的的参参量量表表达达式式，并并借借助助计计算算机机进进行行迭代运算迭代运算25本讲稿第二十五页，共五十三页4.2.1离散信源信息率失真函数的参量表达式26本讲稿第二十六页，共五十三页27本讲稿第二十七页，共五十三页28

28、本讲稿第二十八页，共五十三页29本讲稿第二十九页，共五十三页030本讲稿第三十页，共五十三页4.2.2二元及等概率离散信源的信息率失真函数31本讲稿第三十一页，共五十三页32本讲稿第三十二页，共五十三页二元离散信源率失真函数曲线33本讲稿第三十三页，共五十三页多元等概率离散信源的率失真函数34本讲稿第三十四页，共五十三页4.3 连续信源的信息率失真函数4.3.1连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式4.3.2高斯信源的信息率失真函数高斯信源的信息率失真函数4.3.3信息率失真函数与信息价值信息率失真函数与信息价值4.3.4信道容量与信息率失真函数的比较信道容量与信

29、息率失真函数的比较35本讲稿第三十五页，共五十三页4.3.1连续信源信息率失真函数的参量表达式36本讲稿第三十六页，共五十三页4.3.1连续信源信息率失真函数的参量表达式（续）37本讲稿第三十七页，共五十三页4.3.2高斯信源的信息率失真函数38本讲稿第三十八页，共五十三页39本讲稿第三十九页，共五十三页反反向向信信道道40本讲稿第四十页，共五十三页41本讲稿第四十一页，共五十三页42本讲稿第四十二页，共五十三页4.3.3信息率失真函数与信息价值同同样样的的信信息息对对不不同同的的接接收收者者其其(客客观观)信信息息量量是是相相同同的的，但但对对不不同同的的接接收收者其价值是有差别的者其价值是

30、有差别的尽尽管管信信息息率率失失真真理理论论只只研研究究客客观观信信息息量量，不不涉涉及及信信息息对对接接收收者者有有着着不不同同的的价价值值，但但如如果果把把平平均均失失真真理理解解为为平平均均损损失失，据据此此定定义义信信息息价价值值，就可以用信息论解决许多实际问题就可以用信息论解决许多实际问题例某某印印刷刷电电路路板板(PCB)加加工工厂厂的的产产品品合合格格率率约约为为 98%。一一块块好好的的 PCB 板板出出厂厂价价约约为为 100 元元，但但如如果果客客户户发发现现一一块块不不合合格格的的板板子子可可向向厂厂方方索索赔赔 10000 元元。已已知知厂厂方方检检验验员员检检验验的的

31、正正确确率率约约为为 95%，假假设设合合格格品品出出厂厂、废废品品报报废废都都不不造造成成损损失失，以以下下用用信信息息率率失失真真理理论论来来分分析析检检验验的的作作用用并并作作比比较。较。解根根据据题题意意，可可将将 PCB 产产品品作作为为一一信信源源，记记生生产产的的 PCB 板板为为随随机机变变量量 X，检验员的检测结果为检验员的检测结果为 Y，即：，即：43本讲稿第四十三页，共五十三页将平均失真度理解将平均失真度理解 PCB 厂的平均损失，并定义如下失真函数：厂的平均损失，并定义如下失真函数：产品不经检验而出厂产品不经检验而出厂都当合格品都当合格品即即这这种种情情况况每每销销售售

32、出出去去一一块块 PCB 板板，加加工工厂厂将将要要另另外外承承担担可可能能损损失失 200 元元的的风风险险。考考虑虑到到每每块块销销售售 100 元元，实实际际上上是是每每卖卖出出一一块块可可能能要要实实际际净损失净损失 100 元。元。44本讲稿第四十四页，共五十三页产品不经检验全部报废产品不经检验全部报废都当废品都当废品即即每每生生产产一一块块 PCB 板板，加加工工厂厂将将有有损损失失 98 元元的的风风险险。因因为为把把 98%本来可以卖本来可以卖 100 元一块的板子也报废了。元一块的板子也报废了。比比较较以以上上两两种种情情况况可可知知，做做出出全全部部报报废废决决定定造造成成

33、的的损损失失，要要小小于于做做出出全全部部出出厂厂决决定定所所造造成成的的损损失失。不不做做任任何何检检验验，在在全全部部出出厂厂和和全全部部报报废废两两者者之之间间抉抉择择，选择后者的损失反而小。选择后者的损失反而小。如如果果选选择择 ，则则 ，产产品品无无需需进进行行质质量量管理，相当于信源没有输出任何信息量管理，相当于信源没有输出任何信息量45本讲稿第四十五页，共五十三页正确无误地判断合格品和废品正确无误地判断合格品和废品完美的检验完美的检验以下探讨每以下探讨每 1 比特信息量的价值比特信息量的价值该该式式说说明明，如如果果从从每每块块 PCB 板板上上获获取取 0.14144 比比特特

34、的的信信息息量量，就就可可以避免一切细小的损失。以避免一切细小的损失。可能造成的最大损失为可能造成的最大损失为 98 元元/块，所块，所以以 0.14144 比特信息量的最大价值为比特信息量的最大价值为 98 元，元，则每则每 1 比特信息的最大价值为比特信息的最大价值为一一般般将将全全部部产产品品都都报报废废的的可可能能性性极极小小，实实际际的的损损失失要要小小于于 98元元/块块，完完全全无无误误的的检检验验因因其其高高昂昂的的代代价价，所所提提供供的的单单位信息价值不一定是最高的位信息价值不一定是最高的46本讲稿第四十六页，共五十三页检测时允许有一定的错误检测时允许有一定的错误非完美的检

35、验非完美的检验即即这这种种情情况况每每销销售售出出去去一一块块 PCB 板板，加加工工厂厂将将要要另另外外承承担担可可能能损损失失 14.9 元元/块块的的风风险险。考考虑虑到到每每块块销销售售 100 元元，实实际际上上是是每每卖卖出出一一块块实实际际收收益益至至少少是是 85.1 元元。这这种种情情况况和和最最大大损损失失(98 元元)相相比比，损损失失减减少少了了 98-14.9=83.1 元元/块块Why?由由于于在在检检验验的的过过程程中中获获取取了了一一定定的的信信息息量量，检检验验的的过过程程好好比比“信信道道”，获取的信息量也就是平均互信息，获取的信息量也就是平均互信息 I(X

36、;Y)。47本讲稿第四十七页，共五十三页通通过过允允许许有有错错的的检检验验，平平均均而而言言从从对对每每块块 PCB 板板的的检检验验中中只只获获取取了了 0.07202 比比特特的的信信息息量量，但但是是其其损损失失比比不不检检验验时时减减少少了了83.1元元，也也就就是是说说 0.07202 比特信息价值比特信息价值 83.1 元，故每元，故每 1 比特价值为：比特价值为：而而完完全全无无误误检检验验时时，每每比比特特信信息息量量的的价价值值为为 692.87 元元。比比较较而而言言，在在有有较小检验误差的情况下，每比特信息量的价值更高，是较合算的检验准则。较小检验误差的情况下，每比特信

37、息量的价值更高，是较合算的检验准则。48本讲稿第四十八页，共五十三页信息率 R 的价值付付出出一一定定的的代代价价，获获取取一一定定的的信息，得到相应的价值信息，得到相应的价值信信息息率率失失真真函函数数 R(D )是是平平均均失失真真度度 D 的的单单调调递递减减函函数数，其其反反函函数数为为 D(R )，表示信息率为，表示信息率为 R 时的平均失真度时的平均失真度(平均损失平均损失)最最大大的的平平均均损损失失为为 Dmax，此此时时的的率率失失真真函函数数 R(Dmax)=0 表表明明没没有有获获取取信源的任何信息信源的任何信息当当获获取取一一信信息息率率 R(D )后后，平平均均损损失

38、失将将由由 Dmax 下下降降为为 D (R )，即即获获取取 D (R )比特的平均互信息可以减少损失比特的平均互信息可以减少损失 Dmax-D (R )，据此可以定义：，据此可以定义：49本讲稿第四十九页，共五十三页4.3.4信道容量与信息率失真函数的比较50本讲稿第五十页，共五十三页4.4保真度准则下的信源编码定理(香农第三定理)51本讲稿第五十一页，共五十三页香农三大定理香香农农信信息息论论有有三三大大基基本本概概念念：信信源源熵熵、信信道道容容量量、信信息息率率失失真真函函数数，它它们们是是信信息息传传输输与与存存储储的的理理论论上上的的极极限；这三大基本概念分别对应于香农的三大定理

39、：限；这三大基本概念分别对应于香农的三大定理：无失真信源编码定理无失真信源编码定理极限：信源熵极限：信源熵 H(X)信道编码定理信道编码定理极限：信道容量极限：信道容量 C限失真信源编码定理限失真信源编码定理极限：率失真函数极限：率失真函数 R(D)香香农农的的三三大大定定理理只只是是指指出出了了理理想想编编码码方方式式的的存存在在性性，但但并并没没有有给给出出更更多多的的关关于于如如何何进进行行编编码码尤尤其其是是理理想想编编码码的的构造方法构造方法随随后后的的信信源源编编码码和和信信道道编编码码章章节节，将将重重点点探探讨讨以以香香农农三三大大极极限为目标如何实现编码限为目标如何实现编码52本讲稿第五十二页，共五十三页作业4.14.24.44.54.94.1053本讲稿第五十三页，共五十三页