第四章信息率失真函数改优秀PPT.ppt

《第四章信息率失真函数改优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章信息率失真函数改优秀PPT.ppt（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章信息率失真函数改第四章信息率失真函数改第一页，本课件共有36页前一章介绍的信道容量告诉我们：只要信道的信息传前一章介绍的信道容量告诉我们：只要信道的信息传前一章介绍的信道容量告诉我们：只要信道的信息传前一章介绍的信道容量告诉我们：只要信道的信息传输速率小于信道容量，则总能找到一种编码方法输速率小于信道容量，则总能找到一种编码方法输速率小于信道容量，则总能找到一种编码方法输速率小于信道容量，则总能找到一种编码方法,使得在使得在使得在使得在该信道上的信息传输的差错概率任意小；反之，若信该信道上的信息传输的差错概率任意小；反之，若信该信道上的信息传输的差错概率任意小；反之，若信该信道上的信息传

2、输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传道的信息传输速率大于信道容量，则不可能使信息传道的信息传输速率大于信道容量，则不可能使信息传道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。输差错概率任意小。输差错概率任意小。输差错概率任意小。第二页，本课件共有36页 实际通信系统允许一定的失真存在,有时也没必要要求完全无失真传输。1打电话；2放电影，视觉暂留性。u每秒传送25帧图,可以满足人类视觉要求;u几千HZ到十几千HZ可以满足人类听觉要求.第三页，本课件共有36页香农首先定义了信息率失真函数香农首先定义了信息率失真函数香农首先定义了信息率失真函

3、数香农首先定义了信息率失真函数R(D)R(D)，并论述了关于这个函数，并论述了关于这个函数，并论述了关于这个函数，并论述了关于这个函数的基本定理。的基本定理。的基本定理。的基本定理。定理指出：在允许一定失真度定理指出：在允许一定失真度定理指出：在允许一定失真度定理指出：在允许一定失真度D D的情况下，信源输出的信息的情况下，信源输出的信息的情况下，信源输出的信息的情况下，信源输出的信息传输率可压缩到传输率可压缩到传输率可压缩到传输率可压缩到R(D)R(D)值，这就从理论上给出了信息传输率与允许失真值，这就从理论上给出了信息传输率与允许失真值，这就从理论上给出了信息传输率与允许失真值，这就从理论

4、上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。之间的关系，奠定了信息率失真理论的基础。之间的关系，奠定了信息率失真理论的基础。之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。理论基础。理论基础。理论基础。本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信本章主要介绍信息率失真理论的基本

5、内容，侧重讨论离散无记忆信本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。源。源。源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨首先给出信源的失真度和信息率失真函数的定义与性质；然后讨首先给出信源的失真度和信息率失真函数的定义与性质；然后讨首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。度准则下的信

6、源编码定理。度准则下的信源编码定理。度准则下的信源编码定理。第四页，本课件共有36页4.1 信息率失真函数信息率失真函数第五页，本课件共有36页 1、失真函数、失真函数信源信源信源信源编码编码信道信道编码编码信道信道信道信道译码译码信源信源译码译码信宿信宿干扰干扰 根据信道编码定理，我们可以把信道编码、信道和信道根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一

7、个信道。以把信源编码和信源译码等价成一个信道。我们称此信道我们称此信道为为试验信道试验信道。4.1.1 失真函数和平均失真度失真函数和平均失真度 第六页，本课件共有36页信源信源信宿信宿试验信道试验信道 现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。码使信息传输率为最低。为此，我们首先讨论失真的测度。设离散信源概率分布为设离散信源概率分布为 称为称为单个符号的失真度（或称失真函数）单个符号的失真度（或称失真函数）.经信道传输后输出序列为经信道传输后输出序列为:对任一指定

8、一个非负数第七页，本课件共有36页 失真函数用来表征信源发出一个符号失真函数用来表征信源发出一个符号ai，而在接收端再现成，而在接收端再现成符号符号bj所引起的误差或失真。所引起的误差或失真。d越小表示失真越小，等于越小表示失真越小，等于0表示表示没有失真。没有失真。可以将所有的失真函数排列成矩阵的形式：可以将所有的失真函数排列成矩阵的形式：我们称它为我们称它为失真矩阵失真矩阵。第八页，本课件共有36页 例例例例 删除信源删除信源删除信源删除信源。信源变量信源变量信源变量信源变量U Uuu1 1,u,u2 2,u,ur r ，接收变量，接收变量，接收变量，接收变量V V vv1 1,v,v2

9、2,v,vs s(s=r+1)(s=r+1)。定义其单个符号失真度为：。定义其单个符号失真度为：。定义其单个符号失真度为：。定义其单个符号失真度为：其中接收符号其中接收符号其中接收符号其中接收符号v vs s作为一个删除符号。作为一个删除符号。作为一个删除符号。作为一个删除符号。在这种情况下，意味着若把信源符号再现为删除符号在这种情况下，意味着若把信源符号再现为删除符号在这种情况下，意味着若把信源符号再现为删除符号在这种情况下，意味着若把信源符号再现为删除符号v vs s时，其失时，其失时，其失时，其失真程度要比再现为其他接收符号的失真程度少一半。真程度要比再现为其他接收符号的失真程度少一半。

10、真程度要比再现为其他接收符号的失真程度少一半。真程度要比再现为其他接收符号的失真程度少一半。若二元删除信源若二元删除信源若二元删除信源若二元删除信源s s 2 2，r r3 3，U U0,10,1，V V0,1,2 0,1,2。失真度为：失真度为：失真度为：失真度为：则d(0,0)=d(1,2)=0 d(0,2)=d(1,0)=1d(0,1)=d(1,1)=1/2除j=s以外所有的j和i所有i第九页，本课件共有36页1常用失真函数汉明失真称为第十页，本课件共有36页2称称平方误差失真函数平方误差失真函数.如:第十一页，本课件共有36页绝对值误差失真测度绝对值误差失真测度绝对值误差失真测度绝对值

11、误差失真测度信源输出符号信源输出符号X X=0,1,2=0,1,2，信道输出符号，信道输出符号Y Y=0,1,2=0,1,2 ，给出失真测度，给出失真测度d d i ji j=x xi i-y yj j i,ji,j=0,1,2=0,1,2则失真测度矩阵为则失真测度矩阵为 第十二页，本课件共有36页由由由由于于于于a ai i和和b bj j都都都都是是是是随随随随机机机机变变变变量量量量，所所所所以以以以失失失失真真真真函函函函数数数数d d(ai，bj j)也也是是随随机机变变量量，限限失失真真时时的的失失真真值值，只只能能用用它它的的数数学学期期望望或或统统计计平平均均值值，因因此此将将

12、失失真真函函数数的的数数学学期期望称为望称为平均失真度平均失真度，记为，记为，记为，记为 平均失真度平均失真度平均失真 是对在给定信源分布p(x)条件下，通过有扰信道传输而引起失真的统计平均度量。第十三页，本课件共有36页 若平均失真度若平均失真度 不大于我们所允许的失真不大于我们所允许的失真D(预先给定的某一预先给定的某一限定值限定值)，我们称此为，我们称此为保真度准则保真度准则。凡满足保真度准则的这些试验信道称为凡满足保真度准则的这些试验信道称为D失真许可失真许可的试验信道。把所有的试验信道。把所有D失真许可的试验信道组成一失真许可的试验信道组成一个集合，用符号个集合，用符号BD表示。表示

13、。第十四页，本课件共有36页N次扩展信道的平均失真度：输入第十五页，本课件共有36页输出第十六页，本课件共有36页第十七页，本课件共有36页由信源和信道的无记忆性第十八页，本课件共有36页第十九页，本课件共有36页例:设信源X取值于0,1,失真函数数分别为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次扩展信源的输入X=X1X2X3,经信道传导输后,输出为Y=Y1Y2Y3,求失真矩阵D(N).第二十页，本课件共有36页信源编码器信源编码器信源编码器信源编码器X XY Y假想信道假想信道假想信道假想信道将信源编码器看作信道将信源编码器看作信道将信源编码器看作信道将信源编

14、码器看作信道4.1.2 信息率失真函数定义信息率失真函数定义第二十一页，本课件共有36页 信信信信源源源源编编编编码码码码器器器器的的的的目目目目的的的的是是是是使使使使编编编编码码码码后后后后所所所所需需需需的的的的信信信信息息息息传传传传输输输输率率率率R R尽尽量量小小，然然而而R越越越越小小小小，引引引引起起起起的的的的平平平平均均均均失失失失真真真真就就就就越越越越大大大大。给给给给出出出出一一一一个个个个失失失失真真真真的的的的限限限限制制制制值值值值D，在在在在满满满满足足足足平平平平均均均均失失失失真真真真 D D的的的的条条条条件件件件下下下下，选选选选择择择择一一一一种种种

15、种编编编编码码码码方方方方法法法法使使使使信信信信息息息息率率率率R R尽尽尽尽可可可可能能能能小小小小。信信信信息息息息率率率率R R就就就就是是是是所所所所需需需需输输输输出出出出的的的的有有有有关关关关信信信信源源源源X的的的的信信信信息息息息量量量量。将将将将此此此此问问问问题题题题对对对对应应应应到到到到信信信信道道道道，即即即即为为为为接接接接收收收收端端端端Y需需需需要要要要获获获获得得得得的的的的有有有有关关关关X的的的的信信信信息息息息量量量量，也也也也就就就就是是是是互互互互信信信信息息息息I(X X;Y Y)。这这这这样样样样，选选选选择择择择信信信信源源源源编编编编码码

16、码码方方方方法法法法的的的的问问问问题题题题就就就就变变变变成成成成了了了了选选选选择择择择假假假假想想想想信信信信道道道道的的的的问问问问题题题题，符符符符号号号号转转转转移移移移概概概概率率率率p(b bj j/a ai i)就就就就对对对对应应应应信信信信道道道道转移概率。转移概率。转移概率。转移概率。第二十二页，本课件共有36页D失真许可的 试验信道试验信道平均失真由信源分布平均失真由信源分布p(ai)、假想信道的转移概率、假想信道的转移概率p(bj/ai)和失真函数和失真函数d(ai,bj)决定，若决定，若p(ai)和和d(ai,bj)已定，则已定，则调整 使1、D允许试验信道允许试

17、验信道 第二十三页，本课件共有36页2、信息率失真函数信息率失真函数R(D)由由于于互互信信息息取取决决于于信信源源分分布布和和信信道道转转移移概概率率分分布布，当当p(ai)一一定定时时，互互信信息息I是是关关于于p(bj/ai)的的下下凸凸函函数数，存存在在极极小小值值。因因而而在在上上述述允允许许信信道道PD中中，可可以以寻寻找找一一种种信信道道p(bj/ai)使使给给定定的的信信源源p(ai)经经过过此此信信道道传传输输后后，互互信信息息I(X；Y)达达到到最最小小。该该最最小小的的互互信信息息就就称称为为信信息息率率失失真函数真函数R(D)，即，即 第二十四页，本课件共有36页R(D

18、)的物理意义：的物理意义：对于给定的信源，在满足保真度准则下，必须传对于给定的信源，在满足保真度准则下，必须传送的最小信息量，它既反映了用户容忍程度送的最小信息量，它既反映了用户容忍程度,也反映也反映了信息率允许压缩的最小值，了信息率允许压缩的最小值，R(D)越大越大,越难压缩，越难压缩，反之可压缩率就大反之可压缩率就大.对于固定的信源分布，平均互信息量对于固定的信源分布，平均互信息量I(X;Y)是信道是信道转移概率转移概率 p(bj/ai)的下凸函数。也就是说的下凸函数。也就是说:存在一个信存在一个信道使某一特定信源经过此信道传输时，信道的平均互道使某一特定信源经过此信道传输时，信道的平均互

19、信息达到极小值信息达到极小值.第二十五页，本课件共有36页N次无记忆扩展信源和信道：第二十六页，本课件共有36页 允许失真度允许失真度D D的下限可以是零，即不允许任何失真的情况。的下限可以是零，即不允许任何失真的情况。1、R(D)的定义域R(D)的定义域为 且：4.1.3 率失真函数性质率失真函数性质不允许失真,此时H(X/Y)=0;也可理解为不允许压缩信源.R(D)R(D)的定义域为的定义域为DminDmin，Dmax Dmax。通常通常D Dmin=0min=0，R R(D Dmin)=min)=H H(X X)当当 D D D Dmaxmax时时,R R(D D)=0)=0 当当 0

20、0 D D D Dmaxmax时时,0,0R R(D D)H H(X X)第二十七页，本课件共有36页解：解：解：解：例例例例 设设设设试验信道输入符号集试验信道输入符号集试验信道输入符号集试验信道输入符号集 ，各符号对应概率分别为各符号对应概率分别为各符号对应概率分别为各符号对应概率分别为p=1/3,1/3,1/3p=1/3,1/3,1/3 ，失真矩阵如下所示，求，失真矩阵如下所示，求，失真矩阵如下所示，求，失真矩阵如下所示，求 和和和和 以及相应以及相应以及相应以及相应的试验信道的转移概率矩阵。的试验信道的转移概率矩阵。的试验信道的转移概率矩阵。的试验信道的转移概率矩阵。令对应最小失真度令

21、对应最小失真度令对应最小失真度令对应最小失真度 的的的的 ，其它为，其它为，其它为，其它为“0”0”，可，可，可，可得对应得对应得对应得对应 的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为 第二十八页，本课件共有36页上式中第二项最小，所以令上式中第二项最小，所以令上式中第二项最小，所以令上式中第二项最小，所以令 ，可得对，可得对，可得对，可得对应应应应 的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为第二十九页，本课件共有36页 2、R(D)是关于平均失真度D的下凸函数 设 为任意两个平均失真，

22、则有：3、R(D)是 区间上的连续和严格单调递减函数。由信息率失真函数的下凸性可知，R(D)在 上连续。又由R(D)函数的非增性且不为常数知，R(D)是区间 上的严格单调递减函数。第三十页，本课件共有36页信息率失真函数的一般形状 第三十一页，本课件共有36页4.2 4.2 离散信源的信息率失真函数离散信源的信息率失真函数求解只提供思路第三十二页，本课件共有36页离散信源离散信源R(D)计算计算 给定信源概率给定信源概率pi和失真函数和失真函数dij,就可以求得就可以求得该信源的该信源的R(D)函数。函数。它是在保真度准则下求极小值的问题。它是在保真度准则下求极小值的问题。但要得到它的显式表达

23、式但要得到它的显式表达式,一般比较困难。一般比较困难。通常用参量表达式。通常用参量表达式。即使如此即使如此,除简单的情况外实际计算还是困除简单的情况外实际计算还是困难的难的,只能用迭代逐级逼近的方法。只能用迭代逐级逼近的方法。第三十三页，本课件共有36页二元对称信源的二元对称信源的R(D)函数函数 设二元对称信源设二元对称信源X=0,1,X=0,1,其概率分布其概率分布其概率分布其概率分布p p(x x)=p,1-)=p,1-p,p,接收变量接收变量接收变量接收变量Y=0,1,Y=0,1,汉明失真矩阵汉明失真矩阵汉明失真矩阵汉明失真矩阵因而最小允许失真度因而最小允许失真度因而最小允许失真度因而

24、最小允许失真度D Dminmin=0。并能找到满足该最小失真的试验信道并能找到满足该最小失真的试验信道并能找到满足该最小失真的试验信道并能找到满足该最小失真的试验信道,且是一个无噪无损且是一个无噪无损且是一个无噪无损且是一个无噪无损信道信道信道信道,其信道矩阵为其信道矩阵为其信道矩阵为其信道矩阵为第三十四页，本课件共有36页计算得：计算得：R(0)=I(X;Y)=H(p)最大允许失真度为最大允许失真度为最大允许失真度为最大允许失真度为要达到最大允许失真度的试验信道要达到最大允许失真度的试验信道要达到最大允许失真度的试验信道要达到最大允许失真度的试验信道,唯一确定为唯一确定为唯一确定为唯一确定为

25、第三十五页，本课件共有36页这个试验信道能正确传送信源符这个试验信道能正确传送信源符这个试验信道能正确传送信源符这个试验信道能正确传送信源符号号号号x x=1,而传送信源符号而传送信源符号而传送信源符号而传送信源符号x x=0时时时时,接收符号一定为接收符号一定为y=1凡发送符号凡发送符号凡发送符号凡发送符号x x=0=0时时时时,一定都错了。一定都错了。一定都错了。一定都错了。而而而而x x=0=0出现的概率为出现的概率为p p,所以信道所以信道所以信道所以信道的平均失真度为的平均失真度为的平均失真度为的平均失真度为p p。在这种试验信道条件下，可计在这种试验信道条件下，可计在这种试验信道条件下，可计在这种试验信道条件下，可计算得算得算得算得 R(Dmax)=R(p)=0第三十六页，本课件共有36页