第四章：信息率失真函数精选PPT.ppt

《第四章：信息率失真函数精选PPT.ppt》由会员分享，可在线阅读，更多相关《第四章：信息率失真函数精选PPT.ppt（71页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章：信息率失真函数第1页，此课件共71页哦信息率失真理论信息率失真理论n连续信源的信息量无限大，不可能无失真地传送连续信源的信息。n现实生活中允许一定的失真存在。n信息率失真理论主要研究信息率与允许失真之间的关系。n连续信源的率失真理论是连续信源量化、压缩的理论基础。第2页，此课件共71页哦I(X;Y)性质回顾性质回顾I(X;Y)是p(x)和p(y/x)的二元函数I(X;Y)是p(x)的上凸函数I(X;Y)是p(y/x)的下凸函数第3页，此课件共71页哦信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码

2、定理第4页，此课件共71页哦4.1 基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数第5页，此课件共71页哦失真函数与平均失真度失真函数与平均失真度基本概念失真函数常用的失真函数平均失真度离散无记忆信道的N次扩展信道的平均失真第6页，此课件共71页哦失真函数失真函数基本概念对任一指定一个非负数称 为单个符号的失真度或失真函数失真度或失真函数。第7页，此课件共71页哦常用的失真函数常用的失真函数常用的失真函数常用的失真函数l汉明失真函数l平方误差失真函数基本概念第8页，此课件共71页哦平均失真度平均失真度平均失真度平均失真度基本概念保真度准则保真度准则第

3、9页，此课件共71页哦N次扩展信道的平均失真次扩展信道的平均失真基本概念第10页，此课件共71页哦N次扩展信道的平均失真次扩展信道的平均失真第11页，此课件共71页哦N次扩展信道的平均失真次扩展信道的平均失真第12页，此课件共71页哦基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数第13页，此课件共71页哦信息率失真函数的定义信息率失真函数的定义n试验信道n信息率失真函数n信息率失真函数和信道容量的区别第14页，此课件共71页哦试验信道试验信道 当信源固定，单个符号失真度也给定时，选择信道使其满足保真度准则 。凡满足要求的信道称为D失真许可的试验信道，

4、简称试验信道。第15页，此课件共71页哦试验信道试验信道n对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道为：第16页，此课件共71页哦信息率失真函数信息率失真函数对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道：第17页，此课件共71页哦信息率失真函数信息率失真函数n在研究R(D)时，引用的条件概率p(y/x)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。第18页，此课件共71页哦信道

5、容量和信息率失真函数信道容量和信息率失真函数nR(D)是在允许失真D和信源概率分布已给定的条件下，求平均互信息的极小值问题；是在信道特性已知的条件下求平均互信息的极大值问题。n是假定信道固定的前提下，选择一种试验信源，使信息率最大，反映的是信道传输信息的能力，即信道可传送的最大信息率；R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量，反映的是信源可压缩的程度。n研究信道是为了解决在已知信道中传送最大信息率问题，目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，这是信道编码问题；研究信息率失真函数是为了解决在已知信源和允许失真度D的条

6、件下，使信源必须传送给信宿的信息率最小，即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性，这是信源编码问题。第19页，此课件共71页哦基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数第20页，此课件共71页哦信息率失真函数的性质信息率失真函数的性质n定义域：nR(D)是D的下凸函数nR(D)的单调递减性和连续性第21页，此课件共71页哦R(D)的定义域nDmin和R(Dmin)nDmax和R(Dmax)第22页，此课件共71页哦Dmin和R(Dmin)第23页，此课件共71页哦Dmax和R(Dmax)第24页，此课件共71页哦Dma

7、x和R(Dmax)假定所有Dj中，Ds最小，令第25页，此课件共71页哦R(D)的定义域nR(D)的定义域为(Dmin，Dmax)nDmin=0时，R(Dmin)=H(X)nDDmax时，R(D)=0nDminDR(D)0第26页，此课件共71页哦R(D)对允许平均失真度的下凸性对允许平均失真度的下凸性R(D)是允许平均失真度D的下凸函数第27页，此课件共71页哦率失真函数的单调递减和连续性率失真函数的单调递减和连续性DH(x)R(D)第32页，此课件共71页哦信息率失真函数信息率失真函数n4.1 基本概念n4.2 离散信源的信息率失真函数n4.3 连续信源的信息率失真函数n4.4 保真度准则

8、下的信源编码定理第33页，此课件共71页哦离散信源的信息率失真函数离散信源的信息率失真函数二元信源的R(D)函数等概率离散信源的R(D)函数第34页，此课件共71页哦二元信源的二元信源的R(D)函数函数二元信源信宿。失真矩阵为：第35页，此课件共71页哦二元信源的二元信源的R(D)函数函数(1)求 ，：满足该最小失真的试验信道的信道矩阵为：第36页，此课件共71页哦二元信源的二元信源的R(D)函数函数(2)求 ，：达到最大允许失真度的试验信道为：第37页，此课件共71页哦二元信源的二元信源的R(D)函数函数选取任一信道使(3)求一般情况下 时的，平均互信息为：第38页，此课件共71页哦二元信源

9、的二元信源的R(D)函数函数为此，必须找到一个试验信道，使根据费诺不等式，当n=2时有：所以：且第39页，此课件共71页哦二元信源的二元信源的R(D)函数函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。第40页，此课件共71页哦二元信源的二元信源的R(D)函数函数在所设试验信道的条件下：第41页，此课件共71页哦二元信源的二元信源的R(D)函数函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下二元信源的R(D)为：第42页，此课件共71页哦离散信源的信息率失真函数离散信源的信息率失真函数二元信源的R(D)函数等概

10、率离散信源的R(D)函数第43页，此课件共71页哦等概率离散信源的等概率离散信源的R(D)函数函数信源，信宿失真函数为汉明失真函数，即：第44页，此课件共71页哦等概率离散信源的等概率离散信源的R(D)函数函数经过计算，可以得到：R(D)的定义域为：第45页，此课件共71页哦等概率离散信源的等概率离散信源的R(D)函数函数选取任一信道使，平均互信息为：为此，必须找到一个试验信道，使根据费诺不等式有：所以：且第46页，此课件共71页哦等概率离散信源的等概率离散信源的R(D)函数函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。第47页，此课件共71页哦等概率离散信源的等

11、概率离散信源的R(D)函数函数在所设试验信道的条件下：第48页，此课件共71页哦等概率离散信源的等概率离散信源的R(D)函数函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下n元对称信源的R(D)为：第49页，此课件共71页哦信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理第50页，此课件共71页哦连续信源的信息率失真函数连续信源的信息率失真函数n连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式n高斯信源的信息率失真函数高斯信源

12、的信息率失真函数n信息率失真函数与信息价值第51页，此课件共71页哦连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式定义：定义：定义PD为满足保真度准则 的试验信道集合Inf:下确界第52页，此课件共71页哦连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式第53页，此课件共71页哦高斯信源的信息率失真函数高斯信源的信息率失真函数第54页，此课件共71页哦高斯信源的信息率失真函数高斯信源的信息率失真函数(条件方差)第55页，此课件共71页哦高斯信源的信息率失真函数高斯信源的信息率失真函数根据詹森不等式：根据詹森不等式：第56页，此课件共71页哦高斯信源的信

13、息率失真函数高斯信源的信息率失真函数第57页，此课件共71页哦高斯信源的信息率失真函数高斯信源的信息率失真函数0.00.20.40.60.81.0D/2R(D)当当D 2时，时，R(D)0。即：。即：如果允许失真等于信源的方差，则只需用如果允许失真等于信源的方差，则只需用均值均值m来表示信源输出，而不需要传送信来表示信源输出，而不需要传送信源的任何实际输出。源的任何实际输出。当当D0时，时，R(D)。即：。即：在连续信源情况下，要毫无失真地传送连续在连续信源情况下，要毫无失真地传送连续信源必须要求信道具有无限大的容量。信源必须要求信道具有无限大的容量。当当D0.25 2时时,R(D)=1。即：

14、。即：允许均方误差小于或等于允许均方误差小于或等于2 2/4/4时，连续信号的时，连续信号的每个样本值最少需要用一个二元符号来传输。每个样本值最少需要用一个二元符号来传输。1.21.40.20.40.60.81.01.2高斯信源在均方误差准则下的R(D)函数第58页，此课件共71页哦信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理第66页，此课件共71页哦保真度准则下的信源编码定理保真度准则下的信源编码定理香农第三定理香农第三定理设一离散平稳无记忆信源X=(X1X2XL)，若该信源的信息率失真函数为R

15、(D)，并选定有限的失真函数。对于任意允许平均失真度D0和任意小的0，当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度反之，若RR(D)，则无论用什么编码方式，必有第67页，此课件共71页哦保真度准则下的信源编码定理保真度准则下的信源编码定理香农第三定理香农第三定理n是一个存在性定理，没有给出如何寻找最佳压缩编码方法。在实际应用中，存在两大类问题：n符合实际信源的R(D)函数的计算相当困难。n需要对实际信源的统计特性有确切的数学描述n需要对符合主客观实际的失真给予正确的度量n即便对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，率失真函数

16、R(D)的计算也较困难n即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R(D)。n定理说明，在允许失真D的条件下，信源最小的、可达的信息传输率失信源的R(D)。n当信源给定后，无失真信源压缩的极限值是信源熵H(X)；而有失真信源压缩的极限值是信息率失真函数R(D)。在给定某D后，一般有R(D)H(X)。第68页，此课件共71页哦香农三大定理的关系和比较香农三大定理的关系和比较无失真信源编码定理限失真信源编码定理信源冗余度压缩编码信源的熵压缩编码无失真、保熵有失真、熵压缩信源压缩的极限值：信源熵H(S)信源压缩的极限值：率失真函数R(D)存在性存在性定理第6

17、9页，此课件共71页哦香农三大定理的关系和比较香农三大定理的关系和比较信道编码定理限失真信源编码定理给定信道特性p(y|x)给定信源p(x)及失真测度d(x,y)对于假设的信源p(x)对于假设的试验信道p(y|x)寻求最优的信道编码C2寻求最优的限失真编码C3产生的误码率pe产生的最大失真D信道编码存在的条件RC限失真信源编码存在的条件RR(D)信道容量公式率失真函数公式存在符合条件的C2,使pe0存在符合条件的C3，使D D第70页，此课件共71页哦思考题某信源X的熵为H(X)，规定失真函数，选定允许失真度D，求得信息率失真函数R(D)。根据限失真信源编码定理，总可以找到一种压缩编码方法，使其平均失真度 ,且其输出信息率为R。R和R(D)的关系为（）。当信道容量C和R满足（）时，根据抗干扰信道编码定理，总能找到一种信道编码，使其平均错误译码概率无限地接近于0，在接收端再现信源消息时，总的失真不会超过允许失真度D。即在（）情况下，通过信源编码、信道编码，总能使通信达到既有效、又可靠，实现通信系统的最优化。第71页，此课件共71页哦