第四章：信息率失真函数优秀PPT.ppt

《第四章：信息率失真函数优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章：信息率失真函数优秀PPT.ppt（71页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章：信息率失真函数第一页，本课件共有71页信息率失真理论信息率失真理论n连续信源的信息量无限大，不可能无失真地传送连续信源的信息。n现实生活中允许一定的失真存在。n信息率失真理论主要研究信息率与允许失真之间的关系。n连续信源的率失真理论是连续信源量化、压缩的理论基础。第二页，本课件共有71页I(X;Y)性质回顾性质回顾I(X;Y)是p(x)和p(y/x)的二元函数I(X;Y)是p(x)的上凸函数I(X;Y)是p(y/x)的下凸函数第三页，本课件共有71页信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码

2、定理第四页，本课件共有71页4.1 基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数第五页，本课件共有71页失真函数与平均失真度失真函数与平均失真度基本概念失真函数常用的失真函数平均失真度离散无记忆信道的N次扩展信道的平均失真第六页，本课件共有71页失真函数失真函数基本概念对任一指定一个非负数称 为单个符号的失真度或失真函数失真度或失真函数。第七页，本课件共有71页常用的失真函数常用的失真函数常用的失真函数常用的失真函数l汉明失真函数l平方误差失真函数基本概念第八页，本课件共有71页平均失真度平均失真度平均失真度平均失真度基本概念保真度准则保真度准则第

3、九页，本课件共有71页N次扩展信道的平均失真次扩展信道的平均失真基本概念第十页，本课件共有71页N次扩展信道的平均失真次扩展信道的平均失真第十一页，本课件共有71页N次扩展信道的平均失真次扩展信道的平均失真第十二页，本课件共有71页基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数第十三页，本课件共有71页信息率失真函数的定义信息率失真函数的定义n试验信道n信息率失真函数n信息率失真函数和信道容量的区别第十四页，本课件共有71页试验信道试验信道 当信源固定，单个符号失真度也给定时，选择信道使其满足保真度准则 。凡满足要求的信道称为D失真许可的试验信道，简

4、称试验信道。第十五页，本课件共有71页试验信道试验信道n对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道为：第十六页，本课件共有71页信息率失真函数信息率失真函数对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道：第十七页，本课件共有71页信息率失真函数信息率失真函数n在研究R(D)时，引用的条件概率p(y/x)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。第十八页，本课件共有71页信道容

5、量和信息率失真函数信道容量和信息率失真函数nR(D)是在允许失真D和信源概率分布已给定的条件下，求平均互信息的极小值问题；是在信道特性已知的条件下求平均互信息的极大值问题。n是假定信道固定的前提下，选择一种试验信源，使信息率最大，反映的是信道传输信息的能力，即信道可传送的最大信息率；R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量，反映的是信源可压缩的程度。n研究信道是为了解决在已知信道中传送最大信息率问题，目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，这是信道编码问题；研究信息率失真函数是为了解决在已知信源和允许失真度D的条件

6、下，使信源必须传送给信宿的信息率最小，即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性，这是信源编码问题。第十九页，本课件共有71页基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数第二十页，本课件共有71页信息率失真函数的性质信息率失真函数的性质n定义域：nR(D)是D的下凸函数nR(D)的单调递减性和连续性第二十一页，本课件共有71页R(D)的定义域nDmin和R(Dmin)nDmax和R(Dmax)第二十二页，本课件共有71页Dmin和R(Dmin)第二十三页，本课件共有71页Dmax和R(Dmax)第二十四页，本课件共有71页

7、Dmax和R(Dmax)假定所有Dj中，Ds最小，令第二十五页，本课件共有71页R(D)的定义域nR(D)的定义域为(Dmin，Dmax)nDmin=0时，R(Dmin)=H(X)nDDmax时，R(D)=0nDminDR(D)0第二十六页，本课件共有71页R(D)对允许平均失真度的下凸性对允许平均失真度的下凸性R(D)是允许平均失真度D的下凸函数第二十七页，本课件共有71页率失真函数的单调递减和连续性率失真函数的单调递减和连续性DH(x)R(D)第三十二页，本课件共有71页信息率失真函数信息率失真函数n4.1 基本概念n4.2 离散信源的信息率失真函数n4.3 连续信源的信息率失真函数n4.

8、4 保真度准则下的信源编码定理第三十三页，本课件共有71页离散信源的信息率失真函数离散信源的信息率失真函数二元信源的R(D)函数等概率离散信源的R(D)函数第三十四页，本课件共有71页二元信源的二元信源的R(D)函数函数二元信源信宿。失真矩阵为：第三十五页，本课件共有71页二元信源的二元信源的R(D)函数函数(1)求 ，：满足该最小失真的试验信道的信道矩阵为：第三十六页，本课件共有71页二元信源的二元信源的R(D)函数函数(2)求 ，：达到最大允许失真度的试验信道为：第三十七页，本课件共有71页二元信源的二元信源的R(D)函数函数选取任一信道使(3)求一般情况下 时的，平均互信息为：第三十八页

9、，本课件共有71页二元信源的二元信源的R(D)函数函数为此，必须找到一个试验信道，使根据费诺不等式，当n=2时有：所以：且第三十九页，本课件共有71页二元信源的二元信源的R(D)函数函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。第四十页，本课件共有71页二元信源的二元信源的R(D)函数函数在所设试验信道的条件下：第四十一页，本课件共有71页二元信源的二元信源的R(D)函数函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下二元信源的R(D)为：第四十二页，本课件共有71页离散信源的信息率失真函数离散信源的信息率失

10、真函数二元信源的R(D)函数等概率离散信源的R(D)函数第四十三页，本课件共有71页等概率离散信源的等概率离散信源的R(D)函数函数信源，信宿失真函数为汉明失真函数，即：第四十四页，本课件共有71页等概率离散信源的等概率离散信源的R(D)函数函数经过计算，可以得到：R(D)的定义域为：第四十五页，本课件共有71页等概率离散信源的等概率离散信源的R(D)函数函数选取任一信道使，平均互信息为：为此，必须找到一个试验信道，使根据费诺不等式有：所以：且第四十六页，本课件共有71页等概率离散信源的等概率离散信源的R(D)函数函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。第四

11、十七页，本课件共有71页等概率离散信源的等概率离散信源的R(D)函数函数在所设试验信道的条件下：第四十八页，本课件共有71页等概率离散信源的等概率离散信源的R(D)函数函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下n元对称信源的R(D)为：第四十九页，本课件共有71页信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理第五十页，本课件共有71页连续信源的信息率失真函数连续信源的信息率失真函数n连续信源信息率失真函数的参量表达式连续信源信息率失真函数

12、的参量表达式n高斯信源的信息率失真函数高斯信源的信息率失真函数n信息率失真函数与信息价值第五十一页，本课件共有71页连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式定义：定义：定义PD为满足保真度准则 的试验信道集合Inf:下确界第五十二页，本课件共有71页连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式第五十三页，本课件共有71页高斯信源的信息率失真函数高斯信源的信息率失真函数第五十四页，本课件共有71页高斯信源的信息率失真函数高斯信源的信息率失真函数(条件方差)第五十五页，本课件共有71页高斯信源的信息率失真函数高斯信源的信息率失真函数根据詹森不等式

13、：根据詹森不等式：第五十六页，本课件共有71页高斯信源的信息率失真函数高斯信源的信息率失真函数第五十七页，本课件共有71页高斯信源的信息率失真函数高斯信源的信息率失真函数0.00.20.40.60.81.0D/2R(D)当当D 2时，时，R(D)0。即：。即：如果允许失真等于信源的方差，则只需用均如果允许失真等于信源的方差，则只需用均值值m来表示信源输出，而不需要传送信源的来表示信源输出，而不需要传送信源的任何实际输出。任何实际输出。当当D0时，时，R(D)。即：。即：在连续信源情况下，要毫无失真地传送连在连续信源情况下，要毫无失真地传送连续信源必须要求信道具有无限大的容量。续信源必须要求信道

14、具有无限大的容量。当当D0.25 2时时,R(D)=1。即：。即：允许均方误差小于或等于允许均方误差小于或等于2 2/4/4时，连续信号时，连续信号的每个样本值最少需要用一个二元符号来的每个样本值最少需要用一个二元符号来传输。传输。1.21.40.20.40.60.81.01.2高斯信源在均方误差准则下的R(D)函数第五十八页，本课件共有71页信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理第六十六页，本课件共有71页保真度准则下的信源编码定理保真度准则下的信源编码定理香农第三定理香农第三定理设一离散

15、平稳无记忆信源X=(X1X2XL)，若该信源的信息率失真函数为R(D)，并选定有限的失真函数。对于任意允许平均失真度D0和任意小的0，当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度反之，若RR(D)，则无论用什么编码方式，必有第六十七页，本课件共有71页保真度准则下的信源编码定理保真度准则下的信源编码定理香农第三定理香农第三定理n是一个存在性定理，没有给出如何寻找最佳压缩编码方法。在实际应用中，存在两大类问题：n符合实际信源的R(D)函数的计算相当困难。n需要对实际信源的统计特性有确切的数学描述n需要对符合主客观实际的失真给予正确的度量n即便对实际信

16、源有了确切的数学描述，又有符合主客观实际情况的失真测度，率失真函数R(D)的计算也较困难n即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R(D)。n定理说明，在允许失真D的条件下，信源最小的、可达的信息传输率失信源的R(D)。n当信源给定后，无失真信源压缩的极限值是信源熵H(X)；而有失真信源压缩的极限值是信息率失真函数R(D)。在给定某D后，一般有R(D)H(X)。第六十八页，本课件共有71页香农三大定理的关系和比较香农三大定理的关系和比较无失真信源编码定理限失真信源编码定理信源冗余度压缩编码信源的熵压缩编码无失真、保熵有失真、熵压缩信源压缩的极限值：信

17、源熵H(S)信源压缩的极限值：率失真函数R(D)存在性存在性定理第六十九页，本课件共有71页香农三大定理的关系和比较香农三大定理的关系和比较信道编码定理限失真信源编码定理给定信道特性p(y|x)给定信源p(x)及失真测度d(x,y)对于假设的信源p(x)对于假设的试验信道p(y|x)寻求最优的信道编码C2寻求最优的限失真编码C3产生的误码率pe产生的最大失真D信道编码存在的条件RC限失真信源编码存在的条件RR(D)信道容量公式率失真函数公式存在符合条件的C2,使pe0存在符合条件的C3，使D D第七十页，本课件共有71页思考题某信源X的熵为H(X)，规定失真函数，选定允许失真度D，求得信息率失真函数R(D)。根据限失真信源编码定理，总可以找到一种压缩编码方法，使其平均失真度 ,且其输出信息率为R。R和R(D)的关系为（）。当信道容量C和R满足（）时，根据抗干扰信道编码定理，总能找到一种信道编码，使其平均错误译码概率无限地接近于0，在接收端再现信源消息时，总的失真不会超过允许失真度D。即在（）情况下，通过信源编码、信道编码，总能使通信达到既有效、又可靠，实现通信系统的最优化。第七十一页，本课件共有71页