第四章：信息率失真函数精选文档.ppt

第四章：信息率失真函数本讲稿第一页，共七十一页信息率失真理论信息率失真理论n连续信源的信息量无限大，不可能无失真地传送连续信源的信息。n现实生活中允许一定的失真存在。n信息率失真理论主要研究信息率与允许失真之间的关系。n连续信源的率失真理论是连续信源量化、压缩的理论基础。本讲稿第二页，共七十一页I(X;Y)性质回顾性质回顾I(X;Y)是p(x)和p(y/x)的二元函数I(X;Y)是p(x)的上凸函数I(X;Y)是p(y/x)的下凸函数本讲稿第三页，共七十一页信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理本讲稿第四页，共七十一页4.1 基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数本讲稿第五页，共七十一页失真函数与平均失真度失真函数与平均失真度基本概念失真函数常用的失真函数平均失真度离散无记忆信道的N次扩展信道的平均失真本讲稿第六页，共七十一页失真函数失真函数基本概念对任一指定一个非负数称 为单个符号的失真度或失真函数失真度或失真函数。本讲稿第七页，共七十一页常用的失真函数常用的失真函数常用的失真函数常用的失真函数l汉明失真函数l平方误差失真函数基本概念本讲稿第八页，共七十一页平均失真度平均失真度平均失真度平均失真度基本概念保真度准则保真度准则本讲稿第九页，共七十一页N次扩展信道的平均失真次扩展信道的平均失真基本概念本讲稿第十页，共七十一页N次扩展信道的平均失真次扩展信道的平均失真本讲稿第十一页，共七十一页N次扩展信道的平均失真次扩展信道的平均失真本讲稿第十二页，共七十一页基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数本讲稿第十三页，共七十一页信息率失真函数的定义信息率失真函数的定义n试验信道n信息率失真函数n信息率失真函数和信道容量的区别本讲稿第十四页，共七十一页试验信道试验信道 当信源固定，单个符号失真度也给定时，选择信道使其满足保真度准则 。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。本讲稿第十五页，共七十一页试验信道试验信道n对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道为：本讲稿第十六页，共七十一页信息率失真函数信息率失真函数对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道：本讲稿第十七页，共七十一页信息率失真函数信息率失真函数n在研究R(D)时，引用的条件概率p(y/x)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。本讲稿第十八页，共七十一页信道容量和信息率失真函数信道容量和信息率失真函数nR(D)是在允许失真D和信源概率分布已给定的条件下，求平均互信息的极小值问题；是在信道特性已知的条件下求平均互信息的极大值问题。n是假定信道固定的前提下，选择一种试验信源，使信息率最大，反映的是信道传输信息的能力，即信道可传送的最大信息率；R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量，反映的是信源可压缩的程度。n研究信道是为了解决在已知信道中传送最大信息率问题，目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，这是信道编码问题；研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小，即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性，这是信源编码问题。本讲稿第十九页，共七十一页基本概念基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数本讲稿第二十页，共七十一页信息率失真函数的性质信息率失真函数的性质n定义域：nR(D)是D的下凸函数nR(D)的单调递减性和连续性本讲稿第二十一页，共七十一页R(D)的定义域nDmin和R(Dmin)nDmax和R(Dmax)本讲稿第二十二页，共七十一页Dmin和R(Dmin)本讲稿第二十三页，共七十一页Dmax和R(Dmax)本讲稿第二十四页，共七十一页Dmax和R(Dmax)假定所有Dj中，Ds最小，令本讲稿第二十五页，共七十一页R(D)的定义域nR(D)的定义域为(Dmin，Dmax)nDmin=0时，R(Dmin)=H(X)nDDmax时，R(D)=0nDminDR(D)0本讲稿第二十六页，共七十一页R(D)对允许平均失真度的下凸性对允许平均失真度的下凸性R(D)是允许平均失真度D的下凸函数本讲稿第二十七页，共七十一页率失真函数的单调递减和连续性率失真函数的单调递减和连续性DH(x)R(D)本讲稿第三十二页，共七十一页信息率失真函数信息率失真函数n4.1 基本概念n4.2 离散信源的信息率失真函数n4.3 连续信源的信息率失真函数n4.4 保真度准则下的信源编码定理本讲稿第三十三页，共七十一页离散信源的信息率失真函数离散信源的信息率失真函数二元信源的R(D)函数等概率离散信源的R(D)函数本讲稿第三十四页，共七十一页二元信源的二元信源的R(D)函数函数二元信源信宿。失真矩阵为：本讲稿第三十五页，共七十一页二元信源的二元信源的R(D)函数函数(1)求 ，：满足该最小失真的试验信道的信道矩阵为：本讲稿第三十六页，共七十一页二元信源的二元信源的R(D)函数函数(2)求 ，：达到最大允许失真度的试验信道为：本讲稿第三十七页，共七十一页二元信源的二元信源的R(D)函数函数选取任一信道使(3)求一般情况下 时的，平均互信息为：本讲稿第三十八页，共七十一页二元信源的二元信源的R(D)函数函数为此，必须找到一个试验信道，使根据费诺不等式，当n=2时有：所以：且本讲稿第三十九页，共七十一页二元信源的二元信源的R(D)函数函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。本讲稿第四十页，共七十一页二元信源的二元信源的R(D)函数函数在所设试验信道的条件下：本讲稿第四十一页，共七十一页二元信源的二元信源的R(D)函数函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下二元信源的R(D)为：本讲稿第四十二页，共七十一页离散信源的信息率失真函数离散信源的信息率失真函数二元信源的R(D)函数等概率离散信源的R(D)函数本讲稿第四十三页，共七十一页等概率离散信源的等概率离散信源的R(D)函数函数信源，信宿失真函数为汉明失真函数，即：本讲稿第四十四页，共七十一页等概率离散信源的等概率离散信源的R(D)函数函数经过计算，可以得到：R(D)的定义域为：本讲稿第四十五页，共七十一页等概率离散信源的等概率离散信源的R(D)函数函数选取任一信道使，平均互信息为：为此，必须找到一个试验信道，使根据费诺不等式有：所以：且本讲稿第四十六页，共七十一页等概率离散信源的等概率离散信源的R(D)函数函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。本讲稿第四十七页，共七十一页等概率离散信源的等概率离散信源的R(D)函数函数在所设试验信道的条件下：本讲稿第四十八页，共七十一页等概率离散信源的等概率离散信源的R(D)函数函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下n元对称信源的R(D)为：本讲稿第四十九页，共七十一页信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理本讲稿第五十页，共七十一页连续信源的信息率失真函数连续信源的信息率失真函数n连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式n高斯信源的信息率失真函数高斯信源的信息率失真函数n信息率失真函数与信息价值本讲稿第五十一页，共七十一页连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式定义：定义：定义PD为满足保真度准则 的试验信道集合Inf:下确界本讲稿第五十二页，共七十一页连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式本讲稿第五十三页，共七十一页高斯信源的信息率失真函数高斯信源的信息率失真函数本讲稿第五十四页，共七十一页高斯信源的信息率失真函数高斯信源的信息率失真函数(条件方差)本讲稿第五十五页，共七十一页高斯信源的信息率失真函数高斯信源的信息率失真函数根据詹森不等式：根据詹森不等式：本讲稿第五十六页，共七十一页高斯信源的信息率失真函数高斯信源的信息率失真函数本讲稿第五十七页，共七十一页高斯信源的信息率失真函数高斯信源的信息率失真函数0.00.20.40.60.81.0D/2R(D)当当D 2时，时，R(D)0。即：。即：如果允许失真等于信源的方差，则只需用均如果允许失真等于信源的方差，则只需用均值值m来表示信源输出，而不需要传送信源的来表示信源输出，而不需要传送信源的任何实际输出。任何实际输出。当当D0时，时，R(D)。即：。即：在连续信源情况下，要毫无失真地传送连续在连续信源情况下，要毫无失真地传送连续信源必须要求信道具有无限大的容量。信源必须要求信道具有无限大的容量。当当D0.25 2时时,R(D)=1。即：。即：允许均方误差小于或等于允许均方误差小于或等于2 2/4/4时，连续信号时，连续信号的每个样本值最少需要用一个二元符号来的每个样本值最少需要用一个二元符号来传输。传输。1.21.40.20.40.60.81.01.2高斯信源在均方误差准则下的R(D)函数本讲稿第五十八页，共七十一页信息率失真函数信息率失真函数4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理本讲稿第六十六页，共七十一页保真度准则下的信源编码定理保真度准则下的信源编码定理香农第三定理香农第三定理设一离散平稳无记忆信源X=(X1X2XL)，若该信源的信息率失真函数为R(D)，并选定有限的失真函数。对于任意允许平均失真度D0和任意小的0，当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度反之，若RR(D)，则无论用什么编码方式，必有本讲稿第六十七页，共七十一页保真度准则下的信源编码定理保真度准则下的信源编码定理香农第三定理香农第三定理n是一个存在性定理，没有给出如何寻找最佳压缩编码方法。在实际应用中，存在两大类问题：n符合实际信源的R(D)函数的计算相当困难。n需要对实际信源的统计特性有确切的数学描述n需要对符合主客观实际的失真给予正确的度量n即便对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，率失真函数R(D)的计算也较困难n即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R(D)。n定理说明，在允许失真D的条件下，信源最小的、可达的信息传输率失信源的R(D)。n当信源给定后，无失真信源压缩的极限值是信源熵H(X)；而有失真信源压缩的极限值是信息率失真函数R(D)。在给定某D后，一般有R(D)H(X)。本讲稿第六十八页，共七十一页香农三大定理的关系和比较香农三大定理的关系和比较无失真信源编码定理限失真信源编码定理信源冗余度压缩编码信源的熵压缩编码无失真、保熵有失真、熵压缩信源压缩的极限值：信源熵H(S)信源压缩的极限值：率失真函数R(D)存在性存在性定理本讲稿第六十九页，共七十一页香农三大定理的关系和比较香农三大定理的关系和比较信道编码定理限失真信源编码定理给定信道特性p(y|x)给定信源p(x)及失真测度d(x,y)对于假设的信源p(x)对于假设的试验信道p(y|x)寻求最优的信道编码C2寻求最优的限失真编码C3产生的误码率pe产生的最大失真D信道编码存在的条件RC限失真信源编码存在的条件RR(D)信道容量公式率失真函数公式存在符合条件的C2,使pe0存在符合条件的C3，使D D本讲稿第七十页，共七十一页思考题某信源X的熵为H(X)，规定失真函数，选定允许失真度D，求得信息率失真函数R(D)。根据限失真信源编码定理，总可以找到一种压缩编码方法，使其平均失真度 ,且其输出信息率为R。R和R(D)的关系为（）。当信道容量C和R满足（）时，根据抗干扰信道编码定理，总能找到一种信道编码，使其平均错误译码概率无限地接近于0，在接收端再现信源消息时，总的失真不会超过允许失真度D。即在（）情况下，通过信源编码、信道编码，总能使通信达到既有效、又可靠，实现通信系统的最优化。本讲稿第七十一页，共七十一页