秋信息论限失真信源编码.pptx

《秋信息论限失真信源编码.pptx》由会员分享，可在线阅读，更多相关《秋信息论限失真信源编码.pptx（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、无论是无噪信道还是有噪信道，只要信息传输率R小于信道容量C，总可以找到一种编码方法，使得编码后的信息传输率R任意接近信道容量C，且由于信道所产生的错误译码概率任意小。反之，如果R大于C，在任何信道上都不可能实现译码错误概率任意小的无失真的传输。在信道传输信息时，是否必须完全无失真呢？第1页/共39页很多情况下，不可能进行无失真信源编码如，连续信源的熵 H 为无限大很多应用中，没必要进行无失真信源编码如，人眼所能分辨的灰度级、颜色都是有限的.人耳仅能感受 几百Hz十几KHz 的声音信号。为什么研究限失真信源编码？第2页/共39页3图像压缩8K10K14K第3页/共39页在实际生活中，通常总是要求

2、在保证一定质量的前提下，在信宿端近似地再现信源输出的信息，或者说，在保真度准则下允许信源输出存在一定的失真。对于给定的信源（熵H(X)，在允许的失真条件下，信源熵所能压缩的极限（信息率失真R(D)）理论值是多少，如何计算，是本章要讨论的问题。信息率失真理论研究的是信源熵压缩问题，但采用了研究信道的方法，即在数学上将信源熵压缩看成通过一个信道，寻找在保真度准则下的最小的平均互信息。信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛应用。第4页/共39页5信信 源源信信 宿宿试验信道试验信道第5页/共39页6主要内容1 失真失真测度度2 信息率失真

3、函数信息率失真函数3 限失真信源限失真信源编码定理和逆定理定理和逆定理4 信息率失真函数的信息率失真函数的计算算第6页/共39页75.1 失真测度 第7页/共39页8n 图像处理中，常用平方误差和绝对误差度量失真5.1.1 失真函数第8页/共39页9失真矩阵失真矩阵第9页/共39页10平方失真矩阵汉明失真矩阵绝对失真矩阵r=3时第10页/共39页1101 0 1第11页/共39页12矢量失真函数矢量失真函数：矢量失真矩阵矢量失真矩阵第12页/共39页例7.1.2 假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi的取值为0,1；经信道传输后的输出为Y=Y1Y2Y3，其中Yi的取值

4、为0,1。定义失真函数求矢量失真矩阵。第13页/共39页第14页/共39页5.1.2 平均失真15信源特性单个符号的失真函数试验信道特性失真函数的数学期望称为平均失真。第15页/共39页失真函数选为汉明失真，假定允许的失真限度D*=1/2，试分析信息可压缩的程度。若进行二进制无失真信源编码，平均每个符号至少需要log(2r)个码元。若采用编码方案第16页/共39页信息传输率：如果有k+1个符号的编码相同，则第17页/共39页信源的信息传输率的压缩程度：信息率失真允许失真 所需信息率第18页/共39页上例中的编码方案只是满足失真限度条件的一种，并没有最大限度地压缩信息率，还存在其他的编码方案能够

5、满足失真限度。那么，在给定失真条件下，信息率压缩的极限值是多少呢？信息率失真函数给出了压缩下界。第19页/共39页205.2 信息率失真函数信源信源试验信道试验信道信宿信宿5.2.1 D允许信道（试验信道）第20页/共39页21信源信源试验信道试验信道信宿信宿第21页/共39页22信息率失真函数信息率失真函数(率失率失真函数真函数)对离散无记忆信源：5.2.2 信息率失真函数的定义在D允许信道BD中寻找一个信道p(Y/X)，使给定的信源经过此信道传输时，其信道传输率I(X;Y)达到最小，这个最小值定义为对于给定的信源，在满足保真度准则的前提下，信息率失真函数R(D)，是信息率允许压缩到的最小值

6、。第22页/共39页信道容量信道容量率失真函数率失真函数23信道固定,信源分布可变信源固定,失真度固定，信道可变选择信源，使得互信息最大选择试验信道，使得互信息最小为了充分利用特定信道，使传输的信息量最大为了在一定的失真条件下，尽可能用最少的码符号来传送信源消息信道编码定理：R R R R(D D)第23页/共39页245.2.3 5.2.3 率失真函数的性质R(D)D0H(x)DmaxD*R(D*)1.第24页/共39页第25页/共39页D=0r第26页/共39页R(D)D0H(x)DmaxD*R(D*)（3）第27页/共39页（4）第28页/共39页例：第29页/共39页R(D)D0H(x

7、)DmaxD*R(D*)第30页/共39页315.3 限失真信源编码定理和逆定理信源信源试验信道试验信道信宿信宿第31页/共39页32信源编码这样进行：当信源发送序列xi时，就从分组码Y中选取一个使失真最小的码字。分组码Y的平均失真度为如果则称分组码Y是满足保真度准则D的允许码。对于包含M个码字，码长为n的分组码（M，n）其最大信息传输率为R=(logM)/n.即信源信源试验信道试验信道信宿信宿第32页/共39页33第33页/共39页34第34页/共39页35对于任意D0,R(D)是允许码的可能的最小速率。限失真编码逆定理第35页/共39页5.4 信息率失真函数的计算已知信源的概率分布和失真函数，就可以确定信源的信息率失真函数，它是在约束条件，即保真度准则下，求极小值的问题，一般情况下难于求得闭式解，常采用参量表示法，或采用迭代算法求解。第36页/共39页本章要求会求平均失真掌握信息率失真函数定义理解限失真信源编码定理及其逆定理第37页/共39页作业：5.1，5.4第38页/共39页感谢您的观看。第39页/共39页