第四章信息论与编码课件.ppt

《第四章信息论与编码课件.ppt》由会员分享，可在线阅读，更多相关《第四章信息论与编码课件.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章 信息率失真函数信息率失真函数 无失真信源编码和有噪信道编码告诉我们：只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。但是，无失真的编码并非总是必要的。香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率

2、失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。首先讨论失真的测度。离散无记忆信源U，信源变量Uu1,u2,ur，概率分布为P(u)P(u1),P(u2),P(ur)。信源符号通过信道传输到某接收端，接收端的接收变量V v1,v2,vs。对应于每一对(u,v)，我们指定一个非负的函数：称为单个符号的失真度(或失真函数)。通常较小的d值代表较小的失真，而d(ui,vj)0表示没有失真。若信源变量U有r个符号，接收变量V有s个符号，则d(ui,vj)就有rs个,它

3、可以排列成矩阵形式，即：它为失真矩阵D，是 rs 阶矩阵。须强调:这里假设U是信源，V是信宿，那么U和V之间必有信道。实际这里U指的是原始的未失真信源，而V是指失真以后的信源。因此，从U到V之间实际上是失真算法，所以这里的转移概率p(vj/ui)是指一种失真算法，有时又把p(vj/ui)称为试验信道的转移概率，如图所示。原始信源原始信源失真信源失真信源试验信道试验信道信道信道UVp(vj/ui)例1 离散对称信源(r=s)。信源变量Uu1,u2,ur，接收变量V v1,v2,vs。定义单个符号失真度：这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即：对二元对称信源(sr2)，

4、信源U0,1，接收变量V0,1。在汉明失真定义下，失真矩阵为：例3 对称信源(s=r)。信源变量Uu1,u2,ur，接收变量V v1,v2,vs。失真度定义为：若信源符号代表信源输出信号的幅度值，这就是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来表示。当 r3时，U0,1,2，V0,1,2，则失真矩阵为：上述三个例子说明了具体失真度的定义。一般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。若平均失真度D不大于我们所允许的失真D，即：D D

5、称此为保真度准则。信源固定(给定P(u)，单个符号失真度固定时(给定d(ui,vj)，选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。有些试验信道满足D D，而有些试验信道DD。凡满足保真度准则-平均失真度D D的试验信道通称为-D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD表示，即：BD=P(vj/ui)：D D寻找平均互信息I(U;V)的最小值。而BD是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合BD中寻找一个信道P(vj/ui)，使I(U;V)取极小值。由于平均互信息I(U;V)是P(vj/ui)的U型凸函数，所以在BD

6、集合中，极小值存在。这个最小值就是在 D D的条件下，信源必须传输的最小平均信息量。即：R(D)-信息率失真函数或简称率失真函数率失真函数。单位是奈特信源符号 或 比特信源符号率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。二、信息率失真函数的性质二、信息率失真函数的性质允许失真度D的下限可以是零，即不允许任何失真的情况。1、R(D)的定义域R(D)的定义域为 且：解：解：解：解：例例例例44 设设设设试验信道输入符号集试验信道输入符号集试验信道输入符号集试验信道输入符号集 ，各符号对应概率分各符号对应概率分各符号

7、对应概率分各符号对应概率分别为别为别为别为)=1/3,1/3,1/3)=1/3,1/3,1/3 ，失真矩阵如下所示，求，和，失真矩阵如下所示，求，和，失真矩阵如下所示，求，和，失真矩阵如下所示，求，和 以以以以 及相应的试验信道的转移概率矩阵。及相应的试验信道的转移概率矩阵。及相应的试验信道的转移概率矩阵。及相应的试验信道的转移概率矩阵。令对应最小失真度令对应最小失真度令对应最小失真度令对应最小失真度 的的的的 ，其它为，其它为，其它为，其它为“0”“0”，可，可，可，可得对应得对应得对应得对应 的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为

8、上式中第二项最小，所以令上式中第二项最小，所以令上式中第二项最小，所以令上式中第二项最小，所以令 ，可得对应可得对应可得对应可得对应 的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为的试验信道转移概率矩阵为信息率失真函数的一般形状 4.34.3离散无记忆信源的信息率失真函数离散无记忆信源的信息率失真函数 已知信源的概率分布P(u)和失真函数d(u,v)，就可求得信源的R(D)函数。原则上它与信道容量一样，即在有约束条件下求极小值的问题。也就是适当选取试验信道P(v/u)使平均互信息最小化，其约束条件为:解：由 例例55有一个二元等概平稳无记忆信源有一个二元等概平稳无记忆

9、信源 ，接收符号集为接收符号集为 且失真矩阵为且失真矩阵为：求率失真函数R(D)。由于信源等概分布，失真函数具有对称，因此，存在着与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)，该转移概率矩阵可写为：由于 ，因此对于任何有限平均失真，必须 。于是转移概率矩阵变为：对应此转移概率矩阵的平均失真：因此 可求出此时的互信息为：4.4 4.4 连续无记忆信源的信息率失真函数连续无记忆信源的信息率失真函数 在讨论完离散无记忆信源以后，我们现在转向连续无记忆信源的信息率失真函数及其求解。研究连续信源的信息率失真函数比离散信源更有实际意义，因为连续随机变量不可能用有限比特加以精确描述，即连续信源信

10、息量为无限大，传送无限大信息量既无必要，也不可能。所以连续信源都属于限失真范畴。一、连续无记忆信源的信息率失真函数的定义一、连续无记忆信源的信息率失真函数的定义 连续信源的平均失真度定义为：通过试验信道获得的平均互信息为：同样，确定一允许失真度D，凡满足平均失真小于D的所有试验信道的集合记为PD，则连续信源的信息率失真函数定义为：二、高斯信源的信息率失真函数二、高斯信源的信息率失真函数 对高斯信源，在一般失真函数下，其率失真函数是很难求得的，但在平方误差失真度量下，其率失真函数有简单的封闭表达式。对平方误差失真，试验信道输入符号和输出符号之间失真为：对应的平均失真度为：4.5 4.5 保真度准

11、则下的信源编码定理保真度准则下的信源编码定理 定理4.1 (保真度准则下的信源编码定理，香农第三定理)设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D。对于任意D ，以及任意长的码长k（信源序列长度），一定存在一种信源编码C，其码字个数为 使编码后码的平均失真度 。定理的含义是：只要码长k足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即：由于R(D)为给定D前提下信源编码可能达到的下限，所以香农第三定理即说明了：达到此下限的最佳信源编码是存在的实际的信源编码(无失真编码或先限失真编码后无

12、失真编码)的最终目标是尽量接近最佳编码，使编码信息传输率接近最大值log r，而同时又保证译码后能无失真地恢复信源的全部信息量H(S)或限失真条件下的必要信息量R(D)。编码后信息传输率的提高使每个编码符号能携带尽可能多的信息量，-使得传输同样多的信源总信息量所需的码符号数大大减少-使所需的单位时间信道容量Ct大大减少，或在Ct不变的前提下使传输时间大大缩短，从而提高了通信的效率。香农第三定理仍然只是个存在性定理，至于最佳编码方法如何寻找，定理中并没有给出，因此有关理论的实际应用有待于进一步研究。如何计算符合实际信源的信息率失真函数R(D)?如何寻找最佳编码方法才能达到信息压缩的极限值R(D)?这是该定理在实际应用中存在的两大问题，它们的彻底解决还有赖于继续的努力。尽管如此，香农第三定理毕竞对最佳限失真信源编码方法的存在给出了肯定的回答，它为今后人们在该领域的不断深入探索提供了坚定的信心。