有关信息率失真函数的基本概念.ppt

《有关信息率失真函数的基本概念.ppt》由会员分享，可在线阅读，更多相关《有关信息率失真函数的基本概念.ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第4章 信息率失真函数 2023/2/181信息率失真函数n主要内容：主要内容：n限失真信源编码定理n信息率失真函数n保真度准则下的信源编码定理n教学基本要求：教学基本要求：n掌握率失真函数的定义、性质、计算n掌握保真度准则下的信源编码定理n重点和难点：重点和难点：n率失真函数(离散信源，连续信源)的计算n保真度准则下的信源编码定理2023/2/182本章主要内容n4.1 基本概念基本概念 n4.2 离散无记忆信源离散无记忆信源R(D)的计算的计算 n4.3 连续无记忆信源的连续无记忆信源的R(D)的计算的计算 2023/2/183n理论上理论上“消息完全无失真传送消息完全无失真传送”的可实现

2、性的可实现性n信道编码定理：无论何种信道，只要 H(X)=信息速率R=C 则传输必失真。n实际上实际上“消息完全无失真传送消息完全无失真传送”的不可实现性的不可实现性n要做到无失真信源编码，要求H(X)RC；实际的信源常常是连续信源，连续信源的绝对熵无穷大,要求信息率R也无限大，要无失真传送，也就要求信道容量C必须为无穷大。n而实际信道带宽是有限的，所以信道容量受限制。因此无法满足无失真传输的条件，因此传输质量必然受影响。2023/2/184n有些失真没有必要完全消除（限失真信源编码）有些失真没有必要完全消除（限失真信源编码）n实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地

3、再现原始消息，即允许一定的失真存在。n打电话，即使语音信号有一些失真，接电话的人也能听懂。打电话，即使语音信号有一些失真，接电话的人也能听懂。n放电影：理论上需要无穷多幅静态画面，由于人眼的视觉放电影：理论上需要无穷多幅静态画面，由于人眼的视觉暂留性，实际上只需要每秒放映暂留性，实际上只需要每秒放映24幅静态画面。幅静态画面。n信息率失真理论信息率失真理论信息率失真函数信息率失真函数n香农定义了信息率失真函数R(D)n定理指出：在允许一定失真度D的情况下，信源输出的信息率可以压缩到R(D).2023/2/185信息率失真函数极小值问题nI(X;Y)是是P（X）和）和P（Y/X）的二元函数。）的

4、二元函数。n在讨论信道容量时：n固定固定P（Y/X）,I(X;Y)是是P（X）的函数。离散情况）的函数。离散情况下，下，I(X;Y)是是 的的上凸函数上凸函数，因此必有，因此必有I(X;Y)的极大值。的极大值。n在讨论信息速率时：n固定固定 ,I(X;Y)是是 的的下凸函数下凸函数，因此必有因此必有I(X;Y)的极小值。的极小值。n但是若但是若X和和Y统计独立，即这样极小值就变成统计独立，即这样极小值就变成0，此时，此时极小值就没有意义了。极小值就没有意义了。n引入一个失真函数引入一个失真函数R(D)，计算在失真度，计算在失真度D一定的情一定的情况下，信息率况下，信息率R的极小值的极小值202

5、3/2/186信息率与失真的关系n信道中固有的噪声和不可避免的干扰，使信源的信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真。消息通过信道传输后造成误差和失真。n误差或失真越大误差或失真越大，接收者收到消息后对信源存在，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越少，的不确定性就越大，获得的信息量就越少，信道信道传输消息所需的信息率也越小传输消息所需的信息率也越小。n描述失真度大小和信息速率关系的定理称为：保描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理真度准则下的信源编码定理，也叫信息率失真理论。论。n信息率失真

6、理论的应用：信息率失真理论的应用：n信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。2023/2/1874.1 主要内容n失真函数失真函数 n平均失真平均失真 n信息率失真函数信息率失真函数 n信息率失真函数的基本性质信息率失真函数的基本性质 2023/2/188失真函数n由于信息率与失真有关，为了定量地描述信息率和由于信息率与失真有关，为了定量地描述信息率和失真的关系，必须先规定失真的测度标准。即失真失真的关系，必须先规定失真的测度标准。即失真函数，失真函数函数，失真函数n用来表示信源接收到的消息和发送的消息之间的误差。n具体地：每一对具体地：每一对 ，指定一个非负函数，指定一

7、个非负函数 称为称为单个符号的失真度单个符号的失真度（失真函数），它表示信源（失真函数），它表示信源发出一个符号发出一个符号 ，在接收端收到，在接收端收到 所引起的误差所引起的误差或失真。或失真。distortion2023/2/189失真函数n失真函数失真函数n其它表示收发误差的失真函数：其它表示收发误差的失真函数：n平方误差失真函数或均方失真函数n绝对失真函数n相对失真函数2023/2/1810单符号离散信源的失真函数n设离散无记忆信源为设离散无记忆信源为n信源通过转移概率矩阵信源通过转移概率矩阵P（Y/X）的信道传输的接收端的信道传输的接收端Yn接收端接收端Y2023/2/1811失真矩

8、阵n要描述离散信源的所有失真情况，必须用矩阵来表要描述离散信源的所有失真情况，必须用矩阵来表示：即失真矩阵，记作示：即失真矩阵，记作D Dn若一个信源没有正确的传输，所有符号的错误传输大小都为，则可写作对角线上为0，其余为,则该单符号离散信源的失真矩阵可以写作。2023/2/1812失真矩阵n若=1，则失真函数称为汉明失真函数，失真矩阵称为汉明失真矩阵，变为 2023/2/1813n例：已知单符号离散无记忆信源例：已知单符号离散无记忆信源X=0,1X=0,1，Y=0,1Y=0,1，22，失真函数为失真函数为 d(0,0)=d(1,1)=0d(0,0)=d(1,1)=0；d(0,1)=d(1,0

9、)=1d(0,1)=d(1,0)=1；d(0,2)=d(1,2)=0.5 d(0,2)=d(1,2)=0.5，求失真矩阵：求失真矩阵：n解：解：2023/2/1814n以上离散无记忆信源的以上离散无记忆信源的N N次扩展信源的失真函数：若发次扩展信源的失真函数：若发送和接收的消息分别为：送和接收的消息分别为：n则则N次扩展信源的失真函数可定义为可定义为2023/2/1815连续信源的失真函数 记作：记作：d(x,y)d(x,y)n例：例：d(x,y)=(y-x)d(x,y)=(y-x)2 22023/2/1816平均失真n 只能表示两个特定的具体符号只能表示两个特定的具体符号 之间的失之间的失

10、真。真。n平均失真平均失真：平均失真为：平均失真为失真函数的数学期望。可以表可以表示信道平均传输示信道平均传输每个符号每个符号所引起的失真的大小，是从所引起的失真的大小，是从总体上对整个系统失真情况的描述。总体上对整个系统失真情况的描述。n它是信源统计特性，信道统计特性和失真度的函数，当以上三个量 给定后，平均失真度就不再是一个随机量了，而变成一个确定的量。n人们所允许的失真都是平均意义上的失真。2023/2/1817平均失真n单符号离散无记忆信源单符号离散无记忆信源的平均失真的平均失真nN N次扩展信源次扩展信源的平均失真的平均失真 2023/2/1818n所以，所以，N N次扩展信源的平均

11、失真为（前提为：无次扩展信源的平均失真为（前提为：无记忆信源）记忆信源）n当当 对于定义域内的对于定义域内的i,j,k,则则2023/2/1819n连续信源的平均失真连续信源的平均失真因为离散信源：因为离散信源：2023/2/1820信息率失真函数n定义：给定信源和失真函数，要使信源的平均失真定义：给定信源和失真函数，要使信源的平均失真 (D(D为给定的失真上限为给定的失真上限)，则需找到某个信道（满足一定，则需找到某个信道（满足一定的信道转移概率分布或转移概率密度函数），使在该的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的信道（称为试验信道）上传输的信息速率达到最

12、小信息速率达到最小，这个最小的信息速率称为信息率失真函数，记作这个最小的信息速率称为信息率失真函数，记作R(D)R(D)。n信息率失真函数示意图信息率失真函数示意图2023/2/1821n单符号离散无记忆信源的信息率失真函数单符号离散无记忆信源的信息率失真函数 其其中中2023/2/1822n单符号离散无记忆信源的单符号离散无记忆信源的N N次扩展信源的信息率失真函次扩展信源的信息率失真函数数2023/2/1823n信息率失真函数的基本性质信息率失真函数的基本性质 n率失真函数的定义域率失真函数的定义域(0,D(0,Dmaxmax)1、当平均失真D=0时，率失真函数R(D)=R(0)=H(X)

13、证明：(1)对于离散信源 当D=Dmin=0时，说明信源无失真的通过确定信道到达接收端，此时信道传输的信息量（平均互信息I）就是信源熵 R(D)=R(0)=I(X;Y)R(D)=R(0)=I(X;Y)=H(X)-H(X/Y)=H(X)-H(X/Y)=H(X)=H(X)2023/2/1824n信息率失真函数的基本性质信息率失真函数的基本性质 n率失真函数的定义域率失真函数的定义域(0,D(0,Dmaxmax)(2)对于连续信源，因为绝对熵为无穷大，所以当D=0时，相当于无噪信道，此时，R(D)=R(0)=H(X)=而实际信道传输容量有限，所以要实现连续信源的无失真传送是不可能的，只有允许一定的失

14、真，使R(D)变为有限值，传送才有可能2023/2/1825 n2 2、当当D=DD=Dmaxmax时，时，R(DR(Dmaxmax)=0)=0。分析：失真值分析：失真值D D越大，越大，R(D)R(D)越小越小 ，D D大到一定程度，大到一定程度，R(D)=0R(D)=0 现在将所有满足现在将所有满足R(D)=0R(D)=0中中D D的最小值，定义为的最小值，定义为R(D)R(D)定义域的上限定义域的上限D Dmaxmax。即即 故：故：R(D)R(D)的定义域为（的定义域为（0 0，DmaxDmax）2023/2/1826相当于求Dj的最小数学期望若Ds是所有Dj中最小的一个，则取p(ys

15、)=1，其它p(yj)=0,此时Dj的数学期望必然最小2023/2/1827n例：已知二元信源例：已知二元信源n解：（解：（1 1）求求D Dmaxmax 2023/2/18282023/2/1829n（1 1）2023/2/1830n例：已知二元信源例：已知二元信源n解：（解：（2 2）求求D Dminmin 2023/2/1831(2)(2)已知：已知：分析：分析：达到Dmin时，即平均失真最小。需使每输入一个符号，选取失真矩阵该行的最小失真元素，令该位置对应的输出概率最大（取1），该行其它转移输出概率均为0，此时得到平均失真才为最小。所以：所以：R(DR(Dminmin)=R(0)=H(X)=R(0)=H(X)2023/2/1832nDmin的计算：的计算：代入：代入：n达到达到Dmin时的信道转移概率分布：时的信道转移概率分布：2023/2/1833n二、二、R(D)是定义域是定义域(0,Dmax)上的严格单调递减连上的严格单调递减连续下凸函数续下凸函数2023/2/1834Thank You!2023/2/1835