率失真函数.ppt

《率失真函数.ppt》由会员分享，可在线阅读，更多相关《率失真函数.ppt（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、率失真函数现在学习的是第1页，共41页本章讨论主要问题：本章讨论主要问题：在允许一定失真存在的条件下，能够将信源在允许一定失真存在的条件下，能够将信源信息压缩到什么程度，即最少需要多少比特信息信息压缩到什么程度，即最少需要多少比特信息才能够描述信源，如何能够快速的传输信息。才能够描述信源，如何能够快速的传输信息。信息率失真理论的基本概念：信息率失真理论的基本概念：在允许传输消息出现一定的失真条件下，传在允许传输消息出现一定的失真条件下，传输该消息所需的信息率输该消息所需的信息率(最小值最小值)将会比不允许失将会比不允许失真时小，并且允许的失真度越大，则信息率真时小，并且允许的失真度越大，则信息

2、率(最小最小值值)允许减小的程度就越大。允许减小的程度就越大。现在学习的是第2页，共41页引入限失真的必要性失真在传输中是不可避免的失真在传输中是不可避免的连续信源的绝对熵为无限大，若要无失真地进行传输，连续信源的绝对熵为无限大，若要无失真地进行传输，则要求信息传输率也为无限大，然而现实世界中信道带则要求信息传输率也为无限大，然而现实世界中信道带宽总是有限的，信道容量总有一定限度，因此不可能实宽总是有限的，信道容量总有一定限度，因此不可能实现完全无失真的信源信息的传输现完全无失真的信源信息的传输另一方面，从无失真信源编码考虑，由于要求码字包含的信息另一方面，从无失真信源编码考虑，由于要求码字包

3、含的信息量不小于信源的熵，所以对于连续信源，要用无限多个比特才量不小于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述，这是不现实的能完全无失真地来描述，这是不现实的即使是离散信源，若要处理的信息量很大，采用无失真编码将即使是离散信源，若要处理的信息量很大，采用无失真编码将使得信息的存储和传输成本非常高，而且在很多场合，过高的使得信息的存储和传输成本非常高，而且在很多场合，过高的信息传输率是不必要的信息传输率是不必要的现在学习的是第3页，共41页4.1 平均失真和信息率失真函数平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容在实际问题中，信号有一定的失真是可以

4、容忍的。但是当失真大于某一限度后，信息质量忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为失真限度，必须先有一个定量的失真测度。为此可引入失真函数。此可引入失真函数。现在学习的是第4页，共41页失真函数失真函数设信源发出符号设信源发出符号xi：xi a1,an,信宿端接收到的的符号为信宿端接收到的的符号为yj,yj b1,bm.如果如果xi=yj，没有失真；，没有失真；如果如果xiyj，产生失真。，产生失真。现在学习的是第5页，共41页失真大小用失真大小用失真函数失真函数d(xi,y

5、j)表示表示失真函数又称为失真度。为简化起见，失真函数又称为失真度。为简化起见，d(xi,yj)简写成简写成dij，d(xi,yj)=0 xi=yjxiyj 一般一般dij值的大小表示失真的程度，值的大小表示失真的程度，表征了接收消息表征了接收消息yj与发送消息与发送消息xi之间的定量失真度。之间的定量失真度。现在学习的是第6页，共41页失真函数性质：失真函数性质：现在学习的是第7页，共41页失真函数类型失真函数类型均方失真均方失真d(xi,yj)=(xi-yj)2绝对失真绝对失真d(xi,yj)=|xi-yj|相对失真相对失真d(xi,yj)=|xi-yj|/|xi|误码失真误码失真d(xi

6、,yj)=01xi=yj其他其他用于连续信源用于连续信源现在学习的是第8页，共41页 若若X X和和Y Y集合都由集合都由N N个不同符号构成的，那么可组成个不同符号构成的，那么可组成N N2 2个不个不同的同的(i,j)(i,j)对，相对应的失真函数也有对，相对应的失真函数也有N N2 2个个 若若X X和和Y Y集合分别由集合分别由N N个和个和M M个不同符号构成的，那么可组成个不同符号构成的，那么可组成N N*M M个不同的个不同的(i,j)(i,j)对，相对应的失真函数也有对，相对应的失真函数也有N N*M M个个d dij ij有两种表示方法，有两种表示方法，一是失真矩阵一是失真矩

7、阵D D，二是消息传输图。二是消息传输图。现在学习的是第9页，共41页将所有失真函数排列起来，得到将所有失真函数排列起来，得到失真矩阵失真矩阵DDd(a1,b1)d(a1,b2)d(a1,bm)d(a2,b1)d(an,b1)d(an,b2)d(a2,b2)d(a2,bm)d(an,bm)失真矩阵失真矩阵现在学习的是第10页，共41页消息传输图消息传输图XYx1x2xixNy1y2yjyMd11d12d1jd1MdN1dNMdNjdN2现在学习的是第11页，共41页例：已知例：已知X XY Yaa1 1，a a2 2，且有，且有d d11 11d d22220 0，d d1212d d2121

8、1 1，用两种方法表，用两种方法表示失真函数示失真函数 解：失真矩阵解：失真矩阵D D为：为：消息传输图为：消息传输图为：现在学习的是第12页，共41页例例4.1 已知已知X:a1,a2,ar，Y:a1,a2,ar，若它们的，若它们的交交叉传输概率相等叉传输概率相等，求其失真矩阵。，求其失真矩阵。解解 根据题意可得图根据题意可得图4.2所示的所示的香农线图香农线图。4.1 失真函数和平均失真度失真函数和平均失真度4.1.1 失真函数失真函数图图4.2 例例4.1的香农线图的香农线图现在学习的是第13页，共41页本题特点本题特点是：信源、信宿的是：信源、信宿的符号集合相同符号集合相同，每个符号的

9、，每个符号的交叉交叉传输概率相等传输概率相等，故可，故可规定失真函数规定失真函数为为 d(ai,bj)=由此由此得其失真矩阵得其失真矩阵为为 通常称上式的失真矩阵为通常称上式的失真矩阵为汉明失真矩阵汉明失真矩阵。当当r=2时，有时，有4.1 失真函数和平均失真度失真函数和平均失真度4.1.1 失真函数失真函数(4.5)(4.6)现在学习的是第14页，共41页例例4.3 已知已知X:a1,a2,ar，Y:b1,b2,br。如果信宿端接收到的消息有失真，则失真如果信宿端接收到的消息有失真，则失真所产生的影响程度需要用所产生的影响程度需要用收发符号之差的收发符号之差的平方来表示平方来表示，试给出该种

10、信道的失真函数，试给出该种信道的失真函数和失真矩阵。和失真矩阵。解解 根据题意，可根据题意，可规定失真函数规定失真函数为为 （4.10）式中式中i,j=1,2,r。由此。由此可得失真矩阵可得失真矩阵为为（4.11）4.1 失真函数和平均失真度失真函数和平均失真度4.1.1 失真函数失真函数现在学习的是第15页，共41页它说明它说明失真的数值越大，后果越严重。失真的数值越大，后果越严重。若若X:0,1,2,3,Y:0,1,2,3，则有，则有 （4.12）这相当于这相当于四进制的情况四进制的情况。4.1 失真函数和平均失真度失真函数和平均失真度4.1.1 失真函数失真函数现在学习的是第16页，共4

11、1页结论：结论：（1）失真函数）失真函数d(ai,bj)是是人为规定的人为规定的，给出其规定时应该考虑解，给出其规定时应该考虑解决问题的决问题的需要需要以及失真可能引起的以及失真可能引起的损失、风险损失、风险和主观上和主观上感觉的差别等因素感觉的差别等因素。（2）d(ai,bj)是一个是一个随机变量随机变量，因此有必要找出在，因此有必要找出在平均意义上信道每传送一个平均意义上信道每传送一个符号所引起失真的大小符号所引起失真的大小。4.1 失真函数和平均失真度失真函数和平均失真度4.1.1 失真函数失真函数现在学习的是第17页，共41页1.平均失真度的定义平均失真度的定义定义定义4.2 若信源和

12、信宿的消息集合分别为若信源和信宿的消息集合分别为X:a1,a2,ar和和Y:b1,b2,bs，其概率分别为，其概率分别为P(ai)和和P(bj)(i=1,2,r;j=1,2,s)，信道的，信道的转移概率为转移概率为P(bj/ai)，失真函数为，失真函数为d(ai,bj)，则，则称称随机变量随机变量X和和Y的联合概率的联合概率P(ai bj)对失真函数对失真函数d(ai,bj)进行加权的统计平均值为该通信系统的平均进行加权的统计平均值为该通信系统的平均失真度失真度 。4.1 失真函数和平均失真度失真函数和平均失真度4.1.2 平均失真度平均失真度现在学习的是第18页，共41页可将定义可将定义4.

13、2用公式表示用公式表示为为4.1 失真函数和平均失真度失真函数和平均失真度4.1.2 平均失真度平均失真度物理含义是物理含义是平均意义上信道每传送一个符号所引起的失真平均意义上信道每传送一个符号所引起的失真。(4.13)现在学习的是第19页，共41页4.1.2 4.1.2 平均失真平均失真 失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小平均失真 ：描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真现在学习的是第20页，共41页4.1 失真函数和平均失真度失真函数和平均失真度4.1.2 平均失真度平均失真度2.N次扩展信源的情

14、况次扩展信源的情况若图若图4.1中的信源中的信源X有有r个不同的符号，则其个不同的符号，则其N次扩展信源次扩展信源XN=X1 X2 XN有有r N个不同的符号个不同的符号。N次扩展信源的一个符号次扩展信源的一个符号 i可以表示为可以表示为(4.14)式中式中；接收符号集接收符号集YN=Y1Y2 YN有有s N个不同的符号个不同的符号，其中，其中 j为为(4.15)式中式中 现在学习的是第21页，共41页是是同一信源同一信源X在在N个单位时刻个单位时刻通过同一信道所造成的平均失真度通过同一信道所造成的平均失真度，都为，都为4.1 失真函数和平均失真度失真函数和平均失真度4.1.2 平均失真度平均

15、失真度所以所以即：离散无记忆信源即：离散无记忆信源X的的N次扩展信源次扩展信源XN=X1 X2 XN 通过信道传输后的平均失真度通过信道传输后的平均失真度 ，是未扩展情况的是未扩展情况的N倍倍。(4.21)(4.22)现在学习的是第22页，共41页定义定义4.3 从平均意义上来说，信道每传送一个符从平均意义上来说，信道每传送一个符号所引起的平均失真，不能超过某一给定的限号所引起的平均失真，不能超过某一给定的限定值定值D，即要求，即要求 称这种对于失真的限制条件为称这种对于失真的限制条件为保真度准则保真度准则。保真度准则指出，给定的失真限定值保真度准则指出，给定的失真限定值D是平均是平均失真度的

16、失真度的上限值上限值。在实际中，在实际中，D是通信系统的重要指标之一是通信系统的重要指标之一，实，实质上它就是质上它就是针对具体应用而给出的保真度要求针对具体应用而给出的保真度要求，为了达到这个要求，就应该使所设计系统的平为了达到这个要求，就应该使所设计系统的平均失真度不大于均失真度不大于D。4.2 信息率失真函数信息率失真函数4.2.1 保真度准则保真度准则现在学习的是第23页，共41页平均失真度取决于如下几个因素平均失真度取决于如下几个因素（1）信源的统计特性，即式）信源的统计特性，即式(4.13)中的中的（2）信道统计特性，即式）信道统计特性，即式(4.13)中的中的（3）失真函数，即式

17、）失真函数，即式(4.13)中的中的其中:4.2 信息率失真函数信息率失真函数4.2.1 保真度准则保真度准则这这3个参量对平均失真度个参量对平均失真度 都可产生影响。分析中可侧重于某个参都可产生影响。分析中可侧重于某个参量的影响而暂时将其他参量固定不变。量的影响而暂时将其他参量固定不变。例如为分析信道特性对例如为分析信道特性对 的影响，可假设信源的统计特性、的影响，可假设信源的统计特性、失真函数为已知，将失真函数为已知，将 仅看作是仅看作是P(bj|ai)的函数，即的函数，即(4.23)在给定信源在给定信源X的概率分布、规定失真函数的概率分布、规定失真函数d(ai,bj)条件下，通过选择条件

18、下，通过选择适当信道，可使平均失真度适当信道，可使平均失真度 满足保真度准则满足保真度准则 现在学习的是第24页，共41页保真度（失真度）准则：保真度（失真度）准则：若平均失真函数不大于所允许的失真度若平均失真函数不大于所允许的失真度D，即，即 称为保真度准则。称为保真度准则。现在学习的是第25页，共41页平均互信息量的凸函数性平均互信息量的凸函数性 p33-34 (1)I(X;Y)是是信源概率分布信源概率分布P(X)的的上凸上凸函数函数 （最大值）（最大值）信道容量信道容量 (2)I(X;Y)是是信道转移概率信道转移概率P(Y/X)的的下凸下凸函数函数 （最小值）（最小值）率失真函数率失真函

19、数现在学习的是第26页，共41页1.信息率失真函数的定义信息率失真函数的定义定义定义8.5 用给定的失真用给定的失真D为自变量来描述为自变量来描述的信息传输速率，称为的信息传输速率，称为信息率失真函数信息率失真函数，用用R(D)表示。表示。4.2 信息率失真函数信息率失真函数4.2.3 信息率失真函数信息率失真函数现在学习的是第27页，共41页R(D)的表示式及其关系的表示式及其关系信息传输速率信息传输速率R本质上是描述信源输出的本质上是描述信源输出的信息速率。信息速率。一方面，一方面，R=R(D)，是，是D的函数；的函数；另一方面，信道上的信息传输速率另一方面，信道上的信息传输速率R=I(X

20、;Y)，因此，因此，R(D)又可以用平均互信息又可以用平均互信息量量I(X;Y)来表示。来表示。I(X;Y)是是P(bj|ai)的的U型凸函数，故总可以型凸函数，故总可以在在BD集合中找到某一试验信道，使集合中找到某一试验信道，使R=I(X;Y)达到最小值，亦即找到某一个达到最小值，亦即找到某一个I(X;Y)而使而使R达到最小，这个最小值就是达到最小，这个最小值就是R(D)，故有故有4.2 信息率失真函数信息率失真函数4.2.3 信息率失真函数信息率失真函数(4.25)现在学习的是第28页，共41页 信息率失真函数信息率失真函数R(D)R(D)定义：定义：在给定信源消息的概率分布在给定信源消息

21、的概率分布P(P(x xi i)及平均失真函数允许值及平均失真函数允许值D D的条件的条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息率下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息率的最小值的最小值，其定义式为：，其定义式为：R(D)R(D)又称作率失真函数又称作率失真函数PD满足保真度准则的试验信道的集合。满足保真度准则的试验信道的集合。现在学习的是第29页，共41页图4.3信息率失真函数的示意图4.2 信息率失真函数信息率失真函数4.2.3 信息率失真函数信息率失真函数现在学习的是第30页，共41页由于平均互信息量由于平均互信息量I(X;Y)是是p(yj

22、|xi)的下凸函数，所以的下凸函数，所以在在PD集合内（满足保真度准则的集合），极小值存在。集合内（满足保真度准则的集合），极小值存在。该极小值就是在保真度准则条件下，信源必须传输的该极小值就是在保真度准则条件下，信源必须传输的最小平均互信息量。率失真函数最小平均互信息量。率失真函数R(D)的单位是的单位是bit/符号。符号。现在学习的是第31页，共41页（3）研究信息率失真函数是为了解决在已知信源和允）研究信息率失真函数是为了解决在已知信源和允许失真度的条件下，如何使信源传送给信宿的信息许失真度的条件下，如何使信源传送给信宿的信息量最小的问题，也就是说在一定失真度量最小的问题，也就是说在一定

23、失真度D条件下，条件下，尽可能用最少的码符号来传送信源消息，使信源消尽可能用最少的码符号来传送信源消息，使信源消息尽快地传送出去，以提高通信的有效性。息尽快地传送出去，以提高通信的有效性。（4）信息率失真函数的物理意义：）信息率失真函数的物理意义：对于给定信源，在平均失真不超过失真限度对于给定信源，在平均失真不超过失真限度D的条件下，信息容许压缩的最小值为的条件下，信息容许压缩的最小值为R(D)。现在学习的是第32页，共41页4.2 信息率失真函数信息率失真函数4.2.3 信息率失真函数信息率失真函数引入引入C和和R(D)的目的的目的引入引入C,是为了是为了解决在所用信道中传送的最大信息量到底

24、有多解决在所用信道中传送的最大信息量到底有多大的问题大的问题，它给出了信道可能传输的最大信息量，是，它给出了信道可能传输的最大信息量，是无差错传无差错传输的上限输的上限。引入。引入C能够为信道编码服务，或者说能够为信道编码服务，或者说为提高通信的为提高通信的可靠性服务可靠性服务。引入引入R(D)，是为了，是为了解决在允许失真度解决在允许失真度D条件下，信源编码到条件下，信源编码到底能压缩到什么程度的问题底能压缩到什么程度的问题，它给出了保真度条件下，它给出了保真度条件下信源信信源信息率可被压缩的最低限度息率可被压缩的最低限度，可见引入它能够为信源的压缩编码，可见引入它能够为信源的压缩编码服务，

25、或者说是服务，或者说是为提高通信的有效性服务为提高通信的有效性服务。现在学习的是第33页，共41页(1)求极值问题求极值问题 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布p(xi)(i=1,2,n)或概率密度函数或概率密度函数p(x)的上凸函数。根据上凸的上凸函数。根据上凸函数定义，如果函数定义，如果I(X;Y)在定义域内对在定义域内对p(xi)或或p(x)的极值存在，则该极值一定是极大值。信道容的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即量就是在固定信道情况下，求平均互信息极大值的问题，即 I(X;Y)又是信道转移概率分布又是信

26、道转移概率分布p(yj/xi)(i=1,2,n;j=1,2,m)或条件概率密度函数或条件概率密度函数p(y/x)的下凸的下凸函数，因此在满足保真度准则条件下，函数，因此在满足保真度准则条件下，I(X;Y)对对p(yj/xi)或或p(y/x)的条件极值若存在，则一定是极小的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较现在学习的是第34页，共41页信道容量与信息率失真函数的比较信道

27、容量与信息率失真函数的比较(2)特性特性信道容量信道容量C一旦求出后，就只与信道转移概率一旦求出后，就只与信道转移概率p(yj/xi)或条件概率密度或条件概率密度p(y/x)有关，反映信道特性，有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，信道不同，从而使信道容量仅与信道特性有关，信道不同

28、，C亦不同。亦不同。信息率失真函数信息率失真函数R(D)一旦求出后，就只与信源概率分布一旦求出后，就只与信源概率分布p(xi)或概率密度函数或概率密度函数p(x)有关，反映有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，参考，从而使信息率失真函数仅仅与信源特性有

29、关，信源不同，R(D)亦不同。亦不同。现在学习的是第35页，共41页信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(2)特性特性信道容量信道容量C一旦求出后，就只与信道转移概率一旦求出后，就只与信道转移概率p(yj/xi)或条件概率密度或条件概率密度p(y/x)有关，反映信道特性，有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，是在所有

30、的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，信道不同，信道不同，C亦不同。亦不同。信息率失真函数信息率失真函数R(D)一旦求出后，就只与信源概率分布一旦求出后，就只与信源概率分布p(xi)或概率密度函数或概率密度函数p(x)有关，反映信有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为参考，从而使信息率失真影响，采用的做法是在所有的信道中以那个能使

31、平均互信息达到最小的信道为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，函数仅仅与信源特性有关，信源不同，R(D)亦不同。亦不同。现在学习的是第36页，共41页R(D)的定义域的定义域Dmin 和R(Dmin)信源的最小平均失真度：只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。当Dmin=0,即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量信息熵。即 R(0)=H(X)现在学习的是第37页，共41页4.1.34.1.3信息率失真函数的性质信息率失真函数的性质1、R(D)的定义域率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。允许平均失真度能否达到其下限值0,与单个符号的失真函数有关。现在学习的是第38页，共41页信道编码定理10/6/2022现在学习的是第39页，共41页信道编码定理10/6/2022现在学习的是第40页，共41页信道编码定理10/6/2022现在学习的是第41页，共41页