第四章 信息率失真函数优秀PPT.ppt

《第四章 信息率失真函数优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章 信息率失真函数优秀PPT.ppt（81页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章 信息率失真函数第一页，本课件共有81页为什么要讨论为什么要讨论信息率失真函数信息率失真函数R(D)？失真在传输中是不可避免的。失真在传输中是不可避免的。连续信源输出的信息量为无穷大连续信源输出的信息量为无穷大,不可能实现无失真信源编码不可能实现无失真信源编码.接收者接收者(信宿信宿)无论是人还是机器设备，都有一定的分辨能力与无论是人还是机器设备，都有一定的分辨能力与 灵敏度，灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。即使信宿能分辨、超过分辨能力与灵敏度的信息传送过程是毫无意义的。即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为能判别，但对通信质量的影响不大，也

2、可以称它为允许范围内的失真允许范围内的失真。如果如果RC，就必须对信源压缩，使得压缩后的，就必须对信源压缩，使得压缩后的R*C，但同时要求引，但同时要求引入的失真不能超过规定的限度。入的失真不能超过规定的限度。对于给定的信源，在允许失真的条件下信源熵所能压缩的理论对于给定的信源，在允许失真的条件下信源熵所能压缩的理论极限值就是率失真函数极限值就是率失真函数R(D)。第二页，本课件共有81页综上所述，一般可以对信源输出的信息进行综上所述，一般可以对信源输出的信息进行限失真限失真处理，处理，降低信息率，提高传输效率。降低信息率，提高传输效率。在允许一定程度的失真条件下，能够把信息压缩到在允许一定程

3、度的失真条件下，能够把信息压缩到什么程度？需要多少比特的信息率才能描述信源？什么程度？需要多少比特的信息率才能描述信源？本章主要讨论一定程度的失真情况下所需的最少的信本章主要讨论一定程度的失真情况下所需的最少的信息率，即信息率失真函数息率，即信息率失真函数R(D)。思路：思路：从分析从分析失真函数、平均失真失真函数、平均失真出发求出信息率失出发求出信息率失真函数真函数R(D)。第三页，本课件共有81页l控制信息失真的原因控制信息失真的原因?在实际问题中，信号有一定的失真是在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，可以容忍的。但是当失真大于某一限度后，信息质量将被严重

4、损伤，甚至丧失其实际信息质量将被严重损伤，甚至丧失其实际价值。要规定失真限度，必须先有一个定价值。要规定失真限度，必须先有一个定量的失真测度。量的失真测度。4.1 基本概念第四页，本课件共有81页4.1.1 失真函数和平均失真度失真函数和平均失真度 一、失真函数一、失真函数1.失真函数的定义失真函数的定义假如某一信源假如某一信源X，输出样值为，输出样值为ai ，经过失真编码器，输出，经过失真编码器，输出Y，样，样值为值为bj 。对于每一对。对于每一对(ai,bj)，指定一个，指定一个非负函数非负函数 为单个符号的失真为单个符号的失真度或失真函数度或失真函数说明：说明：如果如果 ai=bj，i=

5、1,2,n，j=1,2,则没有失真。则没有失真。(4-1-1)如果如果ajbj，就产生了失真。，就产生了失真。失真的大小，用一个量来表示，即失真函数失真的大小，用一个量来表示，即失真函数d(ai,bi)，以衡量用，以衡量用bj代替代替ai所引起的所引起的失真程度失真程度。第五页，本课件共有81页失真函数：失真函数：是人们根据实际需要和失真引起的损失、风是人们根据实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素险、主观感觉上的差别大小等因素人为规定人为规定的。的。2.常用的失真函数常用的失真函数 均方失真函数：均方失真函数：d(ai,bj)=(ai bj)2 (平方误差失真函数平方误差

6、失真函数)绝对失真函数：绝对失真函数：d(ai,bj)=ai bj 相对失真函数：相对失真函数：d(ai,bj)=ai b/ai 误码失真函数：误码失真函数：d(aj,bj)=（汉明失真函数）（汉明失真函数）第六页，本课件共有81页均均方方失失真真函函数数、绝绝对对失失真真函函数数和和相相对对失失真真函函数数适适用用于于连连续续信信源源；误码失真适用于误码失真适用于离散信源离散信源。(2)(2)失真函数比较失真函数比较均均方方失失真真和和绝绝对对失失真真只只与与(aibj)有有关关，而而不不是是分分别别与与ai及及bj有关，在数学处理上比较方便有关，在数学处理上比较方便.相相对对失失真真与与主

7、主观观特特性性比比较较匹匹配配，因因为为主主观观感感觉觉往往往往与与客客观观量量的对数成正比，但在数学处理中就要困难得多。的对数成正比，但在数学处理中就要困难得多。其其实实选选择择一一个个合合适适的的、完完全全与与主主观观特特性性匹匹配配的的失失真真函函数数是是非非常常困困难难的的，更更不不用用说说还还要要易易于于数数学学处处理理。当当然然不不同同的的信信源源应应有有较较好好的的失失真真函函数数，所所以以在在实实际际问问题题中中还还可可以以提提出出许许多多其其他他形形式式的失真函数。的失真函数。说明：说明：(1)1)常用失真函数及其适用性常用失真函数及其适用性第七页，本课件共有81页3.3.失

8、真矩阵失真矩阵将所有的失真函数将所有的失真函数 d(ai,bj)，i=1,2,n；j1,2,m排排列起来，用矩阵表示为列起来，用矩阵表示为 第八页，本课件共有81页【例例4.1.1】设设信信源源符符号号序序列列为为X0,1，接接收收端端收收到到符符号号序序列列为为Y0,1,2，规定失真函数为规定失真函数为 d(0,0)d(1,1)=0；d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5求：失真矩阵求：失真矩阵d?解：解：失真矩阵为失真矩阵为 l失真函数的数值是依据实际应用情况，用失真函数的数值是依据实际应用情况，用bj代替代替ai所导致的失真所导致的失真大小是人为决定的。上例中

9、用大小是人为决定的。上例中用b=2代替代替a=0和和a=1所导致的失真程度所导致的失真程度相同，均为相同，均为0.5；而用；而用b=0代替代替a=1所导致的失真程度要大些，为所导致的失真程度要大些，为1 1。第九页，本课件共有81页二、平均失真度二、平均失真度1.离散随机变量平均失真度定义离散随机变量平均失真度定义 失真函数的数学期望称为平均失真度。失真函数的数学期望称为平均失真度。说明说明:(1)由于由于ai和和bj都是随机变量，所以失真函数都是随机变量，所以失真函数d(ai,bj)也是随机变量，要分析整个信源的失真大小，只能用它的也是随机变量，要分析整个信源的失真大小，只能用它的数学期望或

10、统计平均值来表示。数学期望或统计平均值来表示。第十页，本课件共有81页(2)式中式中p(aibj)i=1,2,n，j=1,2,m是联合分布概率；是联合分布概率；p(ai)是是信源符号概率分布；信源符号概率分布；p(bj/ai)：i=l,2,n,j l,2,m是转移概率分布；是转移概率分布；d(ai,bj)：i=1,2,n，j=1,2,m是离散随机变量的失真函数。是离散随机变量的失真函数。(3)平均失真度是对给定信源平均失真度是对给定信源p(xi)经过某一种转移概率分布经过某一种转移概率分布p(yj/xi)的的有失真信源编码器后产生失真的总体量度。有失真信源编码器后产生失真的总体量度。(4)平均

11、失真度已对信源和信道进行了统计平均，所以此值描述了平均失真度已对信源和信道进行了统计平均，所以此值描述了某一信源在某一信道下的失真程度。某一信源在某一信道下的失真程度。第十一页，本课件共有81页因此因此 取决于以下几个因素：取决于以下几个因素：上式称为上式称为保真度准则保真度准则。（4.1.8）1 1）信源的统计特性，即信源的统计特性，即2 2）信道的统计特性，即信道的统计特性，即3 3）失真函数，即失真函数，即一般情况下，人们所允许的失真指的都是平均意义一般情况下，人们所允许的失真指的都是平均意义上的失真。如果规定其平均失真度上的失真。如果规定其平均失真度 不能超过某一限不能超过某一限定的值

12、定的值D，即，即D就是允许失真的上界。就是允许失真的上界。第十二页，本课件共有81页说明离散无记忆信道说明离散无记忆信道N次扩展信源通过离散无记忆次扩展信源通过离散无记忆N次扩展信道的是单符号信道的平均失真度的次扩展信道的是单符号信道的平均失真度的N倍。相倍。相应的保真度准则为应的保真度准则为 2.N次扩展信源的平均失真度次扩展信源的平均失真度单符号离散无记忆信源的单符号离散无记忆信源的N次扩展信源，在信道中次扩展信源，在信道中的传递作用相当于单符号离散无记忆信道的的传递作用相当于单符号离散无记忆信道的N次扩展次扩展信道，输出也是一个随机变量序列。则信道，输出也是一个随机变量序列。则N次离散次

13、离散无记忆无记忆信源和信道信源和信道的平均失真度为的平均失真度为第十三页，本课件共有81页4.1.2 信息率失真函数的定义信息率失真函数的定义一、保真度准则一、保真度准则对对于于信信道道容容量量为为C的的信信道道，在在传传输输信信息息率率为为R的的信信源源时时，如如果果RC，就就必必须须对对信信源源压压缩缩，使使其其压压缩缩后后的的信信息息传传输输率率R C，但但同同时时要要保保证压缩后所引入的失真不超过预先规定的限度。证压缩后所引入的失真不超过预先规定的限度。信信息息压压缩缩问问题题就就是是对对于于给给定定的的信信源源，在在满满足足平平均均失失真真度度 的的前前提提下，使信息率尽可能小。下，

14、使信息率尽可能小。D 是允许失真的上界。是允许失真的上界。第十四页，本课件共有81页二、二、D允许试验信道允许试验信道 将满足保真度准则的所有试验信道称为将满足保真度准则的所有试验信道称为D允许试验信道，允许试验信道，用用PD来表示来表示,即即三、分析方法三、分析方法 信源信源X经过有失真的信源编码器输出经过有失真的信源编码器输出Y，将这样的编码器看作，将这样的编码器看作存在有干扰的存在有干扰的假想信道假想信道，Y当作接收端的符号。这样就可用分析信当作接收端的符号。这样就可用分析信道传输的方法来研究限失真信源编码的问题。道传输的方法来研究限失真信源编码的问题。选择信源编码的方法：选择信源编码的

15、方法：就变成了选择就变成了选择假想信道假想信道的问题，符号的问题，符号转移概率转移概率p(bj/ai)对应信道转移概率。信源编码器对应信道转移概率。信源编码器使信源编码后使信源编码后所需的信息传输率所需的信息传输率R尽量小。但尽量小。但R越小，引起的平均失真越小，引起的平均失真 就就越大。越大。第十五页，本课件共有81页 给出一个失真的限定值给出一个失真的限定值D ，在满足平均失真，在满足平均失真 的条件下，选择一种编码方法，使得信息传输率的条件下，选择一种编码方法，使得信息传输率 R 尽可能尽可能小，即在小，即在PD中寻找一个信道使中寻找一个信道使 R 最小。最小。第十六页，本课件共有81页

16、信息率失真理论信息率失真理论研究了信源熵的压缩问题，但采用了研究研究了信源熵的压缩问题，但采用了研究信道的方法，其中的信道的方法，其中的P(bj/ai)并没有实际信道的意义，它并没有实际信道的意义，它仅仅是在数学上将信源的压缩看作了通过一个信道。仅仅是在数学上将信源的压缩看作了通过一个信道。四、信息率失真函数四、信息率失真函数R(D)的定义的定义 在在PD中寻找一个中寻找一个信道信道P(bj/ai)，使给定的信源经过此信道，使给定的信源经过此信道传输时，让其信道的传输率传输时，让其信道的传输率R 达到最小，即达到最小，即R(D)的物理意义：的物理意义：对于给定的信源，在满足保真度准则下，信息率

17、对于给定的信源，在满足保真度准则下，信息率R是是允允许压缩的最小值。许压缩的最小值。第十七页，本课件共有81页说明说明:对于离散无记忆信源，对于离散无记忆信源，R(D)函数可写成函数可写成 理论基础：理论基础：I(X;Y)的下凸性的下凸性 对于固定的信源分布，平均互信息量对于固定的信源分布，平均互信息量I(X;Y)是信道是信道转移概率转移概率P(bj/ai)的下凸函数。也就是说存在一个信道，的下凸函数。也就是说存在一个信道，使某一特定信源经过此信道传输时，信道的平均互信息使某一特定信源经过此信道传输时，信道的平均互信息量量I(X;Y)达到最小值。达到最小值。第十八页，本课件共有81页【例例4.

18、1.2】已知信源编码器的输入概率分布为已知信源编码器的输入概率分布为:p(x)0.5，0.5，信道转移矩阵分别为，信道转移矩阵分别为:求求:平均互信息平均互信息I(X;Y)，并比较其大小。，并比较其大小。第十九页，本课件共有81页解：解：因为因为 p(ai bj)p(ai)p(bj/ai)(1)p(a1b1)=0.3，p(a1b2)=0.2，p(a2b1)=0.1，p(a2b2)=0.4因为因为所以所以 p(b1)=0.4，p(b2)=0.6 根据平均互信息公式可得根据平均互信息公式可得（2）同理可得）同理可得 I(X;Y)=0.397 比特符号比特符号 第二十页，本课件共有81页五、五、R(

19、D)与信道容量与信道容量C的比较的比较信道容量表示信道的最大传输能力，反映的是信道容量表示信道的最大传输能力，反映的是信道信道本身的本身的特性，与信源无关。但由于平均互信息量与信源特性有关，特性，与信源无关。但由于平均互信息量与信源特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息量达到最大的的信源中以那个能够使平均互信息量达到最大的信源为参考信源为参考，从而使信道容量仅仅与信道特性有关。信道不同，从而使信道容量仅仅与信道特性有关。信道不同，C也不同。也不同。R(D)函数是在保真度准则条件下信源信息率

20、函数是在保真度准则条件下信源信息率R可被压缩的可被压缩的最低限度，反映的是最低限度，反映的是信源信源本身的特性，与信道无关。同本身的特性，与信道无关。同样地，由于平均互信息量与信道的特性有关，样地，由于平均互信息量与信道的特性有关，第二十一页，本课件共有81页为了排除信道特性对信息率失真函数的影响，采用的做法为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能够使平均互信息量达到最小的是在所有的信道中以那个能够使平均互信息量达到最小的信道为参考信道为参考，从而使信息率失真函数，从而使信息率失真函数R(D)仅仅与信源特性有仅仅与信源特性有关。信源不同，关。信源不同，R(D)

21、也不同。也不同。l 引入引入C是为了解决在所有是为了解决在所有信道信道中传送的最大信息量到底有中传送的最大信息量到底有多大的问题，它给出了信道可能传输的最大信息量，是无差多大的问题，它给出了信道可能传输的最大信息量，是无差错传输的上限。它是为错传输的上限。它是为信道编码信道编码服务，也是为了提高通信服务，也是为了提高通信的的可靠性可靠性服务。服务。l 引入引入R(D)是为了解决在允许失真度是为了解决在允许失真度D的条件下，的条件下，信源编信源编码码到底能压缩到什么程度的问题，它给出了保真度准则条件到底能压缩到什么程度的问题，它给出了保真度准则条件下信源信息率可被压缩的最低限度。可见引入它能够为

22、下信源信息率可被压缩的最低限度。可见引入它能够为信源信源的压缩编码的压缩编码服务，或者是为了提高通信的服务，或者是为了提高通信的有效性有效性服务。服务。第二十二页，本课件共有81页信息传输理论信息率失真理论附注信道p(y/x)失真函数d(ai,bj)，信源p(x)固定信源p(x)信道p(y/x)（假想的）可变的错误概率Pe平均失真度信道容量率失真函数R 0。(2)R(D)R(0)H(X)对应于对应于无失真无失真（D=0）情况，相当于无噪声信道，）情况，相当于无噪声信道，此时信道传输此时信道传输的信息量等于信源熵。的信息量等于信源熵。1.Dmin和和R(Dmin)(1)由于由于D是非负实数是非负

23、实数d(xi,yj)的数学期望，因此的数学期望，因此D也是非负的实数。也是非负的实数。而非负实数的下界是零，而非负实数的下界是零，所以所以D的下界是零。的下界是零。第二十八页，本课件共有81页(3)一般情况下一般情况下选择试验信道，也就是选择转移概率选择试验信道，也就是选择转移概率，方法是：，方法是：对每一个对每一个xi，找出一个使，找出一个使d(ai,bj)最小的最小的yj，令，令p(bj/ai)=1，而其他，而其他的转移概率为的转移概率为0。这样可以得到。这样可以得到即在失真函数矩阵中寻找即在失真函数矩阵中寻找每行每行的最小值的最小值与与P(ai)相乘。相乘。第二十九页，本课件共有81页【

24、例【例4.1.4】删除信道删除信道X=0,1,Y=0,1,2,求求 Dmin。解：解：最小允许失真度为最小允许失真度为此时信道矩阵为此时信道矩阵为第三十页，本课件共有81页【例【例4.1.5】设信源设信源 ，失真矩阵为，失真矩阵为 信宿信宿 Y0,1,求求 Dmin。此信道矩阵有无穷多个，且它们的最小此信道矩阵有无穷多个，且它们的最小平均失真度都是平均失真度都是1/6，即，即 PD 集合中的信道有无数多个。集合中的信道有无数多个。解：解：使平均失真度达到最小值（使平均失真度达到最小值（D=1/6）的信道必须满足）的信道必须满足信道矩阵为信道矩阵为第三十一页，本课件共有81页R(D)=0意味着不

25、需传输任何信息。显然意味着不需传输任何信息。显然D越大，直至无限大都能越大，直至无限大都能满足这样的情况。这里选择所有满足满足这样的情况。这里选择所有满足R(D)0中的所有平均失真度中的所有平均失真度D中的最小值，定义为中的最小值，定义为R(D)的上限的上限Dmax。R(D)的定义域为的定义域为D0,Dmax。R(D)允许存在失真时（信源可压缩编码时允许存在失真时（信源可压缩编码时)，压缩越大，失真就越严重，传输的信，压缩越大，失真就越严重，传输的信息率就越小；当压缩至息率就越小；当压缩至0时，信息率达到时，信息率达到最小值最小值0，对应的平均失真度就达到最大，对应的平均失真度就达到最大值值D

26、max，此即为，此即为R(D)函数定义域的上界函数定义域的上界值。值。2.Dmax和和R(Dmax)DDmaxR(D)0第三十二页，本课件共有81页 3.如何计算如何计算Dmax?R(D)0就是就是I(X;Y)=0，这时试验信道的，这时试验信道的输入与输出是互相独输入与输出是互相独立的立的，所以条件概率，所以条件概率p(bj/ai)与与ai无关无关,即即 P(bj/ai)=P(bj)这时平均失真度为这时平均失真度为令令 则则（4.1.26）第三十三页，本课件共有81页式式(4.1.26)是用不同的概率分布是用不同的概率分布p(bj)对对Dj求数学期望，取数学期望求数学期望，取数学期望当中最小的

27、一个，作为当中最小的一个，作为Dmax。实际上是用。实际上是用p(bj)对对Dj进行线性分配，进行线性分配，使线性分配的结果最小。使线性分配的结果最小。当当p(ai)和和d(ai,bj)已给定时，则可计算出已给定时，则可计算出Dj，Dj 随随j 的变化而变的变化而变化。化。p(bj)是任选的，只需满足非负性和归一性。若是任选的，只需满足非负性和归一性。若Ds是所有是所有Dj当当中中最小最小的一个，可取的一个，可取p(bs)=1，其他的，其他的p(bj)=0，此时，此时Dj的线性分配的线性分配值（或数学期望）必然值（或数学期望）必然最小最小，即有，即有则则Dmax由信源的概率分布和规定的失真函数

28、所确定。由信源的概率分布和规定的失真函数所确定。和和（4.1.27）第三十四页，本课件共有81页允许的失真为最大值允许的失真为最大值Dmax时是全失真，这时试验信道的噪声熵等时是全失真，这时试验信道的噪声熵等于信宿熵，有于信宿熵，有因此通过试验信道的平均互信息量为因此通过试验信道的平均互信息量为即无论信源输出什么，信宿端将会得到最大失真，这时信源即无论信源输出什么，信宿端将会得到最大失真，这时信源X的信息率失真函数为的信息率失真函数为第三十五页，本课件共有81页【例例4.1.6】设输入输出符号为设输入输出符号为XY=0，1，输入，输入概率分布概率分布p(X)=1/3,2/3，失真矩阵为，失真矩

29、阵为 求求Dmax。第三十六页，本课件共有81页解法一解法一:由概率的完备性由概率的完备性 p(b1)+p(b2)=1，有，有当当p(b1)=0时（则时（则p(b2)=1），得），得此时输出符号概率：此时输出符号概率：p(b1)=0，p(b2)=1相应试验信道的信道矩阵相应试验信道的信道矩阵 p(X)=1/3,2/3第三十七页，本课件共有81页解法二解法二:此时输出符号概率：此时输出符号概率：p(b1)=0，p(b2)=1因为因为相应试验信道的信道矩阵相应试验信道的信道矩阵 p(X)=1/3,2/3第三十八页，本课件共有81页【例例4.1.7】设输入输出符号表为设输入输出符号表为XY=0,1，

30、输入概，输入概率分布率分布p(X)=1/3,2/3，失真矩阵为，失真矩阵为试求试求Dmax。解解:相应试验信道的信道矩阵相应试验信道的信道矩阵 第三十九页，本课件共有81页 定理定理4.1.1：R(D)在定义域内是下凸的。在定义域内是下凸的。若若R(D)在在D上是下凸函数，那么对任一上是下凸函数，那么对任一01和任意平均和任意平均失真值失真值D、DDmax，有，有二、二、R(D)函数的下凸性函数的下凸性第四十页，本课件共有81页三、三、R(D)函数的单调递减性和连续性函数的单调递减性和连续性定理定理 4.1.2:R(D)在定义域内是单调递减的。在定义域内是单调递减的。定理定理4.1.3:R(D

31、)在定义域内是连续的。在定义域内是连续的。R(D)H(Y)=R(0)Dmax DDmaxR(D)0第四十一页，本课件共有81页总结：总结：(1)它们都有一最大失真值它们都有一最大失真值Dmax，对应，对应R(D)=0。当允许的平均失。当允许的平均失真真D大于这最大值时，大于这最大值时，R(D)当然也是零，也就是不用传送信息已当然也是零，也就是不用传送信息已能达到要求。能达到要求。(3)当当D=0，R(D)趋于无限，也就是说，对于信息量无限大的连趋于无限，也就是说，对于信息量无限大的连续信源符号，续信源符号，无法进行无损编码无法进行无损编码，除非信息率，除非信息率R趋向无限大。对于趋向无限大。对

32、于离散信源就不同，当离散信源就不同，当D=0时，时，R(0)=H(X)，这就是，这就是无损编码情况无损编码情况，此时所需的信息率此时所需的信息率R不能小于信源熵不能小于信源熵H(X)。(2)当当DDmax时，时，R(D)不为零，随着不为零，随着D的增加的增加，R(D)单调地单调地减少。减少。第四十二页，本课件共有81页 问题问题:假设已给定信源概率假设已给定信源概率p(ai)和失真函数和失真函数d(ai,bj)，就可，就可以确定信源的以确定信源的R(D)。它是在约束条件下即保真度准则下。它是在约束条件下即保真度准则下求求I(X;Y)的极小值问题的极小值问题。应用。应用拉格朗日乘子法拉格朗日乘子

33、法，原则上可，原则上可以求出解来，但是如果要得到明显的解析表达式是比较困难以求出解来，但是如果要得到明显的解析表达式是比较困难的，通常只能用的，通常只能用参量形式参量形式来表示，或采用来表示，或采用迭代算法迭代算法用计算机用计算机求解信源的求解信源的R(D)函数函数。4.2 离散信源离散信源R(D)的计算的计算第四十三页，本课件共有81页一、计算条件一、计算条件要计算信源信息率失真函数要计算信源信息率失真函数R(D)，即在，即在l已知信源的概率分布已知信源的概率分布l已知失真函数为已知失真函数为d(xi,yj)，选取合适的试验信道，选取合适的试验信道p(bj/ai)条件下，条件下，计算平均互信

34、息的极小值。计算平均互信息的极小值。平均互信息的表达式为平均互信息的表达式为并满足约束条件：并满足约束条件：其中其中 第四十四页，本课件共有81页二、计算方法二、计算方法 （4.2.6）将将对对p(yj/xi)求偏导数，并令导数为零，即求偏导数，并令导数为零，即 （4.2.7）应用拉格朗日乘子法，引入拉格朗日乘数应用拉格朗日乘子法，引入拉格朗日乘数S和和 构造构造一个新的函数，可将求条件极值问题化为无条件极值问题。一个新的函数，可将求条件极值问题化为无条件极值问题。下面介绍用下面介绍用拉格朗日乘子法拉格朗日乘子法求解求解R(D)函数，并用参量函数，并用参量S来表示来表示.第四十五页，本课件共有

35、81页下面分别计算以上三部分的偏导数：下面分别计算以上三部分的偏导数：第一部分：第一部分：式中式中第四十六页，本课件共有81页第二部分：第二部分：第三部分：第三部分：将这三部分偏导数结果代入到式（将这三部分偏导数结果代入到式（4.2.7）得）得（4.2.8）第四十七页，本课件共有81页三、计算三、计算 p(bj)、i和和 p(bj/ai)式式(4.2.10)两边对两边对j求和得：求和得：（4.2.11a）解得解得（4.2.11b）利用关系利用关系上式两边同除以上式两边同除以p(ai)，并令，并令 ，解得，解得mn个关于个关于p(bj/ai)的方程的方程（4.2.10）第四十八页，本课件共有81

36、页将式（将式（4.2.10）两边乘以）两边乘以p(ai)再对再对i求和有求和有将将i代入代入(4.2.12)式得到式得到m个关于个关于p(bj)的联立方程式的联立方程式 （4.2.13）（4.2.12）第四十九页，本课件共有81页解之可得到以解之可得到以S为参量的为参量的m个的个的p(bj)值。将得到的值。将得到的p(bj)代入代入式式(4.2.11b)，得到，得到m个个i值。再将值。再将m个个p(bj)和和m个个i值代入值代入(4.2.10)，得到，得到mn个以个以S为参量的为参量的p(bj/ai)。四、计算信息率失真函数四、计算信息率失真函数R(D)因为平均失真度因为平均失真度将式将式(4

37、.2.10)代入上式得代入上式得 （4.2.14）第五十页，本课件共有81页这里这里p(yj)和和i均以均以S为参量，因此为参量，因此D也是以也是以S为参量为参量将式将式(4.2.10)代入上式，得到以代入上式，得到以S为参量为参量的信息率失真函数的表达式的信息率失真函数的表达式（4.2.15）第五十一页，本课件共有81页 五、参量五、参量S的物理意义的物理意义 （4.2.16）除某些特定的情况外，参量除某些特定的情况外，参量S一般难以消除，因此很难得到一般难以消除，因此很难得到R(D)的显式表达式。现在通过计算的显式表达式。现在通过计算R(D)的微分，分析参量的微分，分析参量S的物理的物理意

38、义。意义。根据式（根据式（4.2.15）的结论，）的结论，R(S)是是D(S)、S和和i的隐函数，因此的隐函数，因此利用全微分公式计算导数如下：利用全微分公式计算导数如下：第五十二页，本课件共有81页将式（将式（4.2.12）对）对S求导得求导得 将式（将式（4.2.17）乘以）乘以p(yj)，并对，并对 j 求和得求和得（4.2.17）第五十三页，本课件共有81页对照式对照式(4.2.11b)和式和式(4.2.14)有有将上式的结果代入式（将上式的结果代入式（4.2.16）中得）中得（4.2.18）式式(4.2.18)表明，参量表明，参量S是信息率失真函数是信息率失真函数R(D)的斜率。由的

39、斜率。由于信息率失真函数于信息率失真函数R(D)是是D的单调递减函数，且是的单调递减函数，且是U型下凸函型下凸函数。所以数。所以R(D)的斜率的斜率S0，且斜率，且斜率S 必然随着必然随着D的增加而增加的增加而增加 ，即，即 。1/iD(S)第五十四页，本课件共有81页斜率斜率S与失真度与失真度D、信息率失真函数、信息率失真函数R(D)与与D的关系曲线见图的关系曲线见图4.2.1。当当D=Dmin=0时，由式时，由式(4.2.14)知，由于失真度知，由于失真度D是是mn项的项的和，其中和，其中d(ai,bj)、p(ai)、p(bj)和和i均为非负值，因此指数项的均为非负值，因此指数项的幂必为负

40、无穷大，即幂必为负无穷大，即Smin。由于参量由于参量S是是D的递增函数，所以当的递增函数，所以当S由由Dmin=0逐渐增大时，逐渐增大时，S将将随随D的增大而逐渐增大。当允许失真度的增大而逐渐增大。当允许失真度D=Dmax时，参量时，参量S将达到将达到最大值，并且最大值，并且Smax0。当当DDmax时时 R(D)0。因此一般情况下，在。因此一般情况下，在D=Dmax处，参量处，参量S将将从一个很小的负值跳跃到零，从一个很小的负值跳跃到零，S在这一点不连续，而在开区间在这一点不连续，而在开区间(0,Dmax)内，内，S是失真度是失真度D的连续函数。的连续函数。第五十五页，本课件共有81页由上

41、可知，当规定了允许失真度由上可知，当规定了允许失真度D，又找到了适当的失，又找到了适当的失真函数真函数d(ai,bj)，就可以找到在该失真条件下的最小信息，就可以找到在该失真条件下的最小信息率失真函数率失真函数R(D)，这个最小信息率失真函数，这个最小信息率失真函数R(D)是一是一个极限数值。用不同的方法进行数据压缩时（前提是个极限数值。用不同的方法进行数据压缩时（前提是都不能超过失真度都不能超过失真度D），其压缩的程度如何，函数），其压缩的程度如何，函数R(D)是一把尺子。由它可知是否还有压缩的潜力，潜是一把尺子。由它可知是否还有压缩的潜力，潜力有多大。因此近年来引起很多学者对它的兴趣。力有

42、多大。因此近年来引起很多学者对它的兴趣。第五十六页，本课件共有81页例例4.2.1 设输入输出符号表为设输入输出符号表为XY=0,1，输入概率分，输入概率分布布P(x)P,1-p，0p，失真矩阵为，失真矩阵为 求信息率失真函数求信息率失真函数R(D)。六、六、R(D)参量计算举例参量计算举例第五十七页，本课件共有81页解解：(1)求求 1 和和 2简记简记 按下式解方程按下式解方程（4.2.12）第五十八页，本课件共有81页(2)求求p(yj)由此解得由此解得 解得解得（4.2.11）解方程解方程 第五十九页，本课件共有81页(3)由下式求出转移概率分布由下式求出转移概率分布 P(b/ai)（

43、4.2.10）第六十页，本课件共有81页(4)求求 所以所以（4.1.7）第六十一页，本课件共有81页（5）计算计算R(D)，将上面各式代入，则有，将上面各式代入，则有 第六十二页，本课件共有81页取取 作曲线有：作曲线有：第六十三页，本课件共有81页结论：结论：1)信源概率分布越不均匀，压缩比越大；信源概率分布越不均匀，压缩比越大；2)D越大，压缩比也越大。越大，压缩比也越大。由图可见：由图可见：无失真：无失真：限失真时，比如限失真时，比如D=0.1时时结果得到如图结果得到如图4-2-2所示的曲线：所示的曲线：第六十四页，本课件共有81页4.3.3 信息率失真函数与信息价值信息率失真函数与信

44、息价值信息价值是比信息量更难定义的量，它与信息的接收有关。信息价值是比信息量更难定义的量，它与信息的接收有关。信息率失真理论不仅被应用于信息传输来解决信源的压缩编信息率失真理论不仅被应用于信息传输来解决信源的压缩编码问题，也被应用于质量检测和科学管理中。码问题，也被应用于质量检测和科学管理中。【例【例4.3-1】某印刷电路板加工厂的产品合格率约为某印刷电路板加工厂的产品合格率约为98%。一块好的一块好的PCB板出厂价约为板出厂价约为100元，但如果客户发现一块不元，但如果客户发现一块不合格的板子可向厂方索赔合格的板子可向厂方索赔10000元。已知厂方检验员检验的元。已知厂方检验员检验的正确率约

45、为正确率约为95%，试用信息率失真理论来分析检验的作用，试用信息率失真理论来分析检验的作用并作比较。假设合格品出厂、废品报废都不造成损失。并作比较。假设合格品出厂、废品报废都不造成损失。第六十五页，本课件共有81页选择失真函数为选择失真函数为 d（好，好）（好，好）=0 d（废，废）（废，废）=0 d（好，废）（好，废）=100 d（废，好）（废，好）=10000解：解：根据题意，可将根据题意，可将 PCB板作为一信源，且有板作为一信源，且有信源空间：信源空间：好（合格）好（合格）废（废品）废（废品）P（好）（好）=0.98 P（废）（废）=0.02l情况情况1 全部产品不经检验而出厂全部产品

46、不经检验而出厂全部是合格品全部是合格品把这一过程看作是一个把这一过程看作是一个“信道信道”，其，其“传递概率传递概率”为为p（好（好/好）好）=1 p（废（废/好）好）=0 p（好（好/废）废）=1 p（废（废/废）废）=0可将产品检验分成可将产品检验分成4种情况：全部产品都当合格品，全部产品都种情况：全部产品都当合格品，全部产品都当废品，完美的检验和允许出错的检验。当废品，完美的检验和允许出错的检验。第六十六页，本课件共有81页信道矩阵为信道矩阵为好好废废好好 废废这种情况的平均损失，即平均失真度为这种情况的平均损失，即平均失真度为这种情况每销售出去一块这种情况每销售出去一块PCB板，加工厂

47、将要另外承板，加工厂将要另外承担可能损失担可能损失200元的风险，考虑到每块销售元的风险，考虑到每块销售100元，实际元，实际上每卖出一块可能要实际损失上每卖出一块可能要实际损失100元。元。第六十七页，本课件共有81页l情况情况2 全部产品不经检验全部报废全部产品不经检验全部报废都当废品都当废品这时的信道传递概率为这时的信道传递概率为 p（好（好/好）好）=0 p（废（废/好）好）=1 p（好（好/废）废）=0 p（废（废/废）废）=1信道矩阵为信道矩阵为好好废废好好 废废这种情况的平均失真度为这种情况的平均失真度为第六十八页，本课件共有81页比较比较1、2两种情况，做出全部报废决定造成的损

48、失要小于做出全部两种情况，做出全部报废决定造成的损失要小于做出全部出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废两者出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废两者之间抉择，选择第之间抉择，选择第2种情况的损失反而小些。因此有种情况的损失反而小些。因此有即这种情况每销售出去一块即这种情况每销售出去一块PCB板，加工厂将有损失板，加工厂将有损失98元的元的风险。这是因为把风险。这是因为把98%本来可以卖本来可以卖100元一块的板子也报废的元一块的板子也报废的缘故。缘故。由于此时产品没有进行质量管理，相当于信源没有输出任何信息量。由于此时产品没有进行质量管理，相当于信源没有输

49、出任何信息量。第六十九页，本课件共有81页l情况情况3 经过检验能正确地判断合格品和废品经过检验能正确地判断合格品和废品完美检验完美检验这相当于无噪信道的情况，信道矩阵为这相当于无噪信道的情况，信道矩阵为好好废废好好 废废这种情况的平均失真度为这种情况的平均失真度为H(X)=R(0)=0.98log20.980.02log20.02=0.142(比特比特/块）块）即这种情况不会另外造成损失。即这种情况不会另外造成损失。下面探讨每一比特信息量的价值。为此先来求该信源的熵，有下面探讨每一比特信息量的价值。为此先来求该信源的熵，有因为可能造成的最大损失为因为可能造成的最大损失为98元元/块，所以说块

50、，所以说0.142比特信息量的比特信息量的最大价值为最大价值为98元，则每一比特信息的最大价值为元，则每一比特信息的最大价值为98/0.142=690.14（元（元/比特）比特）该式说明，如果从每块该式说明，如果从每块PCB板上获取板上获取0.142比特的信息量，就可以避免一切比特的信息量，就可以避免一切细小的损失。细小的损失。第七十页，本课件共有81页l情况情况4 检验时允许有一定的错误检验时允许有一定的错误非完美检验非完美检验这时的信道传递概率为这时的信道传递概率为 p（好（好/好）好）=0.95 p（废（废/好）好）=0.05 p（好（好/废）废）=0.05 p（废（废/废）废）=0.9