信息理论基础 第七章限失真信源编码精.ppt

《信息理论基础 第七章限失真信源编码精.ppt》由会员分享，可在线阅读，更多相关《信息理论基础 第七章限失真信源编码精.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息理论基础 第七章 限失真信源编码第1页，本讲稿共31页第一节第一节 失真测度失真测度一一.失真函数失真函数失真函数失真函数-用一个非负函数用一个非负函数用一个非负函数用一个非负函数d(xi,yj)表示当信源发出信息表示当信源发出信息表示当信源发出信息表示当信源发出信息x xi i ，而信宿收到信息，而信宿收到信息，而信宿收到信息，而信宿收到信息y yj j 的失真度的定量描述的失真度的定量描述的失真度的定量描述的失真度的定量描述信道信道XYX=x1 x2 xnY Y=y y1 1 y y2 2 yym m 失真矩阵失真矩阵d注意注意:-失真函数的形式是依实际情况人为决定的失真函数的形式是依

2、实际情况人为决定的失真函数的形式是依实际情况人为决定的失真函数的形式是依实际情况人为决定的.第2页，本讲稿共31页最常用的失真函数有：最常用的失真函数有：最常用的失真函数有：最常用的失真函数有：信道信道XY矢量失真函数矢量失真函数第3页，本讲稿共31页例例7-17-1假定离散矢量信源假定离散矢量信源假定离散矢量信源假定离散矢量信源N=3N=3，输出矢量序列为，输出矢量序列为，输出矢量序列为，输出矢量序列为X=XX=X1 1X X2 2X X3 3，其中，其中，其中，其中X Xi i,i=1,2,3i=1,2,3的取值为的取值为的取值为的取值为 0,10,10,10,1 ，经信道传输后的输出为，

3、经信道传输后的输出为，经信道传输后的输出为，经信道传输后的输出为Y=YY=Y1 1Y Y2 2Y Y3 3，其中，其中，其中，其中Y Yj j,j=1,2,3j=1,2,3的取值为的取值为的取值为的取值为 0,10,10,10,1.定义失真函数为定义失真函数为定义失真函数为定义失真函数为 d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩阵求矢量失真矩阵求矢量失真矩阵求矢量失真矩阵 d dN N。解解解解：由矢量失真函数的定义得：由矢量失真函数的定义得：由矢量失真函数的定义得：由矢量失真函数的定义得：第4页

4、，本讲稿共31页类似可以得到其他失真函数的值，则类似可以得到其他失真函数的值，则类似可以得到其他失真函数的值，则类似可以得到其他失真函数的值，则矢量失真矩阵矢量失真矩阵矢量失真矩阵矢量失真矩阵为为为为第5页，本讲稿共31页-用来估计全体信源发出的信息与接收信息之间的失真程度。用来估计全体信源发出的信息与接收信息之间的失真程度。用来估计全体信源发出的信息与接收信息之间的失真程度。用来估计全体信源发出的信息与接收信息之间的失真程度。二二.平均失真函数平均失真函数定义定义：失真函数的数学期望定义为：失真函数的数学期望定义为：失真函数的数学期望定义为：失真函数的数学期望定义为平均失真函数（平均失真平均

5、失真函数（平均失真平均失真函数（平均失真平均失真函数（平均失真度）度）度）度）矢量平均失真函数为：矢量平均失真函数为：矢量平均失真函数为：矢量平均失真函数为：表示第：表示第：表示第：表示第i i i i个位置上符号的平均失真函数。个位置上符号的平均失真函数。个位置上符号的平均失真函数。个位置上符号的平均失真函数。第6页，本讲稿共31页例例7-27-2 在语音线谱频率参数的矢量量化中，引入失真函在语音线谱频率参数的矢量量化中，引入失真函在语音线谱频率参数的矢量量化中，引入失真函在语音线谱频率参数的矢量量化中，引入失真函数数数数d(X,Y)d(X,Y)，该失真函数反映用码字，该失真函数反映用码字，

6、该失真函数反映用码字，该失真函数反映用码字Y Y Y Y代替线谱频率参数代替线谱频率参数代替线谱频率参数代替线谱频率参数X X X X时付出的时付出的时付出的时付出的代价。平均失真测度为失真函数的数学期望值。通常我们采用加代价。平均失真测度为失真函数的数学期望值。通常我们采用加代价。平均失真测度为失真函数的数学期望值。通常我们采用加代价。平均失真测度为失真函数的数学期望值。通常我们采用加权欧氏失真测度：权欧氏失真测度：权欧氏失真测度：权欧氏失真测度：为加权因子，为加权因子，为加权因子，为加权因子，为经验常数为经验常数为经验常数为经验常数 为对应测试矢量的为对应测试矢量的为对应测试矢量的为对应测

7、试矢量的LPALPALPALPA功率谱功率谱功率谱功率谱 实验证明该方法比均方误差失真每帧节省实验证明该方法比均方误差失真每帧节省实验证明该方法比均方误差失真每帧节省实验证明该方法比均方误差失真每帧节省2 2 2 2个比特以上个比特以上个比特以上个比特以上 第7页，本讲稿共31页例例7-37-3：设信源的符号表示为：设信源的符号表示为：设信源的符号表示为：设信源的符号表示为 ，各符号等概分布，各符号等概分布，各符号等概分布，各符号等概分布，规定失真函数为规定失真函数为规定失真函数为规定失真函数为(1)(1)(1)(1)如要求从平均意义上不允许有失真，即允许平均失真度如要求从平均意义上不允许有失

8、真，即允许平均失真度如要求从平均意义上不允许有失真，即允许平均失真度如要求从平均意义上不允许有失真，即允许平均失真度D=0D=0D=0D=0，此时信源输出的信息率是多少？，此时信源输出的信息率是多少？，此时信源输出的信息率是多少？，此时信源输出的信息率是多少？(2)(2)(2)(2)如我们允许平均失真度如我们允许平均失真度如我们允许平均失真度如我们允许平均失真度D=1/2D=1/2D=1/2D=1/2，也就是说，当收到，也就是说，当收到，也就是说，当收到，也就是说，当收到100100100100个符号，个符号，个符号，个符号，允许其中有允许其中有允许其中有允许其中有50505050个符号以下的

9、错误，此时信源输出的信息率可以是个符号以下的错误，此时信源输出的信息率可以是个符号以下的错误，此时信源输出的信息率可以是个符号以下的错误，此时信源输出的信息率可以是多少？多少？多少？多少？第8页，本讲稿共31页第二节第二节 信息率失真函数信息率失真函数 在采样率为在采样率为在采样率为在采样率为8kHz8kHz8kHz8kHz的语音信号的子带编码中，如果采用小波的语音信号的子带编码中，如果采用小波的语音信号的子带编码中，如果采用小波的语音信号的子带编码中，如果采用小波变换把语音信号分解为变换把语音信号分解为变换把语音信号分解为变换把语音信号分解为4 4 4 4个子带，即个子带，即个子带，即个子带

10、，即24kHz24kHz，1kHz2kHz1kHz2kHz，5001000Hz5001000Hz，0500Hz0500Hz。原始原始原始原始全带重建全带重建全带重建全带重建02kHz02kHz重建重建重建重建01kHz01kHz重建重建重建重建0500Hz0500Hz重建重建重建重建一一.保真度准则保真度准则 规定平均失真度为规定平均失真度为规定平均失真度为规定平均失真度为D D D D，则，则，则，则信源压缩后的平均失信源压缩后的平均失信源压缩后的平均失信源压缩后的平均失真度真度真度真度 的准则为保真度准则。的准则为保真度准则。的准则为保真度准则。的准则为保真度准则。当失真函数及信源给定后，

11、选择适当信道，使其当失真函数及信源给定后，选择适当信道，使其当失真函数及信源给定后，选择适当信道，使其当失真函数及信源给定后，选择适当信道，使其平均失真度平均失真度平均失真度平均失真度 满足保真度准则满足保真度准则满足保真度准则满足保真度准则 。所有满足保真。所有满足保真。所有满足保真。所有满足保真度准则的信道，称为度准则的信道，称为度准则的信道，称为度准则的信道，称为D D D D失真允许试验信道，失真允许试验信道，失真允许试验信道，失真允许试验信道，记作记作记作记作 第9页，本讲稿共31页 在在在在D D D D允许信道中可以寻找一个信道，使得给定的信源经允许信道中可以寻找一个信道，使得给

12、定的信源经允许信道中可以寻找一个信道，使得给定的信源经允许信道中可以寻找一个信道，使得给定的信源经过此信道传输时，其信道传输率达到最小，这个最小值定过此信道传输时，其信道传输率达到最小，这个最小值定过此信道传输时，其信道传输率达到最小，这个最小值定过此信道传输时，其信道传输率达到最小，这个最小值定义为义为义为义为信息率失真函数信息率失真函数，记为：，记为：，记为：，记为：二二.信息率失真函数信息率失真函数R(D)R(D)含义：含义：率失真函数是在给定信源、规定失真函数后，率失真函数是在给定信源、规定失真函数后，率失真函数是在给定信源、规定失真函数后，率失真函数是在给定信源、规定失真函数后，在满

13、足保真度准则的前提下，为了再现信源信息，信宿在满足保真度准则的前提下，为了再现信源信息，信宿在满足保真度准则的前提下，为了再现信源信息，信宿在满足保真度准则的前提下，为了再现信源信息，信宿从信源必须获取的最小平均信息量。也就是信源必须传从信源必须获取的最小平均信息量。也就是信源必须传从信源必须获取的最小平均信息量。也就是信源必须传从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。输给信宿的最小信息率。输给信宿的最小信息率。输给信宿的最小信息率。第10页，本讲稿共31页例例例例7-37-37-37-3：设信源的符号表示为设信源的符号表示为设信源的符号表示为设信源的符号表示为

14、即符号不发生错误时失真为即符号不发生错误时失真为即符号不发生错误时失真为即符号不发生错误时失真为0 0 0 0，一旦出错失真为，一旦出错失真为，一旦出错失真为，一旦出错失真为1 1 1 1。假设允许的失真限度为假设允许的失真限度为假设允许的失真限度为假设允许的失真限度为试分析在给定的失真限度条件下信息压缩的程度。试分析在给定的失真限度条件下信息压缩的程度。试分析在给定的失真限度条件下信息压缩的程度。试分析在给定的失真限度条件下信息压缩的程度。，各符，各符，各符，各符号等概分布，规定失真函数为号等概分布，规定失真函数为号等概分布，规定失真函数为号等概分布，规定失真函数为第11页，本讲稿共31页解

15、解：由信源概率分布可求出信源熵为：由信源概率分布可求出信源熵为：由信源概率分布可求出信源熵为：由信源概率分布可求出信源熵为如果对信源进行无失真编码，即平均失真度如果对信源进行无失真编码，即平均失真度如果对信源进行无失真编码，即平均失真度如果对信源进行无失真编码，即平均失真度则平均每个符号至少需要则平均每个符号至少需要则平均每个符号至少需要则平均每个符号至少需要个二进制码元来表示。个二进制码元来表示。个二进制码元来表示。个二进制码元来表示。此时信源编码器的输出信息率为此时信源编码器的输出信息率为此时信源编码器的输出信息率为此时信源编码器的输出信息率为当允许的失真限度为当允许的失真限度为当允许的失

16、真限度为当允许的失真限度为时，可以计算得时，可以计算得时，可以计算得时，可以计算得第12页，本讲稿共31页按照最大的失真度来进行编码，即平均失真度按照最大的失真度来进行编码，即平均失真度按照最大的失真度来进行编码，即平均失真度按照最大的失真度来进行编码，即平均失真度 也就是说，当收到也就是说，当收到也就是说，当收到也就是说，当收到100100100100个符号，允许其中有个符号，允许其中有个符号，允许其中有个符号，允许其中有50505050个符号发生个符号发生个符号发生个符号发生错误。设想采用下面的编码方法：错误。设想采用下面的编码方法：错误。设想采用下面的编码方法：错误。设想采用下面的编码方

17、法：用信道表示如下：用信道表示如下：用信道表示如下：用信道表示如下：该信道的平均失真度为：该信道的平均失真度为：该信道的平均失真度为：该信道的平均失真度为：由平均互信息的公式可知：由平均互信息的公式可知：由平均互信息的公式可知：由平均互信息的公式可知：第13页，本讲稿共31页该编码方法相当于一个确定信道，则该编码方法相当于一个确定信道，则该编码方法相当于一个确定信道，则该编码方法相当于一个确定信道，则信道输出概率分布为：信道输出概率分布为：信道输出概率分布为：信道输出概率分布为：则输出熵为则输出熵为则输出熵为则输出熵为 平均互信息：平均互信息：平均互信息：平均互信息：即采用上面的编码方法后的信

18、息率即采用上面的编码方法后的信息率即采用上面的编码方法后的信息率即采用上面的编码方法后的信息率比较率失真函数和该信道的信息率有比较率失真函数和该信道的信息率有比较率失真函数和该信道的信息率有比较率失真函数和该信道的信息率有：当当当当时，该编码器输出的信息率时，该编码器输出的信息率时，该编码器输出的信息率时，该编码器输出的信息率等于等于等于等于率失真函数，而当率失真函数，而当率失真函数，而当率失真函数，而当时，该编码器输出的信息率时，该编码器输出的信息率时，该编码器输出的信息率时，该编码器输出的信息率大于大于大于大于率失真函数率失真函数率失真函数率失真函数 说明说明说明说明该编码方法不是最好的编

19、码方法该编码方法不是最好的编码方法该编码方法不是最好的编码方法该编码方法不是最好的编码方法 第14页，本讲稿共31页。从两个方面应用这个率失真函数：从两个方面应用这个率失真函数：从两个方面应用这个率失真函数：从两个方面应用这个率失真函数：再看具体编码方法的输出信息率跟再看具体编码方法的输出信息率跟再看具体编码方法的输出信息率跟再看具体编码方法的输出信息率跟1 1 1 1）在给定失真度）在给定失真度）在给定失真度）在给定失真度D D D D的条件下，求出所能达到的最小信息率的条件下，求出所能达到的最小信息率的条件下，求出所能达到的最小信息率的条件下，求出所能达到的最小信息率的关系，然后判断的关系

20、，然后判断的关系，然后判断的关系，然后判断该编码方法是否适合。该编码方法是否适合。该编码方法是否适合。该编码方法是否适合。然后看具体编码方法的失真是否超过最小失真然后看具体编码方法的失真是否超过最小失真然后看具体编码方法的失真是否超过最小失真然后看具体编码方法的失真是否超过最小失真2 2 2 2）在给定信息率）在给定信息率）在给定信息率）在给定信息率R R R R的条件下，求出所能达到的最小失真的条件下，求出所能达到的最小失真的条件下，求出所能达到的最小失真的条件下，求出所能达到的最小失真在在在在WIWIWIWI语音压缩编码中，线谱频率的量化采用矢量量化，它是语音压缩编码中，线谱频率的量化采用

21、矢量量化，它是语音压缩编码中，线谱频率的量化采用矢量量化，它是语音压缩编码中，线谱频率的量化采用矢量量化，它是从第从第从第从第二个方面应用率失真函数来指导的二个方面应用率失真函数来指导的二个方面应用率失真函数来指导的二个方面应用率失真函数来指导的。目前，每帧语音的线谱频率。目前，每帧语音的线谱频率。目前，每帧语音的线谱频率。目前，每帧语音的线谱频率只需要只需要只需要只需要20202020比特来表示就能达到透明量化质量。比特来表示就能达到透明量化质量。比特来表示就能达到透明量化质量。比特来表示就能达到透明量化质量。原始语音原始语音原始语音原始语音WIWIWIWI语音语音语音语音20bit20bi

22、t20bit20bit本人采用的方法本人采用的方法本人采用的方法本人采用的方法15bit15bit15bit15bit第15页，本讲稿共31页-连续信源连续信源连续信源连续信源 三三.率失真函数率失真函数R(D)的定义域的定义域信道传输的信息量等于信源的熵，即：信道传输的信息量等于信源的熵，即：信道传输的信息量等于信源的熵，即：信道传输的信息量等于信源的熵，即：1.1.1.1.-离散信源离散信源离散信源离散信源2 2 2 2.的定义域为：的定义域为：的定义域为：的定义域为：第16页，本讲稿共31页如何求解出如何求解出 呢？呢？当当当当时，信道的输入与输出相互独立，则时，信道的输入与输出相互独立

23、，则时，信道的输入与输出相互独立，则时，信道的输入与输出相互独立，则此时的平均失真为此时的平均失真为此时的平均失真为此时的平均失真为 如果选取如果选取如果选取如果选取 的最小值对应的的最小值对应的的最小值对应的的最小值对应的 令其它的令其它的令其它的令其它的 对应的对应的对应的对应的 ，则有，则有，则有，则有 第17页，本讲稿共31页例例例例7-47-47-47-4：设输入输出符号表示为：设输入输出符号表示为：设输入输出符号表示为：设输入输出符号表示为，输入概率分布为，输入概率分布为，输入概率分布为，输入概率分布为，失真矩阵为，失真矩阵为，失真矩阵为，失真矩阵为，求平均失真度为，求平均失真度为

24、，求平均失真度为，求平均失真度为和和和和时的率失真函数以及对应的编码器的转移概率。时的率失真函数以及对应的编码器的转移概率。时的率失真函数以及对应的编码器的转移概率。时的率失真函数以及对应的编码器的转移概率。解解解解：当平均失真度为：当平均失真度为：当平均失真度为：当平均失真度为时，编码是无失真的，则时，编码是无失真的，则时，编码是无失真的，则时，编码是无失真的，则编码器的转移概率为编码器的转移概率为编码器的转移概率为编码器的转移概率为当平均失真度为当平均失真度为当平均失真度为当平均失真度为时，编码具有最大失真，则时，编码具有最大失真，则时，编码具有最大失真，则时，编码具有最大失真，则此时此时

25、此时此时 编码器的转移概率为编码器的转移概率为编码器的转移概率为编码器的转移概率为此时此时此时此时第18页，本讲稿共31页四四.率失真函数的数学特性率失真函数的数学特性1.下凸性下凸性。给定信源及规定失真函数后，在给定信源及规定失真函数后，在给定信源及规定失真函数后，在给定信源及规定失真函数后，在的定义域的定义域的定义域的定义域内，内，内，内，是关于是关于是关于是关于D D D D的下凸函数，即对于任意的下凸函数，即对于任意的下凸函数，即对于任意的下凸函数，即对于任意和和和和，有，有，有，有2.R(D)2.R(D)是关于是关于D D的单调递减函数的单调递减函数率失真函数率失真函数率失真函数率失

26、真函数也是关于也是关于也是关于也是关于D D D D的的的的连续函数连续函数连续函数连续函数 在定义域在定义域在定义域在定义域，若有，若有，若有，若有，则有，则有，则有，则有 第19页，本讲稿共31页结论：结论：率失真函数率失真函数率失真函数率失真函数是非负实数，即是非负实数，即是非负实数，即是非负实数，即。其定义域为。其定义域为。其定义域为。其定义域为，其对应的值为，其对应的值为，其对应的值为，其对应的值为。当。当。当。当时，时，时，时，是关于是关于是关于是关于D D D D的单调递减函数。的单调递减函数。的单调递减函数。的单调递减函数。是关于是关于是关于是关于D D D D的下凸函数，因而

27、也是关于的下凸函数，因而也是关于的下凸函数，因而也是关于的下凸函数，因而也是关于D D D D的连续函数。的连续函数。的连续函数。的连续函数。H H H H（X X X X）R R R R（D D D D）R R R R（D D D D1 1 1 1）0D1DmaxD第20页，本讲稿共31页五五.R（D）函数的计算）函数的计算设信源的输入序列为设信源的输入序列为设信源的输入序列为设信源的输入序列为 信源编码器的输出序列为信源编码器的输出序列为信源编码器的输出序列为信源编码器的输出序列为 规定失真函数为规定失真函数为规定失真函数为规定失真函数为 的计算是在约束条件的计算是在约束条件的计算是在约束

28、条件的计算是在约束条件 下，求下，求下，求下，求 的极小值问题。的极小值问题。的极小值问题。的极小值问题。第21页，本讲稿共31页通常情况下，引入拉格朗日乘法，引入乘子通常情况下，引入拉格朗日乘法，引入乘子通常情况下，引入拉格朗日乘法，引入乘子通常情况下，引入拉格朗日乘法，引入乘子s s s s和和和和将上述条件极值问题转化为无条件极值问题：将上述条件极值问题转化为无条件极值问题：将上述条件极值问题转化为无条件极值问题：将上述条件极值问题转化为无条件极值问题：由上式解出所有由上式解出所有由上式解出所有由上式解出所有，带入平均互信息的求解公式中得到，带入平均互信息的求解公式中得到，带入平均互信息

29、的求解公式中得到，带入平均互信息的求解公式中得到在约束条件下的平均互信息的极小值，即是率失真函数在约束条件下的平均互信息的极小值，即是率失真函数在约束条件下的平均互信息的极小值，即是率失真函数在约束条件下的平均互信息的极小值，即是率失真函数。求解偏导得到一系列求解偏导得到一系列求解偏导得到一系列求解偏导得到一系列重要的公式重要的公式重要的公式重要的公式：第22页，本讲稿共31页例例7-57-5：设设设设信信信信源源源源输输输输入入入入符符符符号号号号集集集集为为为为(0,1)(0,1)(0,1)(0,1)，其其其其中中中中 。失失失失真真真真函函函函数数数数定定定定义义义义为为为为 ，设设设设

30、输输输输出出出出符符符符号号号号集集集集为为为为(0,1)(0,1)(0,1)(0,1)，允许的失真度为，允许的失真度为，允许的失真度为，允许的失真度为D D D D，求率失真函数，求率失真函数，求率失真函数，求率失真函数R(D)R(D)R(D)R(D)。解解解解：（1 1 1 1）首先由）首先由）首先由）首先由来计算来计算来计算来计算和和和和则有则有则有则有解出解出解出解出第23页，本讲稿共31页（2 2 2 2）：由）：由）：由）：由来计算来计算来计算来计算和和和和则有则有则有则有解出解出解出解出第24页，本讲稿共31页（3 3 3 3）：将求得的）：将求得的）：将求得的）：将求得的和和和

31、和代入代入代入代入得到平均失真度为得到平均失真度为得到平均失真度为得到平均失真度为则解出参量则解出参量则解出参量则解出参量s s s s为为为为（4 4 4 4）：将参量）：将参量）：将参量）：将参量s s s s代入代入代入代入得得得得可以看出可以看出可以看出可以看出：是本身要传输的信息量，是本身要传输的信息量，是本身要传输的信息量，是本身要传输的信息量，是由允许失真是由允许失真是由允许失真是由允许失真D D D D导致损失的最大信息量导致损失的最大信息量导致损失的最大信息量导致损失的最大信息量 第25页，本讲稿共31页第三节第三节 限失真信源编码定理限失真信源编码定理限失真信源编码定理：限

32、失真信源编码定理：设设设设离离离离散散散散无无无无记记记记忆忆忆忆信信信信源源源源X X X X的的的的信信信信息息息息率率率率失失失失真真真真函函函函数数数数为为为为R(D)R(D)R(D)R(D)，当当当当信信信信息息息息率率率率R R R R R(D)R(D)R(D)R(D)时时时时，只只只只要要要要信信信信源源源源序序序序列列列列长长长长度度度度L L L L足足足足够够够够长长长长，一一一一定定定定存存存存在在在在一一一一种种种种编编编编码码码码方方方方法法法法，其其其其译译译译码码码码失失失失真真真真小小小小于于于于或或或或等等等等于于于于D+D+D+D+，为为为为任任任任意意意意

33、小小小小的的的的正正正正数数数数；反反反反之之之之，若若若若R R R R R(D)R(D)R(D)R(D)，则则则则无无无无论论论论采用什么样的编码方法，其译码失真必定大于采用什么样的编码方法，其译码失真必定大于采用什么样的编码方法，其译码失真必定大于采用什么样的编码方法，其译码失真必定大于D D D D。定定定定理理理理指指指指出出出出，在在在在失失失失真真真真限限限限度度度度内内内内使使使使信信信信息息息息率率率率任任任任意意意意接接接接近近近近R(D)R(D)R(D)R(D)的的的的编编编编码码码码方方方方法法法法存存存存在在在在。然而，要使信息率小于然而，要使信息率小于然而，要使信息

34、率小于然而，要使信息率小于R(D)R(D)R(D)R(D)，平均失真一定超过失真限度，平均失真一定超过失真限度，平均失真一定超过失真限度，平均失真一定超过失真限度D D D D。说说明明:R(D)R(D)R(D)R(D)且且且且允允允允许许许许平平平平均均均均失失失失真真真真度度度度情情情情况况况况下下下下，信信信信源源源源信信信信息息息息压压压压缩缩缩缩下下下下的的的的限值。限值。限值。限值。第26页，本讲稿共31页第四节第四节 常用限失真信源编码方法简介常用限失真信源编码方法简介一一一一.标量量化标量量化量化器量化器量化器量化器X X X XY Y Y Y 输出为电平输出为电平输出为电平输

35、出为电平多对一映射多对一映射多对一映射多对一映射设门限为：设门限为：设门限为：设门限为：则：则：则：则：通过量化器传输的信息率通过量化器传输的信息率通过量化器传输的信息率通过量化器传输的信息率量化带来的平均失真量化带来的平均失真量化带来的平均失真量化带来的平均失真D D D D为为为为第27页，本讲稿共31页设有信源序列设有信源序列设有信源序列设有信源序列可令预测值为可令预测值为可令预测值为可令预测值为二二.预测编码预测编码 预测是用过去值预测未来值预测是用过去值预测未来值预测是用过去值预测未来值预测是用过去值预测未来值,并对它与实际值之差进行编码，并对它与实际值之差进行编码，并对它与实际值之

36、差进行编码，并对它与实际值之差进行编码，达到进一步压缩码率的目的。达到进一步压缩码率的目的。达到进一步压缩码率的目的。达到进一步压缩码率的目的。预测编码是利用信源的相关性来压缩码率的，对于独立信预测编码是利用信源的相关性来压缩码率的，对于独立信预测编码是利用信源的相关性来压缩码率的，对于独立信预测编码是利用信源的相关性来压缩码率的，对于独立信源，预测就没有可能源，预测就没有可能源，预测就没有可能源，预测就没有可能。R R R R阶预测是由阶预测是由阶预测是由阶预测是由来预测来预测来预测来预测线性预测是预测函数为各已知信源符号的线性函数，即线性预测是预测函数为各已知信源符号的线性函数，即线性预测

37、是预测函数为各已知信源符号的线性函数，即线性预测是预测函数为各已知信源符号的线性函数，即并求均方误差并求均方误差并求均方误差并求均方误差最小时的各最小时的各最小时的各最小时的各值。值。值。值。第28页，本讲稿共31页三三.变换编码变换编码A变变换换量量化化B变变换换输入输入X输出输出Ww=BzYy=AxZA:A:A:A:线性变换线性变换线性变换线性变换,为非奇异的去相关矩阵为非奇异的去相关矩阵为非奇异的去相关矩阵为非奇异的去相关矩阵Y:Y:Y:Y:各个分量不相关各个分量不相关各个分量不相关各个分量不相关B:B:B:B:线性变换线性变换线性变换线性变换,是非奇异矩阵。是非奇异矩阵。是非奇异矩阵。

38、是非奇异矩阵。变换编码与理论上的压缩编码的区别是多了两个限制：变换编码与理论上的压缩编码的区别是多了两个限制：变换编码与理论上的压缩编码的区别是多了两个限制：变换编码与理论上的压缩编码的区别是多了两个限制：变换为线性变换变换为线性变换变换为线性变换变换为线性变换 量化是对各分量独立进行量化是对各分量独立进行量化是对各分量独立进行量化是对各分量独立进行最终输出处的平均失真跟矩阵最终输出处的平均失真跟矩阵最终输出处的平均失真跟矩阵最终输出处的平均失真跟矩阵A A A A、B B B B以及量化方法等有关以及量化方法等有关以及量化方法等有关以及量化方法等有关。第29页，本讲稿共31页例例7-67-6

39、：若有一信源若有一信源若有一信源若有一信源 每秒钟发出每秒钟发出每秒钟发出每秒钟发出2.662.662.662.66个信源符号。将此信源的输出符号送入某二个信源符号。将此信源的输出符号送入某二个信源符号。将此信源的输出符号送入某二个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输，而信道每秒钟只传送两个二元元无噪无损信道中进行传输，而信道每秒钟只传送两个二元元无噪无损信道中进行传输，而信道每秒钟只传送两个二元元无噪无损信道中进行传输，而信道每秒钟只传送两个二元符号。符号。符号。符号。（1 1 1 1）试问信源能否在此信道中进行无失真传输。）试问信源能否在此信道中进行无失真传输。）试

40、问信源能否在此信道中进行无失真传输。）试问信源能否在此信道中进行无失真传输。（2 2 2 2）若此信源失真度测量定义为汉明失真，即若此信源失真度测量定义为汉明失真，即若此信源失真度测量定义为汉明失真，即若此信源失真度测量定义为汉明失真，即d(0,1)=d(1,0)=1d(0,1)=d(1,0)=1d(0,1)=d(1,0)=1d(0,1)=d(1,0)=1，d(0,0)=d(1,1)=0d(0,0)=d(1,1)=0d(0,0)=d(1,1)=0d(0,0)=d(1,1)=0，问允许信源平均失真，问允许信源平均失真，问允许信源平均失真，问允许信源平均失真多大时，此信源就可以在此信道中传播。多大

41、时，此信源就可以在此信道中传播。多大时，此信源就可以在此信道中传播。多大时，此信源就可以在此信道中传播。第30页，本讲稿共31页解解解解 (1)(1)(1)(1)信源熵为信源熵为信源熵为信源熵为H H H H（S S S S）=1=1=1=1比特比特比特比特/符号符号符号符号 信源输出的信息传输速率信源输出的信息传输速率信源输出的信息传输速率信源输出的信息传输速率R R R Rt t t t=2.66H=2.66H=2.66H=2.66H（S S S S）=2.66=2.66=2.66=2.66比特比特比特比特/秒秒秒秒无噪无损信道的信道容量无噪无损信道的信道容量无噪无损信道的信道容量无噪无损

42、信道的信道容量C=1C=1C=1C=1比特比特比特比特/符号符号符号符号则信道的最大信息传输速率则信道的最大信息传输速率则信道的最大信息传输速率则信道的最大信息传输速率C C C Ct t t t=C2=C2=C2=C2符号符号符号符号/秒秒秒秒=2=2=2=2比特比特比特比特/秒秒秒秒信源不能在此信道中进行无失真的传输信源不能在此信道中进行无失真的传输信源不能在此信道中进行无失真的传输信源不能在此信道中进行无失真的传输(2)(2)(2)(2)信源的信息率失真函数为信源的信息率失真函数为信源的信息率失真函数为信源的信息率失真函数为信源单位时间内的信息率失真函数为信源单位时间内的信息率失真函数为

43、信源单位时间内的信息率失真函数为信源单位时间内的信息率失真函数为当当当当，则此信源在此信道中传输时不会引起错误，则此信源在此信道中传输时不会引起错误，则此信源在此信道中传输时不会引起错误，则此信源在此信道中传输时不会引起错误总的信源失真是信源压缩编码所造成的允许失真总的信源失真是信源压缩编码所造成的允许失真总的信源失真是信源压缩编码所造成的允许失真总的信源失真是信源压缩编码所造成的允许失真D D D D，则有，则有，则有，则有2=2.661-H2=2.661-H2=2.661-H2=2.661-H（D D D D）HHHH（D D D D）0.2481D0.04150.2481D0.04150.2481D0.04150.2481D0.0415则允许信源平均失真约为则允许信源平均失真约为则允许信源平均失真约为则允许信源平均失真约为0.04150.04150.04150.0415时，此信源可在此信道中传输。时，此信源可在此信道中传输。时，此信源可在此信道中传输。时，此信源可在此信道中传输。第31页，本讲稿共31页