第四章-限失真信源编码.ppt

《第四章-限失真信源编码.ppt》由会员分享，可在线阅读，更多相关《第四章-限失真信源编码.ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章限失真信源编码限失真信源编码限失真编码限失真编码：信源编码经过译码后能保留应用要求的信源编码经过译码后能保留应用要求的信息，允许信源有一定的失真。信息，允许信源有一定的失真。为什么要限失真编码为什么要限失真编码 11连续信源的绝对熵为无限大，由于信道的带宽有限，连续信源的绝对熵为无限大，由于信道的带宽有限，受信道容量的限制。受信道容量的限制。不可能实现完全无失真的信源信息的不可能实现完全无失真的信源信息的传输传输。(可能性可能性)2 2信道资源和技术经济因素的限制。信道资源和技术经济因素的限制。(可实现性可实现性)3 3实际应用不必要无失真地恢复信源消息实际应用不必要无失真地恢复信

2、源消息,不必要完全不必要完全无失真的信源信息的传输无失真的信源信息的传输.(必要性必要性)44数字系统的应用数字系统的应用 ,模拟量的采样模拟量的采样,量化也会引入失真量化也会引入失真.语音信号传输语音信号传输语音（音频）信号的带宽语音（音频）信号的带宽：2020000HZ实际应用音频范围实际应用音频范围:电话质量电话质量:3003.4KHZ电话公用网电话公用网调幅广播质量调幅广播质量:507KHZ有现场感的语音传输有现场感的语音传输高保真音频信号高保真音频信号:2020KHZ高保真音响高保真音响图像信号传输图像信号传输一路一路6MHz的普通电视信号数字化后，其数码率将的普通电视信号数字化后，

3、其数码率将高达高达167Mbps，对储存器容量要求很大，占有的带宽将，对储存器容量要求很大，占有的带宽将达达80MHz左右左右表表4 41 1 各种各种图像信号图像信号应用的码率应用的码率应用种类应用种类象素数象素数/行行行行数数/帧帧码率码率bps压缩前压缩前压缩后压缩后HDTV192010801.18G2025M普通电视普通电视720480167M48M会议电视会议电视35228836.5M1.52M电视电话电视电话1281125.2M56k一、连续消息的统计特性一、连续消息的统计特性2.描述:1.波形信源：在一个具体的时间点在一个具体的时间点ti，x(ti)为一个取值为一个取值连续的随机

4、变量，可用有限维连续的随机变量，可用有限维概率密度函数概率密度函数族族描述：描述：4.1 连续信源的熵和互信息平稳随机过程：平稳随机过程：统计特性统计特性不随时间平移而变化不随时间平移而变化的随机过程。的随机过程。x(t)在时刻t=ti的集平均:x x(t t)在某一在某一时刻时刻t ti i变量变量x x(t ti i)的统计平均的统计平均一、波形信源的特性一、波形信源的特性2.描述:x(ti)的时间平均：x(ti)某一样本函数某一样本函数x(t)的时间平均值的时间平均值遍历平稳过程遍历平稳过程：若一平稳随机过程：若一平稳随机过程 x(t)的的集平均以概率集平均以概率1 1等于其时间平均等于

5、其时间平均，则称，则称 x(t)为遍历的平稳过程。为遍历的平稳过程。二、连续信源的熵变量X的概率分布与概率密度函数的关系为：1、方法 对连续变量对连续变量X X的量化方法如下：的量化方法如下：将X的取值范围a,b作n等分，每份=(b-a)/np(x)ab0a+(i-1)a+iPix二、连续信源的熵则X落在第i区间内的概率为：则连续信源X:此信源合理！此信源合理！二、连续信源的熵二、连续信源的熵2、相对熵三、平均互信息三、平均互信息波形信道x(t)y(t)基本公式基本公式实际应用中实际应用中,允许信号有一定的失真允许信号有一定的失真,当失真超过一定当失真超过一定限度后限度后,信息将失去实用价值信

6、息将失去实用价值,因此要规定失真的限度因此要规定失真的限度.信息率失真是信息率失真是A/D转换转换、量化、频带压缩和数据压缩的、量化、频带压缩和数据压缩的理论基础理论基础.4.2.1失真函数失真函数1)失真函数定义失真函数定义信源信源经过信源编码后输出经过信源编码后输出对于每一对对于每一对(ui,vj),指定一个非负函数指定一个非负函数d(ui,vj)0i=1,2,n j=1,2,m 称称 d(xi,yj)为单个符号的失真函数为单个符号的失真函数.表示信源发出符表示信源发出符号号xi ,接收端再现接收端再现yj所引起的误差或失真所引起的误差或失真.d(xi,yj)=0无失真无失真,d(xi,y

7、j)0有失真有失真.4.2信息率失真函数信息率失真函数2)常用的失真函数常用的失真函数 11平方误差失真函数平方误差失真函数d(xi,yj)=(xi-yj)222绝对误差失真函数绝对误差失真函数d(xi,yj)=|xi-yj|33相对误差失真函数相对误差失真函数d(xi,yj)=|xi-yj|/|xi|4误码失真函数误码失真函数失真函数失真函数1,2,31,2,3用于连续信源用于连续信源,失真函数失真函数4用用于离散信源于离散信源,失真函数失真函数4也称也称HanmmingHanmming失真函数失真函数.3)失真矩阵失真矩阵d n m 矩阵矩阵4.2.2平均失真平均失真xi 和和yj均为随机

8、变量均为随机变量,所以所以d(xi,yj)也也为随机变量为随机变量,d(xi,yj)的的平均失真平均失真用其用其数学期望数学期望或或统计平均统计平均值值描述描述,用用符号符号表示表示.4.2.3信息率失真函数信息率失真函数R(D)1)受信道容量的限制受信道容量的限制,实际应用中必须对信源进行压实际应用中必须对信源进行压缩缩,应应1使其压缩后的信息传输率小于信道容量使其压缩后的信息传输率小于信道容量;2保证压缩所引入的平均失真保证压缩所引入的平均失真不超过预先给定不超过预先给定的的允许失真度允许失真度D;3在满足在满足D的前提下的前提下,使编码后的信息率尽可使编码后的信息率尽可能小能小.不等式不

9、等式D 称为称为保真度准则保真度准则2)试验信道试验信道1有失真的信源编码器视作有干扰的信道有失真的信源编码器视作有干扰的信道(假想信道假想信道)2当信源已知当信源已知(即即B(U)已知已知)时时,单个符号的失真度给单个符号的失真度给定定,选择一类假想信道选择一类假想信道,使得使得D,这类假想信道称为这类假想信道称为D 失真允许信道失真允许信道,或或D 失真允许试验信道失真允许试验信道.记为记为BD=p(v j|u i):D;i=1,2,n;j=1,2,m p(v j|u i)为信道的传递概率。为信道的传递概率。3)离散信源的信息率失真函数离散信源的信息率失真函数在允许信道在允许信道BD 中中

10、,寻求一个信道寻求一个信道p(V|U),使给定的信源经使给定的信源经过此信道后过此信道后,互信息量互信息量I(U;V)达到最小达到最小.该最小互信息量称该最小互信息量称为为信息率失真函数信息率失真函数R(D),简称简称率失真函数率失真函数N维信源符号序列的信息率失真函数维信源符号序列的信息率失真函数RN(D):4)连续信源的信息率失真函数连续信源的信息率失真函数连续信源平均失真度为连续信源平均失真度为:连续信源的信息率失真函数连续信源的信息率失真函数:4)信息率失真函数信息率失真函数R(D)物理意义物理意义 11R(D)是信源给定的情况下是信源给定的情况下,在可容忍的失真度内再现在可容忍的失真

11、度内再现信源消息所必须获得的最小平均信息量信源消息所必须获得的最小平均信息量.2 2R(D)是反映给定信源可压缩的程度是反映给定信源可压缩的程度.3 3R(D)求出后求出后,就与选择的试验信道无关就与选择的试验信道无关,而只是信源而只是信源特性的参量特性的参量,不同的信源不同的信源,其其R(D)是不同的是不同的.5)信息率失真函数信息率失真函数R(D)的计算的计算已给定已给定信源概率信源概率P(X)和失真函数和失真函数d(xi,yj),求信息率求信息率失真函数失真函数R(D)的问题的问题,可以归结为在约束条件保真度准可以归结为在约束条件保真度准则则D 下下,求极小值的问题求极小值的问题.6)限

12、失真信源编码定理限失真信源编码定理(香农第三定理香农第三定理)设离散无记忆信源设离散无记忆信源X的信息率失真函数的信息率失真函数R(D),并并选定失真函数选定失真函数,对于任意允许平均失真度对于任意允许平均失真度D0和任和任意小的意小的0,当信息率当信息率RR(D),只要信源序列只要信源序列L足够足够长长,则一定存在一种编码方法则一定存在一种编码方法,使其译码失真使其译码失真D+,反反之之,若若RR(D),无论用什么编码方法无论用什么编码方法,其译码失真其译码失真必必D存在性定理存在性定理 任何信源的信息率失真函数R(D)是该信源在限失真条件下进行编码的最小信息传输率。4.3 标量量化编码w标

13、量量化-零记忆量化 每次只量化一个模拟样本值。w均匀量化：线性量化w最优量化：使量化器的均方误差e2最小或信噪比SNR最小的量化。（概率非均匀分布的最优量化算法）4.3.1 均匀量化w量化器输入：x，对应实数值域空间为R；w量化器输出：y，对应实数值域空间为Rc；对应取值范围a0,anw y=Q(x)w均匀量化：将区间a0,an分割为n个相等距离且互不重叠的子区间ai,ai+1，取每个小区间的中点值作为量化值yi，即aixai+1时，yi=(ai+1+ai)/2均匀量化的量化误差：均匀量化的量化误差：量化器均方误差：量化器均方误差：量化器输入方差：量化器输入方差：量化器的信噪比量化器的信噪比S

14、NR：量化器的工作区域：量化器的工作区域：1.正常量化区：正常量化区：量化器能得到正常量化。量化器能得到正常量化。2.限幅区：限幅区：量化器处于限幅或过载工作量化器处于限幅或过载工作状态，产生较大失真。状态，产生较大失真。3.空载区：空载区：（1）当）当x=ai时，量化器输出在两个量化级间往返跳动，时，量化器输出在两个量化级间往返跳动，形成一个矩形输出，结果将产生点状噪声。形成一个矩形输出，结果将产生点状噪声。（2）x在在ai之上或之下，量化输出分别为恒定值之上或之下，量化输出分别为恒定值4.3.2 最优量化w最优量化与p(x)有关，区间分割也与p(x)有关，N足够大时，近似认为在各个区间ai

15、,ai+1上的概率分布p(x)为一常数，各子区间上被视为均匀分布。w对于x的概率分布非均匀的标量量化采用Max-Livod算法。对对ai取偏导并置零取偏导并置零d(ai,yi-1)=d(ai,yi)对于均方失真和绝对失真，有对于均方失真和绝对失真，有ai=(yi+yi-1)/2可知此时边界点在相邻量化值之中点，可知此时边界点在相邻量化值之中点，e2最小。最小。量化值的选定则与概率密度有关。量化值的选定则与概率密度有关。对于均方失真，对于均方失真，yi最佳位置在最佳位置在ai和和ai+1区间的概率中心。区间的概率中心。wMax-Livod迭代方法：迭代方法：1）任取）任取y0;2）由）由，计算，

16、计算a1;3）根据公式）根据公式计算计算y1;4）重复步骤（）重复步骤（2）、（）、（3），分别计算出），分别计算出a2,y2,a3,y3,.,直至最直至最后求得后求得yn-15）检验）检验yn是否为是否为an-1,an的概率中心，的概率中心，即即是否成立，或在允许的一定误差范是否成立，或在允许的一定误差范围内成立。围内成立。6）若步骤（）若步骤（5）满足，则过程结束，否则，重新选）满足，则过程结束，否则，重新选y0。实用化必须考虑的问题实用化必须考虑的问题代价问题代价问题-均匀量化均匀量化失真测度失真测度-符合主观特性符合主观特性量化噪声量化噪声-均方失真均方失真概率特性概率特性-近似测定近

17、似测定截止幅度截止幅度-过载失真过载失真,动态范围动态范围使用环境使用环境-带宽带宽,质量要求等质量要求等4.4矢量量化编码矢量量化编码w把多个信源符号联合起来形成多维矢量，再把多个信源符号联合起来形成多维矢量，再对矢量进行标量量化，量化级数可进一步减对矢量进行标量量化，量化级数可进一步减小，码率可进一步压缩。小，码率可进一步压缩。矢量量化矢量量化wLGB算法算法-最佳标量量化算法的推广最佳标量量化算法的推广w量化器输入集：X=X1，X2，XN，Xj=（xj1,xj2,xjk）wRk划分为J=2n个互不相交的子空间R1，R2，RJ,w子空间的质心Yi (码字或码矢)构成量化器的输出空间Y,Y=

18、Y1,Y2,YJ-码书w矢量量化实质上是判断输入Xj属于哪个子空间Ri,然后输出该子空间代表码字Yi：Yi=Q（X j）4.5语音压缩编码语音压缩编码w语音编码就是将模拟语音信号数字化，数字语音编码就是将模拟语音信号数字化，数字化之后可以作为数字信号传输、存储或处理，化之后可以作为数字信号传输、存储或处理，可以充分利用数字信号处理的各种技术。为可以充分利用数字信号处理的各种技术。为了减小存储空间或降低传输比特率节省带宽，了减小存储空间或降低传输比特率节省带宽，还需要对数字化之后的语音信号进行压缩编还需要对数字化之后的语音信号进行压缩编码，这就是语音压缩编码技术。码，这就是语音压缩编码技术。w语

19、音的压缩编码方法归纳起来可以分为三大语音的压缩编码方法归纳起来可以分为三大类：类：波形编码波形编码、参数编码参数编码和和混合编码混合编码。w波形编码波形编码比较简单，失真最小，方法简单，比较简单，失真最小，方法简单，但数码率比较高。但数码率比较高。w参数编码参数编码的编码速率可以很低，但音质较差，的编码速率可以很低，但音质较差，只能达到合成语音质量，其次是复杂度高。只能达到合成语音质量，其次是复杂度高。w混合编码混合编码吸收了波形编码和参数编码的优点，吸收了波形编码和参数编码的优点，从而在较低的比特率上获得较高的语音质量，从而在较低的比特率上获得较高的语音质量，当前受到人们较大的关注。当前受到

20、人们较大的关注。w语音压缩编码的主要技术：语音压缩编码的主要技术：1937年，年，A.H.Reeves提出提出PCM编码方法编码方法;1972年，年，CCITT确定确定64kb/s的的PCM语音编码语音编码G.711建议建议;1984年，通过了年，通过了ADPCM语音编码语音编码G.721建议建议;1992年，公布了年，公布了G.728建议（建议（LD-CELP）1995年，年，G.729建议（建议（SC-ACELP）国际标准）国际标准目前，语音压缩编码技术主要有两个努力方向：目前，语音压缩编码技术主要有两个努力方向：一个是中低速率的语音编码的实用化，及如何使一个是中低速率的语音编码的实用化，及如何使用化过程中进一步减低编码速率和提高其抗干扰、用化过程中进一步减低编码速率和提高其抗干扰、抗噪声能力；抗噪声能力；另一个是如何进一步的降低其编码速率，目前已另一个是如何进一步的降低其编码速率，目前已能在能在5kb/s-6kb/s的速率上获得高质量的重建语音，的速率上获得高质量的重建语音，下一个目标则是要在下一个目标则是要在4kb/s的速率上获得短延时、的速率上获得短延时、高质量的重建语音。高质量的重建语音。Shannon Th1与与Shannon Th3区别区别 无失真无失真限失真限失真R R(D)客观冗余客观冗余次要信息次要信息