中南大学信息论与编码第七章：限失真编码2.ppt

《中南大学信息论与编码第七章：限失真编码2.ppt》由会员分享，可在线阅读，更多相关《中南大学信息论与编码第七章：限失真编码2.ppt（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、7.4:7.4:限失真信源编码定理限失真信源编码定理1n限失真信源编码定理n限失真信源编码定理的证明n限失真信源编码定理的实用意义7.4:7.4:限失真信源编码定理限失真信源编码定理2n限失真信源编码定理n设R(D)为一离散无记忆平稳信源的信息率失真函数，并且有有限的失真测度。对于任意D0，0，0以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为:M=expnR(D)+而编码后码的平均失真度:d(C)D+如果用二元编码，R(D)取比特为单位，则上式M可写成:M=2nR(D)+7.4:7.4:限失真信源编码定理限失真信源编码定理3n定理解释：n对于任何失真度D0，只要码长n足够长，总

2、可以找到一种编码C，使编码后每个信源符号的信息传输率:R=logM/n=R(D)+即:RR(D)而码的平均失真度d(C)D。n在允许失真D的条件下，信源最小的、可达的信息传输率是信源的R(D)。7.4:7.4:限失真信源编码定理限失真信源编码定理4n限失真信源编码定理的证明限失真信源编码定理的证明n问题：问题：n设有达到设有达到R(D)的试验信道的试验信道p(v|u),要证明对于任意的要证明对于任意的RR(D)时，存在一种时，存在一种信息传输率为信息传输率为R的信源编码，其平均失真度的信源编码，其平均失真度D+n思路：思路：n产生码书产生码书n选取编译码方法选取编译码方法n计算失真度计算失真度

3、n方法：方法：n产生码书：在产生码书：在Vn空间随机抽取空间随机抽取M=2nR个随机序列个随机序列vn编码方法：若存在与信源序列编码方法：若存在与信源序列u构成构成失真典型序列失真典型序列对的序列对的序列v(),则编码则编码uv(),否则编码否则编码uv(1)n译码：再现译码：再现v()n失真度计算：在所有随机码书和失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真度空间统计平均的基础上计算平均失真度7.4:7.4:限失真信源编码定理限失真信源编码定理5n限失真信源编码定理的几点说明n只是一个存在性定理，没有构造方法n存在问题：n符合实际信源的R(D)函数计算相当困难n信源统计特

4、性的确切数学描述难得n符合主客观实际的失真测度难得nR(D)计算本身困难n即使求得了R(D)，还需研究最佳编码方法才能达到极限值R(D)。7.4:7.4:限失真信源编码定理限失真信源编码定理6n限失真信源编码定理的实用意义n如何进行限失真信源编码？n举例：nR（D）的实用意义n在允许一定失真的情况下，信源的R(D)函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。n举例：n二进制无记忆对称信源n编译码：无噪无损信道传输举例：结论nR=1/3（比特/信源符号）n该压缩编码方法下的信息传输率信息传输率nd(C)=1/4n该压缩编码方法下的平均失真nR(1/4)=1-H(1/4)=0.189(比特

5、/信源符号）n失真失真1/4下，最小的信息传输率下，最小的信息传输率R是是0.189(比特/信源符号）nR(1/4)Rn在1/4失真度下，该压缩编码方法不是最佳的，或该信源还可以压缩7.5:7.5:香农三大定理的关系和比较香农三大定理的关系和比较1无失真信源编码定理无失真信源编码定理限失真信源编码定理限失真信源编码定理信源冗余度压缩编码信源的熵压缩编码无失真、保熵有失真、熵压缩信源压缩的极限值：信源熵H(S)信源压缩的极限值：率失真函数R(D)存在性、构造性存在性定理7.4:7.4:香农三大定理的关系和比较香农三大定理的关系和比较2信道编码定理信道编码定理限失真信源编码定理限失真信源编码定理给

6、定信道特性p=p(y|x)给定信源p=p(u)及失真测度d(u,v)对于假设的信源p=p(x)对于假设的试验信道p=p(v|u)寻求最优的信道编码C2寻求最优的限失真编码C3产生的误码率pe产生的最大失真D信道编码存在的条件RR(D)信道容量公式率失真函数公式存在符合条件的C2,使pe0存在符合条件的C3，使D量化它包括标量和矢量两种，这是重点讲标量量化1标量量化适用范围：连续无记忆信源2标量量化的概念：连续信号量化K个若干可能离散值 举例：A/D采集版量化u量化概念量化概念uA/D中的量中的量化化u量化过程示量化过程示意图意图u一个量化实一个量化实例例 量化处理是使数据比特率下降的一个强有力

7、的措施。量化输入值动态范围很大，需要以多比特数表示一个数值，量化输出只能取有限个整数，称量化级。每个量化输入被强迫归一到与其接近的某个输出，即量化到某个级。量化处理总是把一批输入量化到一个输出级上，所以量化是个多对一的处理过程，量化中由信息丢失，或者说，会引起量化误差（量化噪声）。模拟量经过A/D转换，得到二进制码的过程，就是脉冲编码调制（PCM）编码过程，也称PCM编码。A/D转换中的采样和量化分别是对时间和模拟量进行数字化的过程。量化n量化概念量化概念nA/D中的量中的量化化n量化过程示量化过程示意图意图n一个量化实一个量化实例例输入输入输出输出阈值阈值代表级代表级量化曲线量化曲线量化n量

8、化概念量化概念nA/D中的量中的量化化n量化过程量化过程示意图示意图n一个量化实一个量化实例例 24位标准图像 8位（256色）标准图像量化n量化概念量化概念nA/D中的量中的量化化n量化过程示量化过程示意图意图n一个量化实一个量化实例例预测编码方法基本原理 从相邻数据之间有很强的相关性特点考虑，可以利用前面已经出现的数值，进行预测（估计），得到一个预测值，将实际值与预测值求差，对这个差值信号进行编码、传送，这种编码方法即成为预测编码方法。预测编码最佳的预测编码：en=yn-un 最小有三种不同的标准：最小均方误差；最小平均绝对误差；最大零误差概率；DPCM基本原理转入f(i,j)e(i,j)

9、量化器预测器预测器编码器解码器信道传输e(i,j)f(i,j)输出f(i,j)f(i,j)f(i,j)f(i,j)DPCM编、解码原理图预测编码 不带量化器的DPCM线性预测编码，属于无失真编码系统；带有量化器的DPCM线性预测编码，属于有失真编码系统。DPCM线性预测系统是一个负反馈系统，对误差有收敛性。发送端与接收端之间的误差等于量化误差。最佳量化器的设计，可利用人眼的视觉可见度阈值和视觉掩蔽效应等生理特征，来确定量化器的级数和步距，使量化误差总处于人眼难以觉察的范围内，达到主观评定准则的要求。最佳量化预测编码自适应预测编码ADPCM 自适应技术的概念是：预测器的预测系数和量化器的量化参数

10、，能够根据图像的局部区域分布特点自动调整。实践证明，ADPCM编、解码系统与DPCM编、解码系统相比，不仅能改善恢复图像的评测质量和视觉效果，同时还能进一步压缩数据。ADPCM系统包括自适应预测，即预测系数的自适应调整和自适应量化，即量化器参数的自适应调整两部分内容。预测编码变换编码原理n定义：将空域图像信号映射变换到另一个正交矢量空间（变换域或频域），产生一批变换系数，对系数进行编码处理n原理：n信号在时域描述时信息冗余度大，变换后，参数独立，去掉相关性，减少冗余，数据量大大减少。n利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。变换原理在数学上的解释信号在时域描述时信息

11、冗余度大，变换后，参数独立，数据量减少。空间内的变换就是寻找一组新的规范正交基，求去原向量在新的正交基上的系数。利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。用有限维线性组合去逼近原向量，投影定理。最佳正交变换K-L变换X1X2Y1Y2对相关向量求协方差矩阵，按照特征值的大小排列特征向量。变换域中能量集中到少数几个变换系数上（特征值大的特征向量上的系数），编码效率最高，误差最小。K-L变换图示变换图示3）标量量化涉及几个性解指标 P243信息速率RK平均失真DK量化器输出最大速率Mk=log2k显然：取不同的TK和qk,量化将有不同的RK，DK，MKTK:门限电平（k+1

12、个）qk:电平值（k个）4）均匀量化概念：量化间隔相等最优均匀量化：使DK达到最小均匀量化 例：对高斯信源 即:Rk=1/4+1/2log(Pu/Dk)问题：均匀量化不是DK最小的一个、提出一种Uoyd-Max算法5）Lioyd-Max算法思想：反复对TK、qk在使DK最小的两个必要条件进行迭代（必要条件为：P235）Tk-1=1/2(qk-1+qk)(u-qk)p(u)du=0 则求出Tkqk.6)实例：（高斯信源）表6-2（P236）举例说明 输出电平数K148162432最优均匀量化10.11880.037440.011540.0057470.003490L-M算法10.11750.034540.0094970.0043670.002499说法：随k增加，L一M算法明显比均匀量化好，对无记忆高斯连续信源。标量压缩相当有效，矢量量化性质同标量量化）（略）变换编码：它是熵压缩编码中的一种，还一种是什么（矢量量化）思想：（P243）特点：多了两个限加：