数字图像处理 第10章 静止图像编码 北邮出版社 2008 10.ppt

数字图像处理与图像通信数字图像处理与图像通信朱秀昌朱秀昌 刘刘 峰峰 胡胡 栋栋北京邮电大学出版社北京邮电大学出版社1第第1010章章 静止图像编码静止图像编码v10.1 10.1 方块编码方块编码v10.2 10.2 比特面编码比特面编码v10.3 10.3 静止图像压缩标准静止图像压缩标准v10.4 10.4 二值图像编码方法简介二值图像编码方法简介2静止图像：静止图像：内容本身是静止的图像内容本身是静止的图像 某一时刻某一时刻“凝固凝固”的图像的图像静止图像编码的要求：静止图像编码的要求：v清晰度：与活动图像编码传输相比，要求更高的清晰度；清晰度：与活动图像编码传输相比，要求更高的清晰度；v逐渐浮现的显示方式：先轮廓，后细节；逐渐浮现的显示方式：先轮廓，后细节；v抗干扰：编码与调制都要有较强的抗干扰能力；抗干扰：编码与调制都要有较强的抗干扰能力；v编码方式：由于实时性要求不高，可采用复杂的编码方式。编码方式：由于实时性要求不高，可采用复杂的编码方式。310.1 10.1 方块编码方块编码v10.1.1 基本编码方法：基本编码方法：子块大小子块大小:m=NN（即子块中共有即子块中共有m个像素）个像素）第第i个像素为个像素为Pi，其灰度其灰度Xi两个代表性亮度为两个代表性亮度为a0、a1称为亮度级分量称为亮度级分量亮度阈值亮度阈值Xt 若若 XiXt，则用，则用a1代替原来的灰度（即代替原来的灰度（即Xi）。）。若若 XiXt，则用，则用a0代替原来的灰度（即代替原来的灰度（即Xi）。）。4 Yi：编码后的亮度编码后的亮度 i：是一个二元码，指明像素：是一个二元码，指明像素Pi编码后属于编码后属于a0或或a1 则：则：其中其中 显然：分块编码有失真。显然：分块编码有失真。5 经上述代替后，可以用经上述代替后，可以用a0,a1和和1,m 的组合表示编码后子块的组合表示编码后子块像素的灰度像素的灰度Y1、Y2Ym。a0,a1具有与亮度值相同的等级，具有与亮度值相同的等级，P bit(一般一般68bit)表示。表示。1,m 是一个是一个m bit 的比特面。的比特面。则编码后每个像素的平均比特数为：则编码后每个像素的平均比特数为：含义：含义：可见，可见，m 越大，越大，B 越小，但失真也越严重。越小，但失真也越严重。原因：原因：这是因为子块尺寸越大，子块内像素的相关性越小，用两个灰度这是因为子块尺寸越大，子块内像素的相关性越小，用两个灰度作近似，逼真度就越差。作近似，逼真度就越差。B=(m+2P)/m=1+2P/m6v 10.1.2 参数的选择参数的选择问题的提出：问题的提出：当子块大小当子块大小m 一定时，一定时，a0、a1、Xt 该如何确定？该如何确定？解决方法：解决方法：方法方法1：保持一阶矩，二阶矩的参数选择：保持一阶矩，二阶矩的参数选择 方法方法2：均方误差最小的参数选择。：均方误差最小的参数选择。7v 10.1.3 进一步降低数码率的方法进一步降低数码率的方法选择合适的传输用的亮度级分量，并采用成组编码的方式，从而降选择合适的传输用的亮度级分量，并采用成组编码的方式，从而降低传输码率。低传输码率。通过比特面的再划分，降低传输数码率通过比特面的再划分，降低传输数码率4 44 4的子块比特面分为的子块比特面分为4 4个个2 22 2的次比特面。此时次比特面全的次比特面。此时次比特面全0 0或全或全1 1的相对次数要高。的相对次数要高。对高次数（大概率）的次比特面分配较少码字。对高次数（大概率）的次比特面分配较少码字。对低次数（小概率）的次比特面分配较长码字。对低次数（小概率）的次比特面分配较长码字。810.2 10.2 比特面编码比特面编码比特面编码的含义：比特面编码的含义：把对灰度图像的编码转化为对各个比特面的二值图像的编码。把对灰度图像的编码转化为对各个比特面的二值图像的编码。在二值编码前，通常将每个比特面分为不重叠的大小为在二值编码前，通常将每个比特面分为不重叠的大小为mn的子块。的子块。每像素每像素8bit8bit表示灰度图像，共有表示灰度图像，共有8 8个比特面。个比特面。（思考：如果每像素（思考：如果每像素7bit7bit表示，则有几个比特面？）表示，则有几个比特面？）比特面编码应用：逐渐浮现。比特面编码应用：逐渐浮现。9比特面编码的常用措施比特面编码的常用措施1.次最佳方块编码（无失真）次最佳方块编码（无失真）对于对于mn大小的大小的 子块，全子块，全“0”和和“1”的概率较大，而且，全的概率较大，而且，全“0”的概率更大。因此分配码字时：的概率更大。因此分配码字时：l 全全“0”子块子块 “0”l 全全“1”“11”l 其它其它 “10”+“XXX”10平均码长平均码长L：用用P（0；n,m）和）和P（1；n,m）表示）表示mn个全个全“0”和全和全“1”的概率，的概率，则：则：L=P（0；n,m）+2P（1；n,m）+(2+nm)1-P（0；n,m）-P（1；n,m）压缩比压缩比 从上式可以看出：从上式可以看出：当当m、n 一定时，一定时，P(0；n,m)和和P(1；n,m)越大，越大，Cr 越大。越大。即全即全“0”和全和全“1”子块越多，压缩比越大。子块越多，压缩比越大。112.2.用格雷码表示像素亮度（无失真）用格雷码表示像素亮度（无失真）格雷码特点：格雷码特点：任意相邻的十进制表示的两个数，其格雷码只相差任意相邻的十进制表示的两个数，其格雷码只相差1位，且最大数与位，且最大数与最小数之间也只是相差一位。最小数之间也只是相差一位。举例：举例：格雷码格雷码 自然二进制自然二进制 7 7 01000100 0111 0111 8 8 11001100 1000 1000优点：优点：一般图像相邻像素的灰度相差不大，如果用自然二进制来表示一般图像相邻像素的灰度相差不大，如果用自然二进制来表示其亮度，码字有可能会相差多个比特位，形成的比特面缺乏相关性。而其亮度，码字有可能会相差多个比特位，形成的比特面缺乏相关性。而用格雷码表示，相差不大，比特面上全用格雷码表示，相差不大，比特面上全“0”和全和全“1”的面积也会增大，的面积也会增大，即即P（0；n,m）和）和 P（1；n,m）增大，压缩比也随之增大。）增大，压缩比也随之增大。123.3.视觉心里编码（有失真）视觉心里编码（有失真）允许恢复图像有一定失真，只要视觉感觉不出；允许恢复图像有一定失真，只要视觉感觉不出；具体做法：具体做法：l子块内不超过子块内不超过k k个个“1 1”的子块视为全的子块视为全“0 0”子块。子块。l子块内不超过子块内不超过k k个个“0 0”的子块视为全的子块视为全“1 1”子块。子块。通过上述做法，等效于让全通过上述做法，等效于让全“0 0”和全和全“1 1”的概率变大。的概率变大。4.4.子块尺寸的选择子块尺寸的选择 n=m=4 较合适较合适5.5.逐渐浮现的编码传输逐渐浮现的编码传输 将图像从高到低次序传送比特面，则为由粗到细的显示图像。将图像从高到低次序传送比特面，则为由粗到细的显示图像。可用于窄带传输。可用于窄带传输。1310.3 10.3 亚抽样与内插亚抽样与内插 什么是亚抽样？什么是亚抽样？一般地，在数字图像系统中，若抽样的频率低于奈奎斯特频率，一般地，在数字图像系统中，若抽样的频率低于奈奎斯特频率，则称之为亚抽样。亚抽样能直接降低图像的数据量，是一种简单实用则称之为亚抽样。亚抽样能直接降低图像的数据量，是一种简单实用的图像压缩方法，并且得到广泛的应用。的图像压缩方法，并且得到广泛的应用。什么是内插？什么是内插？从亚抽样图像重建原尺寸大小的图像时采用相反的处理过程，从亚抽样图像重建原尺寸大小的图像时采用相反的处理过程，即用一定的方法重构在抽样间丢掉的数据，称之为内插。即用一定的方法重构在抽样间丢掉的数据，称之为内插。由于总体抽样频率低于奈奎斯特频率，因此经过亚抽样内插后由于总体抽样频率低于奈奎斯特频率，因此经过亚抽样内插后恢复的图像和原图像相比会有一定的失真。恢复的图像和原图像相比会有一定的失真。141 1：2 2 的亚抽样，其抽样结构为交叉型，如图的亚抽样，其抽样结构为交叉型，如图10.6(a)10.6(a)所示。所示。内插公式：内插公式：电视中的亚抽样亚场抽样方式，如图电视中的亚抽样亚场抽样方式，如图10.6(b)10.6(b)。x0abcd：抽样点：抽样点：内插点：内插点(a)奇场扫奇场扫描行描行偶场扫偶场扫描行描行(b)图图10.6 10.6 亚抽样及内插示例亚抽样及内插示例 (a)1/2(a)1/2抽样结构及内插抽样结构及内插 (b)(b)一帧电视信号位置示意一帧电视信号位置示意1510.410.4 具有多种表示能力的编码具有多种表示能力的编码 根据显示效果的不同，编码提供的表示能力主要分为两大类型：根据显示效果的不同，编码提供的表示能力主要分为两大类型：一类是在保持图像尺寸不变的情况下，提供质量由粗到细的编码，一类是在保持图像尺寸不变的情况下，提供质量由粗到细的编码，即所谓逐渐显示或渐进显示的编码；即所谓逐渐显示或渐进显示的编码；另一类是编码重建的图像由小到大、从而提供细节逐步增加的编另一类是编码重建的图像由小到大、从而提供细节逐步增加的编码，即分等级、多分辨率编码。码，即分等级、多分辨率编码。统称为逐渐浮现的编码。此外，还可以把两种方法组合起来，实统称为逐渐浮现的编码。此外，还可以把两种方法组合起来，实现更多的质量控制等级。现更多的质量控制等级。16v10.4.1 四杈树编码的逐渐浮现方式四杈树编码的逐渐浮现方式1）图像的四杈树表示）图像的四杈树表示 如图如图10.7(b)，考虑图像中的第一个，考虑图像中的第一个22子块，子块，f0,f1,f2,f3 为其四个亮度值，为其四个亮度值，由下式建立由下式建立 4 个新值：个新值：（均值）（均值）(10.16)j=1,2,3 （差值）（差值）(10.17)01230级级1级级2级级00 01 02 0330 31 32 33000102031230313233图图10.710.7 四杈树及其对应的图像方阵四杈树及其对应的图像方阵 (a)(a)四杈树四杈树 (b)(b)图像方阵图像方阵 17 遍历图像的所有遍历图像的所有22子块，如图子块，如图10.8，并把它们构成的两个数组分别记为均值数组并把它们构成的两个数组分别记为均值数组 和差值数组和差值数组 ，则其元素个数分别是则其元素个数分别是1/4(2n2n)和和3/4(2n2n)，元素总数保持不变。，元素总数保持不变。这一过程一直进行下去，最后由这一过程一直进行下去，最后由4个均值个均值 I1 推出其上一层的推出其上一层的 I0和和D0。I0为整幅图像的均值，为整幅图像的均值，D0含含3个差值。个差值。第第n层（原图像）层（原图像）第第n-1层层第第n-2层层g1 g2 g3 g5 g6 g7I0(g0)I4(g4)Dn-1In-1图图 10.810.8 四杈树的建立四杈树的建立182）由四杈树获得逐渐浮现的图像）由四杈树获得逐渐浮现的图像 如何从如何从I0，D0,D1,.,Dn-1获得逐渐浮现的图像显示？获得逐渐浮现的图像显示？1）当接收到）当接收到I0时，接收端可以在时，接收端可以在 NN(N=2n)大小的整幅画面上显示大小的整幅画面上显示I0；2）当收到）当收到D0后，根据后，根据(10.18)和和(10.19)式，可以得到式，可以得到I1，它包括，它包括4个值，个值，显示的精度增加了一倍。显示的精度增加了一倍。3）随着）随着D1,D2,.的接收，显示的画面将越来越清晰，直至原图像，从而的接收，显示的画面将越来越清晰，直至原图像，从而实现了逐渐浮现的显示目的。实现了逐渐浮现的显示目的。假如在传送过程中，接收端收到某一假如在传送过程中，接收端收到某一Di 时清晰度已足够，则可通知不再发时清晰度已足够，则可通知不再发送后续的差值送后续的差值Di+1,.,Dn-1，这就减少了传输数据率。，这就减少了传输数据率。19v10.4.2 金字塔编码基本原理金字塔编码基本原理金字塔编码：金字塔编码：图像四杈树表示中，其相邻层次之间图像尺寸在水平图像四杈树表示中，其相邻层次之间图像尺寸在水平和垂直方向都相差和垂直方向都相差2 2倍，如图倍，如图10.9(a)10.9(a)表示。表示。金字塔编码的实现：金字塔编码的实现：一般情况下，金字塔编码的最高层是具有一定一般情况下，金字塔编码的最高层是具有一定分辨率的显示图像，如图分辨率的显示图像，如图10.9(b)10.9(b)。可通过。可通过1 1：2 2的亚抽样实现。的亚抽样实现。塔顶塔顶塔底（原图像）塔底（原图像）塔顶（低分辨率图像）塔顶（低分辨率图像）塔底（原图像）塔底（原图像）(a)(a)四杈树的层次四杈树的层次 (b)(b)一般金字塔的层次一般金字塔的层次图图 10.9 10.9 金字塔编码的图像层次关系示意图金字塔编码的图像层次关系示意图20v10.4.3 比特面传输的逐渐浮现方式比特面传输的逐渐浮现方式发送端：将灰度图像按从最高位发送端：将灰度图像按从最高位(MSB)到最低位到最低位(LSB)的次序依的次序依次传送比特面，如图次传送比特面，如图10.10。接受端：接收端将收到的各比特面依次累加后输出。接受端：接收端将收到的各比特面依次累加后输出。结果：可以得到由粗到细的显示图像。结果：可以得到由粗到细的显示图像。MSBLSBt图图10.1010.10 比特面传输的逐渐浮现方式比特面传输的逐渐浮现方式2110.5 JPEG10.5 JPEG与与JPEG2000JPEG2000JPEG：Joint photographic experts group 联合图联合图 片专家组的简称。片专家组的简称。ISO ：International organization for standardizationIEC ：International electrotechnical commissionITU-T：International telecommunication union Telecommunication standardization sectorCCITT：ITU-T前身，前身，Consultative committee for international telegraphy and telephone 国际电报电话委员会国际电报电话委员会IEEE：Institute ofelectrical and electronic engineers 电气与电子工程师协会电气与电子工程师协会常见的国际组织缩写：常见的国际组织缩写：22 1）JPEG基本系统基本系统 JPEG用于连续变化的静止图像，包括灰度等级和颜色的连续变化。用于连续变化的静止图像，包括灰度等级和颜色的连续变化。JPEG 有两种压缩方法：有两种压缩方法：有损压缩：以有损压缩：以DCT为基础为基础 无损压缩：预测技术为基础无损压缩：预测技术为基础 JPEG根据不同的应用场合对图像的压缩要求的不同，分为：根据不同的应用场合对图像的压缩要求的不同，分为：l 1基本系统基本系统 l 2.扩展系统扩展系统 l 3.信息保持型系统信息保持型系统 v10.5.1 JPEG标准标准23所有符合所有符合JPEG建议的编解码器都必须支持基本系统。建议的编解码器都必须支持基本系统。基本系统和扩展系统都是基于基本系统和扩展系统都是基于DCT的。的。信息保持型系统就是无损压缩。信息保持型系统就是无损压缩。JPEG标准四种工作模式：标准四种工作模式：基于基于DCT的顺序工作模式的顺序工作模式 基于基于DCT的渐进工作模式的渐进工作模式 无损模式无损模式 分等级模式（分层模式）分等级模式（分层模式）24编码过程：编码过程：将图像分成将图像分成88的子块。的子块。DCT：低频在左上角，主要信息。：低频在左上角，主要信息。量化：量化：l Y和和UV分量各有一张量化表，左上角系数小，右下角系数大，且分量各有一张量化表，左上角系数小，右下角系数大，且 由于人眼对由于人眼对Y比对比对UV更敏感，所以更敏感，所以Y量化等级较多，而量化等级较多，而UV较少。较少。l用用DCT系数除以表中相应系数。系数除以表中相应系数。l效果：这样就达到了保留低频信息，去除高频信息的目的，这也效果：这样就达到了保留低频信息，去除高频信息的目的，这也是信息损失的主要原因。是信息损失的主要原因。25 编码：编码：（1）分别对分别对DC系数和系数和AC系数进行处理处理。系数进行处理处理。DC系数和邻近于子块的系数和邻近于子块的DC系数用差分编码：系数用差分编码：DIFF=DCiDCi-1其它其它63个个AC系数系数“之之”字形（字形（Zig-Zag）扫描。）扫描。（2 2）对）对DCDC系数的差分值和系数的差分值和Zig-ZagZig-Zag后后ACAC系数再分两步骤编码。系数再分两步骤编码。中间熵编码，也称游程长度编码。中间熵编码，也称游程长度编码。可变长熵编码可变长熵编码 注：常用的注：常用的有有huffman编编码和算术编码码和算术编码：对亮度、色度、直流系数、交流系数用不同的码表。对亮度、色度、直流系数、交流系数用不同的码表。解码过程：解码过程：跟编码相反。跟编码相反。JPEGJPEG建议是一种指导性的编码，编码时可采用推荐的量化表和码表，也建议是一种指导性的编码，编码时可采用推荐的量化表和码表，也可以根据具体应用场合自行决定。可以根据具体应用场合自行决定。262）JPEG中的逐渐浮现编码中的逐渐浮现编码 频率选择法：也称频谱选择法。频率选择法：也称频谱选择法。将对将对DCT系数进行若干次扫描；系数进行若干次扫描；根据根据DCT系数的重要性先处理低频子带再依次处理高频子带。系数的重要性先处理低频子带再依次处理高频子带。连续近似法：连续近似法：通过若干次扫描对通过若干次扫描对DCT系数进行系数进行VLC编码；编码；每次扫描中只对其若干有效比特位进行。每次扫描中只对其若干有效比特位进行。JPEG中扩展系统中提供的分等级编码是一种金字塔编码方式。中扩展系统中提供的分等级编码是一种金字塔编码方式。27v 10.5.2 JPEG2000 产生原因产生原因主要组成部分：主要组成部分：6 6个部分。个部分。1.1.输入输入 2.2.预处理预处理 3.DWT 3.DWT 4.4.量化量化5.5.熵编码熵编码6.6.码流组织码流组织28 分成子带编码的优点：分成子带编码的优点：通过频带分裂，频带带宽变窄，可以对各子带更高效地分别编通过频带分裂，频带带宽变窄，可以对各子带更高效地分别编 码，减少硬件实现难度。码，减少硬件实现难度。一个子带内得噪声（失真）在解码后只局限于该子带，不会一个子带内得噪声（失真）在解码后只局限于该子带，不会 散布影响到其他子带。散布影响到其他子带。二维二维DWTDWT可以用一维可以用一维DWTDWT分离得方式进行：分离得方式进行：先用一维分析滤波器组对图像进行水品（行）方向滤波先用一维分析滤波器组对图像进行水品（行）方向滤波再对每个输出用同样得滤波器组进行垂直（列）方向滤波再对每个输出用同样得滤波器组进行垂直（列）方向滤波2910.6 10.6 二值图像编码方法简介二值图像编码方法简介二值图像的定义：二值图像的定义：只有两个灰度级，只有两个灰度级，“黑黑”和和“白白”。每像素可以用一个。每像素可以用一个bitbit表示。表示。二值图像直接编码：二值图像直接编码：即用即用“1 1”代表代表“黑黑”，“0 0”代表代表“白白”。此时代表一帧图像的码元数等于该图像的像素数。此时代表一帧图像的码元数等于该图像的像素数。二值图像压缩编码方法：二值图像压缩编码方法：为节省传输时间，减少存储空间，必须有压缩编码方法。为节省传输时间，减少存储空间，必须有压缩编码方法。30v 10.6.1 二值图像的方块编码二值图像的方块编码 跳过白色块编码：跳过白色块编码：(white block skip，WBS)基本思想基本思想具体方法：具体方法：对全为白的子块用对全为白的子块用 1比特码字比特码字“0”表示，这是因为它出现的概率大，表示，这是因为它出现的概率大，因而分配最短的码字；因而分配最短的码字；对至少有一个黑色像素块用对至少有一个黑色像素块用N+1比特的码字表示，其中第比特的码字表示，其中第 1 个比特个比特为前缀码为前缀码“1”，其余，其余N个比特采用直接编码（白为个比特采用直接编码（白为0，黑为，黑为1）。）。平均码长的计算平均码长的计算WBS的优缺点的优缺点31v 10.6.2 游程长度编码游程长度编码RLC基本思想：即游程长度编码定义基本思想：即游程长度编码定义混合编码：游程长度编码的信息符号集由长度为混合编码：游程长度编码的信息符号集由长度为1，2，N等各种等各种游程长度组成，其中游程长度组成，其中N为一条扫描线上的像素总数。不区分黑、白游为一条扫描线上的像素总数。不区分黑、白游程，仅根据游程长度出现的概率进行编码。程，仅根据游程长度出现的概率进行编码。（游程长度的熵、平均游长、平均每个像素的熵）（游程长度的熵、平均游长、平均每个像素的熵）复合编码：将黑、白游程分别进行编码，即区分黑、白游程。复合编码：将黑、白游程分别进行编码，即区分黑、白游程。32v10.6.3 JBIG标准标准JBIG：Joint bi-level image expert group 联合二值图像专家组联合二值图像专家组JPEG：Joint photographic experts group 联合图片专家组联合图片专家组JBIG优于优于ITU的二值图像编码标准的二值图像编码标准 G3和和G41）编码模式）编码模式JBIG标准定义了三种编码模式：标准定义了三种编码模式：渐进的编码模式（渐进的编码模式（Progressive coding）；）；兼容的渐进顺序编码模式兼容的渐进顺序编码模式(Compatible progressive sequential coding)单层编码模式（单层编码模式（Single-layer coding）332）编解码基本原理框图）编解码基本原理框图 图图10.19(a)是编码功能模块图，由是编码功能模块图，由D个差分层编码器和一个底层编码个差分层编码器和一个底层编码器组成的。器组成的。ID：第：第D层图像数据，层图像数据，CS,D：第：第D层第层第S条带编码数据。条带编码数据。图图10.19(b)是解码功能模块图。是解码功能模块图。分分辨辨率率降降低低和和差分层编码差分层编码分分辨辨率率降降低低和和差分层编码差分层编码 最底层编码最底层编码IDID1ID2I0C0，0C1,0CS-1,0C0，D-1C1,D-1CS-1,D-1C0，DC1,DCS-1,D（a a）差分层解码差分层解码 差分层解码差分层解码 最底层解码最底层解码IDID1ID2I0C0，0C1,0CS-1,0C0，D-1C1,D-1CS-1,D-1C0，DC1,DCS-1,D（b b）图图10.19 JBIG10.19 JBIG编码编码(a)(a)和解码和解码(b)(b)功能模块图功能模块图34