第四章 数字电视压缩原理精选文档.ppt

《第四章 数字电视压缩原理精选文档.ppt》由会员分享，可在线阅读，更多相关《第四章 数字电视压缩原理精选文档.ppt（70页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章 数字电视压缩原理本讲稿第一页，共七十页一一 数字电视信号压缩的必要性和可能性数字电视信号压缩的必要性和可能性1.1 压缩的必要性：压缩的必要性：电视信号数字化后：数码率高，数据量大。电视信号数字化后：数码率高，数据量大。例如：例如：4：2：2编码、编码、8比特量化的比特量化的SDTV信号，其数码信号，其数码率为率为216 Mbps。若按每。若按每2bit构成一个周期，则传输这样一路构成一个周期，则传输这样一路数字电视信号需要有数字电视信号需要有108MHz的通道带宽。的通道带宽。4：2：2编码、编码、8比特量化时，一帧比特量化时，一帧SDTV图像的数据量图像的数据量约为约为8.6Mb，

2、要记录，要记录10分钟的电视节目就需要分钟的电视节目就需要130Gb的存的存储器容量。储器容量。综上所述，要实现数字电视信号的有效存储和传输，就需综上所述，要实现数字电视信号的有效存储和传输，就需要采取措施降低其数据量和数码率要采取措施降低其数据量和数码率本讲稿第二页，共七十页1.2 压缩的可能性压缩的可能性压缩过程：去除图像中与信息无关或对图像质量影响不压缩过程：去除图像中与信息无关或对图像质量影响不大的部分，即冗余部分。电视信号中存在很多这样的冗大的部分，即冗余部分。电视信号中存在很多这样的冗余部分，这就为压缩提供了可能性。余部分，这就为压缩提供了可能性。电视信号的冗余性表现在以下几个方面

3、：电视信号的冗余性表现在以下几个方面：空间相关冗余空间相关冗余 时间相关冗余时间相关冗余 视觉冗余视觉冗余 熵冗余熵冗余本讲稿第三页，共七十页空间相关冗余空间相关冗余水平相关水平相关垂直相关垂直相关本讲稿第四页，共七十页时间相关冗余（帧间相关冗余）时间相关冗余（帧间相关冗余）tt1tt2本讲稿第五页，共七十页人眼视觉冗余人眼视觉冗余人眼视觉特性：人眼视觉特性：对静止或缓慢运动图像的灰度等级及图像细节的分辨力对静止或缓慢运动图像的灰度等级及图像细节的分辨力高高对快速运动图像的灰度等级及图像细节的分辨力低对快速运动图像的灰度等级及图像细节的分辨力低观察大面积图像时，对灰度等级分辨力高，对细节分辨观

4、察大面积图像时，对灰度等级分辨力高，对细节分辨力低力低观察细节时，对灰度等级分辨力低，对细节分辨力高观察细节时，对灰度等级分辨力低，对细节分辨力高本讲稿第六页，共七十页利用人眼的视觉特性利用人眼的视觉特性对静止或缓慢运动图像：对静止或缓慢运动图像：减小帧率减小帧率在图像细节部分选择较高的取样频率和较低的量化在图像细节部分选择较高的取样频率和较低的量化比特数比特数在大面积像块区域选择较低的取样频率和较高的量在大面积像块区域选择较低的取样频率和较高的量化比特数化比特数对快速运动图像：对快速运动图像：提高帧率提高帧率 降低取样频率和量化比特数降低取样频率和量化比特数本讲稿第七页，共七十页自信息量自信

5、息量定义：指某个随机事件（或消息）发生后所提供的信息数定义：指某个随机事件（或消息）发生后所提供的信息数量的多少量的多少任意随机事件的自信息量为该事件发生概率的倒数的对任意随机事件的自信息量为该事件发生概率的倒数的对数。数。熵冗余熵冗余本讲稿第八页，共七十页信源熵（信源熵（信源每个符号的信源每个符号的平均信息量）：平均信息量）：P(xi)是符号是符号xi出现的概率出现的概率平均码长（每个符号的平均编码长度）：平均码长（每个符号的平均编码长度）：熵冗余平均码长信息熵熵冗余平均码长信息熵li 是符号是符号xi 的编码码长的编码码长本讲稿第九页，共七十页例如：例如：某一图像总共可出现某一图像总共可出

6、现4 4个灰度级，对每个灰度级进行二进制定长个灰度级，对每个灰度级进行二进制定长编码时，码长为编码时，码长为2 2比特，即比特，即 L L 2bit/2bit/符号符号。当每个灰度级出现的概率相等，即都为当每个灰度级出现的概率相等，即都为1/41/4时：时：当每个灰度级出现的概率不相等时：当每个灰度级出现的概率不相等时：设灰度级设灰度级1 14 4的概率分别为的概率分别为1/81/8、3/83/8、3/83/8、1/81/8，熵冗余熵冗余L H 21.810.19 bit/符号符号熵冗余熵冗余 L H 220 bit/符号符号本讲稿第十页，共七十页若采用变长编码方式，对概率大的符号赋予短码，对

7、概率小的符若采用变长编码方式，对概率大的符号赋予短码，对概率小的符号赋予长码，则可降低平均码长号赋予长码，则可降低平均码长L L熵冗余熵冗余1.8751.810.065 bit/符号符号例如，灰度级例如，灰度级1 3/8 11 3/8 1 灰度级灰度级2 3/8 012 3/8 01 灰度级灰度级3 1/8 0013 1/8 001 灰度级灰度级4 1/8 0004 1/8 000所以，采用变长编码可降低信源熵冗余所以，采用变长编码可降低信源熵冗余本讲稿第十一页，共七十页二二 压缩编码方式压缩编码方式2.1 压缩方式分类压缩方式分类按无损压缩和有损压缩进行分类：按无损压缩和有损压缩进行分类：无

8、损压缩编码、有损压缩编码无损压缩编码、有损压缩编码按帧内压缩和帧间压缩进行分类：按帧内压缩和帧间压缩进行分类：帧内压缩编码、帧间压缩编码帧内压缩编码、帧间压缩编码按压缩编码原理进行分类：按压缩编码原理进行分类：预测编码、变换编码、熵编码预测编码、变换编码、熵编码本讲稿第十二页，共七十页2.2 预测编码预测编码2.2.1 预测编码的基本原理预测编码的基本原理预测编码传送的不是实际像素值，而是实际值与其预测值预测编码传送的不是实际像素值，而是实际值与其预测值之间的差值，即预测误差。之间的差值，即预测误差。像素的预测值由其在时间和空间上相邻的若干个像素的线像素的预测值由其在时间和空间上相邻的若干个像

9、素的线性组合产生，它反映了在预测区域内各像素的共性部分，性组合产生，它反映了在预测区域内各像素的共性部分，因此用像素的实际值减去其预测值就可基本去除像素间的因此用像素的实际值减去其预测值就可基本去除像素间的相关性。相关性。本讲稿第十三页，共七十页预测器预测器enXn预测器预测器Xnenen量化器量化器编码器编码器传输通道传输通道解码器解码器输入输入输出输出en en x Xn xXn en Xn x若不考虑量化器的影响，则有若不考虑量化器的影响，则有Xn Xn（无损压缩）（无损压缩）x：量化误差：量化误差本讲稿第十四页，共七十页预测编码的压缩效果取决于预测器的预测精度，精度越预测编码的压缩效果

10、取决于预测器的预测精度，精度越高，预测误差越小，量化时所需的量化比特数就越少，高，预测误差越小，量化时所需的量化比特数就越少，压缩率也就越高。压缩率也就越高。一般来说，参与预测的像素数越多，预测值就越精确，一般来说，参与预测的像素数越多，预测值就越精确，但同时预测器电路组成也就越复杂。但同时预测器电路组成也就越复杂。利用相关像素值利用相关像素值x x1 1、x x2 2 x xn-1n-1来预测当前像素值：来预测当前像素值：a1、a2an-1称为相关系数，且满足：称为相关系数，且满足：本讲稿第十五页，共七十页2.2.2 帧内预测编码帧内预测编码X1X2X3X4X5X6X7上一行相隔行当前行当前

11、像素a6a4a3a2D6D4D3D2输入由距由距X7最近的四个像素最近的四个像素X6、X4、X3、X2参与对参与对X7的预测。的预测。相关系数为：相关系数为：a61/2、a4 a21/8、a31/4，则：，则：1/2 X6 1/8 X4 1/4 X3 1/8 X2D6TS（TS为取样周期为取样周期）D4THTS（TH为行周期为行周期）D3THD2THTS本讲稿第十六页，共七十页2.2.3 帧间预测编码帧间预测编码帧存储器帧存储器Xnenen量化器量化器编码器编码器输入输入输出输出本讲稿第十七页，共七十页2.3 变换编码变换编码2.3.1 变换编码基本原理变换编码基本原理像素块化传输通道熵解码输

12、入输出发端收端熵编码量化器反量化器正交变换正交反变换通过一种线性运算关系将空间域的图像信号变换到变通过一种线性运算关系将空间域的图像信号变换到变换域或频率域的正交矢量空间，然后进行编码。换域或频率域的正交矢量空间，然后进行编码。本讲稿第十八页，共七十页变换编码的特点：变换编码的特点：在变换域中描述视频图像要比在空间域中简单；在变换域中描述视频图像要比在空间域中简单；视频图像的相关性明显下降，信号的能量主要集视频图像的相关性明显下降，信号的能量主要集中在少数几个变换系数上，采用量化和熵编码可有效中在少数几个变换系数上，采用量化和熵编码可有效地压缩其数据量；地压缩其数据量；可充分利用人眼的视觉特性

13、；可充分利用人眼的视觉特性；具有较强的抗干扰能力，传输过程中的误码对图具有较强的抗干扰能力，传输过程中的误码对图像质量的影响远小于预测编码；像质量的影响远小于预测编码；DCTDCT等变换有快速算法，能实现实时视频处理。等变换有快速算法，能实现实时视频处理。本讲稿第十九页，共七十页2.3.2 离散余弦变换离散余弦变换设图像块的样点数为设图像块的样点数为NNNN，其样值方阵用，其样值方阵用f(x,y)f(x,y)表示，则二维离表示，则二维离散余弦变换的公式为：散余弦变换的公式为：本讲稿第二十页，共七十页F(u,v)=图像分块及变换：图像分块及变换：通通常常将将图图像像分分解解成成8888的的像像素

14、素块块，然然后后进进行行DCTDCT变变换换。变换后得到由变换后得到由8888频域系数组成的矩阵。频域系数组成的矩阵。F00：DC系数，代表该像素块的直流分量或平均亮度值系数，代表该像素块的直流分量或平均亮度值其它为其它为AC系数系数本讲稿第二十一页，共七十页一一般般电电视视图图像像的的构构成成都都是是以以大大、中中面面积积内内容容为为主主，精精细细内内容容较较少少，因因而而可可估估计计到到，系系数数矩矩阵阵中中左左上上方方的的系系数数值值会会大大些些，而而越越接接近右下角，系数值会越小近右下角，系数值会越小f(x,y)=F(u,v)=本讲稿第二十二页，共七十页DCT系数量化系数量化:利利用用

15、人人眼眼的的视视觉觉冗冗余余性性,对对系系数数矩矩阵阵左左上上角角附附近近的的系系数数进进行行细细量量化化（量量化化间间隔隔小小）而而对对右右下下角角附附近近的的系系数数进进行行粗粗量量化化（量量化化间间隔隔大大），然然后后对量化后的系数取整。其具体实现方法对量化后的系数取整。其具体实现方法:F(u,v)F(u,v)/Q(u,v)Q(u,v)=F(u,v)=本讲稿第二十三页，共七十页Z Z 形扫描和游程编码形扫描和游程编码:F(u,v)=Z形读出：形读出：79，0，2，1，1，1，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0

16、，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0游程编码：游程编码：（0，79），（），（1，2）（）（0，1），（），（0，1）（）（0，1），（），（2，1）EOB游程编码游程编码:将将一一维维序序列列用用二二维维数数组组 (run,level)(run,level)表表示示。runrun：表示连零的长度：表示连零的长度level:level:表示连零之后出现的第一个非零值表示连零之后出现的第一个非零值当所有值都为零时用符号当所有值都为零时用符号EOBEOB表示表示本讲稿第二十四页，共七十页2.4 熵编码熵编码按按信信源源

17、符符号号出出现现概概率率的的不不同同分分配配给给不不同同长长度度的的码码字字比比特特数数。即即出出现现概概率率大大的的符符号号编编码码码码字字短短，出出现现概概率率小小的的符符号编码码字长。也称可变长编码（号编码码字长。也称可变长编码（VLC）前提条件：必须知道每个符号的出现概率前提条件：必须知道每个符号的出现概率特特点点：具具有有单单义义可可译译性性。即即：任任何何一一个个长长码码都都不不会会是是另另两两个个短短码码复复合合而而成成，任任何何一一个个短短码码不不会会是是另另一一个个长长码的前缀。码的前缀。因因此此，收收信信端端可可从从接接收收到到的的码码字字串串中中分分断断开开每每个个码码字

18、字，不会发生码字混淆。不会发生码字混淆。本讲稿第二十五页，共七十页基本原理：基本原理：将信源发出的符号按出现概率的大小次序排列；将信源发出的符号按出现概率的大小次序排列；对对两两个个概概率率最最小小的的符符号号分分别别赋赋以以“0”、“1”，并并将将这这两个概率相加之后作为一个新符号的概率；两个概率相加之后作为一个新符号的概率；对对符符号号概概率率重重新新排排队队后后再再取取两两个个概概率率最最小小的的符符号号分分别赋以别赋以“0”、“1”，并将这两个概率相加；，并将这两个概率相加；依此类推，直到所有概率相加得到依此类推，直到所有概率相加得到1为止；为止；由由后后向向前前沿沿各各支支路路逐逐一

19、一写写出出“0”、“1”，此此码码字字即即为霍夫曼编码码字。为霍夫曼编码码字。2.4.1 霍夫曼编码霍夫曼编码本讲稿第二十六页，共七十页例如：例如：设信源各符号出现的概率为：设信源各符号出现的概率为：xi i：x x1 1 x2 2 x x3 3 x x4 4 x x5 5 x x6 6 x x7 x x8 P Pi i：0.20 0.19 0.18 0.17 0.15 0.10 0.005 0.0050.20 0.19 0.18 0.17 0.15 0.10 0.005 0.005符号符号(xi)概率概率(Pi)x1x2x3x4x5x6x7x80.200.190.180.170.150.10

20、0.0050.005010.01010.11100.26010.35010.39010.61011.00码字码字(wi)010011111010110011000110000码长码长(ni)22333455本讲稿第二十七页，共七十页信源熵：信源熵：采采用用等等长长编编码码方方式式时时，每每个个符符号号需需要要3bit3bit，即即平平均均码码长为长为3bit/3bit/符号，熵冗余为符号，熵冗余为0.38 bit/0.38 bit/符号。符号。采用可变长编码时，平均码长为：采用可变长编码时，平均码长为：熵冗余为熵冗余为0.11 bit/0.11 bit/符号符号本讲稿第二十八页，共七十页像素块

21、矩阵经像素块矩阵经DCT变换、量化和变换、量化和Z形扫描后：形扫描后：2.4.2 DCT系数的熵编码系数的熵编码DC系数：差值编码（系数：差值编码（DPCM），熵编码；），熵编码；即：即：DIFFDCi DCi-1对对DIFF进行熵编码进行熵编码AC系数：游程编码，熵编码系数：游程编码，熵编码本讲稿第二十九页，共七十页DCDC系数的系数的DIFFDIFF熵编码（查表法）熵编码（查表法）DIFF码字码字1 1码字码字2 20000-1，10100，1-3，-2，2，301100，01，10，11-7.-4，47100000011，100111-15-8，81510100000111，100011

22、11-3116，1631110-63-32，32631110-127-64，6412711110-255-128，128255111110-511-256，2565111111110-1023-512，512102311111110-2047-1024，10242047111111110编码码字码字编码码字码字1 1码字码字2 2 若若DIFF2，则码字为则码字为 01110本讲稿第三十页，共七十页ACAC系数熵编码（表系数熵编码（表1 1）AC系数系数位长位长码字码字2000-1，110，1-3，-2，2，3200，01，10，11-7.-4，473000011，100111-15-8，81

23、5400000111，10001111-3116，16315-63-32，32636-127-64，641277-255-128，1282558-511-256，2565119-1023-512，512102310本讲稿第三十一页，共七十页ACAC系数熵编码（表系数熵编码（表2 2）游程游程/位长位长码字码字10/0(EOB)10100/1000/2010/31000/410110/5110100/611110000/7111110000/811111101100/911111111100000100/101111111110000011游程游程/位长位长码字码字11/111001/21101

24、11/311110011/41111101101/5111111101101/611111111100001001/711111111100001011/811111111100001101/911111111100001111/101111111110001000本讲稿第三十二页，共七十页F(u,v)=ACAC系数游程编码：系数游程编码：（1 1，2 2）（0 0，1 1），（0 0，1 1）（0 0，1 1），（2 2，1 1）EOBEOB对于（对于（1 1，2 2）：）：ACAC系数为系数为2 2，前面有，前面有1 1个零个零查表查表1 1可知，其对应的可知，其对应的“游程游程/位长位长

25、”是是1/21/2，码字，码字2 2为为0101查表查表2 2可知，可知，1/21/2对应的码字对应的码字1 1为为1101111011所以，所以，对（对（1 1，2 2）进行熵编码的码字为）进行熵编码的码字为11011110110101本讲稿第三十三页，共七十页2.5 2.5 运动估计与运动补偿运动估计与运动补偿运动估计：对运动物体的位移作出估计，即求出运动矢量运动估计：对运动物体的位移作出估计，即求出运动矢量运运动动补补偿偿：按按照照运运动动矢矢量量，对对上上一一帧帧做做位位移移，然然后后求求出出对对当当前前帧帧的的预预测值。测值。运动矢量运动矢量运动估计运动估计运动补偿运动补偿前一帧前一

26、帧当前帧当前帧预测的当前帧预测的当前帧编码编码差值图像差值图像本讲稿第三十四页，共七十页运动补偿帧间预测编码方框图：运动补偿帧间预测编码方框图：输入输入量化器量化器反量反量化器化器帧存帧存储器储器运动补偿运动补偿运动估测运动估测编码器编码器输出输出当前帧当前帧预测帧预测帧运动矢量运动矢量帧差信号帧差信号本讲稿第三十五页，共七十页运动估计运动估计块匹配法：块匹配法：将将图图像像分分成成若若干干个个大大小小为为MN的的子子像像块块，假假定定同同一一子子像像块内所有像素具有相同的位移。块内所有像素具有相同的位移。假假定定帧帧间间最最大大水水平平位位移移和和最最大大垂垂直直位位移移分分别别为为WxWx

27、和和WyWy个像素；个像素；对对于于当当前前帧帧的的每每一一个个块块在在前前一一帧帧相相应应位位置置开开辟辟大大小小为为 (M+2 Wx)(M+2 Wx)(N+2 Wy)(N+2 Wy)的一块搜索区；的一块搜索区；在搜索区内求出当前帧对应块的最佳匹配块；在搜索区内求出当前帧对应块的最佳匹配块；求出运动矢量。求出运动矢量。本讲稿第三十六页，共七十页前一帧搜索区前一帧搜索区当前帧当前帧像素块像素块M+2WxN+2WyWxWxWyWyNM本讲稿第三十七页，共七十页jij：垂直位移量垂直位移量i：水平位移量：水平位移量本讲稿第三十八页，共七十页块匹配准则：块匹配准则：均方误差（均方误差（MSEMSE）

28、最小准则）最小准则 绝对误差均值（绝对误差均值（MADMAD）最小准则）最小准则本讲稿第三十九页，共七十页 最大归一化互相关函数（最大归一化互相关函数（NCCFNCCF）准则）准则本讲稿第四十页，共七十页搜索方法：搜索方法：穷穷尽尽搜搜索索法法：对对搜搜索索区区域域内内的的每一点都用匹配准则进行计算。每一点都用匹配准则进行计算。二维对数法二维对数法 三步搜索法三步搜索法 分块全搜索法：分块全搜索法：本讲稿第四十一页，共七十页三三 视频压缩国际标准视频压缩国际标准1 1、视频编码图像格式、视频编码图像格式标准标准CCIR 601ISO/MPEG-1CCITT H.261参数参数PALNTSCSI

29、FCIFQCIF帧频帧频2530253030每帧每帧有效有效行数行数YCRCB5762882884802402402881441442401201202881441441447272每行每行有效有效象素数象素数YCRCB720360360360（352）180（176）180（176）3521761761768888本讲稿第四十二页，共七十页 H.2612、视频压缩标准概述、视频压缩标准概述视频电话和视频会议压缩编码标准视频电话和视频会议压缩编码标准CCITT 1984年开始研究，年开始研究，1990年正式成为标准年正式成为标准应应用用：视视频频电电话话、视视频频会会议议，传传输输网网络络为为

30、ISDN（综综合合业业务务数数据据网网，64kb/s2.048Mb/s）图像格式：图像格式：CIF、QCIF，最大帧频为，最大帧频为30Hz，逐行扫描，逐行扫描码率：码率：p64kb/s（p130）。）。p1、2时，只支持时，只支持QCIF格式，用于视频电话。格式，用于视频电话。p6时，支持时，支持CIF格式，可用于视频会议。格式，可用于视频会议。压缩方式：压缩方式：DCT、帧间预测编码、帧间预测编码本讲稿第四十三页，共七十页 JPEG Joint Photographic Experts Group（静止图像专家组）（静止图像专家组）静止图像压缩标准静止图像压缩标准1986年开始研究，年开始

31、研究，1992通过标准的第一部分通过标准的第一部分应用：静止图像的压缩应用：静止图像的压缩压缩方式：压缩方式：DCT88像素块Z形扫描DCT变换系数量化DC:DPCMAC:RLC熵编码熵编码 Motion JPEG本讲稿第四十四页，共七十页 JPEG 2000 静止图像压缩标准静止图像压缩标准1997年开始研究，年开始研究，2000通过标准通过标准应用：静止图像的压缩应用：静止图像的压缩压缩方式：小波变化压缩方式：小波变化特点：良好的低比特率压缩性能特点：良好的低比特率压缩性能 按照图像质量或分辨率的累进式传输按照图像质量或分辨率的累进式传输 支持有损和无损压缩支持有损和无损压缩 对码流的随机

32、存取和感兴趣区域（对码流的随机存取和感兴趣区域（ROI）的编码）的编码Motion JPEG 2000本讲稿第四十五页，共七十页 MPEG-1Moving Picture Expert Group（活动图像专家组）（活动图像专家组）视频及其伴音的压缩标准视频及其伴音的压缩标准1988年开始研究，年开始研究，1992成为正式标准成为正式标准应用：数字存储媒体（如应用：数字存储媒体（如VCD等），交互式多媒体系统等），交互式多媒体系统图像格式：图像格式：SIF（4:2:0），逐行扫描），逐行扫描码率：码率：1.5Mb/s压缩方式：压缩方式：DCT，帧间预测编码，帧间预测编码本讲稿第四十六页，共七十

33、页 MPEG-2活动图像及其伴音信息的通用编码活动图像及其伴音信息的通用编码1990年开始制定，年开始制定，1994年成为正式标准年成为正式标准应用：应用：SDTV，HDTV，DVD等等图图像像格格式式：CCIR 601等等多多种种格格式式（4:2:2，4:4:4，4:2:0），逐逐行扫描，隔行扫描行扫描，隔行扫描压缩方式：压缩方式：DCT，帧间预测编码，帧间预测编码有多种档次：有多种档次：5个型，个型，4个级个级与与MPEG-1兼容兼容本讲稿第四十七页，共七十页 H.263低码率图像压缩编码标准低码率图像压缩编码标准ITU-T 1995推出草案推出草案应应用用：视视频频电电话话、多多媒媒体体

34、通通信信、移移动动通通信信、远远程程监监控控系系统统等等，传输网络为传输网络为PSTN（公用电话交换网）（公用电话交换网）图图像像格格式式：CIF、QCIF、sub-QCIF（Y：12896，CR/CB：6448），最大帧频为），最大帧频为30Hz，逐行扫描，逐行扫描压缩方式：压缩方式：DCT、帧间预测编码、帧间预测编码本讲稿第四十八页，共七十页 MPEG-4基于内容的压缩编码标准基于内容的压缩编码标准1993年开始制定，年开始制定，1999年成为正式标准年成为正式标准应用：交互式多媒体应用、移动通信、个人通信等应用：交互式多媒体应用、移动通信、个人通信等图像格式：多种格式，逐行扫描，隔行扫描

35、图像格式：多种格式，逐行扫描，隔行扫描特点：特点：编码对象是图像中的音频和视频对象（编码对象是图像中的音频和视频对象（AV对象）对象）形状编码形状编码分级编码分级编码本讲稿第四十九页，共七十页 MPEG-7多媒体内容描述接口多媒体内容描述接口由由MPEG组织于组织于1996开始研究，开始研究，2001年公布年公布目目的的：对对各各种种多多媒媒体体信信息息的的描描述述进进行行标标准准化化，从从而而使用户对感兴趣的素材进行快速而高效的检索。使用户对感兴趣的素材进行快速而高效的检索。MPEG-7包包括括：描描述述符符、描描述述方方案案、描描述述定定义义语语言言、编编码方案。码方案。应用：数字图书馆、

36、数据库、多媒体目录服务等应用：数字图书馆、数据库、多媒体目录服务等本讲稿第五十页，共七十页 MPEG-21多媒体框架多媒体框架目目标标：建建立立一一个个交交互互式式的的多多媒媒体体框框架架，协协调调各各个个标标准准之之间间的的配配套套衔衔接接。通通过过网网络络和和设设备备可可存存取取、使使用用并并交交互互操操作各种多媒体对象，实现多种业务。作各种多媒体对象，实现多种业务。本讲稿第五十一页，共七十页四、四、MPEG-2视频部分视频部分4.1 MPEG概况概况MPEG：属于：属于ISO/IEC下属的联合技术委员会下属的联合技术委员会任务：制定活动图像的压缩编码标准，压缩码率为任务：制定活动图像的压

37、缩编码标准，压缩码率为1.5Mb/s10Mb/s40Mb/sMPEG-1（1992，ISO/IEC 11172）MPEG-2（1994，ISO/IEC 13818）MPEG-3（1992，撤销撤销）本讲稿第五十二页，共七十页MPEG视频部分框图视频部分框图IDCT反量反量化化VLC解码解码缓冲器缓冲器(b)解码过程解码过程DCT量化量化VLC缓冲器缓冲器(a)编码过程编码过程码率控码率控制制本讲稿第五十三页，共七十页4.2 MPEG-2的型和级的型和级 型型 级级简单型简单型SP4:2:0主型主型MP4:2:0SNR可分可分级型级型SNP4:2:0空间可分级空间可分级型型SSP4:2:0高级型

38、高级型HP4:2:04:2:2高级高级HL19201080301920115225MPHLI,P,B 80Mb/sHPHLI,P,B 100Mb/sH-1440L14401080301440115225MPH1440LI,P,B 60Mb/sSSPH1440LI,P,B 60Mb/sHPH1440LI,P,B 80Mb/s主级主级ML7204803072057625SPMLI,P 15Mb/sMPMLI,P,B 15Mb/sSNPMLI,P,B 15Mb/sHPMLI,P,B 20Mb/s低级低级LL3522403035228825MPLLI,P,B 4Mb/sSNPLLI,P,B 4Mb/s

39、本讲稿第五十四页，共七十页4.3 图像编码帧类型图像编码帧类型I帧（帧内编码帧）帧（帧内编码帧）仅利用该帧图像本身的信息进行编码仅利用该帧图像本身的信息进行编码DCT、量化、熵编码等、量化、熵编码等I帧提供了进入压缩图像数据序列的随机访问点，便帧提供了进入压缩图像数据序列的随机访问点，便于对图像进行编辑。于对图像进行编辑。一般应用中，一秒钟出现两个一般应用中，一秒钟出现两个I帧帧压缩比：（压缩比：（25）：）：1本讲稿第五十五页，共七十页P帧（前向预测帧）帧（前向预测帧）利用前面最靠近的利用前面最靠近的I帧或帧或P帧图像作参考帧，经运动帧图像作参考帧，经运动预测编码得到的图像。预测编码得到的图

40、像。压缩比：（压缩比：（510）：）：1P帧可以作为帧可以作为B帧和后面的帧和后面的P帧的参考帧帧的参考帧P帧会使误码传递下去帧会使误码传递下去本讲稿第五十六页，共七十页B帧（双向预测帧）帧（双向预测帧）利用过去及将来的利用过去及将来的I帧或帧或P帧作参考帧，经运动预测编帧作参考帧，经运动预测编码得到的图像。码得到的图像。压缩比：（压缩比：（2030）：）：1B帧不用作参考帧帧不用作参考帧B帧不会使误码传递下去帧不会使误码传递下去通常在两个参考帧之间安排两个通常在两个参考帧之间安排两个B帧帧本讲稿第五十七页，共七十页编码图像的显示顺序和传送顺序编码图像的显示顺序和传送顺序IBBPBBPBBPB

41、BI12345678910 111213IBPBBPBBPBBIB1423756108913 1112图像的显示顺序图像的显示顺序图像的传送顺序图像的传送顺序本讲稿第五十八页，共七十页4.4 MPEG2视频编、解码器框图视频编、解码器框图帧帧重重排排运动补偿运动补偿运动估计运动估计帧内帧内/帧间帧间模式判别模式判别DCT量化量化VLC帧间帧间帧内帧内反量化反量化反反DCTK1K2运动矢量运动矢量去去VLCI帧存帧存P帧存帧存K4K3I、BPI、PB信源数据信源数据A2A1缓冲器缓冲器量化控制量化控制编码器编码器本讲稿第五十九页，共七十页解码器解码器反量化反量化反反DCT帧帧重重排排I(P)帧存

42、帧存P帧存帧存MV2MV1BI、PMC值值输入输入码流码流图像图像数据数据VLD量化步长量化步长量化表量化表选择选择本讲稿第六十页，共七十页4.5 视频基本码流（视频基本码流（ES流）的组成流）的组成像块像块宏块宏块宏块条宏块条像块像块像块像块宏块宏块宏块宏块宏块条宏块条宏块条宏块条图像图像图像图像图像图像图像组图像组图像组图像组图像组图像组图像序列图像序列本讲稿第六十一页，共七十页4.5.1 像块像块88像素阵列，像素阵列，DCT变换单元变换单元可以是可以是Y像块或像块或CB、CR像块像块本讲稿第六十二页，共七十页4.5.2 宏块宏块由由1616像素的像素的 Y 阵列和相应画面区域内的阵列和

43、相应画面区域内的CB、CR 色色差信号像素阵列共同组成。差信号像素阵列共同组成。是运动预测的基本单元，但运动预测只对亮度阵列进行，是运动预测的基本单元，但运动预测只对亮度阵列进行，色差信号的帧间预测编码直接使用亮度阵列中得到的运动色差信号的帧间预测编码直接使用亮度阵列中得到的运动矢量。矢量。4：2：0 宏块结构宏块结构1234Y6Cb5CR4：2：2 宏块结构宏块结构1234Y5CR67Cb84：4：4 宏块结构宏块结构1234YCRCb576891110 12本讲稿第六十三页，共七十页4.5.3 宏块条宏块条由处于同一水平宏块排内的若干个宏块组成由处于同一水平宏块排内的若干个宏块组成是发生误

44、码又不可纠正时数据获得重新同步的单位是发生误码又不可纠正时数据获得重新同步的单位720（704）576宏块排（宏块排（44个宏块）个宏块）1每个宏块排内宏块条数多有每个宏块排内宏块条数多有利于误码后的重新正确解码，利于误码后的重新正确解码，但编码效率变低。但编码效率变低。每排内宏块条数少则情况相每排内宏块条数少则情况相反。反。本讲稿第六十四页，共七十页4.5.4 图像图像有有I、P、B三种编码图像三种编码图像是图像编码的基本单位，也是独立的显示单元是图像编码的基本单位，也是独立的显示单元本讲稿第六十五页，共七十页4.5.5 图像组（图像组（GOP）由一个图像序列中连续的几个图像组成由一个图像序

45、列中连续的几个图像组成是随机存取的视频基本单位是随机存取的视频基本单位图像组中第一帧为图像组中第一帧为I帧帧一个典型的一个典型的GOP结构：结构：IBBPBBPBBPBBI12345678910 111213GOP本讲稿第六十六页，共七十页4.5.6 图像序列图像序列被处理的一串连续的图像被处理的一串连续的图像是随机存取节目的段落单元是随机存取节目的段落单元一个视频序列大致对应一个镜头一个视频序列大致对应一个镜头本讲稿第六十七页，共七十页4.6 视频基本码流的层次结构视频基本码流的层次结构系数块系数块宏块宏块宏块条宏块条图像图像图像组图像组视频序列视频序列运动矢量运动矢量条的垂直位条的垂直位置

46、置I、P、B时间基准时间基准帧内帧内DC精度精度量化矩阵量化矩阵色度类型色度类型隔行隔行/逐行逐行级、类级、类宽高比宽高比图像尺寸图像尺寸帧频帧频码率码率时间码时间码封闭封闭/开放开放VBV延时信息延时信息量化器缩量化器缩放因子放因子宏块类型宏块类型本讲稿第六十八页，共七十页GOP 1GOP SCGOP 头头图像图像1图像图像2图像图像3图像图像N图像图像 SC图像图像 头头条条 1条条 2条条 3条条 m条条 SC条条 头头宏块宏块 1宏块宏块 2宏块宏块 3宏块宏块 nY 1宏块编码信息宏块编码信息Y 2Y 3Y 4C 1C 288 系数块系数块序列层序列层GOP层层图像层图像层宏块条层宏块条层宏块层宏块层像块层像块层序列序列SC序列扩展序列扩展序列头序列头GOP 2序列序列EC0 x000001B3本讲稿第六十九页，共七十页视频基本码流层次结构表视频基本码流层次结构表语法规定的层次语法规定的层次功能功能序列层序列层随机存取段落随机存取段落图像组层图像组层随机存取视频单位随机存取视频单位图像层图像层编码基本单位编码基本单位宏块条层宏块条层重新同步单位重新同步单位宏块层宏块层运动补偿单位运动补偿单位像块层像块层DCT单位单位本讲稿第七十页，共七十页