多媒体技术基础(第3版)第12章MPEG视像.ppt
《多媒体技术基础(第3版)第12章MPEG视像.ppt》由会员分享,可在线阅读,更多相关《多媒体技术基础(第3版)第12章MPEG视像.ppt(46页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、多媒体技术基础多媒体技术基础(第第3 3版版)第第12章章 MPEG视像视像 张奇张奇复旦大学复旦大学 计算机科学技术学院计算机科学技术学院 2011年年5月月2023年3月1日第12章 MPEG视像2/46第第12章章 MPEG视像目录视像目录 12.1 视像数据的冗余视像数据的冗余12.2 视像数据的速率视像数据的速率12.2.1 BT.601视像数据速率12.2.2 VCD视像的压缩比12.2.3 DVD视像的压缩比12.3 MPEG-1视像视像12.3.1 视像数据的压缩算法12.3.2 帧内图像I的压缩编码算法12.3.3 预测图像P的压缩编码算法12.3.4 双向预测图像B的压缩编
2、码算法12.3.5 帧图像的编排顺序12.3.6 视像数据流的结构12.4 MPEG-2视像视像12.4.1 视像编码器和解码器12.4.2 视像数据位流的结构12.4.3 视像质量可变编码12.5 MPEG-4 Visual视像视像12.5.1 MPEG-4 Visual简介12.5.2 视像对象的编码与解码概要12.5.3 可视对象的层次结构2023年3月1日第12章 MPEG视像3/46第第12章章 MPEG视像视像 MPEG视像视像MPEG视像是指使用MPEG视像标准压缩和解压缩的电视图像现有的MPEG视像标准包括MPEG-1 Video,MPEG-2 Video,MPEG-4 Vis
3、ual和MPEG-4 AVC/H.264。这些视像标准有许多共同之处,基本概念类似,数据压缩和编码方法基本相同,它们的核心技术都是采用以图像块作为基本单元的变换、量化、移动补偿、熵编码等技术,在保证图像质量的前提下获得尽可能高的压缩比本章将介绍MPEG视像标准1压缩视像数据的基本原理和方法,对最近几年开发的MPEG-4 AVC/H.264标准将在第13章中作较详细的介绍 2023年3月1日第12章 MPEG视像4/4612.1 视像数据的冗余视像数据的冗余n视像数据存在的冗余视像数据存在的冗余时间冗余(temporal redundancy)n与时间相关的冗余:在某个时间间隔上出现场景相同或基
4、本相同的连续帧时,帧与帧之间存在大量的冗余数据空间冗余(spatial redundancy)n与空间位置有关的冗余:在单帧图像中,相邻像素的值常有相同或变化不大的情况,可用较少数据表达结构冗余(structural redundancy)n图像自身构造的冗余:若从宏观上来看一帧图像,有些图像存在相同或类似的结构,如用地板图案构成的图像视觉冗余(vision redundancy)n与视觉系统有关的冗余:对图像的亮度变化敏感而对颜色变化不敏感,对剧烈变化区域敏感而对缓慢变化区域不敏感,对图像的亮度和颜色的分辨率都存在极限2023年3月1日第12章 MPEG视像5/4612.1 视像数据的冗余视
5、像数据的冗余(续续)知识冗余(knowledge redundancy)n与知识有关的冗余:在单帧图像中含有为人熟知的知识,称为先验知识。例如,正面人头像有相对固定的结构,眼睛下方是鼻子,鼻子下方是嘴,嘴和鼻子均位于脸的中线上。这类规律性的结构往往不会改变或变化不大,而用传统方式录制的视像数据中存在许多重复的数据n知识是某个感兴趣领域中的实事、概念和关系(6)数据冗余(data redundancy)n数据本身的冗余:视像数据本身存的冗余2023年3月1日第12章 MPEG视像6/4612.2 视像数据的速率视像数据的速率n12.2.1 BT.601视像数据速率视像数据速率使用4:2:2采样格
6、式,亮度信号Y的采样频率为13.5 MHz,色差信号Cr和Cb的采样频率为6.75 MHz,每个样本的精度为10位,视像数据速率为(1)亮度(Y)858样本/行525行/帧30帧/秒10位/样本135兆位/秒(NTSC)864样本/行625行/帧25帧/秒10位/样本135兆位/秒(PAL)(2)Cr(R-Y)429样本/行525行/帧30帧/秒10位/样本68兆位/秒(NTSC)432样本/行625行/帧25帧/秒10位/样本68兆位/秒(PAL)(3)Cb(B-Y)429样本/行525行/帧30帧/秒10位/样本68兆位/秒(NTSC)432样本/行625行/帧25帧/秒10位/样本68兆
7、位/秒(PAL)总计:27兆样本兆样本/秒秒10位位/样本样本=270兆位兆位/秒秒2023年3月1日第12章 MPEG视像7/4612.2 视像数据的速率视像数据的速率(续续1)实际上,在荧光屏上实际显示的有效图像的数据传输率并没有那么高,其中,(1)亮度(Y)720样本/行480行/帧30帧/秒10位/样本 104兆位/秒(NTSC)720样本/行576行/帧25帧/秒10位/样本 104兆位/秒(PAL)(2)色差(Cr,Cb)2360样本/行480行/帧30帧/秒10位/样本 104兆位/秒(NTSC)2360样本/行576行/帧25帧/秒10位/样本 104兆位/秒(PAL)总计:2
8、07兆位兆位/秒秒(Mb/s)如果每个样本的采样精度由10位降为8位,彩色数字电视信号的数据传输率就降为166 Mb/s 2023年3月1日第12章 MPEG视像8/4612.2 视像数据的速率视像数据的速率(续续2)n12.2.2 VCD视像的压缩比视像的压缩比压缩比的概念n压缩比是数据压缩程度的一种度量方法,其值等于压缩前的数据大小与压缩后的数据大小之比。例如,把一幅原来为1 MB的图像压缩成128 KB,其压缩比就是10241024/1281024=81。VCD盘要求的压缩比n使用Video-CD存储器早期的数据传输率为1.4112 Mb/s,分配给电视信号的数据传输率为1.15 Mb/
9、s,这就意味着MPEG视像编码器输出的数据速率要达到1.15 Mb/sn如果存储166 Mb/s的数字电视信号就需要对它进行高度压缩,压缩比高达166/1.15 144:1。2023年3月1日第12章 MPEG视像9/4612.2 视像数据的速率视像数据的速率(续续3)NTSC和PAL的数据传输率nMPEG-1视像压缩技术不能达到这样高的压缩比。为此首先把NTSC和PAL数字电视转换成公用中分辨率格式(CIF)的数字电视,子采样使用4:2:0或4:1:1时,这种格式就相当于家用录像系统(VHS)的质量,于是彩色数字电视的数据传输率就要减小到,u3522403081.5 30 Mb/s(NTSC
10、)u3522882581.5 30 Mb/s(PAL)VCD视像的压缩比n把这种彩色数字电视信号存储到CD盘上所需要的压缩比为30/1.15 26:1。这是MPEG-1技术能够获得的压缩比 2023年3月1日第12章 MPEG视像10/4612.2 视像数据的速率视像数据的速率(续续4)n12.2.3 DVD视像的压缩比视像的压缩比DVD盘要求的压缩比nDVD-Video存储器的数据传输率可达到10.08 Mb/s以上,一张4.7 GB的单面单层DVD盘要存放133分钟的电视节目,按照视像数据的平均数据传输率为4.1 Mb/s来计算,压缩压缩比就要求达到比就要求达到166/4.10 40:1N
11、TSC和PAL的数据传输率n如果视像的子采样使用4:2:0格式,每个样本的精度为8位,视像数据传输率就减小到124 Mb/s,即u7204803081.5 124 Mb/s(NTSC)u7205762581.5 124 Mb/s (PAL)DVD视像的压缩比n使用DVD-Video来存储72048030或72057625的数字视像所需要的压缩比为压缩比为124/4.1 30:1 2023年3月1日第12章 MPEG视像11/4612.3 MPEG-1视像视像n12.3.1 视像数据的压缩算法视像数据的压缩算法MPEG-1视像(MPEG-1 Video)456压缩视像数据的基本方法可以归纳成两个
12、要点n在空间方向上,采用与JPEG类似的算法来去掉空间冗余数据n在时间方向上,采用移动补偿(motion compensation)算法来去掉时间冗余数据MPEG专家组为此开发了两项重要技术n定义了视像数据的结构n定义了三种类型的图像2023年3月1日第12章 MPEG视像12/4612.3 MPEG-1视像视像(续续1)视像数据结构视像数据结构n把视像片段看成由一系列静态图像(picture)组成的视像序列(sequence)n把视像序列分成许多像组(group of picture,GOP)n把像组中的每一帧图像分成许多像片(slice),每个像片由16行组成n把像片分成16行16像素/行
13、的宏块(macroblock,MB)n把宏块分成若干个8行8像素/行的图块(block),见图12-1(a)n使用子采样格式为4:2:0时,一个宏块由 4个亮度(Y)图块和两个色度图块(Cb和Cr)组成,见图12-1(b)2023年3月1日第12章 MPEG视像13/4612.3 MPEG-1视像视像(续续2)(a)视像数据的组织(方框中的数字为图块编号)(b)宏块的结构(4:2:0)图12-1 视像数据结构2023年3月1日第12章 MPEG视像14/4612.3 MPEG-1视像视像(续续3)三种类型的图像三种类型的图像(见图12-2)MPEG专家组定义了三种类型的图像,然后采用三种不同的
14、算法分别对它们进行压缩n帧内图像帧内图像I(intra-picture),简称为I图像或I帧(I-picture/I-frame)u包含内容完整的图像,用于为其他帧图像的编码和解码作参考,因此也称为关键帧 n预测图像预测图像P(predicted picture),简称为P图像或P帧(P-picture/P-frame)u指以在它之前出现的帧内图像I作参考图像的图像,对预测图像P进行编码就是对它们之间的差值进行编码 2023年3月1日第12章 MPEG视像15/4612.3 MPEG-1视像视像(续续4)n双向预测图像双向预测图像B(bidirectionally-predictive pic
15、ture),也称双向插值图像B(bidirectionally-interpolated picture),简称为B图像或B帧(B-picture/B-frame)u以在它之前和之后的帧图像(I和P)作参考的图像,对B进行编码就是对帧内图像I和预测图像P的差值分别进行编码 图12-2 MPEG专家组定义的三种图像2023年3月1日第12章 MPEG视像16/4612.3 MPEG-1视像视像(续续5)n12.3.2 帧内图像帧内图像I的压缩编码算法的压缩编码算法不参照过去的帧和将来的帧,采用与JPEG类似的压缩算法以减少空间的冗余数据,见图12-3n如果视像是用RGB空间表示的视像,则首先把它
16、转换成YCrCb空间表示的视像n每个图像平面分成88像素的图块,对每个图块进行离散余弦变换(DCT),变换后产生的交流分量系数经过量化之后按照Zig-zag的形状排序。DCT得到的直流分量系数经过量化之后用差分脉冲编码(DPCM),交流分量系数用行程长度编码RLE,然后再用霍夫曼(Huffman)编码或者用算术编码 2023年3月1日第12章 MPEG视像17/4612.3 MPEG-1视像视像(续续6)图12-3 帧内图像I的压缩编码算法框图32023年3月1日第12章 MPEG视像18/4612.3 MPEG-1视像视像(续续7)n12.3.3 预测图像预测图像P的压缩编码算法的压缩编码算
17、法 (1)算法原理算法原理n预测图像P的编码以宏块(MB)为基本编码单元,一个宏块定义为像素的图块,一般取1616n预测图像P使用两种类型的参数表示u当前要编码的图像宏块与参考图像的宏块之间的差值u宏块的移动矢量(motion vector,MV),见图12-4图12-4 移动矢量的概念2023年3月1日第12章 MPEG视像19/4612.3 MPEG-1视像视像(续续8)(2)求解差值的方法求解差值的方法(见图12-5)n假设编码宏块MPI是参考宏块MRJ的最佳匹配块,它们的差值就是这两个宏块中相应的像素值之差n对所求得的差值进行彩色空间转换,然后使用4:1:1或4:2:0格式采样。对采样
18、得到的Y,Cr和Cb分量值,仿照JPEG压缩算法对差值进行编码n对计算出的移动矢量进行DCT变换和霍夫曼编码(3)求解移动矢量的方法求解移动矢量的方法n在求两个宏块差值之前,需要找出预测编码图像中的编码宏块相对于参考图像中的参考宏块所移动的距离和方向,即移动矢量n求解移动矢量的方法见图12-62023年3月1日第12章 MPEG视像20/4612.3 MPEG-1视像视像(续续9)图12-5 预测图像P的压缩编码算法框图32023年3月1日第12章 MPEG视像21/4612.3 MPEG-1视像视像(续续10)图12-6 移动矢量的算法框图2023年3月1日第12章 MPEG视像22/461
19、2.3 MPEG-1视像视像(续续11)n最佳匹配:编码宏块MPI(如f(x,y)是参考宏块MRJ(如g(x,y)的最佳匹配是指这两个宏块之间的差值最小u以绝对值(absolute difference,AE)最小作为匹配判据u有些学者提出了以均方误差(mean-square error,MSE)最小作为匹配判据u也有些学者提出以平均绝对帧差(mean of the absolute frame difference,MAD)最小作为匹配判据其中,dx和dy分别是参考宏块MRJ的移动矢量d(dx,dy)在x和y方向上的移动矢量2023年3月1日第12章 MPEG视像23/4612.3 MPEG
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体技术 基础 12 MPEG 视像
限制150内