视频压缩技术2 (2).ppt

2.1.1 视频信号压缩的可能性 视频数据中存在着大量的冗余，视频数据中存在着大量的冗余，即图即图像的各像素数据之间存在极强的相关性。像的各像素数据之间存在极强的相关性。利用这些相关性，利用这些相关性，一部分像素的数据可以一部分像素的数据可以由另一部分像素的数据推导出来，由另一部分像素的数据推导出来，结果视结果视频数据量能极大地压缩，频数据量能极大地压缩，有利于传输和存有利于传输和存储。储。视频数据主要存在以下形式的冗余视频数据主要存在以下形式的冗余:1.空间冗余空间冗余 视视频频图图像像在在水水平平方方向向相相邻邻像像素素之之间间、垂垂直直方方向向相相邻邻像像素素之之间间的的变变化化一一般般都都很很小小，存存在在着着极极强强的的空空间间相相关关性性。特特别别是是同同一一景景物物各各点点的的灰灰度度和和颜颜色色之之间间往往往往存存在在着着空空间间连连贯贯性性，从从而而产产生生了了空空间间冗冗余余，常常称称为为帧帧内相关性。内相关性。2.时间冗余时间冗余 在在相相邻邻场场或或相相邻邻帧帧的的对对应应像像素素之之间间，亮亮度度和和色色度度信信息息存存在在着着极极强强的的相相关关性性。当当前前帧帧图图像像往往往往具具有有与与前前、后后两两帧帧图图像像相相同同的的背背景景和和移移动动物物体体，只只不不过过移移动动物物体体所所在在的的空空间间位位置置略略有有不不同同，对对大大多多数数像像素素来来说说，亮亮度度和和色色度度信信息息是是基基本本相相同同的的，称称为为帧帧间间相关性或时间相关性。相关性或时间相关性。3.结构冗余结构冗余 在在有有些些图图像像的的纹纹理理区区，图图像像的的像像素素值值存存在在着着明明显显的的分分布布模模式式。如如方方格格状状的的地地板板图图案案等等。已已知知分分布布模模式式，可可以以通通过过某某一一过过程程生成图像，生成图像，称为结构冗余。称为结构冗余。4.知识冗余知识冗余 有有些些图图像像与与某某些些知知识识有有相相当当大大的的相相关关性性。如如人人脸脸的的图图像像有有固固定定的的结结构构，嘴嘴的的上上方方有有鼻鼻子子，鼻鼻子子的的上上方方有有眼眼睛睛，鼻鼻子子位位于于脸脸部部图图像像的的中中线线上上。这这类类规规律律性性的的结结构构可可由由先先验知识得到，验知识得到，此类冗余称为知识冗余。此类冗余称为知识冗余。5.视觉冗余视觉冗余 人人眼眼具具有有视视觉觉非非均均匀匀特特性性，对对视视觉觉不不敏敏感感的的信信息息可可以以适适当当地地舍舍弃弃。在在记记录录原原始始的的图图像像数数据据时时，通通常常假假定定视视觉觉系系统统是是线线性性的的和和均均匀匀的的，对对视视觉觉敏敏感感和和不不敏敏感感的的部部分分同同等等对对待待，从从而而产产生生了了比比理理想想编编码码(即即把把视视觉觉敏敏感感和和不不敏敏感感的的部部分分区区分分开开来来编编码码)更更多多的的数数据据，这这就就是视觉冗余是视觉冗余。2.1.2 视频信号的数字化 A/D变换 D/A变换 1.取样取样 理理想想取取样样时时，只只要要取取样样频频率率大大于于或或等等于于模模拟拟信信号号中中最最高高频频率率的的两两倍倍，就就可可以以不不失失真真地地恢恢复复模模拟拟信信号号，称称为为奈奈奎奎斯斯特特取取样样定定理理。模模拟拟信信号号中中最最高高频频率率的的两两倍倍称称为为折折叠频率。叠频率。2.量化量化（1）均匀量化均匀量化 在输入信号的动态范围内，在输入信号的动态范围内，量化间隔量化间隔幅度都相等的量化称为均匀量化或线性量幅度都相等的量化称为均匀量化或线性量化。化。（2）非均匀量化）非均匀量化 为改善弱信号时的信噪比，为改善弱信号时的信噪比，量化间距量化间距应随输入信号幅度而变化，应随输入信号幅度而变化，大信号时进行大信号时进行粗量化，粗量化，小信号时进行细量化，小信号时进行细量化，这就是非这就是非均匀量化均匀量化(或称非线性量化或称非线性量化)。3.PCM编码编码全信号编码全信号编码分量编码分量编码4.ITU-R BT.601分量数字系统分量数字系统 1982年年10月月,国际无线电咨询委员会国际无线电咨询委员会(CCIR)通过了第通过了第一个关于演播室彩色电视一个关于演播室彩色电视信号数字编码的建议，信号数字编码的建议，1993年变更为年变更为ITU-R(国际电联无线电通信部分国际电联无线电通信部分)BT.601分量数分量数字系统建议。字系统建议。采采用用分分量量编编码码方方式式，对对不不同同制制式式的的信信号号采采用用相相同同的的取取样样频频率率，亮亮度度信信号号Y为为13.5 MHz，色色度度信信号号U和和V为为6.75 MHz。每每个个数数字字有有效效行行分分别别有有720个个亮亮度度取取样样点点和和3602个个色色差差信信号号取取样样点点。对对每每个个分分量量的的取取样样点点都都是是均均匀匀量量化化，对对每每个个取取样样进进行行8比特精度的比特精度的PCM编码。编码。色色度度信信号号的的取取样样率率是是亮亮度度信信号号取取样样率率的的一半，一半，常称作常称作4 2 2格式。格式。对对于于PAL制制，传传输输所所有有的的样样点点数数据据，大大约约需需要要200 Mbs的的传传输输速速率率，传传输输有有效样点只需要效样点只需要160 Mbs左右的速率。左右的速率。2.1.3 熵编码熵编码(Entropy Coding)熵编码熵编码(Entropy Coding)是一类无损编是一类无损编码，码，因编码后的平均码长接近信源的熵而得因编码后的平均码长接近信源的熵而得名。名。熵编码多用可变字长编码熵编码多用可变字长编码(VLC，Variable Length Coding)实现。实现。其基本原其基本原理是对信源中出现概率大的符号赋以短码，理是对信源中出现概率大的符号赋以短码，对出现概率小的符号赋以长码，对出现概率小的符号赋以长码，从而在统计从而在统计上获得较短的平均码长。上获得较短的平均码长。2.1.4 预测编码和变换编码预测编码和变换编码DPCM 基基于于图图像像的的统统计计特特性性进进行行数数据据压压缩缩的的基基本本方方法法就就是是预预测测编编码码。它它是是利利用用图图像像信信号号的的空空间间或或时时间间相相关关性性，用用已已传传输输的的像像素素对对当当前前的的像像素素进进行行预预测测，然然后后对对预预测测值值与与真真实实值值的的差差预预测测误误差差进进行行编编码码处处理理和和传传输输。目目前前用用得得较较多多的的是是线线性性预预测测方方法法，全全 称称 为为 差差 值值 脉脉 冲冲 编编 码码 调调 制制(DPCM，Differential Pulse Code Modulation)，简称为简称为DPCM。(a)DPCM编码器 (b)DPCM解码器变换编码原理变换编码原理 图图像像变变换换编编码码是是将将空空间间域域里里描描述述的的图图像像，经经过过某某种种变变换换在在变变换换域域中中进进行行描描述述。这这样样可可以以将将图图像像能能量量在在空空间间域域的的分分散散分分布布变变为为在在变变换换域域的的相相对对集集中中分分布布，完完成成对对图图像信息的有效压缩。像信息的有效压缩。变换编码的物理意义(a)子图像在阴影区的概率较大；(b)旋转变换后混合编码混合编码 混混合合编编码码是是近近年年来来广广泛泛采采用用的的方方法法，这这种种方方法法充充分分利利用用各各种种单单一一压压缩缩方方法法的的长长处处，以以期期在在压压缩缩比比和和效效率率之之间间取取得得最最佳佳的的平平衡衡。如如广广泛泛流流行行的的JPEG和和MPEG压压缩缩方方法都是典型的混合编码方案。法都是典型的混合编码方案。静静止止图图像像是是指指内内容容不不变变的的图图像像，也也可可能能是是不不活活动动场场景景图图像像或或活活动动场场景景图图像像在在某某一一瞬瞬时时的的“冻冻结结”图图像像。静静止止图图像像编编码码有有以下要求：以下要求：(1)(1)清晰度清晰度 (2)(2)逐渐浮现的显示方式逐渐浮现的显示方式 (3)(3)抗干扰抗干扰2.1.5 静止图像压缩静止图像压缩静止图像数字传输系统JPEG标准 JPEGJPEG是国际标准化组织是国际标准化组织(ISO(ISO，International Organization for International Organization for StandardizationStandardization）国际电工技术委员会）国际电工技术委员会(IEC(IEC，International International ElectrotechnicalElectrotechnical Commission)Commission)和和ITU-TITU-T的联合图片专家小组的联合图片专家小组(Joint Photographic Experts Group)(Joint Photographic Experts Group)的的缩写缩写。JPEG算法步骤(1)标准数字电视：图像分辨率标准数字电视：图像分辨率720576(2)会议电视：图像分辨率会议电视：图像分辨率352288(3)数字影碟机：图像分辨率数字影碟机：图像分辨率352288(4)可视电话：图像分辨率可视电话：图像分辨率176144(5)高清晰度电视：图像分辨率高清晰度电视：图像分辨率192010802.1.6 活动图像编码活动图像编码1.概述概述2.帧间预测编码帧间预测编码 帧间预测将画面分为三种区域：帧间预测将画面分为三种区域：(1)背景区背景区 (2)运动物体区运动物体区 (3)暴露区暴露区空间分辨率和时间分辨率的交换空间分辨率和时间分辨率的交换 在传输静止图像或图像的静止部分时，在传输静止图像或图像的静止部分时，要有较高的分辨率，但可以减少传输帧数；要有较高的分辨率，但可以减少传输帧数；在传输图像中的运动部分时，在传输图像中的运动部分时，可以降可以降低这部分图像的分辨率。低这部分图像的分辨率。帧内帧间自适应编码帧内帧间自适应编码 对于变化缓慢的图像，对于变化缓慢的图像，帧间相关性强，帧间相关性强，宜采用帧间预测；对于快速运动的物体，宜采用帧间预测；对于快速运动的物体，图像的高频成分减弱，图像的高频成分减弱，帧内相关性反而有帧内相关性反而有所增加，所增加，应采用帧内编码，应采用帧内编码，编码器应进行编码器应进行帧内帧间自适应编码。帧内帧间自适应编码。运动补偿预测编码运动补偿预测编码 对于运动的物体，对于运动的物体，估计出物体在相邻估计出物体在相邻帧内的相对位移，帧内的相对位移，用上一帧中物体的图像用上一帧中物体的图像对当前帧的物体进行预测，对当前帧的物体进行预测，将预测的差值将预测的差值部分编码传输，部分编码传输，就可以压缩这部分图像的就可以压缩这部分图像的码率。码率。块匹配运动补偿预测块匹配运动补偿预测 把一幅图像分为互相不重叠的把一幅图像分为互相不重叠的NN个个像素子块，对每个子块估计位移矢量，并像素子块，对每个子块估计位移矢量，并将它们编码后传送到接收端。将它们编码后传送到接收端。混合编码混合编码 将变换编码和预测编码组合在一起，用将变换编码和预测编码组合在一起，用变换编码进行空间冗余度的压缩，用预测变换编码进行空间冗余度的压缩，用预测编码进行时间冗余度的压缩。编码进行时间冗余度的压缩。3.MPEG-1标准标准 ISOIEC的联合技术委员会自的联合技术委员会自20世纪世纪90年代以来先后颁布的一系列图像和视频年代以来先后颁布的一系列图像和视频编码的国际标准促进了多媒体与图像业务编码的国际标准促进了多媒体与图像业务的发展。的发展。其中，其中，MPEG-1建议用于建议用于VCD之之类的视频家电设备和视频点播（类的视频家电设备和视频点播（VoD，Video on Demand）系统；）系统；MPEG-2的主的主要应用范围是数字电视广播和要应用范围是数字电视广播和DVD系统。系统。MPEG-1是是MPEG工工作作组组制制定定的的第第一一个个标标准准（ISOIEC11172），标标题题是是：信信息息技技术术具具有有1.5 Mbs数数据据传传输输率率的的数数字字存储媒体活动图像及其伴音的编码。存储媒体活动图像及其伴音的编码。(1)图像格式图像格式SIF MPEG-1处理逐行扫描的图像时，处理逐行扫描的图像时，对对隔行扫描的图像源应先转换为逐行扫描格隔行扫描的图像源应先转换为逐行扫描格式再编码；式再编码；输入的视频信号必须是数字化输入的视频信号必须是数字化的一个亮度信号和两个色差信号的一个亮度信号和两个色差信号(Y，CB，CR)，要使码率为要使码率为11.5 Mbs，应该选应该选择图像速率在每秒择图像速率在每秒24、25或或30帧，帧，水平分水平分辨率在辨率在250400像素，像素，垂直分辨率在垂直分辨率在200300像素。像素。(2)图像组图像组 MPEG-1提提 出出 了了 图图 像像 组组(GoP，Group of Picture)的的概概念念，从从视视频频编编码码算算法法的的角角度度而而言言，MPEG-1(以以及及MPEG-2)将视频图像帧划分为三大类：将视频图像帧划分为三大类：I帧帧(Intra-coded picture帧帧内内编编码码图图像像帧帧)：不不参参考考其其他他图图像像帧帧而而只只利利用用本本帧帧的的信息进行编码；信息进行编码；P帧帧(Predictive-coded Picture预测编预测编码图像帧码图像帧)：由一个过去的由一个过去的I帧或帧或P帧采用有帧采用有运动补偿的帧间预测进行更有效的编码；运动补偿的帧间预测进行更有效的编码；通常用于进一步预测之参考。通常用于进一步预测之参考。B帧帧(Bidirectionally predicted picture双向预测编码图像帧双向预测编码图像帧)：提供最高的提供最高的压缩，压缩，它既它既需要过去的图像帧需要过去的图像帧(I帧或帧或P帧帧)，也需要后来的图像帧也需要后来的图像帧(P帧帧)进行有运动补偿进行有运动补偿的双向预测。的双向预测。还有一种还有一种D帧（帧（DC Coded Picture，直流编码帧）仅用于快进或退回显示低分直流编码帧）仅用于快进或退回显示低分辨率图像。辨率图像。(3)算法概述算法概述 对对I帧帧的的编编码码类类似似JPEG。P帧帧编编码码利利用用过过去去的的I帧帧或或P帧帧进进行行运运动动补补偿偿预预测测，可可得得到到更更有有效效的的编编码码。B帧帧编编码码能能提提供供最最大大限限度度的的压压缩缩，它它需需要要参参考考过过去去和和将将来来的的I帧帧、P帧帧进进行行运运动动补补偿偿，但但B帧帧不不能能用用作作预预测测参参考。考。4.MPEG-2标准标准 MPEG-2标标准准是是MPEG工工作作组组制制定定的的第第二二个个国国际际标标准准，标标准准号号是是ISOIEC13818，题题目目是是：通通用用的的活活动动图图像像及及其其伴伴音音的的编编码码。作作为为一一个个通通用用的的编编码码标标准准，应应用用范范围围更更广广，包包括括标标准准数数字字电电视视、高高清清晰晰度度电电视视和和MPEG-1的工作范围。的工作范围。