第5章数字视频3ppt课件.ppt
第5章数字视频3ppt课件 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望内内 容容1.MPEG概述2.MPEG-1视频的编码3.MPEG-1视频的解码2022/11/142南京大学多媒体技术研究所1.MPEG概述概述视频压缩编码的标准视频压缩编码的标准oITU-T标准n用于ISDN视频会议的 H.261(Px64)标准n用于PSTN可视电话的 H.263标准n用于ATM/B-ISDN视频会议的 H.262标准oISO/IEC 国际标准n用于VCD的ISO 11172(MPEG-1 video)标准n用于数字电视和DVD的ISO/IEC 13818(MPEG-2 video)标准n用于交互式多媒体应用的视听编码标准 MPEG-4o企业(公司)标准:AVI,QuickTime,RealVideo2022/11/144南京大学多媒体技术研究所视频压缩编码的国际标准视频压缩编码的国际标准ITU-TJointITU-T/MPEGMPEGH.261H.263 H.263+H.263+H.262/MPEG-2H.26LMPEG-1MPEG-4 84 86 88 90 92 94 96 98 00 02 04MPEG-72022/11/145南京大学多媒体技术研究所MPEG-1标准标准ooMPEG-1MPEG-1标准(ISO/IEC11172).1992年发布。用于1.51.5MbpsMbps数据传输率的运动图像及其伴音的编码。主要应用于 VCD，MP3音乐等.oMPEG-1在JPEG和H.261等优秀标准的基础上,对参加竞争的14个方案,通过反复协调而得到统一,从而成为先进、合理、质量高、成本低的优秀标准.oMPEG-1促进了大规模集成电路专用芯片的发展,为多媒体技术和产品的繁荣立下了功劳。2022/11/146南京大学多媒体技术研究所MPEG-1:一系列一系列“第一第一”o第一个集成的视频/音频标准:ISO/IEC 11172-1(Systems),-2(Video),-3(Audio)o第一个定义“接收者”而不是“传送者”的视音频标准o第一个与视频格式无关的编码标准 (NTSC/PAL/SECAM)o第一个由几乎所有相关视/音频企业联合制定的标准o第一个纯软件标准o第一个包含软件实施的标准2022/11/147南京大学多媒体技术研究所MPEG-1 的评价的评价(应用应用)oVideo CD(several tens million players sold in PR of China)o“The”format of audio and video for PCnWindows 95/NT/98 contain an MPEG-1 software decoderoMPEG-1 Audio(recently,layer 3)is widely used for Web musicoDigital Audio Broadcasting(DAB)utilises MPEG-1 Audio(adopted in Europe and Canada)oLightweight MPEG-1 video cameras are on sale2022/11/148南京大学多媒体技术研究所MPEG-1 Requirements(在大约1.5Mb/s数码率的情况下,获得质量可接受的A/V信息;适合于CD-ROM,DAT,硬盘,可写光盘等数字存储 介质;可在N-ISDN、LAN等通信网络上传输)1 random access 2 fast forward/backward search3 reverse playback 4 A/V synchronization5 robustness to errors 6 small encoding/decoding delay7 editability 8 format flexibility9 cost tradeoff2022/11/149南京大学多媒体技术研究所MPEG-1的内容的内容oISO/IEC11172-1:system audio,video,data等如何组织成一个复合的比特流;如何同步等.oISO/IEC11172-2:video video 信号的压缩编码oISO/IEC11172-3:audio audio 信号的压缩编码oISO/IEC11172-4:Conformance testing MPEG-1的一致性测试oISO/IEC11172-5:Software simulation MPEG-1软件模拟2022/11/1410南京大学多媒体技术研究所MPEG-2标准标准ooMPEG-2MPEG-2标准(ISO/IEC13818).1994年发布。主要针对数字电视特别是高清晰度电视(HDTV)的视频及伴音信号，典型传输速率为10Mbps，与MPEG-1兼容，适用于1.5Mbps60Mbps甚至更高速率的编码范围。2022/11/1411南京大学多媒体技术研究所MPEG-2标准（续）标准（续）o以MPEG-2作为视音频压缩标准的数字卫星电视数字卫星电视数字卫星电视数字卫星电视已在欧美形成了很大市场；o美国高级电视联盟(ATV Grand Alliance)和欧洲数字视频广播计划(Digital Video Broadcast Project)先后决定将MPEG-2用于高清晰度电视高清晰度电视高清晰度电视高清晰度电视(HDTV)HDTV)广播中;o新一代的数字视盘数字视盘数字视盘数字视盘DVDDVD采用MPEG-2作为其视音频压缩标准(注:欧、美、日在视频方面采用MPEG-2标准,而在音频方面则采用AC-3标准)。2022/11/1412南京大学多媒体技术研究所MPEG-2的评价的评价(应用应用)oSeveral tens of million set top boxes for satellite and cable have been soldoDigital television VHF/UHF broadcastingoMore than xxx million DVD players soldoThe MPEG-2 4:2:2 profile is being adopted in the television production industryoMPEG-2 has created the entirely new digital television industry worth 30 billion USD 2022/11/1413南京大学多媒体技术研究所MPEG-4标准标准ooMPEG-4 MPEG-4 标准(ISO/IEC l4496).“Coding of audio-visual objects”1999年5月形成国际标准(版本1),2001-2002形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问)o主要目标ncompression and manipulation of audio and visual objects,the web page paradigm applied to audio and video!2022/11/1414南京大学多媒体技术研究所MPEG-7标准标准ooMPEG-7MPEG-7标准(ISO/IEC l5938).2001年9月形成。它是“多媒体内容描述接口”(Multimedia Content Description Interface)的标准,该标准将确定各种类型的多媒体信息的标准描述方法,可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域。2022/11/1415南京大学多媒体技术研究所MPEG-21标准标准ooMPEG-21MPEG-21标准标准标准标准.(Multimedia Framework)多媒体框架标准适合于多种应用领域的各种类型用户对各种类型内容的传送和使用，可通过大范围的网络和设备允许对多媒体资源的透明和增强使用2022/11/1416南京大学多媒体技术研究所2 MPEG-1视频的编码视频的编码视频压缩编码概述视频压缩编码概述视频流码率的计算视频流码率的计算宽:pixels(160,320,640,720,1280,1920,)长:pixels(120,240,480,485,720,1080,)量化位数:bits(1,4,8,15,16,24,)fps:frames per second(5,15,20,24,30,)压缩率:(1,6,24,)长宽量化位数fps压缩率=bits/sec2022/11/1419南京大学多媒体技术研究所视频数据量视频数据量(压缩前，in gigabytes)（3 bytes/pixel,30 frames/sec）640 x480 320 x240160 x1201280 x720(压缩后，每小时的数据量，in megabytes)2022/11/1420南京大学多媒体技术研究所视频应用与码率、分辨率的关系视频应用与码率、分辨率的关系分辨率码率(Mb/s)HDTVCCIR601CIF/SIFQCIF0 1 2 6 20 MPEG-1H.261MPEG-22022/11/1421南京大学多媒体技术研究所视频数据压缩编码的依据视频数据压缩编码的依据o每一帧画面内部的信息有很强的相关性;o相邻画面之间有高度的相容性;o运动可以估测（Motion Estimation）;o人眼的视觉特性有利于数据的压缩.2022/11/1422南京大学多媒体技术研究所视频压缩编码技术的评价准则视频压缩编码技术的评价准则o码率(bitrate)o重建图像的质量o编码/解码延时o错误修复能力o算法复杂程度2022/11/1423南京大学多媒体技术研究所MPEG-1视频视频压缩的基本方法压缩的基本方法 在空间域:采用JPEG(Joint Photographic Experts Group)压缩算法来去掉画面内部的冗余信息。在时间域:采用运动补偿(motion compensation)算法来去掉画面之间的冗余信息。2022/11/1424南京大学多媒体技术研究所MPEG-1视频视频编编/解码总框图解码总框图预处理压缩编码存储和/或传输解码数字视频CCIR 601后处理显示2022/11/1425南京大学多媒体技术研究所预处理与画面分类预处理与画面分类CCIR 601(PAL)的预处理的预处理亚采样滤波器13031U,V/8-29088138880-29Y/256i-3 i-2 i-1 i i+1 i+2 i+3720 x576360 x576720 x288360 x288180 x288YU,V360 x288(SIF)180 x144(SIF)2022/11/1427南京大学多媒体技术研究所MPEG-1画面预处理中的亚采样画面预处理中的亚采样1 使用滤波器对亮度（色度）象素进行平滑处理：-29088138880-29Y/256i-3 i-2 i-1 i i+1 i+2 i+31331U,V/8亚采样前：10 12 20 30 35 15 19 11 11 19 26 45 80 90 92 902 2 采用亚采样降低分辨率采用亚采样降低分辨率采用亚采样降低分辨率采用亚采样降低分辨率5923/256=23平滑处理：亚采样后:12 32 23 9 12 49 95 922022/11/1428南京大学多媒体技术研究所画面的分类画面的分类oIntra-picture(I画面)不需要参考其它画面而独立进行压缩编码的画面;oPredicted-picture(P画面)参考前面已编码的 I 或 P画面进行预测编码的画面;oBidirectional-picture(B画面)既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面oDC coefficient-picture(D画面)仅使用画面中每个块的 DC系数进行编码,用作正/反向快速搜索.单独进行编码与存储(仅MPEG-1使用)。2022/11/1429南京大学多媒体技术研究所MPEG 的画面组的画面组(GOP)视频画面序列被分成一个一个画面组(Grupe Of Pictures,GOP)GOP中的画面数目一般为1015.每个GOP中至少包含一个I画面，可没有B画面,甚至没有P画面2022/11/1430南京大学多媒体技术研究所画面的重新排序画面的重新排序o画面的显示顺序是:I B B P B B P B B P 1 2 3 4 5 6 7 8 9 10 o画面的编码顺序是:I P B B P B B P B B 1 4 2 3 7 5 6 10 8 9因此,每一个GOP中的画面在编码前和解码后都必须重排序BBPBBPIB 1 2 3 4 5 6 7 8 9 10例例BGOP(Group of Pictures)P2022/11/1431南京大学多媒体技术研究所编码器结构及编码器结构及I画面的处理画面的处理调节器SIF格式的视频画面画面缓冲与重排运动估计DCTQVLCBufferMUXQ-1IDCT+画面存储及预测预测画面运动矢量差分画面视频比特流q解码的差分画面MPEG-1编码器框图编码器框图I画面独立编码,类似于JPEGP画面和B画面应进行运动估计,求出12个运动矢量P画面和B画面采用帧间预测编码,被编码的是差分图象2022/11/1433南京大学多媒体技术研究所MPEG-l 编码器的组成编码器的组成o运动估计与宏块类型(MTYPE)的选择,oMQUANT(q)值的设置,o运动补偿预测,o量化和逆量化(dequantizer),oDCT和 IDCT,o变长编码(VLC),o多路复用器(MUX),o缓冲器及调节器.2022/11/1434南京大学多媒体技术研究所I 画面压缩编码的流程画面压缩编码的流程 2022/11/1435南京大学多媒体技术研究所宏块及运动矢量宏块及运动矢量运动矢量运动矢量运动矢量由于画面内容有连贯性,因此当前画面的内容可以看作是前面画面部分内容的位移(运动)。2022/11/1437南京大学多媒体技术研究所宏块的划分宏块的划分画面各处的运动矢量(幅度、方向)各不相同，因此，画面应细分成块(宏块)，以宏块为单位，找出两帧画面中相应宏块之间的位移关系运动矢量2022/11/1438南京大学多媒体技术研究所宏块的大小与组成宏块的大小与组成o宏块(macro block)的组成:012345Y(16x16)U(8x8)V(8x8)宏块有2种情况：可预测宏块:与参考画面中的某个宏块有位移关系不可预测宏块:与参考画面中的任何宏块都找不到位移关系2022/11/1439南京大学多媒体技术研究所可预测宏块可预测宏块Motion vectorForward prediction:前向预测宏块(I or P picture)(P picture)Bidirectional prediction:双向预测宏块(I or P picture)(I or P picture)(B picture)被编码宏块被编码宏块参考画面参考画面参考画面2022/11/1440南京大学多媒体技术研究所可预测宏块的预测公式可预测宏块的预测公式设I(X)为位置X处的象素值；I1(X)是画面1中的编码宏块象素的原始值,I1(X)是它们的预测值；I0(X)和I2(X)是参考画面0和画面1中宏块象素的值；MV0,1 和MV2,1分别是画面1中的宏块相对于画面0、画面2中参考宏块的运动矢量。宏块类型预测公式预测误差内部宏块I1(X)=128I1(X)-I1(X)双向预测宏块 I1(X)=I0(X+MV0,1)+I2(X+MV2,1)/2I1(X)-I1(X)后向预测宏块I1(X)=I2(X+MV2,1)I1(X)-I1(X)前向预测宏块I1(X)=I0(X+MV0,1)I1(X)-I1(X)2022/11/1441南京大学多媒体技术研究所运动矢量的估计运动矢量的估计参考画面预测编码画面编码宏块最佳匹配宏块搜索范围运动矢量2022/11/1442南京大学多媒体技术研究所运动矢量估计算法o基本原理:假设一个初始矢量 计算匹配度是否最佳匹配结束y在搜索范围内调整运动矢量n最佳匹配准则(“方差和”最小/“绝对误差和”最小):2022/11/1443南京大学多媒体技术研究所3131搜索范围MPEG-1的运动矢量估计的运动矢量估计o搜索范围(7种可选)31,63,127,.,2047?o搜索精度(2种可选)0.5 pel,1 pelo搜索策略(自定)n全面搜索(31x31)搜索次数=(31-16+1)2=256n方向搜索法n对数搜索法(31x31)搜索次数=9x5=45n对偶搜索法宏块宏块宏块宏块宏块宏块宏块2022/11/1444南京大学多媒体技术研究所方向搜索法方向搜索法沿着最小失真方向搜索，每一次检查3-5个搜索点，搜索步长固定。22211111333452022/11/1445南京大学多媒体技术研究所对数搜索法（对数搜索法（3步搜索法）步搜索法）1111111112222222223 3333333344 4 444444搜索范围每一步测试8个搜索点,并逐步缩小搜索步长2022/11/1446南京大学多媒体技术研究所实验结果实验结果变焦的镜头及其运动场平移的镜头及其运动场2022/11/1447南京大学多媒体技术研究所P画面和画面和B画面的编码画面的编码P画面宏块的类型及处理画面宏块的类型及处理(码块图 CBP=32xP0+16xP1+8xP2+4xP3+2xP4+1xP5)计算运动矢量运动矢量0运动矢量=0预测编码帧内编码修改量化标尺不改量化标尺pred-mcqpred-mc使用码块图不用码块图pred-m预测编码帧内编码使用码块图不用码块图修改量化标尺修改量化标尺不改量化标尺不改量化标尺intra-qpred-cqpred-cskipped intra-d修改量化标尺不改量化标尺intra-q intra-d码块图表示宏块中有哪些子块的DCT系数为全02022/11/1449南京大学多媒体技术研究所可预测编码宏块的处理过程可预测编码宏块的处理过程2022/11/1450南京大学多媒体技术研究所B画面的编码画面的编码oB画面编码:与P画面类似，但更复杂。例如:n宏块类型更多，可预测宏块可分成:o前向预测宏块o后向预测宏块o双向预测宏块n参加编码的运动矢量可能是1个或2个oD画面编码:只取每一块的DC系数进行编码，全部是帧内编码，用于快速检索2022/11/1451南京大学多媒体技术研究所双向预测宏块的编码过程双向预测宏块的编码过程运动矢量运动矢量2022/11/1452南京大学多媒体技术研究所小结小结1:编码器的主要操作编码器的主要操作 1为 GOP中的 I画面、P画面和 B画面重新排序 2为 P画面和 B画面中的每个 MB（宏块）估算运动矢量 3确定每个 MB的宏块类型（MTYPE）4如果选择自适应量化的话，设置量化因子 MQUANT。2022/11/1453南京大学多媒体技术研究所小结小结2:I,P,B 三种画面的比较三种画面的比较o压缩后，3种画面比特数目的比较：IPB例如：I画面：300 kb P画面：100-65 kb B画面：18-7 kbo关于B画面n优点：预测效果好，压缩效率高，n缺点：复杂，需要较大的缓冲器，增加了编码延迟。2022/11/1454南京大学多媒体技术研究所小结小结3:视频比特流的层次结构视频比特流的层次结构DCT单位运动补偿单位重新同步单位主编码单位随机存取单元video编辑单位随机存取单元context2022/11/1455南京大学多媒体技术研究所小结小结4:MPEG-1的视频数据流格式的视频数据流格式SeqSeqSeqSeqSequence LayerCBPb5.AddrTypeMotionVectorQScaleb0Block LayerGOPGOP.SeqSCVideoParamBitstreamParamQT,miscGOP Layerbitrate,bufsizewidth,height,aspect ratio,picture ratePictPict.GOPSCGOPParamTimeCodePicture Layerhours,minutes,secondsSliceSlice.PSCTypeBufferParamEncodeParamSlice LayerI,P,BMBMB.SSCQScaleVertPosMacro-block Layerwhich line does this slice start on?2022/11/1456南京大学多媒体技术研究所3.MPEG-1视频的解码视频的解码解码器框图与解码过程解码器框图与解码过程 缓冲器分路器VLC解码器Q-1IDCT画面重排+画面存储与预测视频比特流宏块类型、画面类型运动矢量量化步长重建的视频图象 输入速率固定，但画面的数据量差别很大，必须要设缓冲分路器负责语法、语义检查，对宏块进行解码，解出运动矢量、宏块类型等IDCT输出的是I画面及P画面和B画面的预测画面保存I画面及P画面，生成预测画面（P,B）预则画面+差分画面=重建的画面画面重排序，然后输出送显示器（帧速固定）2022/11/1458南京大学多媒体技术研究所缓冲器的设计缓冲器的设计o必要性：平滑数据量/画面的波动，确保以固定帧频显示。o副作用：增加了解码延迟时间，增大了成本。o画面数据量与缓冲大小的关系。Buffer输入速率R每隔1/P秒取1帧画面BBn假设 解码速率为P,即每隔1/P秒从Buffer中取1帧画面的数据;输入数据的速率为R,所以每1/P秒会向Buffer中输入R/P数据;缓冲器容量为B,第n帧画面取走后其中留下的数据为Bn;第n帧画面的数据量设为dn2022/11/1459南京大学多媒体技术研究所缓冲器的设计缓冲器的设计为了取第n+1帧画面时，不发生下溢下溢，必须保证:Bn+R/P=dn+1为了在第n+2帧画面取走之前，不发生上溢上溢，必须保证:(Bn+R/P)-dn+1+R/P=Bn+2R/P-B所以，第n+1帧画面的数据量必须满足：Bn+2R/P-B=dn+1=Bn+R/PBuffer输入速率R每隔1/P秒取1帧画面BBn2022/11/1460南京大学多媒体技术研究所解码后的后处理解码后的后处理resampling-120140 256 1400-1213031YU,V/256/8i-3 i-2 i-1 i i+1 i+2 i+3720 x576720 x288360 x288YCCIR 601360 x576360 x288180 x288180 x144U,VCCIR 6012022/11/1461南京大学多媒体技术研究所MPEG-1视频编码小结MPEG-1 小结小结o特点：n是一种通用标准，它规定了编码视频流的表示语法和解码方法。该语法支持的操作有运动补偿预测、离散余弦变换(DCT)、量化和变长编码，n编码器设计具有灵活性（它没有定义产生合法数据流所需的详细算法；例如，对运动估计算法和压缩模式选择未作规定）n用于定义编码位流和解码器的一系列参数都包含在位流本身中。这就允许算法适用于不同大小和宽高比的画面，也可以用在工作速率范围很大的信道和设备上。2022/11/1463南京大学多媒体技术研究所MPEG-1 小结小结o缺点与不足:n16 x 16的宏块作为预测单位尺寸稍大n可能产生亚象素级的位移n物体的3D运动(如旋转)不易预测n摄象机运动、灯光变化、物体形状变化、场景切换、物体遮挡等引起的画面变化，预测有困难nB画面、P画面使编辑操作复杂化n仅适合 逐行扫描的视频信号的处理2022/11/1464南京大学多媒体技术研究所
