视频压缩编码标准.pptx

H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测 变换与量化第1页/共72页H.264/AVCH.264/AVC编解码器编解码器H.264编解码器特点 H.264并不明确地规定一个编解码器如何实现，而是规定了一个编码的视频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。第2页/共72页H.264/AVCH.264/AVC编解码器编解码器H.264编码器 编码器采用的仍是变换和预测的混合编码法。输入的帧或场Fn以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。如果采用帧内预测编码，其预测值PRED（图中用P表示）是由当前片中前面已编码的参考图像经运动补偿（MC）后得出，其中参考图像用Fn-1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来（指显示次序上）已编码解码重建和滤波的帧中进行选择。预测值PRED和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变换系数X，再经熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流。正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的Dn与预测值P相加，得到uFn（未经滤波的帧）。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出Fn即重建图像可用作参考图像。第3页/共72页H.264/AVCH.264/AVC编解码器编解码器H.264解码器 由图1可知，由编码器的NAL输出一个压缩后的H.264压缩比特流。由图2，经熵解码得到量化后的一组变换系数X，再经反量化、反变换，得到残差Dn。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器中的原始PRED是相同的。当该解码器产生的PRED与残差Dn相加后，就产生uFu，再经滤波后，最后就得到滤波后的Fn，这个Fn就是最后的解码输出图像。第4页/共72页H.264/AVCH.264/AVC编解码器编解码器图1 H.264编码器第5页/共72页H.264/AVCH.264/AVC编解码器编解码器图2 H.264解码器第6页/共72页H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测 变换与量化第7页/共72页H.264/AVCH.264/AVC的结构的结构名词解释场和帧 视频的一场或一帧可用来产生一个编码图像。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。第8页/共72页H.264/AVCH.264/AVC的结构的结构名词解释宏块、片:一个编码图像通常划分成若干宏块组成，一个宏块由一个1616亮度像素和附加的一个88 Cb和一个88 Cr彩色像素块组成。每个图象中，若干宏块被排列成片的形式。I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。I宏块利用从当前片中已解码的像素作为参考进行帧内预测。P宏块利用前面已编码图象作为参考图象进行帧内预测，一个帧内编码的宏块可进一步作宏块的分割：即1616、168、816或88亮度像素块（以及附带的彩色像素）；如果选了88的子宏块，则可再分成各种子宏块的分割，其尺寸为88、84、48或44亮度像素块（以及附带的彩色像素）。B宏块则利用双向的参考图象（当前和未来的已编码图象帧）进行帧内预测。第9页/共72页H.264/AVCH.264/AVC的结构的结构档次和级 H.264规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。1）基本档次：利用I片和P片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码（CAVLC）。主要用于可视电话、会议电视、无线通信等实时视频通信；2）主要档次：支持隔行视频，采用B片的帧间编码和采用加权预测的帧内编码；支持利用基于上下文的自适应的算术编码（CABAC）。主要用于数字广播电视与数字视频存储；3）扩展档次：支持码流之间有效的切换（SP和SI片）、改进误码性能（数据分割），但不支持隔行视频和CABAC。主要用于网络的视频流，如视频点播图3为H.264各个档次具有的不同功能，可见扩展档次包括了基本档次的所有功能，而不能包括主要档次的。每一档次设置不同参数（如取样速率、图像尺寸、编码比特率等），得到编解码器性能不同的级。第10页/共72页H.264/AVCH.264/AVC的结构的结构图3 H.264档次第11页/共72页H.264/AVCH.264/AVC的结构的结构编码数据格式 H.264支持4:2:0的逐行或隔行视频的编码和解码。第12页/共72页H.264/AVCH.264/AVC的结构的结构参考图像 可从一组前面或后面已编码图像中选出一个或两个与当前最匹配的图像作为帧间编码间的参数图像，H.264中最多可从15个参考图像中进行选择，选出最佳的匹配图像。对于P片中帧间编码宏块可从表“0”中选择参数图像；对于B片中的帧间编码宏块和宏块分割的预测，可从表“0”和“1”中选择参考图像。第13页/共72页H.264/AVCH.264/AVC的结构的结构 片和片组 片一个视频图像可编码成一个或更多个片，每片包含整数个宏块（MB），即每片至少一个MB，最多时每片包含整个图像的宏块。设片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。某片的预测不能以其它片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其它片中去。编码片共有5种不同类型，I片、P片、B片外，还有SP片和SI片。其中SP（切换P）是用于不同编码流之间的切换。第14页/共72页H.264/AVCH.264/AVC的结构的结构 图4 片的句法结构第15页/共72页H.264/AVCH.264/AVC的结构的结构 片和片组 片组 片组是一个编码图象中若干MB的一个子集，它可包含一个或若干个片。在一个片组中，每片的MB按光栅扫描次序被编码，如果每幅图象仅取一个片组，则该图象中所有的MB均按光栅扫描次序被编码。还有一种片组，叫灵活宏块次序（FMO），它可用灵活的方法，把编码MB序列映射到解码图象中MB的分配用MB到片组之间的映射来确定，它表示每一个MB属于哪个片组。表1 为MB到片组的各种映射类型。第16页/共72页H.264/AVCH.264/AVC的结构的结构 表1 MB到片组的映射类型名称描述0交错MB游程被依次分配给每一块组（图8）1散乱每一片组中的MB被分散在整个图象中（图9）2前景和背景例见图103Boxout从帧的中心开始，产生一个箱子，其MB属于片组0，其它MB属于片组（图11）4光栅扫描片组0包含按光栅扫描次序从顶左的所有MB，其余MB属片组1（图11）5手绢片组0包含从顶左垂直扫描次序的MB，其余MB属片组1（图11）6显式每一Mbslice_group_id,用于指明它的片组（即MB映射完全是用户定义的）第17页/共72页H.264/AVCH.264/AVC的结构的结构 图5 交错型片组 图6 散乱型片组图7 前景和背景型片组第18页/共72页H.264/AVCH.264/AVC的结构的结构 图8 片组第19页/共72页H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测变换与量化 第20页/共72页帧内预测帧内预测 在帧内预测模式中，预测块P是基于已编码重建块和当前块形成的。对亮度像素而言，P块用于44子块或者1616宏块的相关操作。44亮度子块有9种可选预测模式，独立预测每一个44亮度子块，适用于带有大量细节的图像编码；1616亮度块有4种预测模式，预测整个1616亮度块，适用于平坦区域图像编码；色度块也有4种预测模式，类似于1616亮度块预测模式。编码器通常选择使P块和编码块之间差异最小的预测模式。第21页/共72页帧内预测帧内预测 44亮度预测模式 如图6.14所示，44亮度块的上方和左方像素AM为已编码和重构像素，用作编解码器中的预测参考像素。ap为待预测像素，利用AM值和9种模式实现。其中模式2(DC预测)根据AM中已编码像素预测，而其余模式只有在所需预测像素全部提供才能使用。图6.15箭头表明了每种模式预测方向。对模式38，预测像素由AM加权平均而得。例如，模式4中，d=round(B/4+C/2+D/4)。第22页/共72页帧内预测帧内预测 图1第23页/共72页帧内预测帧内预测 a)b)图2 a)利用像素A-M对方块中a-p像素进行帧内44预测b)帧内44 预测的8个预测方向第24页/共72页帧内预测帧内预测 图3 44亮度块预测模式第25页/共72页帧内预测帧内预测Example:4x4 块,9种预测模式(0-8)对于当前块的最佳模式是：模式 7(vertical-right)第26页/共72页帧内预测帧内预测图4 第27页/共72页帧内预测帧内预测 1616亮度预测模式 宏块的全部1616亮度成分可以整体预测，有4种预测模式，如表2和图5所示。图5 1616预测模式第28页/共72页帧内预测帧内预测 表2 1616预测模式模式描 述模式0（垂直）由上边像素推出相应像素值模式1（水平）由左边像素推出相应像素值模式2（DC）由上边和左边像素平均值推出相应像素值模式3（平面）利用线形“plane”函数及左、上像素推出相应像素值，适用于亮度变化平缓区域第29页/共72页帧内预测帧内预测 图6 1616 宏块图6.19 帧内 1616 预测块图7 帧内 1616 预测块举例：图6给出了一个左上方像素已编码的亮度宏块。图7 给出了4种预测模式预测结果。其中模式 3最匹配原始宏块。帧内1616模式适用于图像平坦区域预测。第30页/共72页帧内预测帧内预测 88色度块预测模式 每个帧内编码宏块的88色度成分由已编码左上方色度像素预测而得，两种色度成分常用同一种预测模式。4种预测模式类似于帧内1616预测的4种预测模式，只是模式编号不同。其中DC（模式0）、水平（模式1）、垂直（模式2）、平面（模式3）。第31页/共72页帧内预测帧内预测帧内预测模式帧内预测模式编码例如：如果A块和B块的最优预测模式均是预测模式2，那么，最可能当前块C的最优预测模式是模式2图8 帧内预测模式编码第32页/共72页帧内预测帧内预测对于当前块C,编解码器按照如下方法计算probable prediction mode minprediction mode of A,prediction modes of B当A(或者 B）的预测模式不可用时，prediction mode of A 2.例如 A 和 B块的预测模式分别为 3 和1 most probable mode for block C=1第33页/共72页帧内预测帧内预测编码器为每个4x4 块发送一个标记 flag,解码器按照如下方式 解码If flag=1,prediction mode=most_probable_modeIf flag=0 If rem_intra44_pred_mode most_probable_mode prediction mode=rem_intra44_pred_mode else prediction mode=rem_intra44_pred_mode+1 这样表示9中预测模式只需要8个值(0 to 7)第34页/共72页帧内预测帧内预测第35页/共72页H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测 变换与量化第36页/共72页帧间预测帧间预测 树状结构运动补偿 每个宏块（1616像素）可以4种方式分割：一个1616，两个168，两个816，四个88。其运动补偿也相应有四种。而88分割还可以有四种方式的分割：一个88，两个48或两个84及4个44。这种分割下的运动补偿则称为树状结构运动补偿。第37页/共72页帧间预测帧间预测 图1 宏块分割第38页/共72页帧间预测帧间预测 树状结构运动补偿 每个分割或子宏块都有一个独立的运动补偿。每个MV必须被编码、传输，分割的选择也需编码到压缩比特流中。对大的分割尺寸而言，MV选择和分割类型只需少量的比特，但运动补偿残差在多细节区域能量将非常高。小尺寸分割运动补偿残差能量低，但需要较多的比特表征MV和分割选择。分割尺寸的选择影响了压缩性能。整体而言，大的分割尺寸适合平坦区域，而小尺寸适合多细节区域。第39页/共72页帧间预测帧间预测 宏块的色度成分（Cr和Cb）则为相应亮度的一半（水平和垂直各一半）。色度块采用和亮度块同样的分割模式，只是尺寸减半（水平和垂直方向都减半）。例如，816的亮度块相应色度块尺寸为48，84亮度块相应色度块尺寸为42等等。色度块的MV也是通过相应亮度MV水平和垂直分量减半而得。举例：如图：一个残差帧（没有进行运动补偿）。H.264编码器为帧的每个部分选择了最佳分割尺寸，使传输信息量最小，并将选择的分割加到残差帧上。在帧变化小的区域（残差显示灰色），选择1616分割；多运动区域（残差显示黑色或白色），选择更有效的小的尺寸。第40页/共72页帧间预测帧间预测 图2 残差帧第41页/共72页帧间预测帧间预测 运动矢量帧间编码宏块的每个分割或者子宏块都是从参考图像某一相同尺寸区域预测而得。两者之间的差异（MV）对亮度成分采用1/4像素精度，色度1/8像素精度。亚像素位置的亮度和色度像素并不存在于参考图像中，需利用邻近已编码点进行内插而得。图中，当前帧的44块通过邻近参考图像相应区域预测。如果MV的垂直和水平分量为整数，参考块相应像素实际存在（灰色点）。如果其中一个或两个为分数，预测像素（灰色点）通过参考帧中相应像素（白色点）内插获得。第42页/共72页帧间预测帧间预测 图3 亮度半像素位置内插第43页/共72页帧间预测帧间预测 内插像素生成：生成参考图像亮度成分半像素像素。半像素点（如b,h,m）通过对相应整像素点进行6抽头滤波得出，权重为（1/32,-5/32,5/8,5/8,-5/32,1/32）。（6.1）类似的，h由A、C、G、M、R、T滤波得出。一旦邻近（垂直或水平方向）半素点的所有像素都计算出，剩余的半像素点便可以通过对6个垂直或水平方向的半像素点滤波而得。例如，j由cc,dd,h,m,ee,ff滤波得出。这里说明的是，6抽头滤器比较复杂，但可明显改善运动补偿性能。第44页/共72页帧间预测帧间预测 图4 亮度1/4像素内插半像素点计算出来以后，1/4像素点就可通过线性内插得出，如图4所示。1/4像素点（如a,c,i,k,d,f,n,q）由邻近像素内插而得，如 剩余1/4像素点（p,r）由一对对角半像素点线性内插得出。如，e由b和h获得。第45页/共72页帧间预测帧间预测 图5 色度1/8像素内插相应地，色度像素需要1/8精度的MV，也同样通过整像素地线性内插得出，如图5所示。（6.3）第46页/共72页帧间预测帧间预测 MV预测 每个分割MV的编码需要相当数目的比特，特别是使用小分割尺寸时。为减少传输比特数，可利用邻近分割的MV较强的相关性，MV可由邻近已编码分割的MV预测而得。第47页/共72页帧间预测帧间预测 B片预测 B片中的帧间编码宏块的每个子块都是由一个或两个参考图像预测而得。该参考图像在当前图像的前面或者后面。参考图像存储于编解码器中，其选择有多种方式。图6显示了三种方式：一个前向和一个后向的；两个前向；两个后向。第48页/共72页帧间预测帧间预测 图6.预测第49页/共72页帧间预测帧间预测 参考图像B片用到了两个已编码图像列表：list0和list1，第50页/共72页帧间预测帧间预测 举例：一个H.264解码器存储了6幅短期参考图像。其POC分别为：123，125，126，128，129和130。当前图像为127。所有6幅短期参考图像在list0和list1中都标为“作用参考”，如表所示。表1第51页/共72页帧间预测帧间预测 预测模式选择 B片的预测方式包括：宏块分割方式、双向选择方式、参考列表选择方式等等。具体说，B片中宏块分割可由多种预测方式中的一种实现，如直接模式、利用list0的运动补偿模式、利用list1的运动补偿模式或者利用list0和list1的双向运动补偿模式。每个分割可选择各自的不同的预测模式（如表2所示）。如果88分割被使用，每个88分割所选则的模式适用于分割中的所有亚分割。图7给出了例子，左边的两个168分割分别使用List0和双向预测模式，而右边的4个88分割分别采用直接、list0、list1和双向预测四种模式。第52页/共72页帧间预测帧间预测 表2 B片宏块预测选则分割选 择1616直接、list0、list1、双向168/816list0、list1、双向（每个分割独立选择）88直接、list0、list1、双向（每个分割独立选择）图7 B片中分割预测模式举例第53页/共72页帧间预测帧间预测 双向预测从list0和list1分别得出两个运动补偿参考区域（需要两个MV），而预测块的像素取list0和list1相应像素的平均值。当不用加权预测时，用下列等式：第54页/共72页帧间预测帧间预测 举例：一宏块用B_Bi_1616模式预测。图和图6.30分别给出了基于list0和list1参考图像的运动补偿参考区域。图6.31给出了根据者两个参考区域的双向预测。图8 参考区域(list0)图9 参考区域(list1)图10 双向预测（无加权）图6.31 双向预测（无加权）第55页/共72页帧间预测帧间预测 直接预测 直接预测模式编码的B片宏块或宏块分割不传送MV。第56页/共72页帧间预测帧间预测 加权预测 加权预测是一种用来修正P或B片中运动补偿预测像素方法。H.264中有3种加权预测类型：P片宏块“explicit”加权预测；B片宏块“explicit”加权预测；B片宏块“implicit”加权预测；每个预测像素pred0(i,j)和pred1(i,j)在运动补偿之前通过加权系数0和1修正。在“explicit”类型中，加权系数由编码器决定并在片头中传输。在“implicit”类型中，系数0和1由相应list0和list1参考图像的时间位置推出。大的系数用于时间上接近当前图像的情况，小的则用于时间上远离当前图像的情况。第57页/共72页H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测 变换与量化第58页/共72页变换与量化变换与量化输入44的图像或残差块X对对X块进行块进行44整数离散余弦变换，得到W块块是色度块或帧内1616预测模式的亮度块？是对W中的直流分量进行中的直流分量进行Hadamard变换，得到YD块对W块进行比例缩放及量化块进行比例缩放及量化对YD块进行比例缩放及量化否输出图1编码器中变换编码及量化过程第59页/共72页变换与量化变换与量化图2 Scanning order of residual blocks within a macroblock第60页/共72页变换与量化变换与量化H.264对图像或预测残差采用了44整数离散余弦变换DCT技术 H.264编码器中DCT变换及量化过程如图所示。其中，如果输入块是色度块或帧内1616预测模式的亮度块，则将宏块中各44块的整数余弦变换的直流分量组合起来再进行Hadamard变换，进一步压缩码率 第61页/共72页变换与量化变换与量化对实数的DCT，由于在解码端的浮点运算精度问题，会造成解码后的数据的失配，进而引起漂移。H.264较其它图像编码使用了更多的预测过程，甚至内部编码模式也依赖于空间预测。因此，H.264对预测漂移是十分敏感的。为此，H.264对44DCT 中的A进行了改造，采用整数DCT技术，有效地减少计算量，同时不损失图像准确度 第62页/共72页变换与量化变换与量化 H.264对44的图像块（亮度块或Cr、Cb色度块）进行操作，则相应的44 DCT为（变换矩阵A）：其等价形式为：其中，d=c/b（0.414）。符号“”表示（CXCT）结果中的每个元素乘以矩阵E中对应位置上的系数值的运算。为了简化计算，取d为 0.5。为了保持变换的正交性，对b进行修正，取第63页/共72页变换与量化变换与量化变换矩阵整数化处理H.264将DCT融合到后面的量化过程中实际的DCT输出为：W CXCT 第64页/共72页变换与量化变换与量化逆变换 第65页/共72页变换与量化变换与量化表 H.264中编解码器的量化步长QPQstepQPQstepQPQstepQPQstepQPQstep00.625122.5241036404816010.6875132.75251137444917620.8125143.25261338525020830.875153.52714395651224411642816406451.125174.52918417261.251853020428071.375195.53122438881.625206.532264410491.75217332845112102228343246128112.252393536471441)QP是量化参数，是量化步长Qstep的序号;2)当QP取最小值0时,代表最精细的量化，当QP取最大值51时,代表最粗糙的量化。3)QP每 增 加 6，Qstep增加一倍。第66页/共72页变换与量化变换与量化 是矩阵W中的转换系数，是矩阵 中的元素，利用量化步长随量化参数每增加6而增加一倍的性质，可以进一步简化计算。设 qbits=15+floor(QP/6)第67页/共72页变换与量化变换与量化MF可以取整数，量化表只列出对应QP值为0到5的MF值。对于QP值大于5的情况，只是qbits值随QP值每增加6而增加1，而对应的MF值不变。量化过程则为整数运算，并且可以避免使用除法，并且确保用16位算法来处理数据，在基本保持PSNR性能的情况下，实现最小的运算复杂度。第68页/共72页变换与量化变换与量化第69页/共72页变换与量化变换与量化对亮度块WD的Hadamard变换为：DCT直流系数的变换量化0001014025032103116127138209211323221211313010153332141616的图像宏块中有44个44图像亮度块，所以亮度块的WD为44矩阵，其组成元素为各图像块DCT的直流系数W00，这些W00在WD中的排列顺序为对应图像块在宏块的位置。第70页/共72页变换与量化变换与量化对各色度块WD的Hadamard变换为：0001012103111616的图像宏块中包含图像色度Cr及Cb块各22个，所以色度Cr或Cb块的WD为22矩阵，其组成元素为各对应图像块色度信号DCT的直流系数W00，这些W00在WD中的排列顺序为对应图像块在宏块的位置 第71页/共72页北京市多媒体与智能软件技术重点实验室 感谢您的观看！第72页/共72页