the 基于多视点视频编码宏块模式选择的快速算法guide d.pdf

《the 基于多视点视频编码宏块模式选择的快速算法guide d.pdf》由会员分享，可在线阅读，更多相关《the 基于多视点视频编码宏块模式选择的快速算法guide d.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 23 卷第 1 期 宁 波 大 学 学 报（理 工 版）Vol.23 No.1 2010 年 1 月 JOURNAL OF NINGBO UNIVERSITY(NSEE)Jan.2010 文章编号:1001-5132（2010）01-0029-05 基于多视点视频编码宏块模式选择的快速算法 何 萍,彭宗举,邵 枫（宁波大学 信息科学与工程学院,浙江 宁波 315211）摘要:为降低多视点视频编码中宏块模式选择带来的编码复杂度,提出了一种新的宏块模式选择快速算法.首先分析了最优模式选择的统计特征,接着根据宏块的亮度信息对图像进行区域划分,进而对不同区域选择不同的模式,以达到快速找到最优模式的

2、目,最后提出了一种基于宏块亮度绝对均值差的宏块模式选择的快速算法.实验结果表明:提出的快速算法在保持率失真性能基本不变的情况下,编码速度比多视点视频编码校验模型 JMVM 提高 4.149.83 倍.关键词:多视点视频编码;亮度绝对均值差;模式选择;快速算法 中图分类号:TP391.41 文献标识码:A 为进一步提高观看视频场景的真实感,多视点视频系统对双目立体视频系统进行了扩展.多视点视频是由多个摄像机从不同角度拍摄得到的,它能让用户自由地选择位置观看不同角度的场景,其视频技术具有广泛的应用前景,例如三维立体电视、三维远程通信及远程医疗等1-2.然而与当前普通视频相比,多视点视频的数据量因相

3、机数目的增加而成倍增加.因此,要使多视点系统应用到实际中,必须对多视点视频信息进行高效压缩.目前,研究人员已经对多视点视频编码开展了大量的研究.JVT(Joint Video Team)提出了多视点视频编码校验模型(Joint Multiview Video Model,JMVM)3,作为多视点视频编解码的研究平台,JMVM 兼具 H.264 中可变块尺寸、多参考帧运动估计和率失真优化等编码特征4.在 JMVM 中,宏块模式可以分为 SKIP、Inter1616、Inter168、Inter 816、Inter88、Inter88Frext、Intra1616、Intra88和 Intra44

4、.JMVM 中采用了对各个宏块编码模式全遍历的选择方法,这种方法虽然可获得较高的编码效率和重建图像质量,但同时也带来了很高的计算复杂度.目前,有学者提出基于 H.264/AVC宏块模式选择的快速算法5-7,但这些算法仅是基于单通道视频编码的快速算法,对于多视点视频编码的快速算法还有待研究.文献8提出了最省时间可选宏快模式的概念和基于顺序可选宏快模式集的快速宏块模式选择算法,在一定程度上节省了编码时间.笔者根据对宏块编码模式的统计分布结果,结合宏块的亮度分布信息,提出了基于宏块亮度绝对均值差宏块模式选择的快速算法.新算法采用判断选择策略,减少对宏块模式的遍历次数,达到快速选择最优模式的目的.实验

5、表明,该算法在图像质量和编码效率几乎保持不变的情况下,编码复杂度大大降低.收稿日期:2009-03-11.宁波大学学报（理工版）网址:http:/ 基金项目:浙江省自然科学基金（Y1090752）;宁波市自然科学基金（2008A610016,2009A610087）.第一作者:何 萍（1985）,女,江西萍乡人,在读硕士研究生,主要研究方向:数字音视频技术.E-mail: 30 宁波大学学报（理工版）2010 1 多视点视频编码系统和编码结构 多视点视频系统包括多通道视频采集、编码、网络传输、解码和显示几部分组成.解码的多个视频信号通过不同的显示方式可获得多种视觉效果:普通的单通道 2DTV/

6、HDTV、具有强烈立体感和深度感的立体视频或者具备高效交互能力的多视点视频.目前,应用于多视点视频系统中的编码结构比较经典的有 Simulcast、IPP、PIP、IBP 和 HBP9.由于 HBP 充分采用视点内和视点间的相关性消除空间和时间上的冗余,而取得较高的编码效率10,已被写入 JMVM 中.如图 1 所示,该结构 GOP 长度为 8.横轴表示视点,Si为第 i 视点;纵轴表示时间,Tj为第 j 时刻.图中 I 表示帧内编码帧,P 帧为单向预测的帧间编码帧.GOP 中的其余帧为B 帧编码方式,B 帧分成多个层次,B1B4 分别表示 4 个 B 帧层次.图 1 HBP 多视点编码结构

7、2 基于宏块编码模式统计及亮度分布信息统计的快速模式选择算法 2.1 JMVM 最优编码模式的选择准则及统计分析 在多视点视频编码中,采用了率失真优化技术来进行最优编码模式的选择,它在图像质量和编码比特率上达到平衡.其Lagrangain率失真代价函数定义如下:MODE(,MODE|)(,MODE|)J s cSSD s cQP=+MODE(,MODE)R s c.(1)其中,MODE(,MODE|)J s c为MODE模式下的率失真代价;s为原始的视频信号;c为采用MODE模式编码后的重建视频信号;MODE为当前宏块的一种帧间编码模式;(,MODE)R s c为MODE模式下用来编码宏块头信

8、息、运动(视差)信息和所有DCT系数的所有编码比特数;(,MODE|)SSD s cQP为原始信号和重建信号之间的平方差值和(Sum of Square Difference,SSD),采用下式计算:(,MODE|)SSD s cQP=122,1,1,B Bxyijs i jc imjm=(2)其中,B1,B2表示块的水平和垂直像素数,可以取值16,8和4;m=(mx,my)T表示运动(视差)矢量.MODE为拉格朗日乘子,其式如下:(12)/3MODE0.852QP=.(3)以下分析JMVM在全搜索模式的方式下对宏块模式的分布情况,表1给出了在Basis 22QP=下对S0T6帧的模式统计结果

9、.表 1 宏块编码模式统计结果%各编码模式所占比例 序列 SKIP Inter1616 Inter168 Inter816Ballroom77.17 12.17 2.67 4.25 Exit 60.83 19.33 4.92 5.17 Race1 95.33 3.33 0.00 0.00 各编码模式所占比例 序列 Inter88 Intra44/1616 其他 Ballroom3.33 0.25 0.16 Exit 3.50 4.50 1.75 Race1 1.33 0.00 0.00 表1的统计结果表明:(1)在B帧编码中,帧内编码模式所占比例很少.所以,在率失真优化选择过程中,对宏块进行帧

10、内编码判断选择性能的提高在整个编码中所占比例意义不大.(2)采用SKIPView Time S0 S1 S2 S3 S4 S5 S6 S7T0 T1 T2 T3 T4 T5 T6 T7 T8 第 1 期 何 萍,等:基于多视点视频编码宏块模式选择的快速算法 31 模式所占比例最大,其次是Inter1616模式.(3)对于运动剧烈或纹理信息丰富的测试序列,采用小块编码模式的比例相对较高(比如Exit序列).而对于像Race1序列,因为大部分区域都为背景区域或运动特征一致区域,所以采用大块模式编码较多,其是SKIP模式.2.2 宏块亮度均值的分析 在多视点视频编码中,1帧图像按照运动或纹理特征来划

11、分为静止或背景区域、运动一致性区域、运动剧烈或纹理较多的区域.位于背景区域的宏块,因其纹理简单,内容平坦,一般采用大尺寸模式进行编码,如SKIP和Inter1616模式.而位于运动区域的宏块,因纹理丰富,边缘细节较多,所以一般采用小尺寸模式进行编码,如Inter88和Intra 44模式.以下主要是根据当前帧宏块和参考帧对应宏块亮度均值的绝对差值来判断宏块处于前景还是背景区域、运动还是静止区域,为编码模式的选择提供有效的依据.设B帧像素(,)i j的亮度值为,(1,16)i jxi j,则整个宏块亮度均值为1616,11()/256i jijx=,再令最近参考帧中对应宏块亮度象素值为,(1,i

12、 jji j 16).同理,宏块亮度均值为1616,11()/256i jijy=.则当前编码宏块与其参考帧中匹配宏块的亮度绝对均值差MAD_MBL(Mean Absolute Difference of Macroblock Luminance)计算如下:1616,111_256i ji jijMADMBLxy=.(4)MAD_MBL反映了图像的纹理和运动特征,从而可以依据MAD_MBL对图像进行区域划分,这同时为宏块模式的快速选择提供一个判断准则.3 基于编码模式的统计及宏块亮度信息差值的快速模式选择算法 通过对多视点视频中模式选择的统计分析和宏块MAD_MBL分布特征,总结出以下几点:(

13、1)SKIP模式在B帧编码模式中占有相当大的比例.当宏块被判断为背景区域时,且当前宏块的MAD_MBL小于阈值TH1时,仅搜索SKIP模式和Inter1616模式,选取二者中代价值较小的为最优编码模式,并提前终止其他模式的搜索.(2)当前宏块的MAD_MBL大于阈值TH1并小于阈值TH2时,可认为当前宏块处于运动较一致或纹理信息较平滑区域,选择SKIP、Inter1616、Inter168和Inter816为候选模式.(3)当宏块处于运动剧烈区域或宏块中有边缘信息时,选择Inter88和帧内模式作为候选模式.综合以上三点,笔者提出了快速模式选择算法,流程图如图2所示.图 2 快速模式选择算法流

14、程图 其相应步骤如下:(1)把所有模式均设为可选模式;(2)MAD_MBLTH1时,检测SKIP模式和Inter 1616模式,比较2种模式的率失真代价函数值,选代价值较小的为最优模式,转到(5);(3)当TH1MAD_MBLTH2时,顺序遍历Inter88和帧内模式,从中确定最优编码模式,并转到(5);32 宁波大学学报（理工版）2010 (5)确定宏块最优编码模式.4 实验与分析 实验采用了JMVM7.0作为实验平台以及表2、表3所列的测试环境和编码条件.算法的阀值TH1和TH2分别设置为经验值4和40.在Inter Xeon 3.2GHz CPU,3.5G内存的服务器上测试JMVM7.0

15、编码算法和笔者提出的快速算法.在实验中,主要用3个指标评价算法性能,分别为PSNR、输出码率和Speedup(JMVM7.0编码时间与新算法编码时间的比值).从图3和表4可以看出,在不同Basis QP情况下,对于不同分辨率和不同运动特征的序列,新模式选择快速算法与JMVM相比,Ballroom、Exit和Race1的编码速度分别提高了4.144.41、5.176.13和8.869.83倍,PSNR下降范围在0.030.07dB,码率浮动较小.可见,新算法对于Race1序列比较有效编码速度提升最大、率失真性能保持最好,而对Exit序列次之,对Ballroom序列则最弱.这是由于Race1序列背

16、景区域所占比列较大,从而大部分区域在模式选择的第一步就能找到最优模式,提前终止搜索其他模式的过程.而对于Exit序列,它的当前宏块与参考帧中宏块的亮度差值较大,这是因为视频中运动物体不单一,运动较为剧烈.Ballroom序列更是有大视差、旋转剧烈的特性,因而它的编码速度提高的最少,率失真性能保持也次之.图 3 编码时间比较 表 4 率失真性能的比较(dBKbps-1)QP Ballroom Exit Race1 JMVM39.35/1 566.93 40.04/877.60 43.41/125.9722Proposed 39.30/1631.40 39.98/899.02 43.34/128.

17、95JMVM37.17/781.3838.58/364.63 40.25/68.0327Proposed37.13/829.4038.53/379.30 40.19/69.48JMVM34.58/411.1436.73/184.97 36.99/36.9432Proposed34.54/448.7736.68/194.50 36.93/37.38JMVM31.85/232.3034.45/107.17 34.11/22.3137Proposed31.82/262.3134.40/114.20 34.04/22.475 结论 在宏块编码模式的统计结果基础上,结合当前宏块与参考帧中匹配宏块的亮度均

18、值差,提出了一种多视点视频编码宏块模式选择的快速算法,大大提高了编码速度.实验结果表明,新算法在保持率失真性能几乎不变的情况下,可以将编码速度提高4.149.83倍,对推广多视点视频系统的应表 2 测试数据 测试序列 分辨率 帧率/fps 相机阵列和间距/cm 序列特征 Ballroom 640480 25 1D/parallel,19.5 旋转剧烈运动 Exit 640480 25 1D/parallel,19.5 近景、视差较大 Race1 320240 30 1D/parallel,20 运动对象单一且剧烈 表 3 编码条件 编解码器 预测结构 搜索范围 GOP 长度 编码帧数 JMVM

19、7.0 HBP 64 12/15 61 MaxRefIdxActiveBL0 MaxRefIdxActiveBL1Basis QP DeltaLayerXQuantDelta QP Values 2 2 22,27,32,37 0 1 2 3 4 50 3 4 5 6 7 第 1 期 何 萍,等:基于多视点视频编码宏块模式选择的快速算法 33 用具有较大的实际意义.参考文献:1 ISO/IEC JTC1/SC29/WG11.Requirements for FTV and 3DTV to multiview video coding(MVC)C/Doc W8019,Switzerland:Mo

20、ntreux,2006.2 Smolic A,Mueller K,Stefanoski N,et al.Coding algorithms for 3DTV-A surveyJ.IEEE Transactions on Circuits and Systems for Video Technology,2007,17(11):1 606-1 621.3 Vetro A,Pandit P,Kimata H,et al.Joint multiview video model(JMVM)7.0C/Joint Video Team(JVT)of ISO/IEC JTC1/SC29/WG11 and I

21、TU-T SG16 Q.6,JVT-Z207,Turkey,2008.4 Merkle P,Mller K.Efficient prediction structures for multiview video codingJ.IEEE Transactions on Circuits and Systems for Video Technology,2007,17(11):1 461-1 473.5 Wang H M,Lin J k,Yang J F.Fast H.264 inter mode decision based on inter and intra block condition

22、sC/EEE International Symposium on Circuits and Systems,2007:3 647-3 650.6 Kim J H,Kim B G.Fast block mode decision algorithm in H.264/AVC video codingJ.Journal of Visual Com-munication and Image Representation,2008,19(3):75-183.7 龚声蓉,周翔,范益进,等.一种新的 H.264 多参考帧快速搜索算法J.电路与系统学报,2007,12(3):67-72.8 彭宗举,郁梅,

23、蒋刚毅,等.一种多视点视频编码宏快模式快速选择算法J.高技术通讯,2008,18(3):253-258.9 张云.多视点视频信号的先进编码研究D.宁波:宁波大学信息科学与工程学院,2007.10 ISO/IEC JTC1/SC29/WG11.Description of core experi-ments in MVCC/Doc W8019,Switzerland:Montreux,2006.A Fast Algorithm of Macroblock Mode Selection Based on Multiview Video Coding HE Ping,PENG Zong-ju,SHA

24、O Feng(Faculty of Information Science and Technology,Ningbo University,Ningbo 315211,China)Abstract:To reduce the computation complexity of selecting macroblock mode in multiview video coding,a novel fast algorithm for macroblock mode selection is proposed.Firstly,analysis is conducted on the statis

25、tical features of the best mode in multiview video coding,followed by dividing the image into different areas and selecting the corresponding modes according to the characteristic of luminance in each frame.Finally,a fast marcoblock mode selection algorithm based on the mean absolute difference of m

26、acroblock luminance is developed.Experimental results indicate that the proposed algorithm raise the encoding speed 4.149.83 times that adopted with JMVM.Key words:multiview video coding;mean absolute difference of macroblock luminance;mode selection;fast algorithm CLC number:TP391.41 Document code:A（责任编辑 章践立）