基于加权运动估计多层次检测的帧率转换算法-沈娟.pdf

《基于加权运动估计多层次检测的帧率转换算法-沈娟.pdf》由会员分享，可在线阅读，更多相关《基于加权运动估计多层次检测的帧率转换算法-沈娟.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第40卷第1期2016年2月南京理工大学学报Journal of Nanjing University of Science and TechnologyVol.40 No.1Feb.2016收稿日期:2015-11-15 修回日期:2006-01-30基金项目:国家自然科学基金(61305062);中国博士后科学基金(2012M511403);安徽省自然科学基金(1308085QF102)作者简介:沈娟(1984-),女,讲师,主要研究方向:图像处理和模式识别,E-mail:jshen. xh gmail. com。引文格式:沈娟,田绪婷,郭丹,等.基于加权运动估计多层次检测的帧率转换算法J

2、.南京理工大学学报,2016,40(1):41-49.投稿网址:http:/ / zrxuebao. njust. edu. cn基于加权运动估计多层次检测的帧率转换算法沈 娟1,田绪婷2,郭 丹2,汪 萌2(1.安徽新华学院信息工程学院,安徽合肥230088;2.合肥工业大学计算机与信息学院,安徽合肥230009)摘 要:为了增强帧率转换的有效性,该文提出了一种基于运动估计多层次检测的帧率转换算法。该算法首先利用加权运动估计优化调整的方法检测精确的运动矢量;其次利用码本模型(Codebook model)的运动估计分割检测前景区域;然后利用多级重叠块运动补偿重分类的方法检测能反映物体真实运动

3、轨迹的运动矢量。该过程中,采用了预处理方法保证边缘结构信息的完整性,并且利用重分类和平滑方法对不可靠运动区域进行细化处理,有效地降低了传统方法中的方块效应和重影现象;最后利用运动补偿内插实现帧率转换。实验结果表明:该算法相对于传统方法,更适用于背景复杂或快速运动变化的视频,主观视觉效果和客观评估标准上都有所提高,并且具有很好的适应性。关键词:运动矢量;加权运动估计;码本模型;多层次检测;运动补偿内插;帧率转换算法中图分类号:TP391.41 文章编号:1005-9830(2016)01-0041-09DOI:10.14177/ j. cnki.32-1397n.2016.40.01.007Fr

4、ame rate conversion algorithm based on multi-levelweighted motion estimationShen Juan1,Tian Xuting2,Guo Dan2,Wang Meng2(1. College of Information Engineering,Anhui Xinhua University,Hefei 230088,China;(2. School of Computer and Information,Hefei University of Technology,Hefei 230009,China)Abstract:T

5、o enhance a videos frame rate conversion,a frame rate conversion algorithm based onmulti-level motion estimation is proposed. Firstly,more true motion vectors are achieved by theweighted motion estimation. Secondly,we detect moving areas and complex backgrounds in the videoby a codebook model. Then,

6、a multi-level overlapped block motion compensation method is used todetect the true objects trajectory. A candidate block merging schedule is also used to protect themoving areas edge structure from being damaged. Finally, a reclassification schedule and asmoothing schedule are applied to the moving

7、 areas and complex backgrounds,which can effectively南京理工大学学报第40卷第1期eliminate the blocking artifacts and ghost effects. Experiments show that the proposed algorithmperfects a higher image quality than traditional methods,and also has a better adaptability.Key words: motion vector; weighted motion est

8、imation; codebook models; multi-level detection;motion-compensated interpolation;frame rate conversion algorithm帧率上的转换是一种通过在起始的相邻两帧之间插入新帧的方法来提高帧的速率,从而满足人们的视觉要求。帧率上的转化在实际生活中应用很广泛,当网络不佳时,很多视频应用只能获得非常有限的带宽,如果利用时域采样的方法降低帧率,会导致视觉质量下降,影响人们的视觉效果,而帧率转换方法则可以在编码端适当地降低原始视频的帧率,然后在解码端引入帧率转换机制让帧率提升到原始帧率大小,以减少视觉上的

9、停滞感和跳跃感,从而避免这种问题。另一个重要应用是可以消除液晶显示器(Liquid crystaldispal,LCD)的运动模糊、图像抖动、运动拖尾等缺陷,正常视频或者影片的帧率一般为每秒24帧。但是往往是不能够表示场景中真实的运动物体,而利用帧率转化技术根据原有的低帧率图像序列产生一系列新的图像序列插入到原来的视频帧中,将低速率向高速率转化,可以提高视频的原帧率,从而可以改善这些缺陷。因此对帧率上的转换技术的研究意义深远。帧率上的转换方法主要有两种,一种是非运动补偿算法,例如简单的线性滤波,帧重复和帧平均,主要思想是待插帧中需要的像素点的值等于它的若干相邻帧中相关像素点的加权和。例如,文献

10、1-3中,提出的利用非运动补偿算法实现帧率的转换,但是非运动补偿算法由于没有考虑物体的运动信息,得到的结果往往不能真实地反映物体的运动轨迹,有的时候会出现模糊和抖动现象。另一种是运动补偿算法,针对该算法,主要包括运动估计和运动补偿两个方面,文献4-6提出的利用块匹配算法得到中间帧的运动矢量(Motion vector,MV),但是利用这种方法得到的运动矢量往往不能真实地反映物体的运动轨迹,会出现重影现象和块效应,导致图像质量明显下降。文献7-8中Heinrich等人提出一个三维递归块匹配搜索算法来实现真实的运动估计,该算法主要是基于连续视频序列中帧和帧之间不存在运动的突变以及同一个物体内部运动

11、场保持一致的思想,通过选取当前宏块的时间和空间相邻块的运动矢量作为候选值来估计当前块的运动矢量,但是该算法由于过度依赖时间和空间的相关性,当应用在高质量帧率上转换的时候,传递的运动矢量容易出现错误,适应性较差。 Kang等人9提出一种基于单双向运动估计结合的双重运动估计算法,利用单双向运动估计的匹配率提高运动估计的准确性,但是如果相邻帧之间很相似或者有虚假的对称背景时,容易得到错误的运动矢量,而且计算复杂度太高。文献10中Leed等人提出利用加权自适应运动补偿插帧的的算法,主要是基于多个运动补偿内插图像加权和的方法得到的,但是这种方法会产生边缘块失真。 Kang等人11提出了矢量中值滤波对初始

12、运动矢量进行处理,但是该方法可能会导致更多的异常运动矢量。在文献12中Su等人提出了重叠块运动补偿插帧(Overlapped block motion compensation,OBMC)算法,但是因为所有块都是重叠块,会导致插帧的结果出现模糊和过平滑现象。文献13,14通过仿射变换来内插中间帧,但该方法将无法解决带有重复纹理的图像。针对上述存在的问题,本文提出了基于运动估计多层次检测的帧率转换算法:首先利用加权运动估计得到精确的运动矢量;其次,不可靠的运动矢量一般都存在于视频序列的运动区域,因此本文利用码本模型(Codebook model,CM)将前景区域和背景区域进行分割;最后,本文采用

13、多级重叠块运动补偿重分类对得到的前景区域处理,其中,预处理保证了边缘结构的完整性,除此以外,利用重分类和平滑方法对运动区域进行细化处理,获得更为详细的运动信息。实验结果验证了本文方法的有效性。1 本文方法如图1所示为本文所提算法的模块流程图。主要包括3个模块,其中中间模块为核心部分,主要包括加权运动估计、码本建模的运动估计分割、以及多层次重叠块运动补偿OMBC重分类。24总第206期沈 娟 田绪婷 郭 丹 汪 萌 基于加权运动估计多层次检测的帧率转换算法 图1 本文算法的模块流程图1.1 加权运动估计优化调整传统的运动估计方法采用块匹配算法得到运动矢量MV,通过使相邻帧对应块的绝对误差和(Su

14、m of absolute difference,SAD)达到最小得到运动矢量MV,具体计算如下所示15:SAD(vx,vy)=mx = 1 ny = 1|ft+1(x,y)-ft-1(x+vx,y+vy)|(1)式中:m和n为MB(Macroblock,MB)的宽和高,ft-1和ft+1为输入的相邻两帧,v=(vx,vy)为相应的运动矢量。为了得到更加真实的运动矢量,减少方块效应,本方法将相邻块之间的相关性考虑在内,引入边界绝对误差和(Boundary of absolute difference,BAD16)作为邻近块之间的一种度量,使得得到初始的运动矢量更加地准确。本文方法中加权运动估计

15、的计算方法如下vi,j =arg min(SAD(v)+ BAD(v) (2)式中:为加权系数,用于控制权重。 BAD的引入,有效地改善了方块效应。1.2 码本建模的运动估计分割CM是一种非统计聚类模型,它的基本思想是在文献17中由Kim提出的,是先对图像序列进行学习,根据每个像素点连续采样值的颜色距离和亮度范围为每个像素点生成一个码本,然后根据前景点和背景点在图像序列中的分布特性分离出背景码字,利用背景码字构造出背景,再利用背景减除法检测运动目标,最后得到前景区域。这里的前景区域就是本文中所述的运动矢量变化较大的运动区域。由于帧率转换中难以剥离过度时间和空间的上依赖性,对插帧效果影响较大的往

16、往都是前景区域。因此本文可根据CM的思想将视频中的每一帧分成前景区域和背景区域,再对前景区域进行优化处理。1.2.1 Codebook背景建模假设视频序列中同一个位置的像素在不同时刻的采样值序列可表示为Y=y1,y2, ,yN,其中每个样本值ys(s=1, ,N)表示在s时刻的采样值的RGB向量值,且有亮度值I= R2+G2+B2 。对于视频中每一帧的每一个像素,由于不同时间的序列样本值相互独立,可对每一个像素组建立一个码本字典,每个码本字典又包含若干个码字(Codeword),例如码本字典C= c1,c2, ,cl, ,cL,其中1 l L,码字cl包含的信息为两部分,一个三维的颜色向量vl

17、 =(Rl,Gl,Bl)和一个六元组auyl =(Ilmin,Ilmax,fl,l,pl,ql),其中Ilmin和Ilmax分别为赋给该码字的所有像素亮度的最小值和最大值,fl表示码字出现的频数,表示最大不重复运行长度,定义为训练阶段中码字没有再次出现的最大时间间隔,pl和ql分别代表该码字出现后第一次和最后一次匹配的时间。 R、G、B分别是采样值RGB三个通道的亮度值。这里分别利用文献17中提出的色彩失真度和亮度函数对其进行评估,色彩失真度函数定义如下。colordist(ys,vl)= ys 2-p2 (3)其中对于输入像素ys =(R,G,B)和一个码字cl,其中vl =(Rl,Gl,B

18、l)时,有 ys 2 =R2+G2+B2 (4) vl 2 =Rl2+Gl2+Bl22 =(RlR+GlG+BlB)2p2 = ys 2cos2=2 vl 2 (5)对于每个码字,亮度函数定义如下brightness(I,)=TRUE Illow ys IlhiFALSE其他 (6)其中,Illow =Ilmax,Ilhi =min Ilmax,Ilmin ,1,通常,=0.7,=1.1。Codebook背景建模的步骤如下:(1)将每个像素的码本置空,即令L=O,C=O;(2)对视频中的每个像素的采样值ys,令亮度值I= R2+G2+B2 ,根据下述两个条件找出与其匹配的码字cn。colord

19、ist(ys,vn)采样域值brightness(I,)= TRUE (7)34南京理工大学学报第40卷第1期(3)如果C=或找不到匹配的码字,则L=L+1,创建一个新码字cL,即VL =(R,G,B)auyL =(I,I,1,t-1,t,t) (8)如果有码字cn满足上述两个条件,更新的内容为Vn =(Rn,Gn,Bn)auyn =(Inmin,Inmax,fn,n,pn,qn) (9)具体更新规则如下vn = fn Rn+Rfn+1,fn Gn+Gfn+1,fn Bn+Bfn+1auyn =(minI,Inmin,maxI,Inmax,fn+1,maxn,s-qn,pn,s) (10)(4

20、)训练结束后,对于cl,计算该像素每个码字没有再次出现的最大时间间隔,l maxl,(N-ql+pl-1) (11)(5)利用上述得到的l消除多余的码字,得到精确度高的初始码本M,其中TM被设为总帧数的一半。M=cl |cl C l TM (12)1.2.2 基于Codebook的前景区域的检测首先假设前景区域检测过程中新输入的像素ys其对应的码本为M。利用背景减除算法检测前景区域的过程如下。(1)计算当前像素的亮度I= R2+G2+B2 ,定义布尔变量matched=0;(2)根据colordist ( ys, vn ) 检测阈值,brightness(I,)= TRUE,从上述码本M中找出

21、与当前像素匹配的码字cn,如果能找到匹配的码字,则match=1,否则,match=0;(3)判断前景像素BGS(y)=前景match=0背景match=1 (13)(4)对于每个88的子块,如果该块有大于等于一半的像素点是前景,那么该块就判为运动区域,否则判为背景区域。1.3 多级重叠块运动补偿OBMC重分类虽然上述方法中已经将视频帧分割成运动区域和背景区域,但是一般运动区域的运动矢量MV大多数是不可靠的,针对这个问题,本文利用逐步细化的多级重叠块运动补偿OBMC重分类方法对运动区域的MV进行优化。主要包含MV预处理、MV重分类和MV平滑3个过程。1.3.1 运动矢量的预处理由于运动矢量是通

22、过块匹配算法获得的,而此运动物体的边缘结构信息很容易因为块分割而受到损坏,为了保持运动物体的边缘结构信息的完整性,利用重叠块运动补偿法(Overlapped blockmotion compensation,OBMC)方法对其处理。但是如果直接利用OBMC方法来扩大块的大小,会出现重叠块,从而导致计算很复杂,因此先利用文献18中应用到的多级候选预处理方法选择运动矢量作为重叠块运动估计的候选块,首先,计算运动矢量的运动估计权重系数,如果该运动矢量的运动估计权重系数小于1.5倍的最小运动估计权重系数,则该运动矢量被列为候选块,否则移除该运动矢量,如图2所示,L2是最小的运动估计权重系数,那么候选块

23、的集合为L3,L4,L6,L7,将剩余的部分移除。图2 多级候选预处理然后利用OBMC16对候选块处理,来扩大块的大小。具体过程如下:利用OBMC处理后的扩大块的新的运动矢量的计算方法如下vb =arg minv S(D(v) (14)D(v)= 20i = -4 20j = -4|ft+1(x0+i,y0+j)-ft-1(x0+i+vx,y0+j+vy) | (15)式中:(x0,y0)为起始块的运动矢量,S为利用多级候选预处理得到的候选运动矢量的集合。1.3.2 运动矢量的重分类经过上述过程的处理,很多运动区域的运动矢量已经可靠了,但是对于运动较复杂的的边缘块仍然存在不可靠的块,因此本文进

24、一步利用双向预测误差( Bidirectional prediction difference,BPD)和临近块之间的关系将运动矢量分层3种类型,分别为异常、可靠块、不可靠块。 BPD的计算如式(16)所示19BPD(v)= i,j B|ft+1(i- 12 vx,j- 12 vy)-ft-1(i+ 12 vx,j+ 12 vy) | (16)如果某个块的BPD大于预定义域值,将其视44总第206期沈 娟 田绪婷 郭 丹 汪 萌 基于加权运动估计多层次检测的帧率转换算法 为不可靠的,则剩余的运动矢量为可靠的块,但是可靠块中也有可能是异常的块,为此本文利用运动矢量和其邻接运动矢量之间的相关性,将

25、剩余的块分为异常的块和可靠的块,如图3所示。假设中间运动矢量v是要检测的块,vl是不可靠的运动矢量块,其他的是可靠的块,检测的计算方法如式(17)所示。图3 异常检测vaverage = 18 (8i = 2vi + v)Dc =| vaverage - v |Dn = 17 8i = 2| vi - vaverage | (17)如果Dc大于Dn,那么中心运动矢量为异常块,否则为可靠块。1.3.3 运动矢量的平滑处理对于上述经过重分类以后的不可靠块,本文利用平滑处理对其进行滤波。这里需要修正的块还有不可靠块和异常块两个部分:针对不可靠块,分别采用了自适应中值滤波方法考虑领域内运动矢量对其修正

26、;针对异常块,采用均值滤波方法对其做泛化处理。利用自适应中值滤波方法(Adaptively vector-median filters,AVMF)20对不可靠块进行滤波,该方法充分考虑了其8领域内运动矢量之间的关系,具体过程如下Ni = 1i vb-vi 2 Ni = 1i vb-vi 2 (18)式中:1 j N,N表示该块8领域内可靠块的数目,i为权重系数。计算如下i =SAD(vc)SAD(vi)(19)式中:SAD(vc)表示绝对误差和,1 i N,vc为该块未经AVMF处理的MV,vi为候选领域块的MV。此过程的最后仍然需要检查该块AVMF后的BPD是否小于原始的BPD的大小,如果是

27、,vb将作为该块的MV;否则保持原来的MV,该块为不可靠的块,并将其视为异常块。然后利用均值滤波方法21对其进行微调,移除异常块,得到可靠的运动矢量。最后,本方法对背景区域和上述方法处理后得到的运动区域利用式(20)进行运动补偿内插出中间帧。ft(x,y)= 12 ft-1(x+ 12 vx,y+ 12 vy)+12 ft+1(x- 12 vx,y- 12 vy) (20)2 实验结果及分析本文提出了加权运动估计和采用码本模型、多级重叠块运动补偿重分类处理对初始的运动矢量处理以获得更加精确的运动矢量。本文选择6个传统标准视频插帧格式的视频作为实验对象:foreman、stefan、mobile

28、、football、silent以及bus,均为YUV格式的CIF大小(352288)的视频序列。2.1 实验有效性分析2.1.1 参数选择实验中,先对加权运动估计的参数经行分析,加权运动估计中,参数用于对邻近块之间相关性对SAD的影响。实验使用峰值信噪比(Peaksignal to noise ratio,PSNR)和结构相似(Structuralsimilarity,SSIM)作为客观评价的标准。基于码本模型的检测中,取前30帧为训练集,本文从31帧到49帧之间的对比PSNR和SSIM结果,下同。对的不同取值进行分析,给出了6个视频序列均值的展示效果,实验首先求出各个序列的PSNR和SSI

29、M值,再对其归一化并求平均处理。如图4所示,图4(a)和4(b)分别是6个个视频序列的归一化PSNR和SSIM均值对不同值的对比图。从总体可以看出,当=0. 55时,整体视频序列的效果最好。2.1.2 各模块验证以Foreman序列为例,图5示例了本文算法中各模块的效果图。图5(b)为仅采用加权运动估计,由于没有采用前景背景分割优化处理,人物嘴巴运动的快速运动及时空关联上的近似性难以区分,出现了方块效应。图5(c)为仅采用码本检测及优化处理,嘴巴牙齿处仍然出现了块效应,却是由于初始获得的不准确MV,导致后续基于MV的优化也无法修复误差。图5(b)和图5(c)中表面上出现了54南京理工大学学报第

30、40卷第1期相同的误差效果,但根本原因截然不同。现有传统方法多仅从一个方面进行改进。本文同时从这两方面入手,将加权运动估计、码本检测及优化进行结合,如图5(d)所示,结果表明两者互补,最终集成的方法对不准确MV及运动近似性区分都有一定的抑制效果。图4 不同值所对应的归一化均值结果对比图图5 Foreman序列44帧的结果图2.2 与其他方法的对比结果2.2.1 主观插帧效果对比本文主要与线性插帧(LFI)、自适应矢量中值滤波(AVMF)、文献2所提的轻决策运动估计方法进行了运动补偿内插计算,从主观和客观上进行了对比。视觉效果如图6-11所示。图6是背景较为复杂的Mobile序列利用第38帧和4

31、0帧进行视频插帧得到的第39帧的结果图。从图中可以看出图6(a)中日历的数字11和12出现了扭曲,图6(b)中右下角数字,如28等数字出现了重影,图6(c)中数字出现了明显的模糊现象,而本文方法图6(d)弥补了这几种方法的不足。说明本文方法具有较强的适应性。图6 Mobile序列第39帧视觉效果图图7是Foreman序列内插第46帧的效果图,图7(a)的左侧帽沿产生了块效应,图7(b)右上方块效应现象比较明显且帽沿有重影,而轻决策运动估计方法由于没有考虑块之间的相关性,出现了较为严重的重影现象,如7(c)所示,而本文方法7(d),重影现象和方块效应都得到明显的消除。图7 Foreman序列第4

32、6帧视觉效果图与此同时,本文还选择了运动较快的Stefan序列,图8为Stefan序列第39帧的结果图,可以64总第206期沈 娟 田绪婷 郭 丹 汪 萌 基于加权运动估计多层次检测的帧率转换算法 看出,图8(a)和8(c)在运动员脸部和脚部都出现了较严重的重影和空洞区域,图8(b)上半身也出现了明显的重影,图8(d)表明本文所提的方法对上述现象有较好的抑制。图8 Stefan序列第39帧视觉效果图图9是Silent序列第46帧的结果图,从中可以看出图9(a)中手关节那里重影现象和手臂块效应,9(b)手关节上有明显的重影,图9(c)手臂和手关节上有明显的重影,而图9(d)本文提出的方法克服了上

33、述方法中的缺陷。图9 Silent序列第46帧视觉效果图图10为利用各种方法得到的Bus序列第36帧的效果图,如图所示,图10(a)中右上方的路标指示牌和左上方的人员均发生了重影,图10(b)公交车车头和人员出现重影和块效应,导致看不清,图10(c)图发生了明显的重影,图10(d)本文方法,很好地降低了上述现象。图11(a)是Football序列第43帧的结果图,可以看出,图11(a)出现很多块效应,图11(b)和图11(c)中出现严重的重影,图11(d)本文方法对上述方法的缺陷有一定的降低。图10 Bus序列第36帧视觉效果图图11 Football序列第43帧视觉效果图2.2.2 客观评估

34、标准对比表1和表2则列出了视频Mobile、Foreman、Stefan、Football、Silent和序列Bus在测试集上的PSNR和SSIM均值对比结果。基于Codebook的前景区域的提取中,取前30帧为训练集,选择序列测试集上从31帧到49帧之间的视频段,本文算法在PSNR和SSIM评估标准上较其他方法都有一定的提高。74南京理工大学学报第40卷第1期表1 PSNR均值对比视频序列AVMF LFI轻决策运动估计本文方法Mobile 26.5408 25.1666 25.7967 27.5894Stefan 28.6948 26.0170 27.8891 28.9110Foreman

35、31.6301 30.7390 33.5368 33.7429Football 19.1663 18.5355 19.0335 19.4949Silent 34.0497 33.6510 33.4439 35.3323Bus 23.0701 18.2165 22.7497 24.4275表2 SSIM均值对比视频序列AVMF LFI轻决策运动估计本文方法Mobile 0.9152 0.8994 0.9239 0.9368Stefan 0.9175 0.8489 0.9136 0.9231Foreman 0.8982 0.8417 0.9094 0.9135Football 0.3124 0.2

36、289 0.3615 0.3622Silent 0.9446 0.9467 0.9501 0.9519Bus 0.8236 0.3714 0.7972 0.8445另外,本文以Mobile序列和Bus序列为例,验证了其在背景较为复杂和运动较快的视频上有较好的适应性。图12和图13是背景复杂的视频Mobile序列测试集上从31帧到49帧之间的PSNR和SSIM对比结果。图12 Mobile序列第31-49帧的PSNR对比图图13 Mobile序列第31-49帧的SSIM对比图图14和图15是快速运动的视频Bus序列测试集上从31帧到49帧之间的PSNR和SSIM对比结果,从整体上可以看出本文方法

37、较其他方法好,但是图14和图15中Bus序列在前面一小部分出现了有些值低于自适应矢量中值滤波(AVMF)方法,原因是因为Bus序列是快速变化的序列产生了很多不可靠的MV,自适应中值滤波(AVMF)方法更适合处理不可靠的MV。本文方法仅对分割出来的运动区域采用了AVMF方法对不可靠MV修正,计算量较低;AVMF方法则是对整体视频做修正。图14 Bus序列第31-49帧的PSNR对比图图15 Bus序列第31-49帧的SSIM对比图3 结束语本文提出了一种基于加权运动估计、码本检测以及多级重叠块运动补偿重分类相结合的运动估计多层次检测的帧率转换算法,该算法首先利用加权运动估计得到较为真实的运动矢量

38、,然后根据视频帧的运动矢量,利用码本模型检测实现前景背景的分割,得到前景区域,随后利用多级重叠块运动补偿重分类对前景区域的运动矢量进行处理,最后,对运动区域和背景区域进行运动补偿内插出中间帧,实现帧率的转换。实验结果表明,本文解决了传统的帧率转换算法所带来的方块效应和重影现象。该算法在帧率转换图像的主观视觉效果和客观评估标准上均优于现有方法,并且在背景较为复杂和运动较快的视频上有较好的适应性。但是现有方法中基于码本模型以及本文方法的计算都是基于像素的识别,怎样提高速度是未来研究的问题。84总第206期沈 娟 田绪婷 郭 丹 汪 萌 基于加权运动估计多层次检测的帧率转换算法 参考文献:1 Cho

39、i B D, Han J W, Kim C S, et al. Motioncompensated frame interpolation using bilateral motionestimation and adaptive overlapped block motion com-pensation J. IEEE Transactions on Circuits andSystems for Video Technology,2007,17(4):407-416.2 Cao Y,He X,Teng Q,et al. Motion compensated framerate up-con

40、version using soft-decision motionestimation and adaptive-weighted motion compensatedinterpolationJ. Journal of Computational InformationSystems,2013,9(14):5789-5797.3 Choi B T, Lee S H, Ko S J. New frame rate up-conversion using bi-directional motion estimationJ.IEEE Transactions on Consumer Electr

41、onics, 2000,46(3):603-609.4 Lee S H,Shin Y C,Yang S,et al. Adaptive motion-compensated interpolation for frame rate up-conversionJ. IEEE Transactions on Consumer Electronics,2002,48(3):444-450.5 Wang C, Zhang L, He Y, et al. Frame rate up-conversion using trilateral filtering J . IEEETransactions on

42、 Circuits and Systems for VideoTechnology,2010,20(6):886-893.6 Zhu S,Ma K K.A new diamond search algorithm for fastblock-matching motion estimationJ. IEEE Transactionson Image Processing,2000,9(2):287-290.7 Chien W J,Karam L J,Abousleman G P. Distributedvideo coding with 3D recursive search block ma

43、tchingC / / IEEE International Symposium on Circuits andSystems Proceedings,ISCAS 2006. Kos,Greece:IEEE,2006:5415-5418.8 Heinrich A,Bartels C,Van der Vleuten R J,et al. Op-timization of hierarchical 3DRS motion estimators forpicture rate conversionJ. IEEE Journal of SelectedTopics in Signal Processi

44、ng,2011,5(2):262-274.9 Kang S J,Yoo S,Kim Y H. Dual motion estimation forframe rate up-conversion J. IEEE Transactions onCircuits and Systems for Video Technology, 2010,20(12):1909-1914.10 Lee S H, Kwon O, Park R H. Weighted-adaptivemotion-compensated frame rate up-conversion J.IEEE Transactions on

45、Consumer Electronics, 2003,49(3):485-492.11 Kang S J,Yoo D G,Lee S K,et al. Design and imple-mentation of median filter based adaptive motion vectorsmoothing for motion compensated frame rate up-conversion C / / Proceedings of the 13th IEEEInternational Symposium on Consumer ElectronicsISCE2009. Kyo

46、to,Japan:IEEE,2009:745-748.12 Su J K,Mersereau R M. Motion estimation methods foroverlapped block motion compensation J . IEEETransactions on Image Processing, 2000, 9 ( 9 ):1509-1521.13 Guo D, Ling S, Han J. Feature-based motioncompensated interpolation for frame rate up-conversionJ. Neuro Computin

47、g,2014,123(10):390-397.14于明,曲昕,郭迎春,等.一种基于冗余小波变换的DT网格运动估计和运动补偿方法J.中国图象图形学报,2007,12(12):2072-2079.Yu Ming,Qu Xin,Guo Yingchun,et al. A delaunaymesh-based motion estimation and compensationscheme based on redundant wavelet transform J.Journal of Image and Graphics, 2007, 12(12):2072-2079.15 Pandian S I

48、 A,Bala G J,George B A. A study on blockmatching algorithms for motion estimation J .International Journal on Computer Science andEngineering,2011,3(1):34-44.16 Zhai J, Yu K, Li J, et al. A low complexity motioncompensated frame interpolation method C/ / Circuitsand Systems,2005 ISCAS 2005,IEEE Inte

49、rnational Sym-posium on.Washington DC,USA:IEEE,2005:4927-4930.17 Kim K,Chalidabhongse T H,Harwood D,et al. Real-time foreground-background segmentation usingcodebook modelJ. Real-time imaging,2005,11(3):172-185.18 Xu C,Chen Y,Gao Z,et al. Frame rate up-conversionwith true motion estimation and adaptive motion ve