改进的TV模型图像修复算法.pdf

《改进的TV模型图像修复算法.pdf》由会员分享，可在线阅读，更多相关《改进的TV模型图像修复算法.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、7762010,31(4)计算机工程与设计 Computer Engineering and Design0引言图像修复1是指对图像中丢失、破损的部分进行还原修复，是一项出现很早的工艺技术。现有的图像修复算法主要有基于纹理合成和基于高阶偏微分方程(partial differentialequation，PDE)修复算法两个方面，基于纹理合成的图像修复算法主要有两种：一种是 Bertalmio 等人2提出的基于图像结构分解的非参数采样纹理合成修复算法，一种是 Criminisi3-4等提出的基于样本块的纹理合成图像修复算法，该算法在未受损图像中寻找匹配的修复模块来填充到受损区域内，之后的基于纹

2、理合成的算法多数是基于以上的两种算法，例如HaraldG5的基于PDE与纹理合成的图像修复技术以及ChengW H6等人的基于样本的鲁棒控制图像修复算法。对于基于 PDE 的图像修复算法，最早是由 Bertalmfo、Sa-piro等人提出该修复模型7，他们利用待修补区域的边缘信息，通过判定图像边缘等照度线信息，将图像未受损区域通过传播机制扩散到待修复区域，取得了较好的效果。Rudin L 等人8基于整体变分(total variation，TV)对图像建立模型，该模型能同时起到延长图像边缘与图像去噪的作用，随后Chan等人基于此，将该模型运用到图像修复上从而建立起基于 TV 的图像修复模型。

3、TV 模型是当前图像修复领域中最为经典和运用广泛的算法之一，因此也成为图像修复的研究热点。本文在前人的研究基础上针对TV模型修复方程的弊端，提出改进的修复模型，实现对基于 TV 模型修复方程的改进和完善。收稿日期：2009-03-19；修订日期：2009-05-20。基金项目：国家自然科学基金项目(60772115、60572140)。作者简介：林云莉(1984)，女，福建宁德人，硕士研究生，研究方向为数字图像修复技术、数字图像处理；赵俊红(1976)，女，重庆人，博士研究生，讲师，研究方向为图像取证技术；朱学峰(1940)，男，山东青岛人，教授，博士生导师，研究方向为智能检测与智能控制、图像

4、处理与应用；胡永健(1962)，男，湖北武汉人，博士，教授，研究方向为信息隐藏、数字图像取证以及图像压缩编码。E-mail：改进的 TV 模型图像修复算法林云莉1，赵俊红1，朱学峰1，胡永健2(1.华南理工大学 自动化科学与工程学院，广东 广州 510640；2.华南理工大学 电子与信息学院，广东 广州 510640)摘要：分析了基于整体变分(total variation，TV)模型的图像修复算法，TV 模型修复算法只使用各向异性扩散，TV 模型各向异性扩散仅向图像边缘方向扩散，容易在平滑区域引入阶梯效应。提出了一种改进的图像修复算法，该算法同时结合了各向同性和各向异性扩散，利用区域频率差异

5、实现了在不同的区域使用不同的迭代方程，有效避免了原始算法引入的阶梯效应，同时在平滑区域提高了迭代效率。Matlab 环境下的仿真结果表明，改进算法的修复效果和峰值信噪比的计算结果均明显优于原始算法。关键词：图像修复;整体变分模型;各向同性;各向异性;阶梯效应中图法分类号：TP391.41文献标识码：A文章编号：1000-7024(2010)04-0776-04Improved algorithm based on TV model for image inpaintingLIN Yun-li1,ZHAO Jun-hong1,ZHU Xue-feng1,HU Yong-jian2(1.Colle

6、ge of Automation Science and Enginering,South China University of Technology,Guangzhou 510640,China；2.School of Electronic and Information Engineering,South China University of Technology,Guangzhou 510640,China)Abstract：The image inpainting algorithm based on total variation(TV)model is analyzed.The

7、 inpainting algorithm of TV modelonly use the anisotropic diffusion.The anisotropic diffusion of TV model just diffuses along the image edge and introduces step effecteasy in smooth regional.Now an improved image inpainting algorithm is proposed.Improved algorithm combines isotropic with ani-sotropi

8、c diffusion and uses the regionalfrequency difference to realize different iterative equation on the differentregional.The step effectin original algorithm is effective avoided and raise iterative efficiency on smooth regional.The simulation results in Matlab environmentdemonstrate that improved alg

9、orithm s inpainting effect and the result of peak signal to noise ratio are both better than original algorithm.Key words：image inpainting;total variation modal;isotropic;anisotropic;step effect计算机工程与设计Computer Engineering and Design多媒体技术林云莉，赵俊红，朱学峰，等：改进的 TV 模型图像修复算法2010,31(4)7771基于 TV 模型的修复算法简介8-9基

10、于 TV 模型的图像修补算法，是由 Tony Chan 等人根据 Rudin 等人提出的图像去噪模型推广来的，主要是通过建立图像模型，根据整体变分原理，将图像建立的模型，转化为约束最优化问题，再利用 Lagrange 乘子法进行求解，现简要介绍如下：记为图像全区域，为图像受损区域，0为图像的初始值。为修复后图像值，如图 1 所示。定义代价函数为=,(1)，为图像，为一非负实函数，该式是为保证修补区域及其边界尽可能地平滑。同时为了达到在修复过程中对噪声有良好的鲁棒性，应满足下式10 2=2(2)式中：|D|未受损区域面积，噪声的标准差。我们必须选择一个合适 的函数，来达到修补边缘及待修复区域尽可

11、能平滑的条件，在这里取(|)=|，便得到经典的基于TV 模型的图像修复方程。运用Lagrange乘子法将以上两个式子转化为无约束条件的极值问题，其新代价函数=+20 2(3)上式中第一项保证去噪后图像尽可能的平滑，第二项则尽可能地维持去噪后图像的相似性。E()取得极小值所满足的 Euler-Lagrange 方程为0=0(4)用梯度下降法解此方程=0(5)解得的 即为所求的最终修复图像。2TV 模型的改进与实现2.1TV 模型的不足TV模型的主要优点是，能在修复的过程中去除噪声的同时又保持图像边缘，且数值 PDE 实现方便，但从 TV 模型的修复方程可以看出：TV修复方程的迭代过程是一种各向异

12、性扩散的过程，事实上，在图像特征明显的区域应该使用较慢的迭代速度，而在图像特征不明显的区域，(如图像的平滑区域)其修复的迭代速度应该加快，而TV模型的这种单独使用各向异性扩散的过程，其扩散效率较低。另外，在基于TV模型的修复中，其因子在局部坐标系下可以分解为下式：=1，其中：与梯度的方向正交。可见 TV 只向梯度的正交方向扩散，因此，TV模型在整幅图像上均沿着边缘方向扩散，反映出沿着不同的方向扩散系数不同的思想。事实上，通常在图像的平坦区域得到的边缘方向并不是真实存在，此时仍仅沿着边缘方向扩散，将导致在平坦区域的噪声抑制不充分，甚至出现假边缘，产生阶梯效应。下面给出一组由 TV 修复模型修复的

13、图像，如图 2 所示。从实验可以看出，TV修复模型能较好的实现图像划痕的修复，但是修复的效果仍然有较为明显的瑕疵，容易看出原始算法的修复结果有明显的两条假边缘存在，产生了明显的阶梯效应。2.2改进的 TV 模型图像修复算法阶梯效应产生的原因主要是修复方程在图像的平滑区域仍然使用各向异性扩散，因此，在图像迭代修复的过程中应避免在平滑区域仍然使用各向异性扩散。事实上，当，领域内的像素值变化较小时，TV 修复模型的扩散速度虽然较大，但它仍然仅是沿着与梯度正交的方向进行扩散，这样的扩散效率是很低的，在这种情况下，领域内不包含复杂的图像信息，完全可以采用各向同性的热扩散方程。综上所述，提出一个结合各向异

14、性和各向同性的非线性扩散修复方程实现在不同的区域使用不同的修复方程=0,0.25=0=0,0.25(6)式中：=,0,。式中的(|)用于加强迭代的速度，取(|)=12+2(7)式中：2+2图像在点，梯度向量的模值，如果图像在点，处的领域内具有较小的加权平均值，则点，领域内的像素值变化比较平缓。所以此处的扩散速度就较强。反之，扩散速度较小。所以，该模型的解，可以使得图像的边缘得到保持，而在平滑的区域更加光滑，也加快的了修复速度。是待修复点的梯度值，梯度是表征图像像素值变化的程度，因此，本文用梯度来表征图像频率的变化，从而来选择图像的修复迭代方程，首先将图像进行归一化处理，再使用图 1待修复区域及

15、领域D图 2TV 模型修复实验(a)原图(b)受损图(c)TV 修复结果7782010,31(4)计算机工程与设计 Computer Engineering and DesignSobel 算子计算待修复点的梯度值即，这样对每一幅图像就可以使用统一的梯度阈值来划分使用的修复迭代方程，提高选择迭代方程的准确性，在本文算法中取其阈值=0.25。通过上述方程就实现了在不同的区域使用不同的迭代方程，不仅提高效率，也能有效的避免阶梯效应。2.3计算方法首先对扩散算子离散化，采用半点差分法。示意图如图 3 所示：为待修复目标像素，的领域节点=，为的半像素领域点。记：=1,2=，其散度近似为=1+211+2

16、2(8)式中：步长，取=1。需要对待修复点的半像素点的梯度做进一步的计算，任取一个半像素点进行计算，本文取(同理可以得到其它几个半像素点的梯度值)。1=11(9)12+/22(10)将式(8)(10)代入式(6)的第 2 个式子中可得1+0=0(11)记=122，(12)=+(13)=+(14)式中：为抑制权重而附加的小量。拉普拉斯算子的离散化+1,=0.5+1+1,+11,+1,+1+1,1+(15)0.25+1+1,+1+11,1+1+1,1+11,+13+1,对于(|)，本文使用 Sobel 算子来计算点的梯度向量模值，现以待修复点，为中心，选择 3*3 模板，如图 4 所示。根据 So

17、bel 算子 a，b 掩膜，中心点，的梯度向量模值可用下式计算得出2+2=7+28+91+22+3+3+26+91+24+7(16)式中：对应点的像素值。计算得出的(|)作为该修复点的附加的迭代速度，每进行一次迭代，速度随着梯度模值的变化，发生相应的变化。另外计算出的梯度向量的模值，也即作为待修复点的梯度值。最后，使用Gauss-Jacobi迭代算法，结合式(12)(16)化简式(11)，式(6)可得最终迭代方程，如下所示=1,0.25=11+11,0.25(17)按照上式对图像进行扩散迭代，在迭代中取一阀值，计算中得到的新像素值代替旧像素，当新旧图像的像素值的变化小于给定阀值时停止迭代，那么

18、就用得到的新像素值代替原来的对应像素点，完成修复。3改进模型的计算流程(1)读入受损的图像，确定待修复区域，同时对图像进行归一化处理。(2)选定待修复点参考八邻域，计算各点的像素值并根据式(16)计算得出该点的梯度值，与阀值对比来选择对应的迭代方程。(3)根据式(8)(16)计算对应的迭代公式(17)来得到新的像素值，并用求出的像素值取代原图的值。(4)判断前后两次迭代的像素值之差是否小于某一固定值，小于则停止迭代，否则继续进行迭代。4实验本文算法是在实验环境 Inter Pentium 4，CPU 2.93 GHz，内存为 512MB的硬件配置的条件下，利用Matlab7.0.4 编程进行仿

19、真实验。现用本文改进后的算法对图 2 的受损图重新进行修复，容易看出改进的算法的修复结果克服了阶梯效应，消除了两条假边缘，修复效果优于原始算法。实验结果如图 5 所示。对比实验 2 给出男子一寸照的受损图，该照有多处划痕，且在脸部的重要部位都有较粗的划痕，图6(c)图为用原始算法的修复结果，可以看出修复结果出现了明显的不足，在双眼以及嘴唇受损部分的修复都出现了不同程度的模糊和假边缘，而用改进的算法较好的克服了这种模糊化，如图 6(d)，实现了眼角和嘴部的受损部分边缘以及区域内的修复，修复结果明显的优于原始算法。具体实验结果如图 6 所示。图 7 是另外一组对比实验。5实验结果分析通过以上的 3

20、 组对比实验，可以看出，当划痕较粗，我们可以在视觉上很容易的看出原始算法的修复结果存在的不足，图 3目标像素及领域点sSSWSEENENNWWwneO图 4Sobel 算子(a)(b)121000121000112112林云莉，赵俊红，朱学峰，等：改进的 TV 模型图像修复算法2010,31(4)779如对比实验 1 和对比实验 2，可以从视觉上看到改进算法与原始算法的修复效果对比，但是当图像划痕较小，破损面积较小的时候，改进算法和原始算法在修复效果上，不能从视觉上很好的进行判断，因此当修复结果从视觉上未能清晰的区分修复效果时，应从数值上量化分析修复效果。事实上，基于 PDE 的图像修复算法，

21、主要是针对小面积划损的修复技术，对于大面积的图像修复，基于PDE并没有很好的修复能力，在基于PDE的图像修复中，多数采用峰值信噪比 PSNR 的结果对修复结果进行评价=10log25521*=01=01,1,2式子：原图，1修复后的图像，和 为图像的行列值。从式子中可以看出对修复后的图像，其 PSNR 的计算结果越大，说明修复的效果越好，即修复后的图与原始图的差值越小。表 1 为实验 2 和实验 3 的修复前后PSNR值的结果比较。从表 1 中可以看出，改进算法其PSNR计算结果值明显大于原始算法的 PSNR 值，即改进后的算法的修复结果图更接近原始图，修复结果优于原始算法。表 2 为原始算法

22、和改进算法的修复时间效率对比：从表中可以看出，改进的算法由于各向同性扩散和附加的控制速度的引入，大大提高了修复的效率，修复所用时间比原始算法短，3组实验改进算法修复时间比原始算法所用修复时间平均缩短约 90s，具体数据如表 2 所示。6结束语本文主要是在基于图像修复的 TV 模型上进行改进和完善，在修复过程中，提出了结合各向同性和各向异性扩散新的修复模型，即在不同的区域考虑使用不同扩散修复方程，主要通过计算待修复点的梯度值来判断图像区域的平滑度，从而来选择修复方程，有效的避免了原始算法在平滑区域引入的阶梯效应，同时增加的扩散速度，改善了原始算法修复过程中只向图像的边缘方向扩散带来的效率低的问题

23、，提高了修复迭代的效率，减少了运算量。实验仿真结果也说明了改进算法的优越性。参考文献:1张红英,彭启琮.数字图像修复技术综述J.中国图像图形学报,2007,12(1):1-10.2Bertalmio M,Vese L,Sapiro G,et al.Simultaneous texture andstructure image inpaintingJ.IEEE Transactions on Image Pro-cessing,2003,12(8):882-889.3Criminisi A,Perez P,Toyama K.Object removal by exemplar-based inp

24、ainting C.IEEE Computer Society Conference onComputer Vision and Pattern Recognition.Wisconsin,USA:Monona Terrace Convention Center Madison,2003:18-20.4Criminisi A,Perez P,Toyama K.Region filling and object remo-val by exemplar-based image inpaintingJ.IEEE Transactionson Image Processing,2004,13(9):

25、1200-1212.5Harald G A.Combined PDE and texture synthesis approach toInpainiingC.Proceedings of8th EuropeanConference on Com-puter Vision.Prague Czech Republic,2004:214-224.6Cheng W H,Hsieh C W,Lin S K,et al.Robust algorithm forexemplar-based image inpaintingC.Beijing:International Con-ference on Com

26、puter Graphics,Imaging and Vision,2005:64-69.7李薇,何金海,屈磊,等.一种改进的 BSCB 修复模型J.计算机工程与应用,2008,44(9):184-186.8邵肖伟,刘政凯,宋璧.一种基于 TV 模型的自适应图像修复算法J.电路与系统学报,2004,9(2):113-117.9Chan T F,Shen J H.Mathematical models for local non-textureinpaintingJ.SIAM J Appl Math,2001,62(3):1019-1043.图 5对比实验 1(a)原图(b)标注待修复区域(c)TV 模型修复结果(d)本文算法修复结果图 6对比实验 2(a)原图(b)受损图(c)TV 模型修复结果(d)本文算法修复结果图 7对比实验 3(a)原图(b)受损图(c)TV 模型修复结果(d)本文算法修复结果表 1PSNR 实验比较实验TV 算法 PSNR 值改进算法 PSNR 值对比实验 298.76123.38对比实验 3106.18115.07表 2原始算法与改进算法效率对比实验TV 算法迭代时间/s改进算法迭代时间/s对比实验 2417.21308.63对比实验 3210.52135.15对比实验 1334.25258.07