基于残差字典学习的图像超分辨率重建方法-杜伟男.pdf

《基于残差字典学习的图像超分辨率重建方法-杜伟男.pdf》由会员分享，可在线阅读，更多相关《基于残差字典学习的图像超分辨率重建方法-杜伟男.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第43卷第1期2017年1月北京工业大学学报JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGYVol.43 No.1Jan. 2017基于残差字典学习的图像超分辨率重建方法杜伟男,胡永利,孙艳丰(北京工业大学多媒体与智能软件技术北京市重点实验室,北京 100124)摘 要:为了提高图像重建质量,在保留图像空间结构信息的同时恢复更多图像高频信息,提出一种基于二维可分离字典和残差字典的图像超分辨率重建方法.不同于传统的基于一维字典的超分辨重建方法,二维字典直接利用图像的二维矩阵表示,因此,可以保持图像的空间结构信息,减少字典参数的数量,节省存储空间.为了更好地恢

2、复图像高频信息,在二维可分离字典重建图像基础上,引入残差字典,重建边缘等高频信息,两类字典各有侧重,二者结合可得到更高质量的超分辨率重建图像.在典型的公共图像集上的实验证明了提出的结合二维可分离字典和残差字典的图像超分辨重建方法的有效性和优越性.关键词:超分辨率重建;二维可分离字典;残差字典中图分类号: TP 391. 41文献标志码: A文章编号: 0254 -0037(2017)01 -0043 -06doi: 10.11936/ bjutxb2016060049收稿日期: 2016-06-16基金项目:国家自然科学基金资助项目(61370119)作者简介:杜伟男(1989 ),女,博士研

3、究生,主要从事图像处理、模式识别方面的研究, E-mail: duweinan emails. bjut.edu. cnImage Super-resolution Reconstruction Based onResidual Dictionary LearningDU Weinan, HU Yongli, SUN Yanfeng(Beijing Key Laboratory of Multimedia and Intelligent Software Technology, Beijing University ofTechnology, Beijing 100124, China)Abs

4、tract: In this paper, an image super-resolution method was proposed based on 2D separabledictionary and residual dictionary to improve the quality of reconstructed image and to preserve spaceinformation as well as high-frequency information. Unlike the conventional super-resolution method basedon 1D

5、 dictionary, the 2D separable dictionary was constructed from a set of training images in 2D matrixform without vectorization, so it had the capacity of learning the inherent texture structure of images.Additionally, it was a pair of compact dictionaries that were of smaller size and less storage sp

6、acecompared with the conventional dictionary. To restore more high-frequency information, the residualdictionary was introduced based on the reconstructed images with the 2D separable dictionary, whichcaptured the high-frequency information of edges, angles and corners in images. Combining the twodi

7、ctionary learning procedures into one framework, the proposed method was expected to synthesize highresolution images with high quality. The proposed algorithm was tested on public natural image set. Theexperiment results show that the proposed image super-resolution method based on 2D separabledict

8、ionary and residual dictionary is effective and superior.Key words: super-resolution; 2D separable dictionary; residual dictionary万方数据北 京 工 业 大 学 学 报2017年图像超分辨率(super-resolution)1-2重建是指从模糊或有噪声的低分辨率图像获得高分辨率图像.随着图像获取技术设备的发展,人们获取的图像质量大大提升,但在实际成像中仍然存在模糊、噪声等退化因素,因此,如何高效提升获取图像的质量是具有挑战性的研究课题.目前,超分辨率重建方法大致可

9、分为3类:基于插值方法、基于重构方法和基于学习方法.其中基于插值方法3-4应用较普遍,但重建的图像会出现过平滑、振铃效应等,对图像质量产生影响.基于重构的方法通过求解成像系统逆过程来获得高分辨率图像,但运算复杂,高频信息仍有缺失5-7.基于学习的方法通过训练样例学习得到高、低分辨率图像的相关性,再利用这种相关性得到给定图像的高分辨率图像8-16,但这类方法在恢复图像局部细节方面(如边缘等高频信息)还需要进一步加强.近年来,字典学习方法在图像超分辨重建方面取得了很好的结果,引起人们极大关注.传统的字典学习方法是基于图像的向量化表示,即首先将二维图像向量化,然后基于这种表示进行字典的训练和图像的重

10、建.这种数据处理方式破坏了二维图像的特征及结构信息.受二维可分离字典学习模型17的启发,本文直接利用图像的矩阵表示,应用二维可分离字典模型,进行字典训练及图像重建.同时,为了更好地重构图像的细节信息,引入了残差字典,可以学习到更多图像细节.该方法可以针对边缘等高频信息进行重建,将2种字典相结合,既考虑了图像二维特征信息,又能更好地恢复高频信息,综合提高图像质量.1 二维可分离字典学习模型设XiIi =1表示I个训练样本,优化如下:minU,V,Z移Ii =1(椰 Xi -UZiVT椰 2F + 姿椰 Zi椰 1) (1)由式(1)得到矩阵U和V,以及对应稀疏系数ZiIi =1.令D = U茚

11、V,由于D具有可分离的结构特性,称其为由U和V构成的二维可分离字典.该模型17可以将二维训练样本表示为水平方向字典U和竖直方向字典V共同张成空间中的某几个字典基的线性组合,以更好地利用训练样本的二维结构特性.2 基于二维可分离字典与残差字典的图像超分辨重建2. 1 基于二维可分离字典图像超分辨率重建二维可分离字典学习模型能够更好地获取二维信号的自身结构特征,这些特征对于信号的重建恢复可以起到重要作用,而这是传统字典学习模型无法做到的.因此,在图像处理领域,二维可分离字典学习模型具有显著优势,具体应用到超分辨率重建问题,设X和Y分别为用矩阵表示的高、低分辨率的图像,将它们划分成重叠小块再随机采样

12、,形成对应高、低分辨率图像块的训练集Xi,YiIi =1,Xi沂R M 伊 N,Yi沂 R m 伊 n,i =1, ,I.在图像超分辨率重建中,假设同一图像的高、低分辨率图像具有相同的稀疏表示系数.在此假设下,基于以下学习模型:minUh,Vh,UL,VL,Zi移Ii =1(椰 Xi -UhZiVTh椰 2F +椰 Yi -ULZiVTL椰 2F + 姿椰 Zi椰 1) (2)可得到高、低分辨率下二维可分离字典Uh沂 RM 伊 r,Vh沂 R N 伊 r,UL沂 R m 伊 r,VL沂 R n 伊 r,Zi为稀疏表示系数矩阵.该模型直接利用图像的矩阵表示,既可以很好地保持图像的二维结构信息,也

13、可以节省字典的存储空间和计算效率.下面给出模型的求解过程.为求解模型(2),受可分离字典学习方法17启发,将模型(2)转化为如下形式:minUh,Vh,UL,VL,Zi移Ii =1(椰 Xi -UhZiVTh椰 2F +椰 Yi -ULZiVTL椰 2F + 姿g(Z) + 资1酌(Uh) +资1酌(Vh) + 资2酌(UL) + 资2酌(VL) (3)式中:g(Z) = 移Ii =1移 rv =1移 ru =1ln(1 + | zivu |2),是对稀疏表示系数整体的稀疏正则化约束; 酌 ( U) =- 移1臆 p q臆 dUln(1 - (UTpUq)2),是对可分离字典的约束,可以使字典

14、不同列的相关度更小.对模型(3)采用交替迭代求解的方法,即先固定一组字典对如Uh,Vh,求解得到另一组字典对UL,VL,如此反复迭代达到收敛.具体地,首先给所有字典设定随机初始值,记为U0h,V0h,U0L,V0L,通过块稀疏算法18求得稀疏表示系数初始值Z0,先固定低分辨率字典UL,VL,然后求解高分辨率字典Uh,Vh及对应稀疏系数Zh,此时模型(3)即转化为minUh,Vh,Zh移Ii =1(椰 Xi -UhZhiVTh椰 2F) + 姿g(Zh) +资1酌(Uh) + 资1酌(Vh) (4)对模型(4)应用可分离字典学习方法17进行训练,得到高分辨率字典Uh,Vh及对应稀疏系数44万方数

15、据 第1期杜伟男,等:基于残差字典学习的图像超分辨率重建方法Zh,将其回代入模型(3),然后固定高分辨率字典Uh,Vh,求解低分辨率字典UL,VL及对应稀疏系数ZL,此时求解模型(3)转化为求解minUL,VL,ZL移Ii =1(椰 Yi -ULZLiVTL椰 2F) + 姿g(ZL) +资2酌(UL) + 资2酌(VL) (5)同样,对模型(5)应用可分离字典学习方法17进行训练,得到低分辨率字典UL,VL及对应稀疏系数ZL.重复这一过程,算法收敛时,最终得到高、低分辨率字典对Uh,Vh,UL,VL.在图像重建阶段,对于待恢复的低分辨率图像Y,利用低分辨率字典,依据Z* = minZ 移Ii

16、 =1(椰 Yi -ULZiVTL椰 2F) + 姿g(Z) +资2酌(UL) + 资2酌(VL) (6)进行稀疏分解11,得到稀疏系数Z* .利用同一图像在高、低分辨字典表示下具有相同的稀疏表示系数的特性,通过X =UhZVTh (7)即可重建出相应的高分辨率图像X.图1 整体框架图Fig.1 Whole frame chat2. 2 结合二维可分离字典与残差字典的图像超分辨率重建基于二维可分离字典图像超分辨率重建可以有效刻画图像的大部分信息,同时节省字典存储空间,但在恢复图像细节(如物体边缘等锐变部分)方面还有欠缺.将训练集原始高分辨率图像X与基于二维可分离字典重建的图像X做差,X = X

17、 - X,得到的图像X称为残差图像,该图像包含了重建图像X未恢复的高频信息.为了重建得到更多高频信息,提高图像质量,本文将残差字典引入超分辨率重建中,即结合二维可分离字典和残差字典19进行图像超分辨率重建.引入残差字典学习模型,探究残差图像X同已经获得的重建图像X的相关性联系,再利用这种联系重建图像中二维可分离字典重建阶段未恢复出的残差信息.残差字典学习模型如下:minD,D,Z忆i移 Ii =1(椰 Xi - DZ忆i椰 22 + 椰 Xi -DZ忆i椰 22) +姿忆椰 Z忆椰 1 (8)式中: X为基于可分离字典重建的图像;X为残差图像;D为残差字典; D为上一阶段重建结果图像对应的字典

18、;Z忆为对应稀疏表示系数;姿忆为参数,用于平衡稀疏度与重构误差.训练得到残差字典D及稀疏系数Z忆之后20,对于给定输入图像,可通过多种方法,如OMP(orthogonal matching pursuit),估计高频信息部分,即图像残差部分X,从而更加准确地表示图像的高频细节信息.由于残差字典有益于高频信息的恢复,本文将残差字典与二维可分离字典相结合,应用于超分辨率重建中,本文方法的整体框架如图1所示.在字典训练阶段,用输入的高、低分辨率训练图像,按模型(3)得到高、低分辨率字典,再将原始高分辨率训练图像与高分辨字典重建图像做差,得到新的残差图像.基于模型(8)学习得到残差字典.在图像重建阶段

19、,对于测试的低分辨率图像Y,首先利用二维可分离字典进行图像重建,得到第一54万方数据北 京 工 业 大 学 学 报2017年步重建结果图像X,再将该结果图像X与残差字典重建,得到残差图像X,用来增强第一步可分离字典重建图像结果.最后,整体的超分辨率重建结果为X* = X +X,即二维可分离字典重建图像X和残差图像X的融合图像.3 实验结果及分析为证实本文方法的有效性,在自然图集上进行超分辨率重建实验.实验中,先把在互联网上搜集的60幅自然图像作为训练集,包括花朵、建筑物等,一些样本示例见图2.选取一些图像处理领域的典型图像(见图3)作为测试图像.将这些高质量的无噪声图像作为计算PSNR数值的依

20、据对重建结果进行衡量.由于光照的明暗变化对识别物体影响很大,为此,本文应用YCbCr色彩模型对彩色图进行处理,并只在亮度分量上应用超分辨率重建方法.图2 训练集图片示例Fig.2 Samples of training images collected from Internet图3 选择的测试图片Fig.3 Some test images实验选取的比较方法有传统双三次插值法3、基于一维字典稀疏表示的超分辨率重建方法11 (简称一维字典法)和一维字典与残差字典相结合的超分辨率重建方法19(简称双重字典法)等.同时,为了体现本文残差字典在重建中的作用,也比较了单独的基于稀疏表示的一维字典、二维

21、可分离字典分别结合残差字典后的重建方法(简称一维+残差法,二维+残差法)的重建性能.3. 1 字典训练阶段在训练阶段,将训练集图像下采样,为了使高、低分辨率图像尺度一致,进行插值以恢复到原图像的大小.作为低分辨率图像,与高分辨率图像组成一一对应的高、低分辨率图像对.在该图像对中随机采集100 000个大小为8 伊8的图像对作为高、低分辨率图像训练对.二维图像块的稀疏表示系数矩阵为16 伊16,那么二维字典U和V的维度均为8 伊16.在字典训练过程中,设置参数姿 = 0. 15,资1 =0. 012 9,资2 =0. 012 9.而残差字典部分,字典原子个数为512,残差字典大小为2 伊64 伊

22、512.图4显示了学习得到的高分辨率字典Vh茚 Uh与一维高分辨率字典及残差字典的对比.可以看出,二维可分离字典的大多数字典原子清楚展示了不同尺度下的水平和竖直两方向下的图像模式,对于恢复局部结构信息非常有帮助.残差字典原子包含了图像特定高频信息,对于增强图像细节起到了重要作用.图4 字典原子可视化显示Fig.4 Visualizations of dictionary atoms相比基于稀疏表示的传统一维字典法,本文提出的二维可分离字典法的另一个优势就是对存储空间需求很小,自由变量的数量也大大减少.二维可分离字典的大小为4 伊8 伊16,稀疏表示系数有16 伊16个自由变量.而传统一维字典大

23、小为2 伊64 伊 n,如果假定字典原子个数n =1 024,那么一维字典大小是二维可分离字典大小的256倍.3. 2 图像重建性能及分析实验中对于测试图像,首先下采样到原尺寸的1/4,再由双三次插值恢复为原来尺寸,作为低分辨率图像输入.实验结果见表1,字典参数是指实验涉及的字典大小.为了证明残差字典在超分辨重建中的作用,首先做了一组对比实验,分别比较了一维字典法、二维字典法和一维+残差法、二维+残差法的超分辨率64万方数据 第1期杜伟男,等:基于残差字典学习的图像超分辨率重建方法重建性能.图5给出了重建图像的视觉效果.可以看出,加入残差字典后重建效果都有一定提升,说明利用残差字典恢复的图像高

24、频信息对于提高图像质量是有效的.表1 实验结果PSNR对比Table 1 Experiment results of PSNR comparison方法字典参数个数Lena Pepper Butterfly Baboon双三次插值法3 34. 13 33. 06 27. 06 24. 95一维字典法11 131 072 35. 87 34. 19 29. 69 25. 70一维+残差法196 608 35. 93 34. 21 29. 81 25. 58二维字典法512 35. 25 33. 75 28. 52 25. 61二维+残差法66 048 35. 44 33. 89 28. 78 2

25、5. 64双重字典法19 131 072 34. 72 33. 71 28. 67 24. 07图5 图像重建结果对比(自左至右为双三次插值法3、一维字典法11、一维+残差法、二维字典法、二维+残差法、双重字典法19)Fig.5 Comparison of reconstructed images(from left to right: bi-cubic method3, 1D-dictionary method11, 1D-dictionary-residual method, 2D-dictionary method, 2D-dictionary-residual method, Dual

26、-dictionary method19)然后比较了3种加入残差字典方法的重建性能,即双重字典方法19、一维+残差法、二维+残差法.双重字典法在一维字典稀疏表示基础上,利用残差字典进行超分辨率重建,但是该方法只对灰度图进行了实验,没有针对相关彩色图进行实验,相应地,图像PSNR指标数值也只计算灰度图.表1的实验结果显示,本文提出的二维+残差法在所有图像上的重建效果均优于双重字典法和双三次插值法.同一维+残差法相比,虽然该方法的重建质量稍有下降,但其字典参数较少,因此所需存储空间维度降低很多.图5显示了不同方法重建图像的视觉效果图.可以发现,双三次插值结果在物体边缘区域出现过平滑现象,一维、二维

27、字典法及其加入残差字典的方法效果更稳定.放大显示的局部图像表明本文的二维+残差法在保持图像纹理结构细节方面具有更强的鲁棒性.74万方数据北 京 工 业 大 学 学 报2017年4 结论1)本文提出了一种基于二维可分离字典和残差字典的超分辨率重建方法.与传统的一维字典法相比,二维可分离字典法直接利用图像的矩阵表示进行字典的训练,可以更好地利用图像像素的空间结构信息,字典所需存储空间也更小.2)残差图像包含图像中的高频信息,利用此信息训练的残差字典能更好地表示图像边缘等细节信息.因此,结合二维字典和残差字典,可以更好地重建图像的高频细节信息.从实验效果来看,不管是PSNR值还是视觉效果,本文方法都

28、取得了很好的实验效果.参考文献:1 PARK S, PARK M, KANG M. Super-resolution imagereconstruction: a technical overview J. IEEE SignalProcessing Magazine, 2003, 20(3): 21-36.2 YANG J, HUANG T. Super-resolution imagingM. BocaRaton: CRC Press, 2010: 3-35.3 ZHANG X, WU X. Image interpolation by adaptive 2-Dautoregressive

29、 modeling and soft-decision estimationJ.IEEE Transactions on Image Processing, 2008, 17(6):887-896.4 TAKEDA H, FARSIU S, MILANFAR P. Kernelregression for image processing and reconstruction J.IEEE Transactions on Image Processing, 2007, 15(2):349-366.5 FAUSIU S, ROBINSON M D, ELAD M, et al. Fast and

30、robust multiframe super-resolution J. IEEE Transactionson Image Processing, 2004, 13(10): 1327-1344.6 TIPPING M E, BISHOP C M. Bayesian image super-resolutionJ. Advances in Neural Information ProcessingSystems, 2002, 15: 1303 -1310.7 FATTAL R. Image upsampling via imposed edge statisticsJ. ACM Trans

31、actions on Graphics, 2007, 26 (3):Article 95.8 CHANG H, YEUNG D, XIONG Y. Super-resolutionthrough neighbor embeddingC IEEE Conference onComputer Vision and Pattern Recognition. Washington, DC: IEEE, 2004: 275-282.9 SUN J, XU Z, SHUM H. Image super-resolution usinggradient profile priorC IEEE Confere

32、nce on ComputerVision and Pattern Recognition. Anchorage: IEEE, 2008:1-8.10 FERNANDEZ-GRANDA C, CANDES E J. Super-resolution via transform-invariant group-sparseregularizetion C IEEE International Conference onComputer Vision. Sydney: IEEE, 2013: 3336-3343.11 YANG J, WRIGHT J, HUANG T, et al. Image

33、super-resolution via sparse representation J . IEEETransactions on Image Processing, 2010, 19(11): 2861-2873.12 GAO X, ZHANG K, TAO D, et al. Joint learning forsingle-image super-resolution via a coupled constraintJ. IEEE Transactions on Image Processing, 2012, 21(2): 469-480.13 YANG J, WANG Z, LIN

34、Z, et al. Coupled dictionarytraining for image super resolution J . IEEETransactions on Image Processing, 2012, 21(8): 3467-3478.14 YANG M, YANG C. Fast direct superresolution bysimple functionsC IEEE International Conference onComputer Vision. Sydney: IEEE, 2013: 561-568.15 ZHANG K, TAO D, GAO X, e

35、t al. Learning multiplelinear mappings for efficient single image super-resolutionJ. IEEE Transactions on Image Processing, 2015, 24(3): 846-861.16 WANG L, WU H, PAN C. Fast image upsampling viathe displacement fieldJ. IEEE Transactions on ImageProcessing, 2014, 23(12): 5123-5135.17 HAWE S, SEIBERT

36、M, KLEINSTEUBER M. Separabledictionary learningC IEEE International Conferenceon Computer Vision and Pattern Recognition. Portland:IEEE, 2013, 9(4): 438-445.18 CAIAFA C, CICHOCKI A. Computing sparserepresentations of multidimensional signals usingKronecker bases J. Neural Computation, 2013, 25(1): 1

37、86-220.19 ZHANG J, ZHAO C, XIONG R, et al. Image super-resolution via dual-dictionary learning and sparserepresentationC IEEE International Symposium onCircuits and Systems. Seoul: IEEE, 2012: 1688-1691.20 AHARON M, ELAD M, BRUCKSTEIN A. K-SVD: analgorithm for designing overcomplete dictionaries forsparse representationJ. IEEE Transactions on SignalProcessing, 2006, 54(11): 4311-4322.(责任编辑 梁 洁)84万方数据