超分辨率算法综述.pdf
《超分辨率算法综述.pdf》由会员分享,可在线阅读,更多相关《超分辨率算法综述.pdf(11页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、图 像 超 分 辨 率 算 法 综 述 摘要:介绍了图像超分辨率算法的概念和来源,通过回顾插值、重建和学习这 3个层面的超分辨率算法,对图像超分辨率的方法进行了分类对比,着重讨论了各算法在还原质量、通用能力等方面所存在的问题,并对未来超分辨率技术的发展作了一些展望。关键词:图像超分辨率;插值;重建;学习;Abstract:This paper introduced the conception and origin of image super resolu-tion technology.By reviewing these three kinds of methods(interpolat
2、ion,reconstruct,study),it contrasted and classified the methods of image super-resolution,and at last,some perspectives of super-resolution are given.Key words:image super-resolution;interpolation;reconstruct;study;1 引言 1.1 超分辨率的概念 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分
3、辨率图像(high resolution,HR)。HR 意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。要获得高分辨率图像,最直接的办法是采用高分辨率图像传感器,但由于传感器和光学器件制造工艺和成本的限制1,在很多场合和大规模部署中很难实现。因此,利用现有的设备,通过超分辨率技术获取 HR 图像(参见图 1)具有重要的现实意义。图 1 图像超分辨率示意图 图像超分辨率技术分为超分辨率复原和超分辨率重建,许多文献中没有严格地区分这两个概念,甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来,严格意义上讲二者是有本质区别的,超分辨率图像重建和超分辨率
4、图像复原有一个共同点,就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同,超分辨率复原在光学中是恢复出超过衍 射级截止频率以外的信息,而超分辨率重建方法是在工程应用中试图恢复由混叠 产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理,即输入的原始数据是图像,处理后输出的也是图像,而重建处理则是从数据到图像的处理。也就是说输入的是某种数据,而处理结果得到的是图像。但两者的目的是一致的,都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄,只是指基于同一场景的图像序列和视频序列的超分辨处理,实际上,多幅图像的超分辨
5、率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降,如传感器的形状和尺寸、光学系统的像差、大气扰动、运动、散焦等。另外,在成像、传输、存储过程中,会引入不同类型的噪声,这些都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱混叠,使获取的图像因变形效应而发生降质。由于军事侦察及医学图像、卫星图像、视频应用及其它许多领域的实际需要,人们对得到的图像的质量要求越来越高。虽然光学元件能有效的限制传感器阵列上的图像频带宽度,使获取的图像又可能避免变形效应的发生。但这要求光学元件与传感器阵列进行有效的组合,而这在实际场合中是
6、很难做到的,同时提升硬件要花费很高的经济成本,图像质量的提高也是有限的,因此,超分辨率图像复原技术就显得更加重要了,其中,图像超分辨率技术是数字图像处理领域中的一个重要分支。随着图像超分辨率理论和技术的日益成熟,图像超分辨率技术的应用更加广泛。本文着重对图像超分辨率方法进行阐述和分析,以向人们展示超图像分辨率技术的发展方向和应用前景。1.2 图像超分辨率发展的背景及现状 近年来,图像超分辨率研究比较活跃,美国加州大学 Milanfar 等提出的大量实用超分辨率图像复原算法,Chan 等从总变差正则方面,Zhao 等、Nagy 等从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面,对超分辨
7、率图像恢复进行了研究。Chan 等研究了超分辨率图像恢复的预处理迭代算法。此外,Elad等对包含任意图像运动的超分辨率恢复进行了研究;Rajan 和 Wood 等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法;韩国 Pohang 理工大学对各向异性扩散用于超分辨率。Chung-Ang 图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。国内许多科研院所和大学等对超分辨率图像恢复进行研究,其中部分是关于频谱外推、混叠效应的消除,其他主要是对国外超分辨率方法所进行的改进,包 括对 POCS 算法和 MAP 算法的改进,对超分辨率插值方法的改进,基于小波域隐马
8、尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进。2 图像超分辨率研究的主要方法 2.1 图像超分辨率方法的分类 图像超分辨率按要处理的图像源可分为单幅图像超分辨和多幅图像超分辨。单幅图像超分辨率是指恢复出由于图像获取时丢失的信息(主要是指高频信息),多幅图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。基于序列或多幅图像的超分辨率增强就是利用这些不同,但相互补充的信息以及目标的先验信息,从一系列低分辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率方法相比,其优点是除了利用物体的先验信息和单幅图像的信息之外,还充分利用了不同图像之间的
9、补充信息,因此,其超分辨率增强能力高于单幅图像超分辨率方法。但是在实际应用中,获得同一场景的图像序列常常是很困难,例如在未来高技术局部战争条件下,战场环境瞬息万变,战场信息稍纵即逝,因此给军事侦察提出了更高的要求,在这种情况下,要想获得同一场景的多幅图像很难,因此,单幅图像的超分辨率技术就显得尤为重要。同时,多幅图像的超分辨率方法大多都是以单幅图像的超分辨率为基础的,只有对单幅图像的超分辨率图像进行更广泛深入地研究,多幅图像的超分辨率技术才能有更广阔的前景。目前,单幅图像的超分辨率研究较少,多幅图像超分辨率已经成为研究的热点,就是因为多幅图像比单幅图像所含的可利用的信息量大。图像超分辨率按实现
10、的具体方法主要可分为空域法和频域法。频域方法是在频域上消除频谱混叠,改善空间分辨率;空间域方法是在图像像素的尺度上,通过对图像像素点的变换、约束而改善图像质量的方法。频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发,给出了多次欠采样图像在频率域混叠的更一般的公式,并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法,该方法在有噪声的情况下也具有很好的收敛性,取得了很好的效果。频域方法实际上是在频域内解决图像内
11、插问题,其观察模型是基于傅里叶变换的移位特性。频域方法基于以下三条基本性质:(1)傅里叶变换的平移特性。(2)连续傅里叶变换和离散傅里叶变换之间的混叠关系。(3)原始场景的带宽有限。频域方法理论简单,运算复杂度低,很容易实现并行处理,具有直观的去变形超分辨率机制。但这类方法的缺点是所基于的理论前提过于理想化,不能有效地应用于多数场合,只能局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能力有限。空域方法的适用范围较广,具有很强的包含空域先验约束的能力,主要包括迭代反投影方法(IBP)、集合论方法(如凸集投影:POCS)、统计复原方法(最大后验概率估计 MAP 和最大似然估计 ML)
12、,混合 MAP/POCS 方法以及自适应滤波方法,人工神经网络法、基于非均匀采样的插值法、基于最优化技术的方法等。其中,非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱,在改善图像超分辨率效果方面受到了一定的限制。因此,研究和应用较多的是凸集投影方法和最大后验概率估计方法。下面重点介绍几种常用的超分辨率方法的特点。2.2 几种常用的图像超分辨率方法 2.2.1 超分辨率系统模型及技术概述 对超分辨率问题的求解,通常是构造一个前向关系模型,低分辨率图像和高分辨率图像之间的关系可以表述为,1,p k j n x M DB yj j j k j k(1)其中,p 为图像序列帧数,jx、ky
13、和jn分别为待求的第 j 帧高分辨率图像、第 k 帧观察到的低分辨率图像和图像获取时的噪声,矩阵D、jB和j kM,分别为下采样矩阵、模糊矩阵和第j帧和第k帧之间运动矢量所构成的运动矩阵。关于模糊矩阵和运动矩阵的先后关系,WANG Z Z 等2指出,如果更换两者的位置会引起系统误差。设 H=DBM,则式(1)即可简化为 n Hx y(2)求解式(2)需要确定 H,也就是求解或者确认式(1)中的 D、B、M 和噪声 n,这包括以下几个问题:(1)运动估计,需要从观察到的低分辨率图像得到精确的运动矢量,并使用插值等方法去近似高分辨率图像的运动矢量;(2)图像模糊的估计,通常需要对点扩散函数进行计算
14、或假设;(3)噪声估计,噪声会极大地影响系统的求解,对于噪声的估计是非常重要的一步。SR 技术在早期研究中仅指基于多幅图像的还原方法,将基于单幅图像的增强称为插值,而目前多数文献中将这 2 种情况均称为超分辨率。超分辨率技术自 Tsai 和 Huang 提出利用多帧图像序列来恢复高分辨率图像以来,至今已有二十余年,其间大量算法被提出。目前,图像超分辨率研究可分为 3 个主要范畴:基于插值、基于重建和基于学习的方法。2.2.2 基于插值的方法 基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。这类方法首先估计各帧图像之间的相对运动信息,获得 HR 图像在非均匀间距采样点上的像素值,接着通过
15、非均匀插值得到 HR 栅格上的像素值,最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括:Rajan 和 Chaudhuri 通过分解、插值和融合 3 个步骤实现的通用插值方法;TAOHJ 等提出的小波域的双线性插值;Lertrattanapanich 和 Bose 提出的使用基于光滑性约束的 Delaunay 三角化插值算法等。这类方法的优点是算法快速易行,适合并行计算,基本可以满足实时要求,但因为不能引入额外有用的高频信息,因而很难在 SR 图像中得到锐化的效果,同时,也没有考虑到 LR 图像的像素值并不是 HR 图像的理想采样值,而是对HR 图像像素值的空间平均和卷积效应这一事实。
16、2.2.3 基于重建的方法(1)凸集投影法(POCS)Stark 和 Oskoui3最早提出的凸集投影方法可以简单而有效地求解超分辨率问题,通过把高分辨率图像的解空间上与一系列的代表高分辨率图像性质的约束集(如非负性、能量有界性、观测数据一致性、局部光滑性等)相交,可以得到一个更小的解空间。从高分辨率图像空间的一点出发,不断利用迭代投影的方法寻找满足所有约束凸集的下一点,最终获得高分辨率图像的估计。对于初始值0 x,设每一个约束集定义一个凸集投影算子kP,则计算过程为 01 2 3.x P P P P xNn(3)凸集投影法的优点在于算法简单,能够充分利用先验知识。但是缺点在于解不惟一,收敛过
17、程依赖初值的选择,解不稳定。(2)贝叶斯分析方法 贝叶斯分析法包括最大后验概率估计法(MAP)和最大似然估计法(ML),最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等。缺点是收敛慢和运算量大。另外,最大后验概率估计方法的边缘保持能力不如凸集投影方法,由这类方法获得的高分辨率图像上的细节容易被平滑掉。(3)迭代反投影法(IBP)Irani 和 Peleg4提出的迭代反向投影法是超分辨率图像复原中具有代表性的一种方法。首先估计一个高分辨率图像作为初始解 0 x,通常采用单幅低分辨率图像的插值结果。然后根据系统模型,计算其模拟低分辨率图像:n
18、 Hx y 0 0(4)如果0 x与原始高分辨率图像精确相等,并且若式(4)模拟的成像过程符合实际情况,则模拟低分辨率序列0y应与观察得到的实际低分辨率图像 y 相同。当两者不同时,将它们之间的误差0y y 反向投影到0 x上使其得到修正:)(0 0 1y y H x xBP(5)当误差满足要求时,迭代结束,Irani 和 Peleg 证明了算法是收敛的。算法简单、直观。但是,BPH较难选择,并且没有能够利用到先验知识,解不稳定、不惟一。(4)最大后验概率方法 Schultz 和 Stevenson5提出的 MAP 方法是典型的概率论方法,他们把高分辨率图像和观察得到的低分辨率图像当作两个不同
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分辨率 算法 综述
限制150内