图像拼接调研报告.doc





《图像拼接调研报告.doc》由会员分享,可在线阅读,更多相关《图像拼接调研报告.doc(9页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、图像拼接的调研报告1.图像拼接的意义和国内外研究现状1.1 意义图像拼接(image mosaic)技术是将一组相互间存在重叠部分的图像序列进行空间配准,经重采样融合后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接是数字图像处理领域的一个重要的研究方向,在摄影测量学、计算机视觉、遥感图像分析、计算机图形等领域有着广泛的应用价值。图像拼接技术一个日益流行的研究领域,是虚拟现实、计算机视觉、计算机图形学和图像处理等领域的重要研究课题,在宇宙空间探测、海底勘测、医学、气象、地质勘测、军事、视频压缩和传输、视频的索引和检索、物体的3D重建、军事侦察和公安取证、数码相机
2、的超分辨率处理等领域都有广泛的应用。因此,图像拼接技术的研究具有很好的应用前景和实际应用价值。1.2 国内外研究现状。关于图像拼接的方法国内外已有不少的论文发表,其算法大致可分为基于模型的方法,基于变换域的方法,基于灰度相关的方法和基于特征的方法,而如何提高图像拼接的效率,减少处理时间和增强拼接系统的适应性一直是研究的重点。 基于模型:1996年,微软研究院的Richard Szeliski提出了一种2D空间八参数投影变换模型,采用Levenberg-Marquardt迭代非线性最小化方法(简称L-M算法)求出图像间的几何变换参数来进行图像配准。这种方法在处理具有平移、旋转、仿射等多种变换的待
3、拼接图像方面效果好,收敛速度快,因此成为图像拼接领域的经典算法,但是计算量大,拼接效果不稳定。2000年,Shmuel Peleg等人在Richard Szeliski的基础上做了进一步的改进,提出了自适应图像拼接模型,根据相机的不同运动而自适应选择拼接模型,通过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果推动了图像拼接技术的进一步的发展,从此自适应问题成为图像拼接领域新的研究热点。匹兹堡大学的Sevket Gumustekin对消除在固定点旋转摄像机拍摄自然景物时形成的透视变形和全景图像的拼接进行了研究。通过标定摄像机来建立成像模型,根据成像模型将捕获到的图像投影到同一的高斯球面
4、上,从而得到拼接图像。这种方法拼接效果好、可靠性高,但是要求对摄像机进行精确的标定,同时要求摄像机透镜本身的畸形参数引起的图像变形可以忽略不计。 基于变换域:1975年,Kuglin和Hines提出了相位相关法,利用傅里叶变换将两幅带配准的图像变换频域,然后利用互功率谱直接计算出两幅图像间的平移矢量。1987年,De Castro和Morandi提出了扩展相位相关法,利用傅里叶变换的性质能够实现具有旋转和平移变换的图像的配准。随着快速傅里叶变换算法的提出以及信号处理领域对傅里叶变换的成熟应用,Reddy和Chatterji提出了基于快速傅里叶变换(FFT-based)的方法,利用极坐标变换和互
5、功率谱,对具有平移、旋转和缩放变换的图像都能够实现精确配准。相位相关法计算简单精准,但要求待配准图像之间有较大重叠比例,同时计算量和适用范围与图像的大小有很大关系。除了傅里叶变换外,人们还选择更可靠、更符合人眼视觉生理特征的Gabor变换和小波变换进行图像配准。 基于灰度:基于灰度相关的方法是以两幅图像重叠部分所对应在RGB或CMY颜色系统中灰度级的相关性为准则寻找图像的配准位置。常用的算法有比值匹配法,块匹配法和网格匹配法。比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部分像素。然后以他们的比值作为模板,在另一幅图像中搜索最佳匹配,这种算法计算量小,但精度低;块匹配是以一幅图像重叠区
6、域中的一块作为模板,在另一幅图像中搜索与此模板最相似的匹配快,这种算法精度较高,但计算量过大;网格匹配法首先进行粗匹配,每次水平或垂直移动一个步长,记录最佳匹配位置,然后再进行精确匹配,每次步长减半,循环此过程直至步长减为0,这种算法比较其前两种运算量有所减小,但如果粗匹配步长过大会造成较大的误差。 基于特征:基于特征的方法首先从待匹配图像中提取特征集,利用特征的对应关系进行匹配。基于特征的方法利用了图像的显著特征,具有计算量小,速度快的特点,对于图像的畸变,噪声,遮挡等具有一定鲁棒性,但是他的匹配性能在很大程度上取决于特征提取的质量。1988年,Halris提出了HarriS兴趣点检测器。H
7、arriS提取的兴趣点具有旋转不变性,并且抗噪声能力强,是一种很好的特征检测算子。2004年,M.BrownandD.Glowe发表了ReeognizingPanoramas文章,提出了基于尺度不变特征(SIFT)的图像拼接技术,该算法完全自动完成,并采用了多分辨率对图像进行融合,收到了理想的效果。(SIFT算法最早是由D.Gfowe在1999年提出的,2004年做的完善总结,该方法具有尺度不变性和旋转不变性,是目前图像拼接领域最为流行的算法。)Manjunath提出了一种轮廓的图像匹配方法,采用LOG算子提取出两幅图像的特征轮廓,从而确定图像间的变换关系。这种方法在特征轮廓的提取上容易受到噪
8、声的干扰,其计算量随着轮廓数量的增多而增长。Etienne使用Harris检测器提取兴趣点,通过计算归一化相关系数,沿极线寻找一幅图像中兴趣点的对应点,然后使用第三幅图像来得到更准确的对应;Jane 提出了基于小波变换的分层图像匹配算法,在分解后的每一层图像中提取兴趣点进行匹配,用并行策略提高计算速度。图像配准算法经过几十年的发展已经取得了很大的进展,但由于拍摄环境复杂多变,现在还没有一种算法能够解决所有图像的匹配问题。现在的几种方法各有其优缺点,如果能综合利用这些方法的优点将会取得更好的匹配结果。2. 图像拼接技术介绍图像拼接技术主要包括图像配准和图像融合两个关键环节。图像配准是图像拼接的核
9、心部分,其目标是找出对齐的两幅或多幅重叠图像之间的运动情况,图像配准直接关系到图像拼接算法的成功率和运行速度。图像融合技术是用来消除由于几何校正、动态的场景或光照变化引起的相邻图像的强度或颜色不连续问题,将两幅经过匹配确定出重叠区域的图像合并为一幅无缝图像。图像拼接的全过程输入图像预处理同一坐标变换图像融合图像配准全景拼接图(几何畸变校正和噪声的抑制等)(不同的变换方式对应不同的拼接流行)(找出对齐的两幅或多幅重叠图像之间的运行情况,关键:算法的成功率和运行速度)(消除由于几何校正,动态的场景或光照变化引起的相邻图像间的强度或颜色不连续问题,将两幅经过匹配确定出重叠区域的图像合并为一幅无缝图像
10、)2.1 几种主要图像配准方法的优缺点 基于灰度信息的方法基于图像灰度的配准方法直接利用图像的灰度信息,根据对应关系模型将每个像素点变换成对应点,采用某种搜索方法,寻找使相似性评价函数值达到极值的变换模型的参数值。模块匹配的方法是一种最常用的基于灰度信息的图像匹配算法,与所拼接的图像内容无关。虽然模板匹配有计算量大,准确率不高等缺点,但在目前的图像拼接领域还是广泛使用。所谓模板匹配就是在图像的已知重叠区域中裁剪出一块矩形区域作为模板,和被搜素图像中同样大小的一块区域进行对比,根据相似程度来确定最佳的匹配位置。模板匹配包括以下几个方面:1、 模板特征提取2、 基准模板的选取、确定基准模板的大小和
11、坐标定位3、 模板匹配的相似度量4、 匹配模板的搜素策略模板匹配一般情况下选用图像的灰度为特征构建模板。在一幅图像处于重叠部分的区域中选取一个区域作为模板,然后在另一幅图像中搜素具有相同或相似值对应位置,从而确定两幅图像重叠区域范围。模板匹配法简单易行,具有精度高,可靠性高以及抗干扰性强等优点,但计算量将随着模板和待匹配图像的增大而迅速增大,难以达到实时性的要求。基于图像灰度的方法直接利用图像的灰度信息进行匹配,通过像素对其间某种相似性度量(如互信息、最小均方差等)的全局最优化实现配准,这种方法不需要对图像进行分割和特征提取,所以精度高,鲁棒性好。但是这种匹配方法对灰度变化非常敏感,没有充分利
12、用灰度统计特性,对每一点的灰度信息依赖较大。 变换域法基于变换域的图像配准的一个经典方法是相位相关法,就是利用傅里叶变换的方法,将图像有空间域变换到频率域,根据傅里叶变换的平移原理来实现图像的配准。由于平移、旋转、缩放等变形在频域都有相应变换,因此完全可以利用傅里叶方法在频域中进行图像匹配。变换域的方法具有对噪声的不敏感性,计算效率高,有成熟的快速算法(FFT算法)和易于硬件实现等特点。一般来说,采用变换域的方法可以为图像拼接提供一个良好的初始配准参数。 基于特征的配准方法基于图像特征的方法,首先要对待配准的两幅图像进行处理,提取满足特定应用要求的特征集,将这些特征作为控制结构,寻找两幅图像控
13、制结构的映射关系。基于图像特征的方法,在特征提取后得到的特征点的数量将会大大减少,因此可以提高配准的速度,但其配准的效果很大程度上还取决于特征点的提取精度以及特征点匹配的准确度。基于特征的方法只需要提取出匹配的特征就可以解出变换模型的参数,因此计算量小,由于是在特征空间上进行匹配,因此对图像的灰度属性和噪声的影响不是很敏感,配准速度快。基于图像特征配准的方法主要困难在于如何提取和选择鲁棒的特征,以及如何对特征进行匹配,其中要克服由于图像噪声和场景中出现遮挡现象所引起的误匹配的问题。 基于模型的配准方法基于模型的配准方法是根据图像失真的数学模型来对图像进行非线性校准的配准。典型的算法是Szeli
14、ski提出的变换优化法,首先建立图像序列之间的变换模型,然后通过优化算法迭代求出模型中的变化参数,从而实现对待拼接图像的配准。变换优化法可以处理图像序列之间存在平移、旋转、缩放等几何变换的拼接,不需要任何特征点,收敛速度快,并且在统计上是最优的。但是这种方法的缺点在于,要使整个缩放达到收敛的要求,必须要有一定精度的初始估计值,即也就是认为确定的初始对应点要足够精确,否则将会导致图像配准的失败。2.2 几种典型算法的优缺点:2.2.1 基于区域的配准 2.2.1.1 逐一比较法 算法的优点:(1)算法思路比较简单,容易理解,易于编程实现。(2)选用的模板越大,包含的信息就越多,匹配结果的可信度也
15、会提高,同时能够对参考图像进行全面的扫描。 算法的缺点:(1)很难选择待配准图像分块。因为一个如果分块选择的不正确,缺少信息量,则不容易正确的匹配,即发生伪匹配。同时,如果分块过大则降低匹配速度,如果分块过小则容易降低匹配精度。 (2)对图像的旋转变形不能很好的处理。算法本身只是把待配准图像分块在标准参考图像中移动比较,选择一个最相似的匹配块,但是并不能够对图像的旋转变形进行处理,因此对照片的拍摄有严格的要求。2.2.1.2 分层比较法 图像处理的塔形(或称金字塔:Pyramid)分解方法是由Burt和Adelson首先提出的,其早期主要用于图像的压缩处理及机器人的视觉特性研究。该方法把原始图
16、像分解成许多不同空间分辨率的子图像,高分辨率(尺寸较大)的子图像放在下层,低分辨率(尺寸较小)的图像放在上层,从而形成一个金字塔形状。 在逐一比较法的思想上,为减少运算量,引入了塔形处理的思想,提出了分层比较法。利用图像的塔形分解,可以分析图像中不同大小的物体。同时,通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺寸较大的下层进行分析,从而大大简化分析和计算。在搜索过程中,首先进行粗略匹配,每次水平或垂直移动一个步长,计算对应像素点灰度差的平方和,记录最小值的网格位置。其次,以此位置为中心进行精确匹配。每次步长减半,搜索当前最小值,循环这个过程,直到步长为零,最后
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 拼接 调研 报告

限制150内