图像配准.ppt

《图像配准.ppt》由会员分享，可在线阅读，更多相关《图像配准.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、图像配准的方法2012.8.6主要内容图像配准方法的两大类别图像配准的四大步骤图像配准的发展展望图像配准图像配准是图像处理的基本任务之一，主要用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的关于同一目标或背景的两幅图像进行匹配的过程（主要是几何意义上的校正）。图像配准的方法可大致分为两大类一、基于区域的方法1.相关法（及归一化相关法）2.互信息法3.（变换域）Fourier变换法二、基于特征的方法1.固定特征描述子法2.金字塔法3.小波变换法图像配准的四个步骤一、特征检测（Feature detection）二、特征匹配（Feature matching）三、变换模型估计（Trans

2、form model estimation）四、图像重采样和变换（Image resampling and transformation）一二四三一、特征检测（Feature detection）需提取的特征包括：closed-boundary regions（闭合区域）,edges（边缘）,contours（轮廓）,line intersections（直线交点）,corners（角点）,etc.可用控制点（CPs）来表示，如centers of gravity（重心）,line endings（行尾结束符）,distinctive points（特征点）。一、特征检测（Feature de

3、tection）闭合区域（closed-boundary regions）检测方法特征实例演化分割方法（segmentation methods）an appropriate size,water reservoirs,and lakes,buildings,forests,urban areas简单分割迭代分割（亚像素精度）大尺度使用距离变换的虚拟圆思想基于Harris角点检测器及边缘的仿射不变领域MSER一、特征检测（Feature detection）线特征（Line features）检测方法特征实例演化Canny 检测器general line segments,object con

4、tours,coastal lines,roads or elongated anatomic structures in medical imagingCanny 检测器高斯拉普拉斯函数（LOG算子）一、特征检测（Feature detection）点特征（Point features）检测方法特征实例演化wavelet transform，Harris detector，SUSAN methodline intersections,roadcrossings,centroids of water regions,oil and gas pads,high variance points,l

5、ocal curvature discontinuities,inflection points of curves,local extrema of wavelet transform,the most distinctive points,and cornersGabor小波变换图像函数的二阶参量法一阶参量法高斯曲线局部极值法Harris检测器SUSAN法SIFT 算法Forstner检测器参量角点检测器，可处理杂点和噪声数据可处理三维数据的角点检测器一、特征检测（Feature detection）只有基于特征的方法才有此步骤。要求要求：具有良好的定位精度，且对图像的微小形变能够保持不变

6、。算法算法：1）Canny2）Gabor小波变换3）Harris4）SUSAN二、特征匹配（Feature matching）在参考图像和待配准图像的特征之间建立相关性。不同的特征描述子，相似性度量以及特征的空间关系是关键。要求：对于不同特征具有高的分辨能力和稳定性，即健壮性和有效性。二、特征匹配（Feature matching）1、基于区域的方法可允许微小的旋转和尺度变化，但易受灰度变化影响，且对噪声、环境照度、传感器类型等敏感；当图像没有灰度和颜色方面的明显细节和显著信息时使用基于区域的特征匹配法。基于区域的特征匹配法包括相关法、Fourier法、互信息法。二、特征匹配（Feature

7、matching）1.1 相关法（Correlation-like methods）典型典型：归一化互相关法（NCC,the normalized cross-correlation）模型函数模型函数：式中，W为归一化窗，I(i,j)为该点的灰度值，E为均值。二、特征匹配（Feature matching）1.1 相关法（Correlation-like methods）优点优点：方便硬件执行，可实时处理 缺点缺点：相似性度量的极大值极平坦，且计算复杂度大 改进改进：序贯检测法(SSDA)；Hausdorff 距离(HD)；基于边缘、向量的相关法 二、特征匹配（Feature matching

8、）1.2 Fourier法（Fourier methods）典型典型：相位相关法，基于Fourier变换原理，计算待配准图像和参考图像的互能量谱，逆向寻找它的峰值点 模型函数模型函数：二、特征匹配（Feature matching）1.2 Fourier法（Fourier methods）优点优点：健壮性，不受照度影响、噪声干扰，图像越大计算时间节省越多；易处理具有边缘特征的多模态图像 改进改进：FourierMellin变换二、特征匹配（Feature matching）1.3 互信息法（Mutual information methods）典型典型：归一化互信息法，计算最大互信息值 模型函

9、数模型函数：式中，H(X)是随机变量的熵，P(X)是X的概率分布二、特征匹配（Feature matching）1.3 互信息法（Mutual information methods）改进改进：为提高配准效率，通常会使用（样条）金字塔的方法，进行由粗到精的配准；利用Parzen窗计算联合概率密度，使用梯度下降法、Jeeves方法或者Marquardt Levenberg方法来最大化互信息；采用分层搜索策略寻找最大互信息值；联合概率熵的离散直方图估计，多分辨率峰的爬行算法计算互信息最大值。二、特征匹配（Feature matching）1.4 最优方法（Optimization methods）

10、高斯-牛顿数字极小化算法减小方差和；使用梯度下降法、Marquardt Levenberg方法；Marquardt Levenberg方法与方差矩阵和相结合；Powell多维方向集的方法；MI与相关性结合；为提高配准速度，使用金字塔的方法；能量最小化方法二、特征匹配（Feature matching）二、特征匹配（Feature matching）二、特征匹配（Feature matching）2.基于特征的方法假设两个以控制点（如点、线中点、区域重心的中点等）组成的特征集分别代表待配准图像和参考图像，该方法所要做的就是找到它们的对应关系，以空间关系或者相应的特征描述符来表示。二、特征匹配（F

11、eature matching）2.1 空间相关方法（Methods using spatial relations）基于特征的空间关系，即控制点之间的距离和它们的空间分布。当检测到的特征比较模糊或者该特征邻域被局部扭曲时，我们使用该方法。算法算法：图形匹配算法；聚类法；线特征最小距离法；最近迭代点算法(ICP)，以处理三维图像等。二、特征匹配（Feature matching）2.2 不变描述子法（Methods using invariant descriptors）描述子应满足的条件：不变性、唯一性、稳定性、独立性；方法：特征邻域的互相关法；特征相关MI；矩不变法（描述闭合区域特征）；二

12、、特征匹配（Feature matching）2.2 不变描述子法（Methods using invariant descriptors）描述子分类：特征描述子说明区域延长率参数、紧密度、空洞个数、最小边界矩形的特征描述森林、河流等点该点周围其他特征的空间分布、相关交线的夹角、图像函数的微分算子闭合区域形状、轮廓标记、球面上非共线的三个控制点、多边形、矩不变、边界三角形轮廓轮廓点的切线斜率，线长的直方图、最小圆半径、重心、邻域形变类型、轮廓链码几何方向线线特征点的角度直方图计算旋转角度最长结构和角度、MVLT可用于所有特征二、特征匹配（Feature matching）2.3 松弛法（Rel

13、axation methods）解决一致标志问题，可对线特征、角特征使用该方法，此外还有回溯法（Backtracking）该算法能允许偏移、旋转和变形二、特征匹配（Feature matching）2.4 金字塔及小波方法（Pyramids and wavelets）金字塔可以降低计算量；小波方法具有内在的多分辨率特性 金字塔金字塔金字塔金字塔：高斯、拉普拉斯金字塔，中值金字塔，均值金字塔，与CC结合的金字塔；小波小波小波小波：样条正交小波，Daubechies 和 Haar小波，Gabor小波二、特征匹配（Feature matching）三、变换模型估计（Transform model估计

14、匹配函数的类型和参数，以配准待配准图像和参考图像。这些参数可通过特征相关法来计算。要求要求：特征检测的精度和特征一致估计的可靠性。变换模型或方法包括变换模型或方法包括：全局匹配模型、局部匹配模型、径向基函数匹配法、弹性配准三、变换模型估计（Transform model1 全局匹配模型（Global mapping models）它是使用最小二乘法对所有控制点来估计匹配函数及其参数，亦称形状保持匹配，对旋转、平移和尺度保持不变；一般模型（两个控制点）：三、变换模型估计（Transform model1 全局匹配模型（Global mapping models）仿射变换模型（三个控制点）：透视预

15、测模型（四个控制点）：三、变换模型估计（Transform model2 局部匹配模型（Local mapping models）对最小二乘法优化，使用加权最小二乘法和加权平均法，来估计模型及其参数。包括分段线性匹配、分段三次匹配和五次法。三、变换模型估计（Transform model3 径向基函数匹配法（Mapping by radial basis functions）它是全局匹配法的一种，但是可以容忍局部几何形变。三、变换模型估计（Transform model3 径向基函数匹配法（Mapping by radial basis functions）方法方法方法方法：曲面拟合,双向曲面

16、拟合,高斯型,Wendland函数和薄板样条（TPS）。TPS是常用的一种方法，它的配准精度高，但是计算复杂度大，因此，Powell介绍了一种薄板样条表，以降低计算复杂度。随后，又有改进的B样条线性组合，弹体样条（EBS）。三、变换模型估计（Transform model4 弹性配准（Elastic registration）此方法的优势是，配准的特征匹配和匹配函数的设计可以同时进行，更符合实际；其缺点是，对于局部畸变的图像的处理效果不理想。因此，引进了流体配准法来解决该问题。另一些非刚性方法，包括基于扩散模型的配准，水平集配准，基于光流模型的配准。三、变换模型估计（Transform mod

17、el四、图像重采样和变换（Image resampling and transformation）待配准图像通过匹配函数转换后，一些非整数的像素值可以使用插值法来处理。要求：在插值精度和计算复杂度之间做一个权衡。四、图像重采样和变换（Image resampling and transformation）插值算法：1）最近邻函数（不推荐采用）2）双线性和三次函数3）曲面拟合样条4）三次B样条5）Catmull Rom基数样条6）高斯曲线7）简化的sinc函数四、图像重采样和变换（Image resampling and transformation）展望图像配准是一个关键技术，涉及到图像融合、变化检测、超分辨率图像、建筑图像信息系统等等，应用在遥感、计算机视觉和模式识别、医学图像等领域。尽管前人已经做了不少工作，但是图像自动配准仍然是一个难题。目前，复杂非线性、局部扭曲图像的配准，多模态配准以及多维图像配准是最具挑战性的课题，也是未来的发展方向。针对不同应用，图像配准的问题也是复杂多变的，因此，我们需要具体情况具体分析。谢谢！