图像配准ppt课件.ppt

《图像配准ppt课件.ppt》由会员分享，可在线阅读，更多相关《图像配准ppt课件.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、图像配准技术 郑雪梅1内容概要内容概要1.1.图像配准介绍图像配准介绍4.4.图像配准的主要方法图像配准的主要方法5.5.部分配准算法的实验结果部分配准算法的实验结果2.2.图像配准的分类图像配准的分类3.3.图像配准的一般步骤图像配准的一般步骤6.6.图像配准的评价图像配准的评价2图像配准介绍图像配准介绍-图像配准的定义图像配准的定义什么是图像配准？什么是图像配准？ 图像配准可以视为源图像和目标图像关于空间和灰度的映射关系：图像配准可以视为源图像和目标图像关于空间和灰度的映射关系： 其中：其中： f f 为二维空间坐标变换（如仿射变换），为二维空间坐标变换（如仿射变换），g g 为一维亮度或

2、其他为一维亮度或其他度量值变换。度量值变换。 图像配准问题的关键图像配准问题的关键: :最佳空间变换最佳空间变换。 图像配准的实质：图像配准的实质：不同图像中表征同一位置的物理点一一对应。不同图像中表征同一位置的物理点一一对应。),(),(12yxfIgyxI3图像配准图像配准是处理多源图像信息融合、目标识别等实际问题中的一个重是处理多源图像信息融合、目标识别等实际问题中的一个重要步骤要步骤 。其广泛应用于其广泛应用于军事、医学、航空军事、医学、航空等多个重要科研领域等多个重要科研领域 。经过图像配准，可以获得经过图像配准，可以获得质量更高质量更高、清晰度更好清晰度更好、定位更准确定位更准确的

3、目标的目标信息。信息。 图像配准介绍图像配准介绍-图像配准的意义图像配准的意义4图像配准介绍图像配准介绍-图像配准的应用领域图像配准的应用领域 计算机视觉计算机视觉 -视频监控视频监控-对跟踪的目标区域进行配准对跟踪的目标区域进行配准 - -人脸识别人脸识别 5图像配准介绍图像配准介绍-图像配准的应用领域图像配准的应用领域 医学医学 -不同模态的（不同模态的（CT,MRTCT,MRT）-配准后进行融合可以得到配准后进行融合可以得到 更多的信息更多的信息 -单模态单模态-同一病人不同时间，不同病人之间的同一病人不同时间，不同病人之间的6图像配准介绍图像配准介绍-图像配准的应用领域图像配准的应用领

4、域 遥感遥感 - -不同时间、不同视角，不同传感器不同时间、不同视角，不同传感器 -信息融合、环境监视、图像拼接、天气预报以及地图信息融合、环境监视、图像拼接、天气预报以及地图 更新等更新等7图像配准介绍图像配准介绍-图像配准的应用领域图像配准的应用领域 军事军事 - -变化检测、运动目标指示、视点稳定、大视场重构、变化检测、运动目标指示、视点稳定、大视场重构、多通道融合、多通道融合、 地形定位和导航地形定位和导航 8图像配准的分类图像配准的分类按图像的维数分类按图像的维数分类 -2D/2D-2D/2D：平面图像之间的配准：平面图像之间的配准 -2D/3D-2D/3D：平面图像与空间图像之间的

5、配准（医学上的体数据与二维：平面图像与空间图像之间的配准（医学上的体数据与二维 图像数据的配准）图像数据的配准） -3D/3D -3D/3D：两幅三维空间图像之间的配准：两幅三维空间图像之间的配准 如果在空间维数的基础上再加上时间维，则原来的如果在空间维数的基础上再加上时间维，则原来的2D2D、3D3D就分别变成就分别变成了了3D3D、4D4D，这在临床医学上比较常见，主要是用来观察儿童骨骼发育，这在临床医学上比较常见，主要是用来观察儿童骨骼发育，跟踪肿瘤变换等。跟踪肿瘤变换等。按成像模式分类按成像模式分类 -单模：待配准的两幅图像是用同一种成像设备获取的单模：待配准的两幅图像是用同一种成像设

6、备获取的 -多模：待配准的两幅图像来源于不同的成像设备多模：待配准的两幅图像来源于不同的成像设备9图像配准的分类图像配准的分类按交互性分类按交互性分类 -人工配准人工配准 ：完全由人工凭借经验进行，输入计算机后实现的只：完全由人工凭借经验进行，输入计算机后实现的只 是显示工作，不需要复杂的配准算法。是显示工作，不需要复杂的配准算法。 -半自动：由人工给出一定的初始条件，如人工勾画出轮廓、控制优化参数。半自动：由人工给出一定的初始条件，如人工勾画出轮廓、控制优化参数。 -全自动：全自动：全自动化配准不需人工干预，由计算机自动完成。全自动化配准不需人工干预，由计算机自动完成。 按对图像信息的利用情

7、况分类按对图像信息的利用情况分类 -基于灰度：直接利用基于灰度：直接利用局部图像的灰度信息局部图像的灰度信息建立两幅图像之间的相似性度建立两幅图像之间的相似性度 量，然后采用某种搜索方法寻找使相似性度量值最大或最小的量，然后采用某种搜索方法寻找使相似性度量值最大或最小的 变换模型的参数值。变换模型的参数值。 -基于特征：基于特征：提取各类图像中保持提取各类图像中保持不变特征不变特征如边缘点，闭区域的中心如边缘点，闭区域的中心 等作为两幅图像配准的参考信息。等作为两幅图像配准的参考信息。10图像配准的分类图像配准的分类按图像配准的应用领域分类按图像配准的应用领域分类 -军事，医学，遥感，计算机视

8、觉军事，医学，遥感，计算机视觉按配准图像的来源分类按配准图像的来源分类 -不同视点的图像配准（多视点分析）：目的在于获取不同视点的图像配准（多视点分析）：目的在于获取更大范围的更大范围的 二维视角或重构被摄场景的三维信息二维视角或重构被摄场景的三维信息。应用实例：遥感。应用实例：遥感被摄区域被摄区域图像镶嵌、计算机视觉图像镶嵌、计算机视觉形状恢复；形状恢复； - -不同时间的图像配准（多时段分析）：目的在于寻找并不同时间的图像配准（多时段分析）：目的在于寻找并度量度量两幅两幅 不同时间内拍摄的图像中场景的变化不同时间内拍摄的图像中场景的变化。应用实例：遥感。应用实例：遥感区域规划、区域规划、计

9、算机视觉计算机视觉运动跟踪、医学成像运动跟踪、医学成像肿瘤病变检测、白天和黑夜肿瘤病变检测、白天和黑夜的场景以及夏天和冬天的图像特征研究；的场景以及夏天和冬天的图像特征研究；11图像配准的分类图像配准的分类按配准图像的来源分类按配准图像的来源分类 - -不同传感器的图像配准（多模式分析）：目的在于不同传感器的图像配准（多模式分析）：目的在于融合不同传感器融合不同传感器信息信息，以获取更为丰富细致的场景信息。如可见光和红外图像配准、，以获取更为丰富细致的场景信息。如可见光和红外图像配准、医学成像医学成像CTCT和和MRIMRI、多波段的人脸识别；、多波段的人脸识别； -场景与场景模型图像配准：场

10、景模型多为场景的数字表示，如地理场景与场景模型图像配准：场景模型多为场景的数字表示，如地理信息系统（信息系统（GISGIS）中的数字高程图等。配准场景与场景模型的目的在）中的数字高程图等。配准场景与场景模型的目的在于于在场景中定位模型在场景中定位模型，或在，或在模型中定位场景模型中定位场景，或者对，或者对场景与模型作场景与模型作相应的比较相应的比较。应用实例：遥感。应用实例：遥感将航片或卫片与地图或将航片或卫片与地图或GISGIS相配准、相配准、计算机视觉计算机视觉匹配模板图像与实时场景、医学成像匹配模板图像与实时场景、医学成像将数字解剖图将数字解剖图与病人的图片相比照与病人的图片相比照。12

11、配准算法的一般步骤配准算法的一般步骤 特征提取特征提取 特征匹配特征匹配 估计变换模型估计变换模型 图像重采样及变换图像重采样及变换 13配准算法的一般步骤配准算法的一般步骤特征提取特征提取 特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。类。-点特征点特

12、征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。的提取应有所不同。-线特征线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；线段信

13、息，然后利用限制条件筛选出满足条件的线段作为线特征；-面特征面特征是指利用图像中明显的区域信息作为特征。在实际的应用中最后可是指利用图像中明显的区域信息作为特征。在实际的应用中最后可能也是利用区域的重心或圆的圆心点等作为特征。能也是利用区域的重心或圆的圆心点等作为特征。14配准算法的一般步骤配准算法的一般步骤特征提取特征提取 点特征提取方法点特征提取方法 -Harris (Harris Corner Detector) -Harris (Harris Corner Detector)算法算法 受信号处理中受信号处理中相关函数的启发相关函数的启发，给出与自相关函数相联系的，给出与自相关函数相联系

14、的矩阵矩阵M M，M M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。视角变化和噪声的影响具有很好的鲁棒性。 15配准算法的一般步骤配准算法的一般步骤特征提取特征提取 点特征提取方法点特征提取方法 -Susan (Susan Corner Detector) -Susan (Susan Corner Detector)算法算法 SUSAN SUSAN算法使用一个圆形的模板在图像上滑动，将位于圆

15、形模板算法使用一个圆形的模板在图像上滑动，将位于圆形模板中心的待检测的像素点称为核心点。假设图像为非纹理中心的待检测的像素点称为核心点。假设图像为非纹理, ,核心点的核心点的邻域被划分为两个区域邻域被划分为两个区域: :其一为亮度值等于其一为亮度值等于( (或相似于或相似于) )核心点亮度核心点亮度的区域的区域, ,称为核值相似区称为核值相似区(Univalue Segment Assimilating (Univalue Segment Assimilating Nucleus,USAN),Nucleus,USAN),其二为亮度值不相似于核心点亮度的区域。其二为亮度值不相似于核心点亮度的区域

16、。16配准算法的一般步骤配准算法的一般步骤特征提取特征提取 点特征提取方法点特征提取方法 -Harris-Laplace -Harris-Laplace Harris Harris算子能最稳定地在图像旋转、光照变化、透视变换条算子能最稳定地在图像旋转、光照变化、透视变换条件下提取二维平面特征点，但在件下提取二维平面特征点，但在三维尺度空间中，三维尺度空间中，HarrisHarris探测子探测子的重复探测性能不好的重复探测性能不好，不同尺度，不同尺度HarrisHarris特征点存在位置误差，特征点存在位置误差，HarrisHarris探测子不具有尺度和仿射不变性。而探测子不具有尺度和仿射不变性

17、。而三维尺度空间中最稳三维尺度空间中最稳定高效的特征尺度探测算子是归一化的定高效的特征尺度探测算子是归一化的LaplaceLaplace算子算子。 K.Mikolajczyk K.Mikolajczyk和和C.SchmidC.Schmid结合了结合了HarrisHarris和和LaplaceLaplace算子的优算子的优点，提出了点，提出了Harris-LaplaceHarris-Laplace算子。算子。Harris-LaplaceHarris-Laplace特征点具有尺特征点具有尺度和旋转不变的特性，且对光照变换和小范围视角变化具有稳定度和旋转不变的特性，且对光照变换和小范围视角变化具有稳

18、定性。性。17配准算法的一般步骤配准算法的一般步骤特征提取特征提取 点特征提取方法点特征提取方法 -SIFT -SIFT特征点提取特征点提取 使用使用Difference of Gaussian (DoG) filterDifference of Gaussian (DoG) filter来建立尺度空间。在来建立尺度空间。在尺度空间上提取极值点。尺度空间上提取极值点。18配准算法的一般步骤配准算法的一般步骤特征提取特征提取 点特征提取方法点特征提取方法 -SURF -SURF特征点提取特征点提取 基于基于HessianHessian矩阵，它依靠矩阵，它依靠HessianHessian矩阵行列式

19、的局部最大值定矩阵行列式的局部最大值定位兴趣点位置。对于图像位兴趣点位置。对于图像I I中的某点中的某点X X在尺度空间上的在尺度空间上的HessianHessian矩阵定矩阵定义为义为: : ),( ),(),( ),(),(XLXLXLXLXHyyxyxyxx其中，其中， 表示高斯二阶偏导在表示高斯二阶偏导在X X处与图像处与图像I I的卷积。的卷积。 、 具有相似的含义。具有相似的含义。 ),(XLxx),(XLxy),(XLyy19配准算法的一般步骤配准算法的一般步骤特征提取特征提取 点特征提取方法点特征提取方法 -FAST -FAST特征点提取特征点提取 FAST(Features

20、from Accelerated Segment Test)FAST(Features from Accelerated Segment Test)是对是对SUSANSUSAN角角点提取算法的简化，通过比较一个圆上点提取算法的简化，通过比较一个圆上1616个像素点与中心像素点的个像素点与中心像素点的灰度对比情况来判断中心像素点是否为特征点。灰度对比情况来判断中心像素点是否为特征点。 20配准算法的一般步骤配准算法的一般步骤特征提取特征提取 点特征提取方法点特征提取方法 -Harris-Affine -Harris-Affine -Hessian-Laplace-Hessian-Laplace

21、-Hessian-Affine -Hessian-Affine -Moravec -Moravec算子算子 -Forstner-Forstner算子算子 21配准算法的一般步骤配准算法的一般步骤特征提取特征提取 线特征提取方法线特征提取方法 -Robert -Robert -Sobel-Sobel -Prewitt -Prewitt -Kirsch -Kirsch -Gauss-Laplace -Gauss-Laplace -Canny -Canny 22配准算法的一般步骤配准算法的一般步骤特征提取特征提取 面特征提取方法面特征提取方法 -Mser -Mser 使用使用不同的阈值不同的阈值对图

22、像进行对图像进行二值化二值化，这个过程中，所有阈值图，这个过程中，所有阈值图像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，形成了一系列形成了一系列嵌套的极值区域组嵌套的极值区域组。在每组嵌套区域里，有一类性质。在每组嵌套区域里，有一类性质较为稳定的区域，这类区域在较为稳定的区域，这类区域在较大阈值范围内具有较小的变化较大阈值范围内具有较小的变化，被，被定义为定义为“最稳定极值区域最稳定极值区域”。23配准算法的一般步骤配准算法的一般步骤特征匹配特征匹配特征匹配特征匹配 特征匹配分两步：特征匹配分两步： 对特征作描述对特征作描

23、述 现有的主要特征描述子：现有的主要特征描述子：SIFTSIFT特征描述子，特征描述子， SURFSURF特征描述特征描述 子，子，对比度直方图对比度直方图 (CCH)(CCH)，DAISYDAISY特征描述子，矩方法。特征描述子，矩方法。 利用相似度准则进行特征匹配利用相似度准则进行特征匹配 常用的相似性测度准则有常用的相似性测度准则有如欧氏距离、马氏距离、如欧氏距离、马氏距离、Hausdorff Hausdorff 距距离等。离等。24配准算法的一般步骤配准算法的一般步骤特征匹配特征匹配 特征描述特征描述 -SIFT-SIFT特征描述子特征描述子 主要思想：一种基于主要思想：一种基于图像梯

24、度分布图像梯度分布的特征描述子。的特征描述子。 特点：抗干扰性好。但维数高，计算复杂度大。特点：抗干扰性好。但维数高，计算复杂度大。25配准算法的一般步骤配准算法的一般步骤特征匹配特征匹配 特征描述特征描述 -SURF-SURF特征描述子特征描述子 主要思想：将特征点的周围区域分成几个主要思想：将特征点的周围区域分成几个子区域子区域，用每个子区域，用每个子区域内像素点的内像素点的X,YX,Y方向的偏导和方向的偏导和及及其绝对值的和其绝对值的和组成特征点的描述子。组成特征点的描述子。 特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图

25、像，限定了其应用范围。像，限定了其应用范围。26配准算法的一般步骤配准算法的一般步骤特征匹配特征匹配 特征描述特征描述 -对比度直方图对比度直方图 主要思想：将主要思想：将特征点周围区域的像素点特征点周围区域的像素点与与特征点特征点的的对比度对比度形成直方图形成直方图来描述该特征点来描述该特征点。 特点：该方法比基于梯度的描述子要快。但描述力比基于梯度的特点：该方法比基于梯度的描述子要快。但描述力比基于梯度的要略微弱一点。要略微弱一点。27配准算法的一般步骤配准算法的一般步骤特征匹配特征匹配 特征描述特征描述 -DAISYDAISY特征描述子特征描述子 主要思想：受主要思想：受SIFTSIFT

26、算法和算法和GLOHGLOH算法的启发，将算法的启发，将梯度加权和梯度加权和用几个用几个高斯方向偏导滤波器高斯方向偏导滤波器与与原图像原图像进行进行积分积分代替代替。 特点：该描述子有和特点：该描述子有和SIFTSIFT特征算子相似的优点，但是速度比特征算子相似的优点，但是速度比SIFTSIFT特征算子要快。特征算子要快。28配准算法的一般步骤配准算法的一般步骤特征匹配特征匹配 特征描述特征描述 -矩方法矩方法 HuHu矩，矩，zernikezernike矩矩 29配准算法的一般步骤配准算法的一般步骤估计变换模型估计变换模型 空间变换模型是所有配准技术中需要考虑的一个重要因素，各种空间变换模型

27、是所有配准技术中需要考虑的一个重要因素，各种配准技术都要建立自己的变换模型，变换空间的选取与图像的变形特配准技术都要建立自己的变换模型，变换空间的选取与图像的变形特性有关。常用的空间变换模型有：性有关。常用的空间变换模型有：刚体变换、仿射变换刚体变换、仿射变换、投影变换投影变换、非线性变换非线性变换。 1.1.刚体变换模型刚体变换模型刚体变换是平移、旋转与缩放的组合，适用于刚体变换是平移、旋转与缩放的组合，适用于具有相同视角具有相同视角，但，但拍摄位置不同的来自同一传感器的两幅图像的配准拍摄位置不同的来自同一传感器的两幅图像的配准。刚体变换模。刚体变换模型下，若点型下，若点 ， 分别为参考图像

28、和待配准图像中对应的分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：两点，则它们之间满足以下关系：yxttyxyx1122.cos sinsin- cos),(11yx),(22yx30配准算法的一般步骤配准算法的一般步骤估计变换模型估计变换模型2.2.仿射变换模型仿射变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换换保持直线间的平行关系保持直线间的平行关系，但，

29、但由于引入了缩放参数，故它不能保持直线段由于引入了缩放参数，故它不能保持直线段的长度和角度的长度和角度 ，若点若点 ， 分别为参考图像和待配准图像中对应分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：的两点，则它们之间满足以下关系：),(11yx),(22yxyxttyxaaaayx111110010022. 31配准算法的一般步骤配准算法的一般步骤估计变换模型估计变换模型3.3.投影变换模型投影变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直线，但线，但平行关系不再保持平行关系不再保持，则

30、称这样的变换称为投影变换。投影变换具有，则称这样的变换称为投影变换。投影变换具有8 8个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为全面。若点全面。若点 ， 分别为参考图像和待配准图像中对应的两点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：则它们之间满足以下关系：),(11yx),(22yx1 .1 1 11 765432 1022yxmmmmmmmmyx32配准算法的一般步骤配准算法的一般步骤估计变换模型估计变换模型4.4.非线性变换模型非线性变换模型 若若第一幅图像中的一条直线经变换后，映射

31、至第二幅图像上不再是直线第一幅图像中的一条直线经变换后，映射至第二幅图像上不再是直线，我们把这样的变换称为非线性变换。在二维空间中，点我们把这样的变换称为非线性变换。在二维空间中，点 经非线性变经非线性变换至点换至点 变换公式为：变换公式为：F F表示把第一幅图像映射到第二幅图像上的任意一种函数形式。表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非典型的非线性变换如多项式变换线性变换如多项式变换，在，在2D2D空间中，多项式函数可写成如下形式：空间中，多项式函数可写成如下形式：),(11yx),(22yx),(),(1122yxFyx.210211112120101110002y

32、ayxaxayaxaax.210211112120101110002ybyxbxbybxbby33配准算法的一般步骤配准算法的一般步骤图像重采样及变换图像重采样及变换 在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，使之与参考图像处于同一坐标系下使之与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；用作后续的图像融合、目标变化检测处理或图像镶嵌； 涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值涉及输入图像变换后所得点坐标不一

33、定为整像素数，则应进行插值处理。常用的插值算法有处理。常用的插值算法有最近邻域法、双线性插值法最近邻域法、双线性插值法和和立方卷积插值法立方卷积插值法。34配准算法的主要方法配准算法的主要方法 基于灰度的基于灰度的 -互相关互相关 -互信息互信息 -对数极坐标对数极坐标 基于特征的基于特征的 -基于点基于点 -基于边缘（线）基于边缘（线） -基于区域基于区域 35配准算法的主要方法配准算法的主要方法 基于点基于点 -SIFT-SIFT算法算法 SIFTSIFT特征匹配算法包括两个阶段，特征匹配算法包括两个阶段，SIFTSIFT特征的生成特征的生成与与SIFTSIFT特征向量的匹配特征向量的匹配

34、。 SIFTSIFT特征向量的生成算法共包括特征向量的生成算法共包括4 4步：步： 尺度空间极值检测尺度空间极值检测，以初步确定关键点位置和所在尺度；，以初步确定关键点位置和所在尺度； 拟和三维二次函数精确确定位置和尺度拟和三维二次函数精确确定位置和尺度，同时，同时去除低对比度的关键点和不稳定去除低对比度的关键点和不稳定的边缘响应点的边缘响应点； 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；具备旋转不变性； 生成生成SIFTSIFT特征向量；特征向量； SIFTSIFT特征向量的匹配特征

35、向量的匹配 对图像对图像1 1中的某个关键点，找出其与图像中的某个关键点，找出其与图像2 2中欧式距离最近的前两个关键点的距离中欧式距离最近的前两个关键点的距离NNNN和和SCNSCN，如果，如果NN/SCNNN/SCN小于某个比例阈值，则接受这一对匹配点。小于某个比例阈值，则接受这一对匹配点。36配准算法的主要方法配准算法的主要方法 基于点基于点 -SIFT-SIFT算法的几种扩展算法的几种扩展 PCA-SIFTPCA-SIFT PCA-SIFT PCA-SIFT与标准与标准siftsift有相同的亚像素位置（有相同的亚像素位置（sub-pixelsub-pixel），尺度（），尺度（sca

36、lescale）和）和主方向（主方向（dominant orientationsdominant orientations），但在第），但在第4 4步计算描述子的时候，它用特征点步计算描述子的时候，它用特征点周围的周围的41414141的像元计算它的主元，并用的像元计算它的主元，并用PCA-SIFTPCA-SIFT将原来的将原来的2 239393939维的向量维的向量降成降成2020维维，以达到更精确的表示方式。，以达到更精确的表示方式。 GLOH (Gradient location-orientation histogram)GLOH (Gradient location-orientat

37、ion histogram) 把原来把原来SIFTSIFT中中4 44 4棋盘格的棋盘格的location binslocation bins改成仿射状的同心圆的改成仿射状的同心圆的17 17 location binslocation bins来表示，并计算其中的梯度方向直方图（梯度方向分为来表示，并计算其中的梯度方向直方图（梯度方向分为1616种），种），因此共因此共16161717272272维，之后再作维，之后再作PCAPCA将其降成将其降成128128维，因此保有跟维，因此保有跟SIFTSIFT一样精简一样精简的表示方法。的表示方法。 37配准算法的主要方法配准算法的主要方法 基于点

38、基于点 -SIFT-SIFT算法的几种扩展算法的几种扩展 ASIFT(Affine-SIFT) ASIFT(Affine-SIFT) 通过原始图像来模拟得到场景在各个视角下的图像，再对这些得到的图像提起通过原始图像来模拟得到场景在各个视角下的图像，再对这些得到的图像提起SIFTSIFT特征点，然后进行匹配。其仿射性要好于特征点，然后进行匹配。其仿射性要好于SIFT,SIFT,具有全仿射不变性。具有全仿射不变性。 38配准算法的主要方法配准算法的主要方法 基于点基于点 -SUFR-SUFR算法算法 积分图像积分图像 对于积分图像中某对于积分图像中某X X，X=(xX=(x，y)y)，该点的值表示

39、，该点的值表示: :原始图像中，原点和点原始图像中，原点和点X X形成形成的矩形区域里面所有像素值之和。的矩形区域里面所有像素值之和。 框装滤波器框装滤波器 在在surfsurf算法中用框装滤波器来近似高斯二阶导算法中用框装滤波器来近似高斯二阶导 39配准算法的主要方法配准算法的主要方法 基于点基于点 -SUFR-SUFR算法算法 特征点提取特征点提取 计算原图像的积分图像；计算原图像的积分图像； 用不同尺寸的框状滤波器来计算不同阶以及不同层上的每个点图像点用不同尺寸的框状滤波器来计算不同阶以及不同层上的每个点图像点的行列式。一般计算的行列式。一般计算4 4阶阶4 4层；层； 在在3 3维维(

40、x(x、y y、S)S)尺度空间中，在每个尺度空间中，在每个3 33 33 3的局部区域里，进行非的局部区域里，进行非最大值抑制。只有比邻近的最大值抑制。只有比邻近的2626个点的响应值都大的点才被选为兴趣点；个点的响应值都大的点才被选为兴趣点； 特征匹配特征匹配 对图像对图像1 1中的某个关键点，找出其与图像中的某个关键点，找出其与图像2 2中欧式距离最近的前两个关中欧式距离最近的前两个关键点的距离键点的距离NNNN和和SCNSCN，如果，如果NN/SCNNN/SCN小于某个比例阈值，则接受这一对匹配小于某个比例阈值，则接受这一对匹配点。点。 40配准算法的主要方法配准算法的主要方法基于边缘

41、基于边缘 -基本思想基本思想 用边缘检测算子提取出边缘用边缘检测算子提取出边缘 边缘匹配边缘匹配 根据边缘的相似度根据边缘的相似度 提取边缘上的控制点，如曲率比较大的点等，然后用这些点来进行匹配。提取边缘上的控制点，如曲率比较大的点等，然后用这些点来进行匹配。 将边缘拟合成直线，然后匹配直线。将边缘拟合成直线，然后匹配直线。 估计变换参数估计变换参数 用边缘上的控制点，或直线的端点，中点等等。用边缘上的控制点，或直线的端点，中点等等。 41部分配准算法实验结果部分配准算法实验结果特征点提取时间对比特征点提取时间对比 42部分配准算法实验结果部分配准算法实验结果匹配效果对比匹配效果对比 43部分

42、配准算法实验结果部分配准算法实验结果拼接效果对比拼接效果对比 44部分配准算法实验结果部分配准算法实验结果拼接效果对比拼接效果对比 45部分配准算法实验结果部分配准算法实验结果 实验结果总结实验结果总结 对于医学图像，常用的方法是互信息，因为其特征不明显。对于医学图像，常用的方法是互信息，因为其特征不明显。 对于模板匹配，常用的方法是互相关。对于模板匹配，常用的方法是互相关。 当两幅图像之间只有简单的旋转，平移和缩放，则可以用对数极坐标算法。当两幅图像之间只有简单的旋转，平移和缩放，则可以用对数极坐标算法。 当待配准的图像特征十分明显时可以用当待配准的图像特征十分明显时可以用SURFSURF算

43、法算法 当待配准的图像特征信息比较弱一些的话可以用当待配准的图像特征信息比较弱一些的话可以用SIFTSIFT算法。算法。 当待配准的图像之间存在较大的视角变换的话可以用当待配准的图像之间存在较大的视角变换的话可以用ASIFTASIFT算法。算法。 46配准算法的评价配准算法的评价 精度精度 配准过程中很容易引入各种各样的误差配准过程中很容易引入各种各样的误差, ,而且很难区分是由配准算法引起而且很难区分是由配准算法引起的的, ,还是由图像间的固有差异引起的。在评估配准精度时还是由图像间的固有差异引起的。在评估配准精度时, ,主要将误差分为主要将误差分为3 3类类: :位置误差位置误差、匹配误差

44、匹配误差和和对齐误差对齐误差。 位置误差是指由不精确检测引起的控制点坐标偏移位置误差是指由不精确检测引起的控制点坐标偏移 。 匹配误差则是指在候选控制点之间建立匹配关系时误匹配的控制点对数匹配误差则是指在候选控制点之间建立匹配关系时误匹配的控制点对数目目 。 对齐误差是指配准过程中采用的变换模型和图像真实畸变对齐误差是指配准过程中采用的变换模型和图像真实畸变( (包括比例缩放、旋转、包括比例缩放、旋转、平移以及传感器影响等平移以及传感器影响等) )之间的差异之间的差异 。 鲁棒性鲁棒性 鲁棒性是指如果让输入图像有一点小的变动鲁棒性是指如果让输入图像有一点小的变动, ,配准算法还能收敛到相同的结

45、果。配准算法还能收敛到相同的结果。 47配准算法的评价配准算法的评价 自动化自动化 自动化指配准算法的自动化执行程度自动化指配准算法的自动化执行程度, ,包括人工、半自动、自动包括人工、半自动、自动3 3种形式。种形式。 实时性实时性 只有满足实时性要求只有满足实时性要求, ,配准结果才具有实际应用价值。实时性研究涉及资源配准结果才具有实际应用价值。实时性研究涉及资源需求和算法的复杂度。需求和算法的复杂度。 可靠性可靠性 在实际应用中在实际应用中, ,要注意满足不同算法的前提约束条件。若给定算法所需要的输要注意满足不同算法的前提约束条件。若给定算法所需要的输入条件入条件, ,配准结果应该和理论上计算的一样配准结果应该和理论上计算的一样, ,即算法具有较强的容错性。即算法具有较强的容错性。 48配准算法的仍存在的问题配准算法的仍存在的问题精度精度实时性实时性通用性通用性 49附录附录 局部不变特征对比局部不变特征对比 50谢谢！51