教学课件第8章 图像分析（第8－3讲）（研究生学位课）ppt（全）.ppt

《教学课件第8章 图像分析（第8－3讲）（研究生学位课）ppt（全）.ppt》由会员分享，可在线阅读，更多相关《教学课件第8章 图像分析（第8－3讲）（研究生学位课）ppt（全）.ppt（105页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、教学课件第8章图像分析（第83讲）（研究生学位课）数字图像处理学数字图像处理学第第8章章 图像分析图像分析（第三讲）（第三讲）阮秋琦教授阮秋琦教授8.2.2 SIFT（Scale InvariantFeatureTransform）方法方法尺度不变特征变换(Scale-invariantfeaturetransform或SIFT)是一种用来检测与描述图像中的局部性特征的方法，该算法在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，从而提取图像特征和描述图像。SIFT算法的特点有：算法的特点有：（1）SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性；（2）SIFT特征

2、在应对视角变化、仿射变换、噪声也具有较好的稳定性；（3）特征描述表达的信息量高，有比较大的区分度，能够在大量的特征数据中有更准确的匹配。（4）SIFT提取特征点数目多，不容易产生提取不到特征点的情况（5）SIFT速度相对较快，优化后的SIFT，可以达到实时级的要求。（6）可扩展性高，SIFT最后提出的是特征向量，可以很方便的与其他形式的特征向量进行联合。SIFT算法可解决的算法可解决的问题问题：SIFT算法在一定程度上可解决如下因素构成的困难：目标的旋转、缩放、平移图像仿射或投影变换光照影响目标遮挡复杂场景噪声干扰等SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方

3、向。SIFT所查找到的关键点是一些十分突出、不会因光照、仿射变换和噪声等因素而变化的关键点，如角点、边缘点、暗区的亮点及亮区的暗点等。Lowe将将SIFT算法分解算法分解为为如下四步：如下四步：（1）尺度空）尺度空间间极极值检测值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的关键点；（2）关）关键键点定位：点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度；（3）方向确定：）方向确定：基于图像局部的梯度方向分配给每个关键点位置一个或多个方向。所有后续对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，提取

4、的特征对于这些变换具有不变性。（4）关）关键键点描述：点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部梯度，这些梯度被变换成一种表示，它允许比较大形状变形和光照变化。SIFT算法的算法的实现实现步步骤骤：1.高斯高斯滤滤波波SIFT算法是在不同的尺度空间上查找关键点，而尺度空间的获取需要使用高斯滤波来实现，Lindeberg等人已证明高斯卷积核是实现尺度变换的唯一变换核，并且是唯一的线性核。（1）二二维维高斯函数高斯函数斯滤波器是一种图像滤波器，它使用正态分布(高斯函数)设计滤波模板，并使用该模板与原图像做卷积运算，达到平滑图像的目的。图8-20 二维高斯曲面图8-23 可分离的高

5、斯卷积示意图2.尺度空尺度空间间极极值检测值检测尺度空间使用高斯金字塔表示。TonyLindeberg指出尺度规范化的LoG(LaplacionofGaussian)算子具有真正的尺度不变性，Lowe使用高斯差分金字塔近似LoG算子，可在尺度空间检测稳定的关键点。（1）尺度空尺度空间间理理论论尺度空间(scalespace)思想最早是由Iijima于1962年提出的，后经witkin和Koenderink等人的推广逐渐得到关注，在计算机视觉邻域使用比较广泛。尺度空间理论的思想是：在图像信息处理模型中引入尺度参数，通过连续变化尺度参数获得多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的

6、提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取。尺度空间方法将传统的单尺度图像信息处理技术纳入尺度不断变化的动态分析框架中，更容易获取图像的本质特征。尺度空间满足视觉不变性。尺度空间算子对图像的分析不受图像的灰度水平和对比度变化的影响，即满足灰度不变性和对比度不变性。同时要求尺度空间算子对图像的位置、大小、角度以及仿射变换无关，即满足平移不变性、尺度不变性、欧几里德不变性以及仿射不变性。（2）尺度空间的表示尺度空间的表示在SIFT算法中，高斯核用于平滑处理，尺度参数是标准差。在Lindberg1994的工作基础上说明了使用高斯核的原因，他证明了满足一系列重要约束

7、的唯一平滑核，如线性和移位不变性等，是高斯低通核。图8-25 尺度空间及高斯金字塔的构建新倍频程的第一幅图像由以下步骤构成：(1)对原始图像进行足够的下采样，以得到前一个倍频程中图像大小的一半的图像；(2)用新的标准差(即前一个倍频程标准差的两倍)平滑下采样图像。新倍频程中的其余图像是通过用新的标准差乘以与以前的K值相同序列平滑下采样图像来获得的。（3）高斯金字塔的构建高斯金字塔的构建尺度空间在实现时使用高斯金字塔表示，高斯金字塔的构建分为两部分：1）对图像做不同尺度的高斯平滑；2）对图像做下采样(隔点采样或称为倍频程采样)。图8-26高斯金字塔为了让尺度体现其连续性，高斯金字塔在简单下采样的

8、基础上加上了高斯滤波。如图8-26所示，将图像金字塔每层的图像使用不同参数做高斯平滑，将金字塔每层多幅图像合称为一组（倍频程）(Octave)，金字塔每层只有一组图像，组数和金字塔层数相等，使用公式(8-74)计算图8-27高斯拉普拉斯和高斯差分（DOG）的比较在实际计算时，使用高斯金字塔每组中相邻上下两层图像相减，得到高斯差分图像，如图8-28所示，进行极值检测。图8-28 高斯差分金字塔（5）空空间间极极值值点点检测检测关键点是由DOG空间的局部极值点组成的，为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，如图8-29所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对

9、应的92个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。图8-29 DoG空间极值点检测为方便起见重画于图8-30。由图可见每一组在层数上，DOG金字塔比高斯金字塔少一层。后续Sift特征点的提取都是在DOG金字塔上进行的。图8-30 DoG金字塔的示意图3、关、关键键点定位点定位关关键键点的精确定位点的精确定位离散空间的极值点并不是真正的极值点，图8-31显示了二维函数离散空间得到的极值点与连续空间极值点的差别。利用已知的离散空间点插值得到的连续空间极值点的方法叫做子像素插值（Sub-pixelInterpolation）。图8-30离散空间与连续空间极值点的差别在Lowe

10、的文章中，取r10。图8-31是用本节讨论的方法在建筑物图像中检测到的SIFT关键点。该图保留了满足式（8-92）的关键点。图8-31保留满足式（8-92）的关键点（3）有限差分法求有限差分法求导导有限差分法的具体操作分为两个部分：1）用差分代替微分方程中的微分，将连续变化的变量离散化，从而得到差分方程的数学形式；2）求解差分方程（组）。(8-98)图8-32图像中像素0与它的邻域(8-100)4、关、关键键点方向分配点方向分配为了使描述符具有旋转不变性，需要利用图像的局部特征给对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像3邻域窗口内像素的梯度和方向分布特征。每一个关键点分配一

11、个基准方向。在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向。梯度直方图将0360的方向范围分为36个容器(bins)，其中每容器10度。如图8-33所示，直方图的峰值方向代表了关键点的主方向，(为简化，图中只画了八个方向的直方图)。图8-33 关键点方向直方图方向直方图的峰值代表了该特征点处邻域梯度的方向，以直方图中最大值作为该关键点的主方向。为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80的方向作为该关键点的辅方向。因此，在相同位置和尺度将会创建有多个关键点但方向不同。仅有15的关键点被赋予多个方向，但可以明显的提高关键点匹配的稳定性。图8-34 SIFT特征5、关、关键键

12、点特征描述点特征描述通过以上步骤，对于每一个关键点，拥有三个信息：位置、尺度以及方向。接下来就是为每个关键点建立一个描述符，用一组向量将这个关键点描述出来。图8-35 旋转引起的邻域半径变化（2）将坐标轴旋转为关键点的方向，以确保旋转不变性，如8-36所示。图8-36 坐标轴旋转3）将邻域内的采样点分配到对应的子区域内，将子区域内的梯度值分配到8个方向上，计算其权值。图8-37描述子梯度8方向直方图SIFT执行插值，根据从该值到每个容器中心的距离，按比例在所有容器中分配直方图记录。这是通过将容器的每个输入乘以权重1-d实现的，其中d是从这个值到容器中心的最短距离，以直方图间隔为单位来度量，因此

13、，最大的可能距离是1。例如，第一个容器的中心位于45/2=22.5，下一个中心位于22.5+45=67.5，以此类推。为了实现方向不变性，描述子的坐标和梯度方向相对于关键点方向进行了旋转。为了降低光照的影响，对特征向量进行了两阶段的归一化处理。首先，通过将每个分量除以向量范数，把向量归一化为单位长度。由每个像素值乘以一个常数所引起的图像对比度的变化将以相同的常数乘以梯度，因此，对比度的变化将被第一次归一化所抵消。SIFT通过对归一化特征向量进行阈值处理，降低了较大梯度幅度的影响，使所有分量都小于实验确定的值0.2。阈值处理后，特征向量被重新归一化为单位长度。图8-38关键点及其方向6、SIFT的不足的不足SIFT在图像的不变特征提取方面拥有无与伦比的优势，但并不完美，仍然存在：1）实时性不高。2）有时特征点较少。3）对边缘光滑的目标无法准确提取特征点。等缺点，近年来不断有人改进，其中最著名的有SURF和CSIFT，具体改进方法可参阅相关文献。