sift算法详解及应用ppt课件.ppt

BEIJINGINSTITUTEOFTECHNOLOGY为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/181/60尺度不变特征变换匹配算法ScaleInvariantFeatureTransform（SIFT）宋丹10905056Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1821.SIFT简介2.SIFT算法实现细节提纲3.SIFT算法的应用领域4.SIFT算法的扩展与改进Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/183SIFT简介l传统的特征提取方法的特征提取方法成像匹配的核心成像匹配的核心问题是将同一目是将同一目标在在不同不同时间、不同分不同分辨率辨率、不同光照不同光照、不同位姿不同位姿情况下所成的像相情况下所成的像相对应。传统的匹配算法往往是直接提取角点或的匹配算法往往是直接提取角点或边缘，对环境的适境的适应能力能力较差，急需提出一种差，急需提出一种鲁棒性棒性强、能、能够适适应不同光不同光照、不同位姿等情况下能照、不同位姿等情况下能够有效有效识别目目标的方法。的方法。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1842019年年BritishColumbia大学大大学大卫.劳伊（伊（DavidG.Lowe）教授）教授总结了了现有有的基于不的基于不变量技量技术的特征的特征检测方法，并正式提出了一种基于尺度空方法，并正式提出了一种基于尺度空间的、的、对图像像缩放、旋放、旋转甚至仿射甚至仿射变换保持不保持不变性的性的图像局部特征描述算子像局部特征描述算子SIFT（尺度不（尺度不变特征特征变换），），这种算法在种算法在2019年被加以完善。年被加以完善。lSIFT提出的目的和意提出的目的和意义DavidG.LoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver,B.C.,V6T1Z4,CanadaE-mail:lowecs.ubc.caSIFT简介Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/185SIFT简介l将一幅将一幅图像映射（像映射（变换）为一个一个局部特征向量集局部特征向量集；特征向量具有平移、；特征向量具有平移、缩放、旋放、旋转不不变性，同性，同时对光照光照变化、仿射及投影化、仿射及投影变换也有一定不也有一定不变性。性。OriginalimagecourtesyofDavidLoweScale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/186SIFT简介lSIFT算法特点算法特点SIFT特征是特征是图像的像的局部特征局部特征，其，其对旋旋转、尺度、尺度缩放、亮度放、亮度变化保化保持不持不变性，性，对视角角变化、仿射化、仿射变换、噪声也保持一定程度的、噪声也保持一定程度的稳定定性。性。独特性独特性(Distinctiveness)好，信息量丰富，适用于在海量特征好，信息量丰富，适用于在海量特征数据数据库中中进行快速、准确的匹配。行快速、准确的匹配。多量性，即使少数的几个物体也可以多量性，即使少数的几个物体也可以产生大量生大量SIFT特征向量。特征向量。经过优化的化的SIFT算法可算法可满足一定的速度需求。足一定的速度需求。可可扩展性，可以很方便的与其他形式的特征向量展性，可以很方便的与其他形式的特征向量进行行联合。合。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/187目目标的自身状的自身状态、场景所景所处的的环境和成像器材的成像特性等因素影境和成像器材的成像特性等因素影响响图像配准像配准/目目标识别跟踪的性能。而跟踪的性能。而SIFT算法在一定程度上可解决：算法在一定程度上可解决：目目标的旋的旋转、缩放、平移（放、平移（RST）图像仿射像仿射/投影投影变换（视点点viewpoint）光照影响（光照影响（illumination）目目标遮遮挡（occlusion）杂物物场景（景（clutter）噪声噪声lSIFT算法可以解决的算法可以解决的问题SIFT简介BackScale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/188SIFT算法实现细节lSIFT算法算法实现步步骤简述述SIFT算法的算法的实质可以可以归为在不同尺度空在不同尺度空间上上查找特征点（关找特征点（关键点）的点）的问题。SIFT算法算法实现物体物体识别主要有三大工序，主要有三大工序，1、提取关、提取关键点；点；2、对关关键点附加点附加详细的信息（局部特征）也就是所的信息（局部特征）也就是所谓的描述器；的描述器；3、通、通过两方特征点（附两方特征点（附带上上特征向量的关特征向量的关键点）的两两比点）的两两比较找出相互匹配的若干找出相互匹配的若干对特征点，也就建立了特征点，也就建立了景物景物间的的对应关系。关系。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1891.关关键点点检测2.关关键点描述点描述3.关关键点匹配点匹配4.消除消除错配点配点SIFT算法实现细节lSIFT算法算法实现步步骤Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1810所所谓关关键点，就是在不同点，就是在不同尺度空尺度空间的的图像下像下检测出的具有方向出的具有方向信息的局部极信息的局部极值点。点。根据根据归纳，我，我们可以看出特征点具有的三个特征：可以看出特征点具有的三个特征：尺度尺度方向方向大小大小关键点检测的相关概念1.哪些点是哪些点是SIFT中要中要查找的关找的关键点（特征点）？点（特征点）？这些点是一些些点是一些十分突出的点不会因光照条件的改十分突出的点不会因光照条件的改变而消失而消失，比如，比如角点角点、边缘点点、暗区域的亮点暗区域的亮点以及以及亮区域的暗点亮区域的暗点，既然两幅，既然两幅图像中有相同的景物，像中有相同的景物，那么使用某种方法分那么使用某种方法分别提取各自的提取各自的稳定点，定点，这些点之些点之间会有相互会有相互对应的匹配的匹配点。点。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1811我我们要精确表示的物体都是通要精确表示的物体都是通过一定的尺度来反映的。一定的尺度来反映的。现实世界的世界的物体也物体也总是通是通过不同尺度的不同尺度的观察而得到不同的察而得到不同的变化。化。尺度空尺度空间理理论最早在最早在1962年提出，其主要思想是通年提出，其主要思想是通过对原始原始图像像进行尺度行尺度变换，获得得图像多尺度下的尺度空像多尺度下的尺度空间表示序列，表示序列，对这些序列些序列进行行尺度空尺度空间主主轮廓的提取，并以廓的提取，并以该主主轮廓作廓作为一种特征向量，一种特征向量，实现边缘、角点角点检测和不同分辨率上的特征提取等。和不同分辨率上的特征提取等。尺度空尺度空间中各尺度中各尺度图像的模糊程度逐像的模糊程度逐渐变大，能大，能够模模拟人在距离目人在距离目标由近到由近到远时目目标在在视网膜上的形成网膜上的形成过程。程。尺度越大尺度越大图像越模糊。像越模糊。2.什么是尺度空什么是尺度空间（scalespace）？）？关键点检测的关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1812根据文献根据文献Scale-spacetheory:Abasictoolforanalysingstructuresatdifferentscales我我们可知，高斯核是唯一可以可知，高斯核是唯一可以产生生多尺度空多尺度空间的核，一个的核，一个图像的尺度空像的尺度空间，L（x,y,),定定义为原始原始图像像I(x,y)与一个可与一个可变尺度的尺度的2维高斯函数高斯函数G(x,y,)卷卷积运算。运算。关键点检测高斯函数高斯函数尺度是自然存在的，不是人尺度是自然存在的，不是人为创造的！高斯卷造的！高斯卷积只是表只是表现尺度空尺度空间的一种形式的一种形式关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/18133.高斯模糊高斯模糊高斯模糊是在高斯模糊是在AdobePhotoshopAdobePhotoshop等等图像像处理理软件中广泛使用的件中广泛使用的处理理效果，通常用它来减小效果，通常用它来减小图像噪声以及降低像噪声以及降低细节层次。次。这种模糊技种模糊技术生成生成的的图像的像的视觉效果是好像效果是好像经过一个半透明的屏幕一个半透明的屏幕观察察图像。像。关键点检测关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1814关键点检测r为模糊半径，模糊半径，在减小在减小图像尺寸的像尺寸的场合合经常使用高斯模糊。在常使用高斯模糊。在进行欠采行欠采样的的时，通常在采通常在采样之前之前对图像像进行低通行低通滤波波处理。理。这样就可以保就可以保证在采在采样图像中不会出像中不会出现虚假的高虚假的高频信息。信息。关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1815在在实际应用中，在用中，在计算高斯函数的离散近似算高斯函数的离散近似时，在大概，在大概3距离之外的距离之外的像素都可以看作不起作用，像素都可以看作不起作用，这些像素的些像素的计算也就可以忽略。算也就可以忽略。通常，通常，图像像处理程序只需要理程序只需要计算算关键点检测高斯模板大小的高斯模板大小的选择0.000000670.000022920.000191170.000387710.000191170.000022920.000000670.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000191170.006559650.054721570.110981640.054721570.006559650.000191170.000387710.013303730.110981640.225083520.110981640.013303730.000387710.000191170.006559650.054721570.110981640.054721570.006559650.000191170.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000000670.000022920.000191170.000387710.000191170.000022920.00000067高斯模板高斯模板关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1816高斯模糊具有高斯模糊具有圆对称性。称性。高斯模糊具有高斯模糊具有线性可分性可分的性的性质，也可以在，也可以在二二维图像上像上对两个独立的一两个独立的一维空空间分分别进行行计算算。这样可以大大可以大大减少了运算的次数减少了运算的次数。对一幅一幅图像像进行多次行多次连续高斯模糊的效果与一次更大的高斯模糊可以高斯模糊的效果与一次更大的高斯模糊可以产生同生同样的效果，大的高斯模糊的半径是所用多个高斯模糊半径平方的效果，大的高斯模糊的半径是所用多个高斯模糊半径平方和的平方根。例如，使用半径分和的平方根。例如，使用半径分别为 6和和 8的两次高斯模糊的两次高斯模糊变换得到得到的效果等同于一次半径的效果等同于一次半径为 10的高斯模糊效果，的高斯模糊效果，根据根据这个关系，使用多个个关系，使用多个连续较小的高斯模糊小的高斯模糊处理不会比理不会比单个高斯个高斯较大大处理理时间要少。要少。高斯模糊的性高斯模糊的性质关键点检测关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1817高斯金子塔的构建高斯金子塔的构建过程可分程可分为两步：两步：（1）对图像做高斯平滑；像做高斯平滑；（2）对图像做降采像做降采样。为了了让尺度体尺度体现其其连续性，在性，在简单下采下采样的基的基础上加上了高斯上加上了高斯滤波。波。一幅一幅图像可以像可以产生几生几组（octave）图像，一像，一组图像包括几像包括几层（interval）图像。像。4.高斯金字塔高斯金字塔关键点检测关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1818高斯高斯图像金字塔共像金字塔共o组、s层，则有：有：关键点检测的相关概念尺度空尺度空间坐坐标；ssub-level层坐坐标；0初始尺度；初始尺度；S每每组层数（一般数（一般为35）。）。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1819高斯金字塔的初始尺度高斯金字塔的初始尺度当当图像通像通过相机拍相机拍摄时，相机的，相机的镜头已已经对图像像进行了一次初始的模行了一次初始的模糊，所以根据高斯模糊的性糊，所以根据高斯模糊的性质：M、N分分别为图像的行数和列数像的行数和列数第第0层尺度尺度被相机被相机镜头模糊后的尺度模糊后的尺度高斯金字塔的高斯金字塔的组数数关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1820高斯金字塔的高斯金字塔的组内尺度与内尺度与组间尺度尺度组内尺度是指同一内尺度是指同一组（octave）内的）内的尺度关系，尺度关系，组内相内相邻层尺度化尺度化简为：组间尺度是指不同尺度是指不同组直接的尺度关直接的尺度关系，相系，相邻组的尺度可化的尺度可化为：由此可由此可见，相，相邻两两组的同一的同一层尺度尺度为2倍的关系倍的关系关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1821最后可将最后可将组内和内和组间尺度尺度归为：i金字塔金字塔组数数n每一每一组的的层数数关键点检测的相关概念Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1822关键点检测的相关概念上一上一组图像的底像的底层是由前是由前一一组图像的倒数第二像的倒数第二层图像隔点采像隔点采样生成的。生成的。这样可以保持尺度的可以保持尺度的连续性。性。？为啥？为啥？Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1823关键点检测DOG通通过研究研究Lowe教授的教授的论文文发现，所有特征点的，所有特征点的检测都是基于了尺度不都是基于了尺度不变的特性，特征点的的特性，特征点的检测占据了占据了论文的大部分的篇章，文的大部分的篇章，具有十分重要的具有十分重要的意意义！Lindeberg在文献在文献Scale-spacetheory:Abasictoolforanalysingstructuresatdifferentscales指出尺度指出尺度规范化的范化的LoG算子具有真正算子具有真正的尺度不的尺度不变性。性。LoG算子即（算子即（LaplacionofGaussian）,可以由高斯函数梯度算子可以由高斯函数梯度算子GOG构建构建尺度尺度规范化的范化的GoG算子算子尺度尺度规范化的范化的LoG算子算子Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1824LOG算子与高斯核函数的关系算子与高斯核函数的关系通通过推推导可以看出，可以看出，LOG算子与高斯核函数的差有直接关系，算子与高斯核函数的差有直接关系，由此引入一种新的算子由此引入一种新的算子DOG（DifferenceofGaussians），），即即高斯差分算子。高斯差分算子。关键点检测DOGScale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1825DoG（DifferenceofGaussian）函数）函数DoG在在计算上只需相算上只需相邻尺度高斯平滑后尺度高斯平滑后图像相减，因此像相减，因此简化了化了计算！算！关键点检测DOG应该是同一组内的相邻层吧？应该是同一组内的相邻层吧？Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1826DoG高斯差分金字塔高斯差分金字塔对应DOG算子，我算子，我们要构建要构建DOG金字塔金字塔我我们可以通可以通过高斯差分高斯差分图像像看出看出图像上的像素像上的像素值变化情况。（如果没有化情况。（如果没有变化，化，也就没有特征。特征必也就没有特征。特征必须是是变化尽可能多的点。）化尽可能多的点。）DOG图像描像描绘的是目的是目标的的轮廓。廓。关键点检测DOGScale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1827关键点检测DOGScale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1828在在检测极极值点前点前对原始原始图像的高斯平滑以致像的高斯平滑以致图像像丢失高失高频信息，所以信息，所以Lowe建建议在建立尺度空在建立尺度空间前首先前首先对原始原始图像像长宽扩展一倍，以保留原始展一倍，以保留原始图像信息，像信息，增加特征点数量。增加特征点数量。在在Lowe的的论文中，将第文中，将第0层的初始尺度定的初始尺度定为1.6，图片的初始尺度定片的初始尺度定为0.5，则图像金字塔第像金字塔第0层的的实际尺度尺度为当当对图像像长宽扩展一倍展一倍时，便构建了，便构建了-1层，该层尺度尺度为关键点检测DOGP.S.:图像插像插值时，选用的插用的插值函数可以是多种多函数可以是多种多样的。的。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1829中中间的的检测点和它同尺度的点和它同尺度的8个相个相邻点和上下相点和上下相邻尺度尺度对应的的92个个点共点共26个点比个点比较，以确保在尺度空，以确保在尺度空间和二和二维图像空像空间都都检测到极到极值点。点。lDoG的局部极的局部极值点点关关键点是由点是由DOG空空间的局部极的局部极值点点组成的。成的。为了了寻找找DoG函数的极函数的极值点，点，每一个像素点要和它所有的相每一个像素点要和它所有的相邻点比点比较，看其是否比它的，看其是否比它的图像域和尺度域像域和尺度域的相的相邻点大或者小。点大或者小。DoG局部极值检测Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1830在极在极值比比较的的过程中，每程中，每一一组图像的首末两像的首末两层是无法是无法进行极行极值比比较的，的，为了了满足尺度足尺度变化的化的连续性，我性，我们在每一在每一组图像的像的顶层继续用高斯模糊生用高斯模糊生成了成了3幅幅图像，高斯金字塔有像，高斯金字塔有每每组S+3层图像。像。DOG金字塔金字塔每每组有有S+2层图像像右右图为不同尺度不同不同尺度不同层间极极值检测示意示意图。P.S.:我我们只只牺牲了牲了-1组的第的第0层和和第第N组的最高的最高层DoG局部极值检测Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1831DoG局部极值检测l关关键点精确定位点精确定位为了提高关了提高关键点的点的稳定性，需要定性，需要对尺度空尺度空间DoG函数函数进行曲行曲线拟合。利用合。利用DoG函数在尺度空函数在尺度空间的的Taylor展开式：展开式：其极其极值点点由于由于DoG值对噪声和噪声和边缘较敏感敏感,因此因此,在上面在上面DoG尺度空尺度空间中中检测到局部到局部极极值点点还要要经过进一步的一步的检验才能精确定位才能精确定位为特征点。特征点。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1832DoG局部极值检测上式去除那些上式去除那些对比度比度较低的不低的不稳定极定极值点。点。Lowe的的试验显示，所有示，所有取取值小于小于0.04的极的极值点均可抛弃（点均可抛弃（像素灰度像素灰度值范范围0，1）。）。在在计算算过程中，分程中，分别对图像的行、列及尺度三个量像的行、列及尺度三个量进行了修正，其修行了修正，其修正正结果如下：果如下：为修正修正值在在Lowe的程序中，的程序中，对坐坐标进行了五次修正。行了五次修正。将修正后的将修正后的结果代入式果代入式 求解得求解得Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1833DoG局部极值检测l去除去除边缘响响应仅仅去除低去除低对比度的极比度的极值点点对于极于极值点的点的对于特征点于特征点稳定性是定性是远远不不够的。的。DoG函数在函数在图像像边缘有有较强的的边缘响响应，因此我，因此我们还需要排除需要排除边缘响响应。DoG函数的（欠佳的）峰函数的（欠佳的）峰值点在横跨点在横跨边缘的方向有的方向有较大的主曲率，大的主曲率，而在垂直而在垂直边缘的方向有的方向有较小的主曲率。主曲率可以通小的主曲率。主曲率可以通过计算在算在该点位置尺点位置尺度的度的22的的Hessian矩矩阵得到，得到，导数由采数由采样点相点相邻差来估差来估计：表示表示DOG金字塔中某一尺度的金字塔中某一尺度的图像像x方向求方向求导两次两次Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1834在两特征在两特征值相等相等时达最小，随达最小，随r的增的增长而增而增长。Lowe论文中建文中建议r取取10。DoG局部极值检测D的主曲率和的主曲率和H的特征的特征值成正比，成正比，为了避免直接的了避免直接的计算算这些特征些特征值，而只是，而只是考考虑它它们的之的之间的比率。令的比率。令为最大特征最大特征值，为最小的特征最小的特征值，则时将关将关键点保留，反之剔除点保留，反之剔除Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1835关键点方向分配通通过尺度不尺度不变性求极性求极值点，可以使其具有点，可以使其具有缩放不放不变的性的性质，利用关，利用关键点点邻域像素的梯度方向分布特性，我域像素的梯度方向分布特性，我们可以可以为每个关每个关键点指定方向参数点指定方向参数方向，方向，从而使描述子从而使描述子对图像旋像旋转具有不具有不变性。性。l像素点的梯度表示像素点的梯度表示梯度幅值：梯度方向：我我们通通过求每个极求每个极值点的梯度来点的梯度来为极极值点点赋予方向。予方向。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1836关键点方向分配l方向直方方向直方图的生成的生成确定关确定关键点的方向采用梯度直方点的方向采用梯度直方图统计法，法，统计以关以关键点点为原点，原点，一定区域内的一定区域内的图像像素点像像素点对关关键点方向生成所作的点方向生成所作的贡献。献。Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/18371.直方直方图以每以每10度方向度方向为一个柱，共一个柱，共36个柱，柱所代表的方向个柱，柱所代表的方向为像像素点梯度方向，柱的素点梯度方向，柱的长短代表了梯度幅短代表了梯度幅值。2.根据根据Lowe的建的建议，直方，直方图统计半径采用半径采用3*1.5*。3.在直方在直方图统计时，每相，每相邻三个像素点采用高斯加三个像素点采用高斯加权，根据，根据Lowe的的建建议，模板采用，模板采用0.25,0.5,0.25，并，并连续加加权两次。两次。关键点方向分配关于方向直方关于方向直方图的几点的几点说明明Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1838关键点方向分配关关键点点主方向主方向：极：极值点周点周围区域梯度直方区域梯度直方图的的主主峰峰值也是特征点方向也是特征点方向关关键点点辅方向方向：在梯度方向直方在梯度方向直方图中，当存在另一个相当于主峰中，当存在另一个相当于主峰值80%能量的峰能量的峰值时，则将将这个方向个方向认为是是该关关键点的点的辅方向。方向。这可以增可以增强匹配的匹配的鲁棒性棒性，LoweLowe的的论文指出大概有文指出大概有15%15%关关键点具有多点具有多方向，但方向，但这些点些点对匹配的匹配的稳定性至定性至为关关键。关关键点的主方向与点的主方向与辅方向方向Scale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神贯彻全国教育大会精神,充分发挥中小学图书室育人功能充分发挥中小学图书室育人功能2023/1/1839关键点方向分配1.确定确定计算关算关键点直方点直方图的高斯函数的高斯函数权重函数参数重函数参数；2.生成含有生成含有36柱的方向直方柱的方向直方图，梯度直方，梯度直方图范范围0360度，其中每度，其中每10度一度一个柱。由半径个柱。由半径为图像区域生成；像区域生成；3.对方向直方方向直方图进行两次平滑；行两次平滑；4.求取关求取关键点方向（可能是多个方向）；点方向（可能是多个方向）；5.对方向直方方向直方图的的Taylor展开式展开式进行二次曲行二次曲线拟合，精确关合，精确关键点方向；点方向；l方向分配方向分配实现步步骤图像的关像的关键点已点已检测完完毕，每个关，每个关键点有三个信息：位置、尺度、点有三个信息：位置、尺度、方向；同方向；同时也就使关也就使关键点具点具备平移、平移、缩放、和旋放、和旋转不不变性。性。BackScale Invariant Feature TransformSIFT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神为