物体识别中的特征基于SIFT特征提取描述匹配.pptx

《物体识别中的特征基于SIFT特征提取描述匹配.pptx》由会员分享，可在线阅读，更多相关《物体识别中的特征基于SIFT特征提取描述匹配.pptx（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于图像进行物体识别的过程待训练的图像包含感兴趣的的物体特征提取（检测子）使感兴趣的物体区别于其他部分特征描述（描述子）形成独特的特征向量特征库特征提取特征匹配待识别的图像包含待识别的物体特征提取使感兴趣的物体区别于其他部分特征描述形成独特的特征向量在特征库中进行匹配判断识别情况第1页/共39页图像特征l全局特征大小、灰度分布、颜色、全局边缘l局部特征点、线角点区域内的边缘局部极值第2页/共39页特征提取中的常见问题物体所在环境复杂光照对比度杂散背景目标被遮挡物体运动导致的识别困难平移、旋转尺度变化彷射变换视点变化（例如站在立体物体不同侧面，看到的图像可能大不相同）第3页/共39页局部特征用于

2、识别的要求局部特征：重复性 可区分性 准确性 数量以及效率 不变性 图像变化对应特征不变性亮度亮度不变性对比度对比度不变性平移平移不变性旋转旋转不变性尺度变化尺度不变性仿射变换仿射不变性视角变化立体物体多角度建模第4页/共39页传统的局部特征提取l 成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。l传统的匹配算法往往是直接提取角点、线或边缘，对环境的适应能力较差。l需要一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。第5页/共39页6 619991999年年British ColumbiaBritish Columbia大学

3、大学David G.LoweDavid G.Lowe教授教授总结了现有的基于不总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFTSIFT（scale-invariant feature transformscale-invariant feature transform），），这种算法在这种算法在20042004年年被加以完善。被加以完善。David G.LoweComputerScien

4、ceDepartment2366MainMallUniversityofBritishColumbiaVancouver,B.C.,V6T1Z4,CanadaE-mail:lowecs.ubc.caSIFT算法第6页/共39页SIFT算法的主要特点lSIFT特征是图像的局部特征，其对平移、旋转、尺度缩放、亮度变化保持不变性。l对视角变化、仿射变换、噪声也保持一定程度的稳定性。l独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。l多量性，即使少数的几个物体也可以产生大量SIFT特征向量。l可扩展性，可以很方便的与其他形式的特征向量进行联合。第7页/共39页8 8例如旋转不变性O

5、riginalimagecourtesyofDavidLowe第8页/共39页尺度空间l我们我们要精确表示的物体都是通过一定的尺度来反映的。现实世界要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体的物体也总是通过不同尺度的观察而得到不也总是通过不同尺度的观察而得到不同的变化。同的变化。l尺度尺度空间理论最早在空间理论最早在19621962年提出，其主要思想是通过对原始图像年提出，其主要思想是通过对原始图像进行进行尺度变换，获得图像多尺度下的尺度尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列空间表示序列，对这些序列进行尺度进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量

6、，实现边缘空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角、角点检测和不同分辨率上的特征提取等。点检测和不同分辨率上的特征提取等。l尺度尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标目标由近到远时目标在视网膜上的形成过程由近到远时目标在视网膜上的形成过程。尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式第9页/共39页尺度空间l尺度空间就是将要处理的维函数（计算机视觉中为维），嵌入到一族单参数函数族中。这个单参数函数族就叫做尺度空间。l单参数函数族的生成方法就是将要处理的函数与核函数进行卷积。l核

7、函数选择的核心原则是保证在生成的单参数函数族中，局部极值的稳定性和数目随单参数的增加的递减性。l由于几个条件的约束导致，对连续函数必须使用高斯函数做为卷积核。对离散函数要使用高斯函数的某种离散近似。第10页/共39页图像多尺度表示 根据尺度理论，高斯卷积核是实现尺度变换的唯一变换核，也是唯一的线性核：一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：第11页/共39页图像多尺度表示 称为尺度空间因子，其值越小则表征该图像被平滑的越少相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。第12页/共39页SIFT算法步算法步骤检测检测尺度关键点（空间尺度关键

8、点（空间极值点极值点）精确精确定位关键点，定位关键点，去除低对比度点和不稳定边缘点去除低对比度点和不稳定边缘点为每个关键点指定方向参数为每个关键点指定方向参数关键点描述子的生成关键点描述子的生成第13页/共39页1414所谓所谓关键点，就是在不同关键点，就是在不同尺度空间尺度空间的图像下检测出的具有的图像下检测出的具有方向信息方向信息的的局部极值点局部极值点。根据归纳根据归纳，特征，特征点具有的三个特征：点具有的三个特征：尺度尺度 方向方向 大小大小1.1.哪些点是哪些点是SIFTSIFT中要查找的关键点（特征点）？中要查找的关键点（特征点）？这些点是一些十分突出的点不会因光照条件的改变而消失

9、，比如角点、这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。点。关键点检测相关问题第14页/共39页关键点检测相关问题第15页/共39页16162 2.高斯高斯模糊模糊 高斯模糊是在高斯模糊是在Adobe PhotoshopAdobe Photoshop等图像处理软件中广泛使用的处理等图像处理软件中广泛使用的处理效果

10、，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成的图像的视觉效果是好像经过一个半透明的屏幕观察图像。的图像的视觉效果是好像经过一个半透明的屏幕观察图像。关键点检测相关问题第16页/共39页在实际应用中，在计算高斯函数的离散近似时，在大概在实际应用中，在计算高斯函数的离散近似时，在大概33距离之距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略外的像素都可以看作不起作用，这些像素的计算也就可以忽略。通常，图像处理程序只需要计算通常，图像处理程序只需要计算17173.高斯高斯模板大小的模板大小的选择选择关键点检测相关

11、问题第17页/共39页l高斯金子塔的构建过程可分为两步：高斯金子塔的构建过程可分为两步：（1 1）对图像做高斯平滑；）对图像做高斯平滑；（2 2）对图像做降采样。）对图像做降采样。为了让尺度体现其连续性，在简单为了让尺度体现其连续性，在简单降降采样采样的基础上加上了高斯滤波。的基础上加上了高斯滤波。一幅图像可以产生几组（一幅图像可以产生几组（octaveoctave）图像，一组图像包括几层图像，一组图像包括几层（intervalinterval）图像。）图像。18184.4.高斯金字塔高斯金字塔关键点检测相关问题第18页/共39页1919高斯图像金字塔共高斯图像金字塔共o o组、组、s s层，

12、层，则有则有：尺度空间坐标；尺度空间坐标；s ssub-levelsub-level层坐标；层坐标；0 0初始尺度；初始尺度；S S每组层数每组层数关键点检测相关问题第19页/共39页高斯金字塔的组内尺度与组间尺度高斯金字塔的组内尺度与组间尺度2020组内尺度是指同一组（组内尺度是指同一组（octave）内的）内的尺度关系，组内相邻层尺度化简为：尺度关系，组内相邻层尺度化简为：组间尺度是指不同组直接的尺度关组间尺度是指不同组直接的尺度关系，相邻组的尺度可化为：系，相邻组的尺度可化为：由此可见，相邻两组的同一层尺度为由此可见，相邻两组的同一层尺度为2倍的关系倍的关系关键点检测相关问题第20页/共

13、39页2121最后可将组内和组间尺度归为：最后可将组内和组间尺度归为：i i金字塔组数金字塔组数n n每一组的层数每一组的层数关键点检测相关问题第21页/共39页2222上一组图像的底层是由前一上一组图像的底层是由前一组图像的倒数第二层图像隔组图像的倒数第二层图像隔点采样生成的。点采样生成的。这样这样可以保持尺度的连续性。可以保持尺度的连续性。关键点检测相关问题第22页/共39页2323对应对应DOGDOG算子，我们要构建算子，我们要构建DOGDOG金字塔金字塔我们可以通过高斯差分图我们可以通过高斯差分图像看出图像上的像素值变像看出图像上的像素值变化情况。（如果没有变化，化情况。（如果没有变化

14、，也就没有特征。特征必须也就没有特征。特征必须是变化尽可能多的点。）是变化尽可能多的点。）DOGDOG图像描绘的是目标的图像描绘的是目标的轮廓。轮廓。关键点检测相关问题5 5.高斯差分（高斯差分（DOGDOG）金字塔）金字塔第23页/共39页2424 中间的检测点和它同尺度的中间的检测点和它同尺度的8 8个相邻点和上下相邻尺度对应的个相邻点和上下相邻尺度对应的9292个点共个点共2626个点比较，以确保在尺度空间和二维图像空间都检测到极值个点比较，以确保在尺度空间和二维图像空间都检测到极值点。点。l DoG DoG的局部极值点的局部极值点 关键点是由关键点是由DOGDOG空间的局部极值点组成的

15、。空间的局部极值点组成的。为了寻找为了寻找DoGDoG函数的极值点，函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。的相邻点大或者小。关键点检测第24页/共39页25精确确定极值点位置第25页/共39页26去除低对比度极值点：第26页/共39页27边缘响应处的极值点的去除DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。获取特征点处的Hessian矩阵，D的主曲率和H的特征值成正比，通过一个2x2的Hessian矩阵H的特征值表示：H的特征值和为特征值。假设是较大的特征值，

16、而是较小的特征值，令，则两个特征值相等时最小，随着的增大而增大。让该比值小于一定的阈值。为了检测主曲率是否在某域值r下，只需检测成立时将关键点保留，反之剔除。在Lowe的文章中，取r10。第27页/共39页2828关键点方向分配 通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，方向，从而使描述子对图像旋转具有不变性。从而使描述子对图像旋转具有不变性。l 像素点的梯度表示像素点的梯度表示梯度幅值：

17、梯度方向：我们通过求每个极值点的梯度来为极值点赋予方向。我们通过求每个极值点的梯度来为极值点赋予方向。第28页/共39页2929关键点方向分配l方向方向直方图的生成直方图的生成 确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。一定区域内的图像像素点对关键点方向生成所作的贡献。第29页/共39页3030关键点方向分配关键点主方向：极值点周围区域梯度直方图的关键点主方向：极值点周围区域梯度直方图的主主峰值峰值,也是特征点方向也是特征点方向关键点辅方向：关键点辅方向：在梯度方向直方图

18、中，当存在另一个相当于主峰值在梯度方向直方图中，当存在另一个相当于主峰值 当某方向当某方向8080%能量的峰值时，则能量的峰值时，则将将该该方向方向认为是该关键点的辅认为是该关键点的辅方向方向，生，生成一个新的特征向量成一个新的特征向量。l关键点的主方向与辅方向关键点的主方向与辅方向第30页/共39页特征检测3131 图像的关键图像的关键点和特征已点和特征已检测完毕，每个关键点有检测完毕，每个关键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。缩放、和旋转不变性。第31页/共39页关键点关键点描述描述l描述的目

19、的 描述的目的是在计算关键点后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、3D视点变化等。描述的思路通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。3232 第32页/共39页3333关键点描述 下图是一个下图是一个SIFTSIFT描述子事例。其中描述子由描述子事例。其中描述子由228228维向量表征，也即是维向量表征，也即是2222个个8 8方向的方向方向的方向直方图组成。直方图组成。左图的种子点由左图

20、的种子点由8 8 8 8单元组成。每一个小格都单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在箭头长度代表该像素的幅值。然后在4 4 4的窗口内计算的窗口内计算8个方向的梯度方向直个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点由由4个种子点的信息所组成。个种子点的信息所组成。第33页/共39页3434关键点描述 LoweLowe实验结实验结果表

21、明果表明：描述描述子采用子采用448448128128维向量表维向量表征征，综合效果综合效果最优（不变性最优（不变性与独特性）。与独特性）。第34页/共39页3535关键点描述 是关键点所在组（是关键点所在组（octaveoctave）的组内尺度，）的组内尺度，1.1.确定确定计算计算描述子所需的图像区域描述子所需的图像区域描述描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像区域的半径通过下式计算区域的半径通过下式计算：l 128 128维关键点描述子生成步骤维关键点描述子生成步骤第35页/共39页3636关键点描述2.2.将

22、坐标移至关键点主方向将坐标移至关键点主方向那么旋转角度后新坐标为：那么旋转角度后新坐标为：第36页/共39页37373.3.将产生的图像区域划分成将产生的图像区域划分成4*44*4的小块，对每个小块统计其每个像的小块，对每个小块统计其每个像素的梯度值和方向，形成梯度直方图。整个图像块就表示为素的梯度值和方向，形成梯度直方图。整个图像块就表示为4 4*4 4*8=1288=128为的特征向量。为的特征向量。4.4.描述子向量元素门限化及门限化后的描述子向量规范化。描述子向量元素门限化及门限化后的描述子向量规范化。描述子向量元素规范化：描述子向量元素规范化：为得到的为得到的128128描述子向量描述子向量,为规范化后的向量为规范化后的向量关键点描述 关键点关键点描述子向量的规范化正是可去除描述子向量的规范化正是可去除满足此模型的光照满足此模型的光照影响影响。对于图像灰度值整体漂移对于图像灰度值整体漂移 ，图像各点的梯度是邻域像素相减得到，图像各点的梯度是邻域像素相减得到，所以也能去除。所以也能去除。第37页/共39页谢谢！谢谢！第38页/共39页感谢您的观看！第39页/共39页