应用尺度不变特征变换的多源遥感影像特征点匹配_刘志文.docx

《应用尺度不变特征变换的多源遥感影像特征点匹配_刘志文.docx》由会员分享，可在线阅读，更多相关《应用尺度不变特征变换的多源遥感影像特征点匹配_刘志文.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 文章编号 1004-924X(2013)08-2146-08 应用尺度不变特征变换的多源遥感影像特征点匹配 刘志文 u， 3刘定生 S 刘鹏 1 (1.中国科学院对地观测与数字地球科学中心，北京 100094; 2.中国科学院电子学研究所，北京 100190;3.中国科学院大学，北京 100049) 摘要：针对多源遥感影像之间灰度值非线性变化导致特征点匹配率大幅度下降的问题，提出了一种利用光谱信息的多源 遥感影像特征点匹配算法。首先，以光谱信息对遥感影像波段进行线性拟合，使待匹配影像与参考影像之间的灰度值由 非线性转变为线性或者近似线性变化。接着，在拟合的遥感影像上采用改进的尺度不变特征变换

2、 （ SIFT)算法进行匹 配。最后，采用随机抽样一致性算法剔除误匹配点对。与常用特征点检测算法 （ SIFT， 梯度位置朝向直方图 （ GLOH)， RSSIFT)的对比实验结果表明，本文所用的 ETM+影像全色与多光谱影像的特征点匹配率提高了 4%左右， CBERS 02B 和 HJ-1B 卫星多光谱影像的正确特征点匹配个数增加了 8 对 。因此，在多源遥感影像特征点匹配中，本文所提算法 优于其它检测算法，可以极大地改善匹配效果。 关键词：图像处理；特征点匹配；尺度不变特性变换 （ SIFT);多源遥感影像；多光谱 中图分类号： TP752;TP391. 4 文献标识码 ： A doi：

3、10. 3788/OPE. 20132108. 2146 SIFT feature matching algorithm of multi-source remote image LIU Zhi-wen1， 2,3*， LIU Ding-sheng1， LIU Peng1 (1. Center for Earth Observation and Digital Earth-, Chinese Academy of Sciences Beijing 100094, China； 2. Institute of Electronics , Chinese Academy of Sciences ,

4、 Beijing 100190, China ； 3. University of Chinese Academy of Sciences， Beijing 100049, China) k Corresponding author ,E-mail ： zxvliuceode. ac. cn Abstract： Many traditional feature point algorithms can not handle more complex nonlinear brightness changes because the gray between multi-source remote

5、 sensing images is nonlinear changes. To cover the shortage, a Scale Invariant Feature Transform(SIFT) feature matching algorithm of multi-source remote sensing images was proposed. First, the approximate linear gray value between multi-source remote sensing images was achieved through linear fittin

6、g of the bands of the images. Then, an improved SIFT algorithm was adopted to match the fitted remote sensing images. Finally, the random sample Consensus algorithm was used to remove the false matching point pairs. In comparison with other feature matching algorithms (SIFT， Gradient Location Orient

7、ation Hologram (GLOH)， RS- SIFT). The experimental results show that the feature matching rate increases by about 4% between ETM+ panchromatic and multispectral images and the number of correct matches of key points in- 收稿日期 = 2012-12-25;修订日期 ： 2013-02-16. 基金项目：国家自然科学基金资助项目 （ No. 41001265);国家发展改革委员会

8、 “ 遥感卫星应用国家工程实验室建设 ” 项目 （ No. 092601101C) 第 21 卷第 8期 2013 年 8 月 光学精密工程 Optics and Precision Engineering Vo 1.21 No. 8 Aug. 2013 第 8 期 刘志文，等：应用尺度不变特征变换的多源遥感影像特征点匹配 2147 creases by about 8 point pairs between CBERS-02B and HJ-1B images. It concludes that the proposed method significantly outperforms m

9、any state-of-the-art methods under multi-source remote sensing images. Key words： image processing; feature point matching； Scale Invariant Feature Transform (SIFT)； multi-spectral remote image； multi-spectrai 引言 尺度不变特征变换 （ Scale Invariant Feature Transform，SIFT)是一种基于点特征的特征检测 描述方法 1。该算法具有缩放、旋转和部分仿射

10、不变性，能够抗拒一定光照变化和视点变换，这种 特征有较高的辨别能力，因此， SIFT 算法广泛应 用于各种图像匹配技术中，尤其在计算机视觉和 模型识别方而有很多成功的应用 2 (;。但是，在遥 感领域中，由于波段或传感器不同，遥感成像的灰 度值呈非线性变化，而SIFT 算法只能抗拒光照 条件下的灰度值线性变化或近似线性变化，因此 无法解决多源 遥感图像特征点匹配问题。 针对多源影像特征点匹配算法问题，目前存 在的算法主要有： Z. Yi， C. Z 和 X. Yang7提出 的SR-SIFT 算法，该算法通过用尺度限制剔除误 匹配点对，从而提高匹配精度 。 pMustafa Teke 和 Al

11、ptekin TemizelM也对 SURF 算法进行了类 似处理 。 Jian Chen和 Jie Tian 用 “ 对称 SIFT” 解 决了由于灰度值变化导致的匹配影像特征点的主 方向与参考影像特征点主方向成 180 的情况 M， 但其不适用其它情况 。 Mehmet Firat VURAL， Yasemin YARDIMCI， Alptekin TEMIZEL 也作 了一些相似的研究 1IJ。 Mahmudul Hasanu在 SIFT算法的基础上，提出除了利用特征点的描述 算子外，还增加了特征点之间的空间领域信息进 行匹配 。 Feng Tang 和 Suk Hwan Lim 则提出

12、了 一种新的 SIFT 描述算子 OSID(Ordinal Spatial Intensity Distribution)11 12，此描述算子对灰度 值单调变化的情况有不变性，他们认为灰度呈单 调增长的变化情况具有普遍性。实际上，在遥感 领域中，多源影像的灰度值之间变化更复杂，而不 仅仅是单调增长一种情况。 总之，虽然这些算法对多源遥感影像的特征 点匹配有一定的改进效果，但须有匹配条件的限制，没有从本质上解决这个问题。本文结合 SIFT 特点，利用光谱信息拟合的多源遥感影像，使待匹 配影像与参考影像之间的灰度值由非线性转变为 线性或者近似线性，并且利用位置一致性算法去 除误匹配点对 lfi。

13、与常用特征点匹配算法比较， 该算法可以获得较多的匹配点。 2 尺度不变特征变换 2004 年， David. G. LOWE1在总结现有的基 于不变量技术的特征检测方法的前提下，提出了 一种基于尺度空间的，对图像缩放、旋转、平移及 灰度线性变化具有不变性的图像局部特征点描述 子。该算法首先在尺度空间进行特征检测，并确 定关键点的位置和所处的尺度，然后使用关键点 邻域梯度的主方向作为该点的方向，以实现算子 对尺度和方向的无关性，从而得到一种对尺度和 方向无关的算子。SIFT 匹配算法包括以下几步： (1) 尺度空间极值提取 在图像多尺度空间中寻找每一个尺度空间中 的极值点，得到极值点所在像素的位

14、置。 (2) 亚像素精 度和候选特征点筛选 获得以浮点数表示的精确位置，剔除低对比 度极值点和在边缘上容易受噪声影响的候选特征 点。 (3) 候选特征点方向赋值 对每一个候选特征点邻域像素点梯度进行高 斯加权，获得对应的梯度幅度大小和梯度方向。 把梯度方向平均划分为 36 个区间形成了 一个直 方图。直方图中值最大的区间为主要方向，最大 值为梯度的幅度值。 (4) 计算特征点描述算子 计算以每一个特征点为中心的区域内每个像 素的梯度值，使用 128 维的特征描述向量对其进 行描述。 (5) 特征点匹配 2148 光学精密工程 第 21 卷 2 个匹配特征点，最近的欧式距离与次 近的 欧式距离小

15、于某个比例阈值，则认为是正确匹配 点对。 3 多源遥感影像特征点匹配技术 针对多源遥感影像特征点匹配存在的问题， 本文在 SIFT 特征点匹配算法改进的基础上，提 出了一种适合于多源遥感影像的特征点匹配技 术。首先利用光谱信息对多源遥感图像进行线性 拟合，使匹配影像的灰度值之间尽量满足线性变 化；再用改进的SIFT 算法匹配特征点；最后，采 用随机抽样一致性算法 （ RANSAC)M 除去候选 匹配点中的误匹配点对。具体的算法流程如下： 3.1 多 光谱影像光谱特性分析 在相同频率范围内的相同地物具有一致的地 物光谱特征（反射、吸收、辐射），这些特征不随成 像条件的改变而变化。因此，在成像条件

16、一致的 情况下，频率范围相同的多源遥感影像中的对应 像素，灰度呈近似线性变化。证明如下： 在入射光强度大小不同，其它成像条件相同 的情况下，假设待匹配影像成像时光强度是参考 影像成像时光强度的倍，由于为同一地物点，那 么对应的反射率是相同的，故两影像的入瞳辐亮 度对关系如下： L1(A)=7； *L2(A) , (1) 式中， L (A)为待匹配影像一像素点的入瞳 辐亮度， L2(A)为参考影像对应像素点的入瞳辐亮度。入瞳 辐亮度 L(A)与影像值 DN 之间具有如下关系： L= LmiM) + Lmax 二 Lmin X DN ,(2) 其中，假定影像灰度值为 和 Lmin (A)分别为灰度

17、值 255 和 0 时的光谱辐亮度。 结合式 （ 1)和式 （ 2)可得如下结论： DN!=aXDN2+& . (3) 其中，为待匹配影像的像素值， Llmax和 Lllni 分别为待匹配影像光谱辐亮度最大和最小值； 为参考影像对应像素值， L2mi分别为 参考影像光谱辐亮度的最大和最小值。 3.2 多光谱影像波段拟合 根据上节的分析，有如下结论：在成像条件一 致的情况下，相同频率范围的两幅遥感影像波段的 对应像素灰度值呈线性变化，理论上能获得较好的 特征点检测效果。为了获得相同频率范围的两幅 待匹配的遥感影像，下面分两种情况进行描述： (1)波段和多光谱波段拟合 大多数卫星上同时搭载有全色和

18、多光谱传感 器。理想情况下，各个多光谱波段可以较好地分 离且与全色波段覆盖的光谱范围相同。理论上全 色波段的辐射能量等于各多光谱波段辐射能量的 总和。因此，可以定义几个权值来估计全色波段 的辐射值。故全色波段与其光 谱范围覆盖下的多 光谱波段近似满足如下线性关系： Pan = wjMS， (4) 式中， Paw为拟合的全色波段， MS,为全色波段 光谱范围覆盖下的多光谱波段，为相应波段的 加权系数。加权系统的确定至关重要，这里根据 Boggione 等提出的全色与多光谱传感器的光谱 响应曲线覆盖的而积 283得到拟合系数。这样就 可以用拟合的 P 仙波段与真实的全色波段进行 特征点匹配。 (2

19、)多光谱影像拟合 按照 Z. Zeng21如的描述，多光谱遥感影像图 多源遥感影像匹配流程图 Fig. 1 Flowchart of feature matching algorithm for multi-source remote sensing images 第 8 期 刘志文，等：应用尺度不变特征变换的多源遥感影像特征点匹配 2119 中每一个像素可以用二次多项式进行表达： D = a-bX-c. (5) 在式 （ 1)中， )是灰度值 D 的拟合值， D 是波 段影像中像素的实际灰度值。 A是多光谱影像中 的波长变量 A 和 f 为二次多项式中的估计系数。 当解算出拟合表达式后，可以

20、得到表达式 ) =a + 6A + f A2 中在波长值为 Au 的 D值。因此，可 以得到在相同波长处的两幅单波段遥感影像，而 且两幅单波段遥感影像对应像素的灰度值呈近似 线性变化。 3 . 3 波段拟合后影像特征点提取 对多源遥感影像进行拟合处理后，拟合后的 遥感影像灰度值之间仍 然与真正的线性变化有一 定的差距，但在大尺度下它们之间更接近于线性 变化，所以在建立尺度空间时，可以适当提高尺度 因子，本文中采用的尺度因子为 a=l. 5。 3 . 4 特征点匹配 在匹配点对中主要存在两种匹配错误情况： 第一种是尺度相差较大的匹配点对错误 11;第二 种是在不对应的位置确实存在距离很 “ 近

21、” 的点。 对于第一种错误应考虑分辨率相同的两幅遥感图 像在理想状态下它们相同位置的特征点应该在尺 度空间相同组中检测到，所以在匹配特征点中，选 取的尺度限制应与遥感影像分辨率比值相一致。 对于第二种错误，通常采 用提高比例阈值来减少 这种误匹配，本实验中比例阈值取 2.5。 3 . 5 误匹配点剔除 虽然在上一步中采取提高比例阈值来减少第 二种错误，但仍存在误匹配点对。本文采用随机 抽样一致性算法 （ RANSAC)2:1去除候选匹配点 中的误匹配点对。 4 测 试 实 验 在测试实验中，分别对全色与多光谱波段之 间和不同传感器的多光谱影像之间进行特征点匹 配，并且与 SIFT、 GOM-S

22、IFT、 SR-SIFT 算法的 检测效果进行比较。 4 . 1 全色与多光谱波段特征点匹配 在遥感应用中，往往需要对不同波段进行匹 配，尤其是多光谱波段与全色波段。实验中采用 拟合的全色波段与全色波段匹配的方法。由于拟 合的全色波段与多光谱波段大小相同，因此，将拟 合的全色波段与真实的全色波段进行特征点匹 配，实质上是对全色与多光谱波段特征点匹配。 另外拟合后的全色波段与真实全色波段对应位置 灰度值之间有更好的线性变换，因此，此方法能获 得更好的匹配效果。 以 2001 年 9 月 11 日俄罗斯哈巴罗夫斯克边 疆 区 奥 列 利 湖 附 近 的 ETM + 影像 （ path/ r w11

23、2 / 0 2 2 )为例进行测试实验。 (1) 拟合影像 根据 B ggi ne2 等计算得到的拟合系数，取 波段 2,3,4 作为待拟合影像，加权系数分别为： = 0. 25= 0. 23= 0. 52，那么拟合的全色 波段表达式为： Pa?i = IV2MS2 iviMS . (6 ) (2) 特征点匹配 本文算法利用拟合的全色波段与真实的全色 波段进行特征点匹配。在 SIFT、 GOM-SIFT、 SR- SIFT 检测算法中，随机选取多光谱中任一波段（实 验选用波段 3)与真实的全色波段特征点匹配。 匹配效果如图 2 所示，图 2(d)为本文算法的 特征点检测效果图，其总匹配点对为

24、2 4 2 对，正确 匹配率为 100%。图 2(a)、 2(b)、 2(c)分别为采用 SIFT、 GOM-SIFT、 SR-SIFT 检测算法进行特征 点检测的结果， SIFT 匹配算法的总匹配点对为 97 对，正确匹配率为 95. 88 %， GOM-SIFT、 SR- SIFT 与SIFT 类似。由表 1 可见本文提出的方 法明显的好于其它算法。 表 1 全色与多光谱波段特征点匹配算法比较 Tab. 1 Comparison of feature matching algorithms between panchromatic and multi-spectrul bands PAN

25、和 MS 异达 匹配数 正确匹配数 正确率 SIFT 97 93 95. 88% GOM-SIFT 97 93 95.88% SR-SIFT 92 89 96. 74% 本文算法 242 242 100% 2150 光学精密工程 第 21 卷 (a) SIFT 特征点检测 (a) Results of SIFT algorithm (c) SR-SIFT 特征点检测 (c) Results of SR-SIFT algorithm (d)本文所提算法 (d) Results of proposed algorithm (b) GOM-SIFT 算法检测 (b) Results of GOM-S

26、IFT algorithm图 2 全色与多光谱影像匹配示意图 Fig. 2 Feature matching between Pan and multispectral images4 . 2 多光谱与多光谱影像特征点匹配 采用 CBER;02B 卫星的多光谱影像和 HJ- 1B卫星的多光谱影像进行测试实验。 (1) 拟合影像 取 CBER&02B 多光谱影像中的 4 个波段及 HJ- 1B 影 像 中 的 4 个 波 段 进 行 线 性 拟 合 。 CBER& 0 2 B的 4 波 段 中 心 波 长 分 别 为 0. 49、 0 . 597、 0. 67、 0. 8 2 , HJ-1B 的

27、 4 波 段 中 心 波 长分 别为 0. 485、 0. 56、 0. 66、 0. 88。按公式 （ 5)进行拟 合后，得到两组拟合系数及表达式。取相同波长 A =0.49 Mm， 代入各自表达式中，可以得到相同 波长处的两幅单波段遥感影像。 (2) 特征点匹配 本文算法在拟合的两幅影像之间进行特征点 匹配；在 SIFT、 GOM- SIFT、 SR-SIFT 检 测 算 法中，分别随机选取 CBER&02B 多光谱影像和 HJ- 1B多光谱影像中任一波段 （ 本实验 CBER&02B 影像采用波段 1， HJ-1B影像采用波段 3)进行特 征点匹配实验。 表 2 多光谱影像特征点检测算法

28、的比较 Tab. 2 Comparison of feature point detection algorithms for multispectral images 算法 CBERS02B 和 HJ-1B 匹配数 正确匹配数 正确率 SIFT 4 4 100% GOM-SIFT 4 4 100% SR-SIFT 4 4 100% 本文算法 12 12 100% 第 8 期 刘志文，等：应用尺度不变特征变换的多源遥感影像特征点匹配 2151 匹配效果如图 3 所示，图 3(d)为本文算法的 特征点检测效果图，本文所提算法总匹配点对为 12对，正确匹配率为 100%。图 3(a)、 3(b)、

29、 3(c) 分别采用 SIFT 、 GOM-SIFT 、 SR-SIFT 检测算法进行特征点检测实验，在 SIFT 检测算法中，总匹 配点对为 4 对 ，正 确 匹 配 率 为 1 0 0 % ， GOM- SIFT、SR-SIFT 算法与 SIFT 类似。本文提出的 方法明显的好于其它算法。图 3 CBER&02B 与 HJ-1B 多光谱影像匹配示意图 Fig. 3 Feature matching of multispectral images for CBERS-02B and HJ-1B5 结论 本文针对多源遥感影像之间由于灰度值非线 性变化，导致特征点匹配率下降的问题，提出了一 种利

30、用光谱信息的多源遥感影像特征点匹配算 法。利用遥感影像的光谱信息使多源遥感影像之 间灰度值由非线性变化转变为线性或者近似线性 变化，从而减 少 了 由 于 灰 度 值 之 间 的 非 线 性 对 特征点匹配的影响。通过与其它特征点匹配算法的 对比实验表明，所用的 ETM+影像的全色与多光 谱波段的特征点匹配率提高了 4%左右， CBER& 02B 和HJ-1B 卫星多光谱影像的正确特征点匹 配增加了 8对。因此，在多源遥感影像特征点匹 配中，本文提出的特征点匹配算法可以得到更多 的匹配点对和正确的匹配点对，本文提出的方法 对于提高多源遥感影像特征点匹配率具有一定的 参考价值。 (a) SIFT

31、特征点检测 (a) Results of SIFT algorithm (b) GOM-SIFT算法检测 (b) Results of GOM-SIFT algorithm (c) R-SIFT特征点检测 (c) Results of SR-SIFT algorithm (d)本文所提算法 (d) Results of proposed algorithm 2152 光学精密工程 第 21 卷 参考文献： 1 LOWE D G. Distinctive image features from scale- invariant keypoints J J. International Journ

32、al of Computer Vision, 2004,60(2) ： 91-110. 2 李英，李静宇，徐正平 .结合 Surf 与聚类分析方法 实现运动目标的快速跟踪 J.液晶与显示， 2011， 26(4)：544-550. LI Y, LI J Y, XU ZH P. Moving target fast tracking using SURF and cluster analysis method J. Chinese Journal of Liquid Crystals and Displays， 2011,26(4) ： 544-550. (in Chinese) 3 丘文涛，赵

33、建，刘杰 .结合区域分割的 SIFT 图像匹 配方法 J.液晶与显示， 2012,27(6):827-831. QIU W T, ZHAO J, LIU J. Image matching algorithm combining SIFT with region segmentation J. Chinese Journal of biquid Crystals and Displays ,2012,27(6) ：827-831. (in Chinese) 4 ZHOU H Y, YUAN Y, SHI CH M. Object tracking using SIFT features and

34、 mean shift J, Computer Vision and Image Understanding , 2009,113 (3)： 345-352. 5 纪华，吴元昊，孙宏海，等 .结合全局信息的 SIFT 特征匹配算法 J.光学精密工程， 2009， 17(2): 439-444. JI H,WU Y H,SUN H Hetal. SIFT feature matching algorithm with global information J. Opt. Precision Eng. , 2009, 17 (2)： 439-444. (in Chinese) 6 ZHAO Z S

35、,TIAN Q J,WANG J Z, etal. Image match using distribution of colorful SIFT C, 2010 International Conference on Wavelet Analysis and Pattern Recognition (ICWAPR) , 2010 ： 150-153. 7 YI Z， ZHIGUO C， YANG X. Multi-spectral remote image registration based on SIFT J. Electronics Letters, 2008,44(2) ： 107-

36、108. 8 TEKE M, TEMIZEL A. Multi-spectral satellite image registration using scale-restricted SURF C. 2Qth International Conference on Pattern Recognition (ICPR), 2010 ： 2310 -2313. 9 CHEN J ， TIAN J. Real-time multi-modal rigid registration based on a novel symmetric-SIFT descrip- torJJ. Progress in

37、 Natural Science 2009,19(5) ： 643-651. 10 VURAL M F, YARDIMCI Y, TEMIZEL A. Registration of multispectral satellite images with ori- entatiorrrestricted SIFT C. IEEE International Conference on Science and Remote Sensing Sym- posium , 2009 ： III-243-III-246. 11 TANG F， LIM S H， CHANG N L. An improve

38、d local feature descriptor via soft binning C. 17th IEEE International Con ference on Image Processing (JCJP),2010： 861-864. 12 TANG F, LIM SH,CHANG NL, etal. A novel feature descriptor invariant to complex brightness changes C. IEEE Conference on Computer Vision and Pattern Recognition ( CVPR ) , 2

39、009 ： 2631-2638. 13 BOGGIONE G, PIRES E, SANTOS P, et al. Simulation of a Panchromatic band by spectral combination of multispectral ETM + bands C. inProc. ISRSKHonolulu 14 ZENG Z. A new method of data transformation for satellite images： I . Methodology and transformation equations for Tm images J.

40、 International J ournal of Remote Sensing-, 2007,28 (18) ： 4095- 4124. 15 ZENG Z. A new method of data transformation for satellite images ： H . transformation equations for spot，noaa， ikonos， quick bird， aster， mss and other images and application J. International J ournal o f Remote Sensing-, 2007

41、,28 (18) ： 4125- 4155. 16 FISCHLER M A, BOLLES R C. Random sample consensus ： a paradigm for model fitting with applications to image analysis and automated cartography J. Communications of the ACM y 1981,24 (6)： 381-395. 第 8 期 刘志文，等：应用尺度不变特征变换的多源遥感影像特征点匹配 2153 导师简介 : 作者简介： 刘志文 （ 1979 _)，男，湖北天门人，博 士研究生，主要从事遥感图像处理，特 征点检测等方面的研究。 E-mail: zw- 刘定生 （ 1955）， 男，研究员，博士生 导师，主要从事遥感图像处理、并行 计算、网格等方面的研究。 E-mail: dsliu ceode. ac. cn刘鹏 （ 1977 ），男，博士，主要从事 遥感图像处理，图像处理中的逆问题 等方面的研究。 E-mail: pliuceode. ( 版 权 所 有 未 经 许 可 不 得 转 载 )