基于sift描述子的自适应聚合权重立体匹配算法-何凯.pdf

《基于sift描述子的自适应聚合权重立体匹配算法-何凯.pdf》由会员分享，可在线阅读，更多相关《基于sift描述子的自适应聚合权重立体匹配算法-何凯.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第49卷第9期2016年9月天津大学学报(自然科学与工程技术版)Joumal of Tia哪in UIliversi锣(Science and Technology)Vbl49 No9Sep2016DOI：1011784tdxbz201505043基于SIFT描述子的自适应聚合权重立体匹配算法何 凯，王晓文，葛云峰(天津大学电子信息工程学院，天津300072)摘要：针对传统局部立体匹配算法在深度不连续区域和低纹理区域匹配精度不高的问题，提出了一种基于sIFT描述子的自适应聚合权重立体匹配算法算法首先采用梯度域的幅值和相位获取初始匹配代价：然后利用相似性区域判决准则获得各个中心点的自适应矩形聚合

2、窗口，并利用各点SIFT描述子的L1范数进行自适应聚合权重计算仿真实验结果表明，该算法能够有效地提高低纹理区域和深度不连续区域的立体匹配精度，获得较高精度的视差图关键词：立体匹配；梯度；聚合权重；sIFT描述子中图分类号：TP39 l 文献标志码：A 文章编号：04932 l 37(201 6)09097806AdaptiVe Support-Weight Stereo Matching AlgorithmBased on SIFT DescriptorsHe Kai，Wang Xiaowen，Ge Yunfeng(school of E1ectronic Infomation Enginee

3、血g，Ti蛐jin Univers时，Tianjin 300072，China)Abstract：AiIIling at the problem of low matching accuracy in both depth discontinuities aIld low textllred regions of仃aditional local stereo matching algodt岫s， an adaptiVe support-weight stereo matching alg嘶t11rIl based onSIFT(scale-inVanant featIlre仃ansfonn)d

4、escriptors was pmposedFirst，me original matching cost was calculatedwith gradiem arnplitude and gradient phaseThen the ada【ptive supportwindow for each pixel was obtained with decision criterion based on the color similadty principle，FinaUy， with the L1 noHn of SIFT descriptors of each pixel，the ad印

5、tiVe suppOrtweight was calculatedSimulation experimentaI results show mat the proposed algoritcane日ectiVely iIllproVe the accuracy of stereo matching algorithms in both d印th discontinuities and low texturedregions，thus achieVing higher matching accumcyKeywords：stereo matching；gradient；suppOrt-weight

6、；SIFT descriptor立体匹配根据从同一场景获得的两幅或者多幅图像寻找相应的匹配点，利用匹配算法计算图像各点的深度信息，从而达到三维重建的目的目前，立体匹配技术已经广泛应用于各个领域，如视频监控、3D跟踪、机器人控制等，并受到了广泛的关注近年来，各国学者在立体匹配领域进行了深入的研究，并提出了许多算法，主要可分为2大类：基于局部约束的立体匹配算法和基于全局约束的立体匹配算法其中，基于全局约束的立体匹配算法在本质上属于优化算法，它是将立体匹配问题转化为寻找全局能量函数的最优化问题，其代表算法主要有图割算法2、置信度传播算法3】和协同优化算法【4等全局算法能够获得较低的总误匹配率【5J，

7、但算法复杂度较高，不利于在实际工程中使用基于局部约束的立体匹配算法主要是利用匹配点周围的局部信息进行计算，由于其涉及到的信息量较少，匹配时间较短，因此受到了广泛关注，其代表算法主要有SAD、SSD、NCC【6j等近年来，部分学者提出了一些改进算法，如DeMaeztu掣川提出利用窗口内像素的颜色信息来自适应计算窗口匹配权值，在一定程度上改善了匹配精度Veksler峭J采用一种自适应窗口大小、形状和权值的方法进行匹配，提高了匹收稿日期：20150507；修回日期：201509-17基金项目：国家自然科学基金资助项目(61271326)作者简介：何凯(1972一 )，男，博士，副教授通讯作者：何凯，

8、hekai626163com网络出版时间：2叭509-28 网络出版地址：ht【p：wwwclll【ine们(cmsdetail121127N2叭509281549002html万方数据2016年9月 何凯等：基于sIn描述子的自适应聚合权重立体匹配算法 979配精度，但参数过多，自适应性较差Einecke等【9J提出了一种基于标准互相关函数进行匹配代价聚合的方法，在提高匹配精度的同时，降低了时间冗余度Kang等【l oJ采用了多窗口技术来对兴趣点进行匹配，提高了匹配精度，但在最优窗口的选取上耗时较多zhang等【1 l】提出了一种基于正交积分图像的局部立体匹配算法，能够实现不规则窗口匹配代价

9、聚合的快速计算Mattoccia等【12j引入了基于联合双边滤波的自适应权值方法，降低了算法的计算复杂度，并提高了匹配代价聚合的可靠性此外，岳斌等【l 3j根据Panum融合原理，提出了一种立体视差调整的快速估计算法，能快速准确地计算视差调整范围，消除了影响立体感的双眼复视Joglekaur等【14J提出了一种基于概率神经网络的特征匹配算法，利用SIFT特征描述子实现匹配过程中兴趣点的自动检测，该算法收敛速度快，对二维旋转和尺度变换具有较高的鲁棒性上述算法在高纹理区域均能获得比较理想的匹配效果，但是在低纹理区域、遮挡区域以及物体边界等深度不连续区域，其匹配效果往往不够理想本文尝试利用相似性区域

10、判决准则获得各个中心点的自适应矩形聚合窗口，利用图像各点的SIFT特征描述子的Ll范数计算自适应权重，以提高低纹理区域和深度不连续区域的立体匹配效果1传统匹配代价计算传统的立体匹配算法是利用像素点的颜色差值，或基于census变换15、raIll(变换的方法来计算匹配代价，容易受到噪声和局部光照变化的影响鉴于图像梯度域对噪声和局部光照变化具有较强的鲁棒性【l门，本文采用梯度域的梯度幅值和相位来计算匹配代价，以提高算法的鲁棒性基于梯度域的联合匹配代价函数定义为c(x，y，d)=孝。min(c：(x，y，d)，互)+刁min(q(x，y，d)，)+111in(Cp(z，y，d)，I) (1)式中：

11、孝、刁为平衡因子，且巧+孝=l，本文孝取为015；取为10；Cc(x，y，d)为基于图像像素大小的非相似性测度；cg(x，y，d)、Cp(工，y，d)分别为基于图像梯度域的幅值和相位的非相似性测度；瓦、瓦和瓦分别为Cc(工，y，d)、Cg(x，y，d)和C口(x，y，d)的截断阈值e(x，y，d)、cg(x，y，d)和Cp(x，y，d)的计算公式为1c：(x，y，d)=嗷训)一(工一d，y)2 (2)Cg(z，J，d)=1V，露(x，y)一V，露一d，y)I+IV，t(训)一V，愈xd，J，) (3)啪棚=凄肛伽(矧_一(蹀高I 式中：t(x，y)、一d，y)分别为待匹配左、右视图中像素点在R

12、GB颜色空间的像素值的大小；V，：(x，y)、V，砧(x，J，)、V，(zd，y)、V，(xd，y)分别为左、右视图中x方向和y方向的梯度2本文算法21 自适应聚合窗口计算固定窗口的局部算法效果与窗口大小有关，窗口选择过小，则匹配代价区分度过低，在低纹理区域容易出现误匹配；反之，若窗口选择过大，在深度不连续区域又会出现较高的误匹配为解决上述问题，本文提出利用相似性区域判决准则来自适应获得各个中心点的矩形聚合窗口，以获得最佳的聚合效果本文用相互正交的水平和垂直扫描线进行分割，以得到某个中心点像素p(x，y)的聚合窗口win(p)若考虑中心点像素周围所有方向上像素对其聚合的影响，得到的自适应窗口大

13、多为非规则的窗口，致使计算复杂度增加为了兼顾匹配代价聚合的精度与复杂度，自适应窗口选择矩形窗口本文根据色彩视差一致性假设提出2个判决准则，以确定某中心点p(z，y)的相似性区域，进而获得聚合窗口左、右、上、下4个端点只、罡、只、只的位置(见图1)图1自适应聚合窗口计算过程示意ng1 F舢e of cm删娟on pmce辎of ad叩6Ve辄pport-而dow以点异的求解过程为例，首先计算中心点左侧某点g(五，M)与中心点py)的色彩差异，即万方数据天津大学学报(自然科学与工程技术版) 第49卷第9期Dc(M)爿，怯(p)一(g)2+V。艇忸，G，斟(1一A)V，(p)一V，(g) (5)式中

14、：五为权衡因子，本文设为08；L(p)、丘(g)分别为中心点及其左侧某点在RGB空间中的像素值；V，(p)、V。，(g)分别为p和g像素点在x方向的梯度式(5)中第l项用于限定g与p的像素差异性，第2项用于限定g与p的梯度差异性本文判定准则可概括如下(1)判定点g是否满足Dc(p，g)y其中y为阈值，本文设为25(2)判定点g是否满足Ds(p，g)善其中，Ds(p，g)=IpgI表示p与g之间的空间距离，善为g的最大搜索范围，本文设为20，防止出现过平滑现象选择满足上述2个判定准则的最左g点作为日的位置同理，分别选择满足上述2个准则的最右点、最上点和最下点作为罡、只和只的位置值得注意的是，当计

15、算只和只的位置时，式(5)中的V。，(p)、V，(g)应改为点p和g在y方向的梯度V，(p)、V。，(g)22 ST描述子的计算sIFT特征描述子是利用特征点邻域图像窗口内梯度方向的统计直方图来构造特征描述向量，该特征描述子对图像的仿射变换具有较强的鲁棒性，为此，本文提出基于SIFT特征描述子来计算自适应聚合权重具体作法如下以某个像素点(x，y)为中心选取88的矩形窗口，计算窗口内每个像素点梯度的幅值和方向，即g(x，y)=，(x+1，y)一，(x一1，y)+，(x，y+1)一，(x，y一1)(6)吣川一an等渊式中：g(x，y)、p(x，y)分别为点(x，y)处梯度的幅值和方向；，(x，y)

16、为点(x，y)处像素值的大小对窗口内每个像素点梯度的幅值利用标准差为l的高斯函数进行加权，其目的是提高中心像素点的权重在每个44的子窗口将图像梯度方向直方图量化到8个平均分配的方向，即将像素点的梯度投影到离其最近的一个方向上，归一化后生成每个像素点的32维SIFT描述子23基于SIFT描述子的自适应权重计算首先提取待匹配图像中每个像素点的SIFT特征描述子，利用其视觉和光照不变性的特点，实现各像素之间相似性测度的计算设win(p)为以点p(x，y)为中心点的聚合窗口，则该聚合窗口内的任意一点p。(，)的自适应聚合权重系数可以通过计算p。与p的SIFT特征描述子的相似性来求解，即二坦垫：垫)二翌

17、!：剑； ：I!：!：!兰：型 ，o、wm=(口e +)e 牙 、07式中：口、为权重因子；s(，)、s(x，y)分别为聚合窗口内像素点p。与p的sIFT特征描述子；忪(，)一s(x，y)I代表L1范数，用来计算2个SIFT特征描述符的相似性；蘸、坑为影响因子，分别控制SIFT特征描述符相似性和像素距离差异对自适应聚合权重影响程度计算获得像素点p(x，y)的自适应窗口及聚合权重后，本文利用权重聚合的方式实现像素点p(x，y)匹配代价的优化，定义如下：C2(训，d)=峋c(训，d) f9)脚5wiII(p) 式中：既为聚合窗口内的某个像素点既(f，)；为利用sIFT描述子计算的某个像素点p，的自

18、适应权重；win(p)为中心点像素p(x，y)基于相似性区域判决准则获得的自适应窗口24本文算法步骤(1)首先利用式(1)计算各点的匹配代价；(2)利用相似性区域判决准则获得各个中心点的自适应矩形聚合窗口；(3)计算图像中每个像素点的32维sIFT特征描述子；(4)利用式(8)一(9)计算窗口内各像素点的聚合权重，并完成匹配代价的聚合；(5)采用WTA策略选取最优视差图，然后采取左右一致性检测(1eft right consistency，LRC)策略进行遮挡检测，利用背景填充法对检测出的误匹配点进行填充，得到最终的视差图3仿真实验结果及对比分析本文选取美国大学Middlebury大学计算机视

19、觉研究中心提供的立体图像数据库：h郇：visionmid-dlebuwed“stereo作为测试图片，该图像库涵盖了容易引起误匹配的各种情况，包含低纹理区域、深度不连续区域、遮挡区域等，以验证本文方法的有效性图2分别为采用RTCensus算法18】、SNcC算法【91、VariableCross算法11、HistoAggr算法19以及本万方数据(g)本艾算法视筹罔图2不同方法获得的视差图效果对比Fig2 Comparison of disparity maps with different methods万方数据982 天津大学学报(自然科学与工程技术版) 第49卷第9期文算法的实验结果，这几

20、种算法均采用LIK策略进行遮挡检测，利用背景填充法对误匹配点进行填充本实验中采用的主要参数的参考值分别设为互，五，I，a，嗔，皖】=60，30，15，o9，o1，2，10】表l是以上几种算法的误匹配率实验数据对比，误差阈值取为1其中Nonocc”、“All”、“Disc”分别表示非遮挡区域误匹配像素比、总体误匹配像素比和深度不连续区域误匹配像素比表1不同算法的误匹配率比较TSuI(1lba图像 Venus图像 Teddy图镬 Cones图像算法 平均误差N0nocc All Disc N0nocc All Disc N0nocc All Disc NonOcc All DiscRTcensus

21、算法 508 625 192 158 242 1420 796 138 203 410 954 1220 973sNCC算法 517 608 217 O95 173 1200 804 111 22，9 357 902 lO70 94lVaria【bleCmss算法 199 265 677 O62 O96 320 975 151 182 628 1270 1290 760HistoAg伊算法 247 271 1110 074 O97 328 831 138 210 386 947 1040 733本文算法 206 28l 979 073 132 306 7_88 129 179 34l 973

22、962 648图2(a)图2(g)从左到右的4幅图像依次是Tsul(uba、Venus、Teddv和Cones从图中可以看出：与几种传统方法相比，本文算法在低纹理区域能够获得更好的匹配效果，如TSul(uba图像的背景墙壁和书架区域，Teddy图像的画布、屋顶部分以及Cones图像的椎体区域等从表1中可以看出：与几种传统立体匹配算法相比，对于4幅图像，本文算法的整体误匹配率均较低，尤其是在深度不连续区域的误匹配率，除了TSukuba图像略高于、嘶ableCross算法以外，其误匹配率都是最低的；在非遮挡区域，本文算法除了Tsul(uba图像和venus图像略高于variablecross算法以

23、外，也都获得了最低的误匹配率从表l和图2中可以看出，I汀Census算法在深度不连续区域处理效果较差，而本文算法可以有效提高深度不连续区域的匹配精度，取得了良好的处理效果4结语本文提出了一种基于SIFT描述子的自适应权重立体匹配算法，利用相似性区域判决准则获得各个中心点的自适应矩形聚合窗口，利用sIFT描述子来计算窗口内各像素点的聚合权重仿真实验结果表明，本文算法在低纹理和深度不连续区域都能获得更准确的匹配效果参考文献：1 GoIlZalez A，G锄jdo M A，Llorca D F，et a1Auto-matic仃amc signs蛐d panels inspection system

24、usingcomputer visionJ上巨EE 7)口月s口c盯D，t，D门砌把盯啦玎fm唧or细f妇斥跏纪ms，20il，12(2)：485-49923456789Saygili G，m Der Maaten L，Hendriks E AFeat旧一based stereo matching using graph cutscmc卯正f咿Q厂彳贮，-Z刚一跚圆砌出veldlloven，Netherlands，2011：16BaIlllo A，Ikeuchi KDisp撕ty map refinement柚d 3Dsurface smoothing via directed aniso圩o

25、pic di蜘sionJ。Comptltersion dnd lmnge Underst口nding，20n，115(5)：611619W抽g Z F，Zheng Z G A region based stereo matchingalgoritl蚰using cooperatiVe叩timization C厄髓co畸erence on computersion册d P口ltem RecogmfjD甩(C愀2008)Anchorage，AK，USA，2008：18Yang QA non-10cal cost ag孕egation method for stereomatchingC皿髓CD咖心

26、一卯。玎C0唧“幼协fo月嬲d忍抛阳 只贸鼹，耋f幻丹(C燃 2012)。 Provide芏lce，RI，2012：14021409王昕，马岩，杨剑，等区域立体匹配算法的实现及改进J光学精密工程，2008，16(10)：20022008W抽g Xin，Ma Yan，Y抽g JiaIl，et a1ImplementationaJld improvement of area based stereo matching algo-rimmJGp打cs册d P陀c括fo行魄折Per棚g，2008，16(10)：20022008(inChinese)De。MaeztIl L，villanueva A，C

27、abeza RStereo matching using gradient simil撕哆觚d locally adaptiVe supportweight J只口抛M RPc9妒fffo甩三P抛瑙， 2011，32(13)： 16431651vel【sler 0Fast v撕able window for stereo correspondence using inte伊a1 imagesC尸rDce础H矽可2003IEEE Comp峨ter Society Co帆，Ice on C0mpHtersion硼d尸口地m尺卿fffD玎Madison，WI，USA，2003，l：I-556-I-5

28、61Einecke N，Eggert JA觚。一stage correlation method for万方数据2016年9月 何凯等：基于sI盯描述子的自适应聚合权重立体匹配算法 983stereosc叩ic deptll estimationC2010砌把M鲥D即口，C0皤irence on Dtgnnt imQge Compunng：1echntqtles册d铆ffc口ffD珊(叫C尉)Sy血ey，NSW，2010：22723410Kang s B，szeliski R，chai JHandling occlusions indense nmlti-view stereoc胁cPe砌秽砌

29、e 2001lEEE Comptlter socie锣Conjirence on Computer yision口船d只口f结埘天Pc卿2If幻投(C愀2001) Kauaj， Ha-waii，200l，1：I一103一I一11011zhang K，Lu J，La劬it G cross-based local stereomatching using orthogonal ime铲al imagesJ上啪Tr口nsacnons on Circtlits肼d Syslems fbrdeo Technolo，2009，19(7)：1073一107912Mattoccia S，Giardino s，

30、G锄bini AAccurate ande伍cient cost ag伊egation s缸ategy for stereo correspon-dence based on印pmximated joint bilateral filtering她|Comp珏把r职sionACCy：9lh Asi8n Co强毵，eHce onCD聊“胞r胁国nXiaJl，China，2009：37138013岳斌，侯春萍立体视差调整的快速估计方法J天津大学学报：自然科学与工程技术版，2013，46(7)：571578YUe Bin，Hou ChunpingA rapid stereo disparity ad

31、-justIIlent estimate methodJ如“M日，Q厂砌嘭加踟fve卜sf纱：-f8聍cP口，ld死c厅力ofogP，2013，46(7)：571578(in Chinese)14Joglekar J，Ged锄S S，Mohan B KImage malchingusing SIFT fcatures and relaxation labeling tectllliqueAcons虹_aint initializing me廿lod for dense stereo matchinglnIEEE TrdnsnonS on Geoscience nnd Remote sens以g

32、，2014，52(9)：5643565215周龙，徐贵力，李开宇，等基于census变换和改进自适应窗口的立体匹配算法J航空学报，201233(5)： 886892Zhou Long，Xu Guili，Li Kaiyu，et a1Stereo match-ing algorithm based on Census虹ansfbm and modifiedadaptiVe windowsJ4cf口4P，D门口“f把口Pf爿Jfm门口“fica。蜘泐，2012，33(5)：886892(in Chinese)16赖小波，朱世强基于互相关信息的非参数变换立体匹配算法J浙江大学学报：工学版，2011，4

33、5(9)： 16361642Lai Xiaobo，Zhu ShiqiangMutIlal infomlation basednonpar锄emc仃ansfom stereo matching algorithmJJoumnl可zhejinng Univers毋：Engine口讯g science，2011。45(9)：16361642(in Chinese)17DeMaeztu L，villallueva A，cabeza Rstereo matching using gradient simil碰哆afld locally adaptive suppon-weight JP口f把删 尺PcD

34、g，2埘o，2 Pf把坶， 20 11，32(13)：1643165118Humenbe玛er M，ziIIller c，w曲er M w，et a1A fhststerco matching algorithm suitable for embedded real-time sytemsJG9唧“招，胁面玎口”d如fqge踟比卜s幼砌豫，2010，114(10)：1180-120219Min D，Lu J，Do M NA revisit t0 cost aggregation instereo matching：How f打can we reduce its computational redundancv?C2011坦磁如据黝f幻投厦。拧一启陀玎ce D玎C0唧“衙胁fD柏CC功Barcelona， Spain，2011：1567一1574(责任编辑：赵艳静)万方数据