基于姿态阈值滤波的单目视觉农业机械定位方法-黄沛琛.pdf
《基于姿态阈值滤波的单目视觉农业机械定位方法-黄沛琛.pdf》由会员分享,可在线阅读,更多相关《基于姿态阈值滤波的单目视觉农业机械定位方法-黄沛琛.pdf(8页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、CN 431258TPISSN 10071 30X计算机工程与科学Computer Engineering&Science第40卷第1期2018年1月V0140,No1,Jan2018文章编号:1007-130X(2018)01-009308基于姿态阈值滤波的单目视觉农业机械定位方法黄沛琛12,罗锡文12,张智刚12,刘兆朋12(1华南农业大学工程学院,广东广州510642;2华南农业大学南方农业机械与装备关键技术教育部重点实验室,广东广州510642)摘要:精确定位是农业机械实现自动导航的重要前提,提出了一种基于单目摄像机的导航定位算法。算法通过对捕获的每帧图像进行特征点检测与跟踪,基于3D
2、-2D特征点配对方法,还原了车辆行驶过程中的姿态信息。同时,假设车辆前方小区域近似平坦,摄像机离地高度近似固定不变,算法实时求解车辆位移的绝对尺度因子,配合姿态阈值滤波器,对所求姿态信息进行在线修正。实验选择在三种不同的场景进行,以RTKGPS定位数据作为对比,三种场景的平均相对位置偏差分别为5459 9、8373 1、6443 94,三种不同场景的航向角变化平均值分别为7717 7。、5738 9。、3438 3。结果表明算法可实现农业机械的自动定位,在短距离范围内具有一定的可靠性。关键词:定位;机器视觉;农业机械;阈值滤波中图分类号:TP3914 文献标志码:Adoi:103969jiss
3、n1007130X201801014Monocular vision gricultural machiJnocularVISion agricultural macIiinelocalization based on pose threshold filterHUANG Peichenl2,LUO Xiwenl2,ZHANG Zhigan912,LIU Zhaopen912(1College of Engineering,South China Agricultural University,Guangzhou 510642;2Key Laboratory of Key Technology
4、 on Agricultural Machine and Equipment,Ministry of Education,South China Agricultural University,Guangzhou 510642,China)Abstract:Precise localization is an important premise of autonomous navigation for agricultural vehiclesWe propose a localization algorithm based on monocular cameraAfter features
5、are detected andtracked through multiple frames,vehicle poses are estimated based on 3D-2D correspondenees Furthermore,the translation absolute scale is calculated based on the assumption that the ground patches are locally flat and the camera is moving at a known and fixed height over the groundFin
6、ally,the poses arerefined by the pose threshold filterCompared with the RTKGPS data,the average relative position errors of the three different experimental terrains are 5459 9,8373 1and 6443 94,and the average heading errors are 7717 7。,5。738 9。and 3438 3。The results show that the algorithm is feas
7、iblefor agricultural vehicles localizationKey words:localization;machine vision;agricultural machine;threshold filter1 引言自动导航是实现农业机械智能化的核心问题之一,定位是实现自动导航的基础性难题。目前,GPS、激光雷达与机器视觉是农业机械自动导航定位研究的三大热门嘲。GPS定位精度高,但其会因障碍物遮挡而导致定位精度下降甚至丢失* 收稿日期:20151卜26;修回日期:2016-0422基金项目:“十二五”国家科技支撑计划(2011BAD20806)通信地址:510642广
8、东省广州市华南农业大学工程学院南方农业机械与装备关键技术教育部重点实验室Address:KeY Laboratory of Key Technology on Agricultural Machine and Equipment,Ministry of Education,South China Agricuhural University,Guangzhou 510642,Guangdong,PRChina万方数据94 Computer Engineering&Science计算机工程与科学2018,40(1)信号,如林业和果园环境3。7。激光检测技术测量精度高,能以较高频率提供准确的距离信
9、息,但设备成本高,且探测范围有限81引。机器视觉技术凭借其探测范围广、获取信息完整、成本低等优势,成为目前国内外应用较多的机器人定位方式131 9I。机器视觉定位是一个仅利用单个或多个相机的输入信息估计物体的运动信息的过程。根据所使用的相机数目可分为单目视觉定位和立体视觉定位。由于立体视觉可通过固定和已知的基线提供深度信息,容易确定位移绝对尺度因子,因此大部分的机器视觉定位研究集中在立体视觉定位rz。Nister等人2u利用随机抽样一致RANSAC(Random Sample Consensus)迭代提纯,实现了鲁棒的视觉运动估算。Olson等人口23利用定位信息限制特征跟踪的搜索范围以提高跟
10、踪精度,并利用极大似然方法求解运动估计,在20 m的道路上获得了12的相对位置误差。Siinderhauf等人23将稀疏光束平差法SBA(Sparse Bundle Adjustment)扩展运用于立体视觉定位中,在初始三维模型和相机运动未知的情况下,对左右立体图像对中获取的特征运用滑动窗口(Sliding Window)方法,结合简单的运动阈值滤波完成运动估计。Zhang等人243利用单目视觉与轮式里程计相结合,采用转向模型分别还原旋转姿态和位移姿态,实验结果显示,平均误差低于1。许允喜等人25提出了立体视觉采用微粒群优化的初始运动估计和内点检测新方法对车体进行运动的估计。王亚龙等人2印针对
11、移动服务机器人在未知环境下三维路径估计的问题,设计了一种基于Kinect摄像机的实时估计机器人运动轨迹的方法,文献所提出的方法可将视觉定位误差降低至31。夏凌楠等人心73则采用惯性传感器和立体视觉信息融合实现机器人定位。对于立体视觉,当物体距离远大于基线时,立体视觉近似于单目视觉。因此,只有在合适范围内的物体特征,立体视觉才能提供比较精确的景深信息。同时,立体摄像机参数校正过程较单目摄像机复杂,而摄像机参数校正的精度在很大程度上影响机器视觉定位算法的精度。相比之下,单目摄像机具有成本低、参数校正过程容易和校正精度高的优点,但其最大的缺点是缺少位移绝对尺度。近年来研究指出,加入一定的约束和假设条
12、件,可以恢复其绝对尺度,如利用轮式车体运动的非完整性约束心叩以及利用车体运动在平坦地形上的假设等2 9|。本文通过对捕获的每帧图像进行特征点检测与跟踪,基于特征点配对,还原农业车辆行驶过程中的姿态信息。同时,通过假设车辆前方区域近似平坦,摄像机离地高度近似固定不变,实时修正车辆位移的绝对尺度因子,配合姿态阈值滤波,对车辆姿态信息进行在线修正。实验以实时动态全球定位系统RTKGPS(RealTime Kinematic GlobalPositioning System)定位数据作为对比,选择在三种不同的场景进行检测。2单目视觉定位算法21特征点检测与跟踪由于blob和corner算子具有特征点位
13、置计算精确的优点,本文对采集的每帧图像分别采用5*5模板的blob滤波器和corner滤波器进行滤波。对滤波后的图像采用非最大值抑制算法产生后续配对的候选特征点3。为确保计算效率,每帧图像提取候选特征点不超过l 000个。给定两个提取的特征点,对其的11*11区域范围内Sobel算子水平滤波和垂直滤波后的响应采用绝对差值总和SAD(Sum of Absolute Differences)公式进行区域匹配。一旦SAD计算出现最小值,则成功获得最优匹配特征点对。图1为连续两帧图像特征点匹配后在k一1图像帧中显示的结果,匹配特征点数目为858个,特征点检测时间为13 ms,特征点眄配时间为21 ms
14、Figure 1 Feature matching results图1特征点配对结果22车体姿态估算本文计算农业车体姿态包括车辆的平面位置信息和航向角。算法分成两步,对于初始采集的前两帧图像采用2D-2D特征点配对方法计算车体姿态与重构特征点的三维坐标;对于第三帧开始的图像序列,则采用3D-2D特征点配对方法计算姿态与重构特征点的三维坐标。(1)对于已标定内部参数的摄像机,可以通过本质矩阵E描述两帧图像J卜。与J。之间的几何关万方数据黄沛琛等:基于姿态阈值滤波的单目视觉农业机械定位方法 95系:E一艋女R。 (1)其中,A为标量,t。一。,t。,:T,;。=f o叫z 叫:0 一t。l,“和R
15、。分别为第是一1帧图l一 。 o j像转换至第k帧图像的位移向量与旋转矩阵。由计算机视觉中两个摄像机的极几何限制理论可知,两帧图像匹配的特征点对应满足等式p竹Ep一0,其中,p 7为I;图像中的特征点归一化坐标,p为对应JH图像特征点归一化坐标。在已获取两帧图像匹配特征点坐标的情况下,本文采用八点算法计算本质矩阵口。在获取本质矩阵E后,对矩阵进行分解,取得有效的f与R。由于从第三帧图像开始采用3D-2D特征点配对方法求解车体的姿态,因此需重构前两帧图像的配对特征点三维坐标。记前两帧图像的摄像机矩阵分别为P一(c1 c2 c3)T,P7一(c71 c 7 2 c73)T,其中,c1,c2,c3,
16、c“,c“,c7 3分别为P=R f和P7一R 7f7的三个行向量。若p一(“,u,1)一p 7一(“7,u7,1)是一对特征匹配点,则根据三角原理,与特征匹配点对应的三维空间点x的齐次坐标是下述方程的解:X一0 (2)求解此线性方程可以确定空间点x,但实际求解过程中往往会因图像噪声、摄像机的校正误差、特征点检测与匹配的不确定性而引入误差,空间点的三维重建转变为形如xr(p,p 7,P,P7)的最优值问题求解。本文采用Shewchuk321提出的算法求解三维特征点坐标。(2)对于第三帧开始的图像序列,采用3D-2D匹配的特征点对x川一p。进行摄像机位姿估算。问题可转化为求解arg min乏:J
17、jp:一po,J|的最优T1值,其中,p0,为三维空间点xt。通过摄像机姿态转换矩阵瓦一。一f心!_1 “:_1反投影至I;图、0 l ,像的二维坐标,i为特征点序号。本文采用MorenoNoguer3胡提出的算法求解姿态。一旦计算出新的摄像机姿态,则采用三角原理重构新的3D特征点坐标并添加至已有的3D特征点集合中,为后续姿态的计算所用。车体姿态估算步骤总结如下:获取王H,I图像帧;提取并匹配两帧图像的特征点;重构IH,J卜。图像帧的配对特征点三维坐标;获取图像帧J。;提取特征点并与I卜,进行匹配;对3D-2D匹配的特征点采用PnP(Perspective一11一Points)算法求解摄像机姿
18、态;重构JH,L图像帧的新配对特征点三维坐标;重复步骤;23定位姿态修正在实际应用中,由于图像噪声、图像模糊或车辆震荡等原因会造成特征点检测出现不精确,从而导致错误匹配的无效特征点,称为外点(Outlier)。一旦出现外点,即使数目很少,计算得到的姿态结果也会与真实值有很大的偏差,因此需要识别外点,确定有效的特征匹配点对,称为内点(Inlier)。本文采用RANSAC较常用的处理外点方法;同时,本文采用稀疏光束平差法SBA(Sparse BundleAdjustment)软件包实现摄像机估算位姿与重构的三维坐标实时局部最优化3“。单目视觉的校正难度低于立体视觉,有利于降低相机校正过程引入的误差
19、对最终的定位精度造成的误差影响。然而采用单目视觉设计定位算法的困难在于缺少绝对尺度,在模型求解过程中,会出现尺度因子的模糊性。因此,在设计单目视觉定位算法时,需加入一定约束条件和假设。本文采用Kitt等人3钉提出的方法求解单目视觉定位算法过程中的绝对尺度。该算法假设车体行进过程中前方一小块区域是近似平坦地形,同时摄像机在移动过程中离地垂直高度近似固定不变,从而对绝对尺度加以约束。算法首先在所有重构的三维坐标中筛选属于车辆前方小区域地面的三维坐标点,采用式(3)确定绝对尺度因子S:靠一(1一口)Sl+ahH: (3)式(3)求解的尺度因子包含对之前的尺度因子的时间平滑和空间平滑处理。其中,权重系
20、数ao,1,实验中取值为08,H;为车辆前方一小块地面区域所有重构的3D点y轴坐标的均值,如图2所示。h为初始状态摄像机距离地面的测量高度。采用式(4)和式(5)分别对滑动窗口里面的图矿一口拍1u1口一一一一一一九n万方数据96 Computer EngineeringScience计算机工程与科学201 8,10(1)像帧位移向量和重构的三维点进行修正:ti一5女(tits)+ts (4)墨一5I(xj+(R:)ti)一(R。)t, (5)其中,iS,k,S为滑动窗口中最早的关键帧序号。N 【。 州Figure 2 Camera coordinate system图2摄像机坐标系Kitt算法
21、研究的背景是基于车辆在平坦的马路上行驶,但实际果园的道路并非平坦,而且地面会出现凹凸不平的现象,导致摄像机离地高度近似固定不变的假设不能一直成立,最终会导致定位的航向角或位移向量产生较大的偏差,如图3所示,其中一为视觉定位算法估算的轨迹,一为实际RTKGPS定位的位置信息,纵轴Z为车辆前进方向行走距离,横轴X为车辆左右方向行走距离。经分析,车辆在接近14 m处由于地面不平坦造成车辆颠簸导致定位发生漂移现象,该漂移偏差会累积在后续的轨迹中。图4为采用视觉定位估算相邻两帧的航向角变化量绝对值,由图中能更清晰地观察到,在第2223帧图像处,相邻两帧航向角度变化约74。,失去了对实际车辆航向角变化的跟
22、踪能力。全局光束平差法能有效降低此误差,但计算量大,不能满足系统的实时性要求,一般作为离线优化方法。本文提出一种简单直观的解决方法一姿态阈值滤波。该方法假设实际车辆行走的轨迹总是缓慢变化,该假设符合一般农业车辆自动跟踪导航作业情况。在此假设下,相邻两帧图像估算的车辆航向角度变化量,行走距离变化量不应超过一定阈值,滤波器约束条件如下:headingtheadings_1呀 (6)Idist女一dist卜l I艿 (7)式(6)为姿态阈值滤波器的航向角滤波条件,式(7)为位移向量的滤波条件,叩和艿为预设的阈值,需根据实际行走地形设定。一旦估算的姿态不符合以上两个滤波条件之一,则该估算姿态无效并忽略
23、当前图像帧,重新捕获下一帧图像进行姿态估算。一旦连续5帧图像都无法满足滤波条件时,则认为视觉定位出现较大误差,算法停止。图5为采用本Figure 3 视觉定位轨迹与RTKGPS轨迹对比图图3 Comparison between visual localization and RTKGPSvo航向角变化绝对值80 rr一70囊烈Figure 4 Absolute value of headingchange estimated by localization图4视觉定位估算的相邻航向角变化绝对值文方法修正后的视觉定位轨迹和RTKGPS定位轨迹对比图,姿态阈值滤波器有效抑制了漂移现象。本文在后续
24、实验中将此方法整合至系统,对视觉定位轨迹进行实时修正。翟:熟N:;0。、n标m1Figure 5 Comparisonetween refinedvisual localization and RTKGPS图5修正后视觉定位轨迹与RTKGPS定位轨迹对比图3实验结果与分析实验选择在华南农业大学校园内三种不同路面上进行(如图6场景1场景3所示)。场景1为空旷平坦的人造草坪标准操场;场景2为地表覆盖杂草、部分土壤裸露的草地,带有较多坑洼,单边种植景观树,树高约35 m,株间距5 m;场景3主“o万方数据黄沛琛等:基于姿态阈值滤波的单目视觉农业机械定位方法 97干道为沥青地面,道路平均宽度为41 m
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 姿态 阈值 滤波 目视 农业机械 定位 方法 黄沛琛
限制150内