基于机器视觉的农业机器人运动障碍目标检测.pdf

《基于机器视觉的农业机器人运动障碍目标检测.pdf》由会员分享，可在线阅读，更多相关《基于机器视觉的农业机器人运动障碍目标检测.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2 0 1 1年8月 农业机械学报 第42卷第8期基于机器视觉的农业机器人运动障碍目标检测周 俊 程嘉煜(南京农业大学工学院，南京210031)【摘要】 在农业移动机器人平台上运用机器视觉技术检测作业环境中是否存在运动障碍目标时，机器人自身运动会与障碍目标运动叠加在一起。为此，首先在移动机器人平台上连续采集两帧图像，提取其特征点并加以匹配；然后应用双线性模型描述对应特征点在图像之间的运动特性，并用最小二乘法对模型参数进行最优估计，得到两帧图像之间的变换矩阵；最后利用此变换矩阵补偿前帧图像来消除机器人自身运动的影响，再与后帧图像作帧差，在线检测出运动障碍目标。实验结果表明，该方法仅依据图像信息即

2、可有效地检测出农业机器人导航环境中存在的运动障碍目标。关键词：农业机器人机器视觉运动障碍导航中图分类号：TP2426+2 文献标识码：A 文章编号：1000-1298(2011)08-0154-05Moving Obstacle Detection Based on Machine Vision forAgricultural Mobile RobotZhou Jun Cheng Jiayu(College ofEngineering，Nanjing Agricultural University，Nanjing 210031，China)AbstractThe robotic egomoti

3、on and the motion of moving obstacle were overlapped when an agriculturalmobile robot need to detect the moving obstacle based on machine visionSo two images were taken fromthe mobile robot and the Harris feature points were extracted and matchedThen a bilinear model wasapplied to model the movement

4、 between the two images，and a least square optimization method was usedto calculate the model parametersA transformation matrix was obtained with this model to compensatethe first image to eliminate the effect of the ego-motion of the mobile robotFinally，a frame differencebetween the compensated ima

5、ge and the second image was earried out to detect the moving obstacle in theenvironmentExperimental results showed that this algorithm could eliminate the image movement causedby the egomotion of the mobile robot，and the moving obstacles were able to be detected effectively withmachine vision for th

6、e agricuhural mobile robotKey words Agricultural robot，Machine vision，Moving obstacle，Navigation引言目前，室外移动机器人导航避障较多是针对静止障碍物。，但实际农业生产环境中不仅有静止障碍物，也存在着大量运动障碍物。确定作业环境中的障碍物是否运动、计算其运动参数对保证农业机器人作业安全、优化其作业路径具有重要意义。运用机器视觉方法检测环境中的运动目标目前大多在室内条件下进行，且多为静态背景或者跟踪目标已知嵋1，检测过程中相机始终或在某一段时间内处于静止状态旧1。但当相机置于移动机器人载体上时，由于在检

7、测过程中载体和障碍这两种独立运动的相互叠加，如果简单使用通常的帧差或背景差分法。，便会出现误检或漏检现象，即移动机器人自身的运动可能导致将原本静止的障碍物体判定为运动，从而影响机器人后续的行走决策。为了克收稿日期：20101020修回日期：2011032l+国家自然科学基金资助项目(31071325)和江苏省自然科学基金资助项目(BK2010458)作者简介：周俊，教授，主要从事农业机器人、机器视觉与模式识别研究，Email：zhoujunnjaueduca万方数据第8期 周俊等：基于机器视觉的农业机器人运动障碍目标检测 155服机器人载体自身运动对运动障碍检测的影响，Shih Ming Yu

8、等”o采用改进光流法Sanae Shimizu等”1使用全方向立体摄像机系统对视差图进行自运动补偿，但计算都比较复杂。本文首先通过提取相邻时刻采集的两帧图像特征点并加以匹配，得出二者之间的运动关系，补偿因机器人自身运动导致的图像背景像素移动，最后应用帧差法分离出运动的前景障碍目标。1机器人自运动补偿假设在t一1时刻，机器人运动到(z，Y)位置，通过相机采集到一幅图像Pl。在t时刻，机器人运动到(x+Ax，Y+Ay)位置，通过相机采集到该时刻图像P2。如图1所示。但是由于这两幅图像处于不同的坐标系下，所以无法直接进行比较。因此需要对图像P1进行大小为(Ax，Ay)的机器人自运动补偿，使得补偿后的

9、图像P1坐标与图像P2一致，即补偿后的图像Pl看上去是在(z+Ax，Y+Ay)位置上获得的。这就需要对图像P1进行坐标变换，以消除机器人自身运动(Ax，Ay)造成的P1中的像素移动。帧差t时刻图像 k皑 丽剩d图1 移动机器人运动障碍目标检测框图Fig l Moving olastac|e detectior、for a mobile robot当机器人和障碍目标都静止不动时，对应的相同特征点在两幅图像中的坐标必然一致。那么，当对应特征点在两幅图像中的坐标存在差异，就必然是由机器人自身或是目标运动造成的。其中，机器人运动引起的是图像背景整体运动，而障碍目标移动只会造成图像的局部运动。因此，可以

10、选用合适的模型描述机器人自身运动引起的图像背景整体运动特性，然后利用对应特征点之间的图像坐标运动关系求取模型参数。有了此模型之后，就可以对P1中的像素坐标进行补偿，隔离机器人自身运动的影响，使之看上去是机器人在P2位置上采集的。图像特征点提取和匹配技术在机器视觉领域中研究较多。其中Harris角点检测算子是对Moravec算子的改进，检测错误率降低，并且在噪声图像中表现优秀”“1。因此，这里采用Harris角点检测算法提取图像特征点，并对相邻采集的两帧图像的特征角点进行匹配，最后利用对应特征点坐标值的改变量来计算两帧图像之间的运动关系。11 Harris角点提取与匹配Harris角点检测中，首

11、先对图像每个像素点计算局部自相关矩阵r(x，Y) f，(，Y)，(x，Y)w3lt(*，Y)(z，Y)”，；(z，Y)o” J(1)式中”高斯窗函数，I(z，Y)、，(z，Y)某像素点在z、Y方向的梯度其中。表示像素点局部高斯窗函数加权和。然后设矩阵|lf的特征值为，、A：，如果这两个特征值都是小的，则该区域为平坦区域；如果一个特征值大，而另一个小，则显示这是边缘线；如果两个特征值都比较大，则说明这是一个角点。为了避免矩阵特征值求解的繁琐计算，使用Trace(肼)=Al+2 (2)Det(M)=A，A 2 (3)计算jlf的迹和行列式，以此定义角点函数R=Det(M)一kTrace(M)。 (

12、4)k是随高斯窗函数和微分模板变化的变常量，一般取004006，这里取005。当R大于某一阈值且在某邻域内取得局部极值时，则标记该点为候选角点。图2所示为相邻时刻采集的两帧图像Harris角点检测结果。图2 tL、t时刻两帧图像角点提取Fig 2 Corner detection of tWO images sampled at timetl and图像角点检测后需要对角点进行匹配，以找到角点之间的对应关系进而来估计图像运动。由于角点检测的误差匹配算法需要抗噪性强，具有较高鲁棒性。首先，在两帧图像中分别任取两特征角点J，和J(i=1，2，“；J=1，2，n)的大小为W x W的邻域A和曰，于是

13、二者之间的相关系数为C，=(A。 A)(B。一B)酽口(A)口(B)式中AB。区域A、B中某一像素值万、百区域A、B中像素均值(5)万方数据156 农业机械学报盯(A)、盯(B)标准差，描述了角点邻域像素值之间的相似性形区域大小但是真正对应的角点应该出现在两帧图像平面大致相同的空间位置，所以还需要用角点图像坐标之间的距离对式(5)的相关系数加权，并归一化到0，1区间，得到矩阵G，即G沪半e-r弘一 (6)其中 r。，=0，i一，川式中 r。两个特征角点之间像素坐标欧氏距离矿参数，用来控制距离加权的作用强度这里由于两帧图像采集时间间隔短，相互之间运动量小，本文中盯取为图像高度的18。最后，为了更

14、好地突出相匹配的特征点、抑制非对应特征点，对G进行奇异值分解G=TDU (7)其中r、u均为正交矩阵，D为对角阵。将D中对角线元素值不为零的元素值置1，得到矩阵E，进而得到矩阵P为P=TEU7 (8)矩阵P和G具有相同的形状，每行元素的平方和被标准化为1。如果P。既是其所在行的最大值，也是所在列的最大值，则特征点，i和-，为匹配点，否则不完全匹配。12转换矩阵求解在一1和t时刻采集两帧相邻的图像，提取图像特征角点并进行匹配，这样可以获得一系列匹配的特征角点对(，)，它们是建立两帧图像之间运动变换模型的基础。描述两帧图像之间的运动一般有仿射模型、双线性模型和透视模型等。机器人在地面上的运动包括平

15、移和旋转。如机器人向前运动时，固定在其上的摄像机采集图像时，图像中心的特征像素点将会比图像边缘的特征像素点运动慢，这种运动就需要用透视模型描述。但在应用中，如果选用高度非线性的透视模型来描述图像运动，那么当所选择的特征点恰好落在运动障碍目标物体上时，则会容易出现图像局部过度拟合的问题，不能真实反映图像背景的整体运动。因此，考虑到两帧图像采集时间间隔短，并且避免出现过拟合，这里选用了相对简单的双线性模型来描述机器人自身运动引起的图像像素点运动，即：；=。i。，：一，。；，。e一。口。口，。，：t-一I，t-一104 1 t。c9，lJ l 。1+口，。1+口。+口，f一，叫j、式中、一1时刻某特

16、征的并、)，坐标ao、0c】、Ot7系数构成两帧图像之间的转换矩阵r，将用以补偿机器人自身运动造成的图像背景整体运动。当然，由于描述模型的简化处理，会给补偿过程引入一定的误差。在选定图像运动模型后，使用最小二乘法求取该模型中的参数。在匹配的特征角点对中，用所有的。1特征点构建输入矩阵x，用对应的FI特征点构建向量y，有X=氏、气j 1 f,7气、f：、f；： 1；：f：、： ! ： !j：1 fZ、 1 f：jf：、(10)式中1、_1一1时刻图像中提取第n个特征点的石、Y坐标Y=凡允屯笼，f：患式中f。、，时刻图像中提取第n个特征点的菇、)，坐标根据最小二乘法，则转换矩阵T=(X7X)一Xy

17、 (12)需要强调的是，因为在两帧图像之间导致像素点运动的原因中，不仅有机器人载体的自身运动，而且还包含运动障碍物的独立运动，其中障碍物的运动会影响转换矩阵的求解精度，所以在确定转换模型参数时，需要把与运动障碍物相关的特征点剔除。这里使用如下迭代方法来逐步滤除与运动障碍物相关的特征角点：(1)先使用从两帧图像中提取并成功匹配的所有特征角点，求取初始转换矩阵L。(2)将所有正确匹配的特征点分为与图像全局运动相关的点集F。以及与障碍物运动相关的点集F。两类，则某特征点z净竖IL-。、TO一川妇(13)zk。(其他) 式中8固定阈值(3)使用属于点集Fi。的特征点重新计算转换矩阵，这样迭代几次，当点

18、集F；。中特征点稳定后，就得到最终描述两帧相邻图像运动的转换矩阵r。这种方法实际上假设了检测到的归类于点集F。的与障碍物相关的特征点数远小于图像背景区域，并且这些障碍目标相关特征点的运动与机器人万方数据第8期 周俊等：基于机器视觉的农业机器人运动障碍目标检测 157自身运动所引起的图像背景全局运动不一致。这两种假设条件，对于农业机器人自主导航而言。大多数情况下是成立的。2运动障碍检测转换矩阵求取后就可补偿由于机器人自身运动导致的图像像素点移动。对t一1时刻图像，。1(x，y)中的每一个像素点进行如下转换，得到机器人自运动补偿后的图像。t(z，y)=。1(*，Y) (14)即 阶E：习 (15)

19、以行人作为运动障碍目标，任意选取两个不同的室外导航场景为例作实验验证。在机器人自主运动过程中，于f一1和t两个时刻采集图像(图3、4)。在帧差计算前，首先用转换矩阵r将t一1时刻采集图像转换到t时刻(图5)，来消除机器人自身运动引起的图像背景像素整体移动。图4 t时刻采集的两帧图像Fig 4 Two images sampled at time通过图5可以看出，机器人的前向平移和航向变化所导致的图像背景运动被消除。坐标转换后的图像比原图像小，这是因为经过转换后原图像中的像素获得了新的坐标，位于原图像边缘的像素点偏移到图像内，所以在转换后的图像产生了黑边。另芦碍图5补偿处理后tl时刻的两帧图像F

20、ig 5 Twoimages sampled attimet一1 withcompensation treatment外，原图像中的一些像素点转换后超出了图像显示区域而被删除。这里将转换后的图像区域定义为y，则帧差图像为，。cz，=：。7一。l ：冀譬；5”(16)图6、7将自运动补偿前、后的帧差图进行对比。图中把部分对比明显的区域用白色方框指示出，可以发现，由机器人自身运动产生的图像背景像素全局移动已经被基本消除，比如左图路面上的隔离缝，以及右图中房屋上铁门之间的垂直墙壁等。而人作为导航环境中存在的运动障碍目标，在补偿后的帧差图中，由于其移动不同于机器人自身运动，重影被更加突出。图7 自运动

21、补偿后的帧差图Fig 7 Frame difference with compensation of robot egomotion由于图像存在噪声，以及图像运动描述模型、特征角点提取和匹配等环节存在误差，所以从图7帧眄镬墨焉噶一万方数据农业机械学报差图中可以看到，图堡声景中也含享一些误检的运动目标点。但是，帧差图中真正町运动障碍目标点及该点邻域像素都会相对干扰点具有更大的取值。因此对补偿后的帧差图进行二值化处理，如图8所示。图8帧差图二值化结果Fig8 Binary processing of frame difference images在图8的基础上结合图像形态学方法，依据目标区域大小和

22、形状来检测运动障碍，这和通常的视觉障碍检测类似，不再赘述。结果如图9所示，可以看出，运动障碍物已经能够被在线检测出来。实验中采集的图像大小为320像素240像素。反复验证后发现，当匹配点数增加时可以提高图像的补偿精度，减少补偿后帧差图像中的干扰点，但是这会使计算量增加，降低了系统实时性。经过多组数据测试分析，最后选择匹配点数在60个左右。这样整个算法执行时间约为250 m8，基本满足了图9运动目标检测结果Fig9 Results of moving obstacle detection农业移动机器人导航实时性要求。3结束语实际的农业移动机器人导航环境中不仅有静止的障碍，而且存在着大量的运动障碍

23、。因此，针对农业移动机器人在自主导航运动中检测运动障碍目标问题，本文先依据视觉图像信息对机器人自身运动引起的图像运动进行补偿，而后再应用通常的帧差法来检测运动障碍目标。实验结果表明，该方法能够于机器人运动过程中在线检测运动障碍目标，也可以满足机器人导航实时性要求。但算法在匹配精度、图像运动建模、实时性等方面还可以继续改善。当具备了障碍目标的运动状态信息，就可以进一步优化移动机器人自主导航避障过程。参考文献1汪明磊陈无畏，王檀彬，等基于分层传感器信息融合的智能车辆导航J农业机械学报，2009，柏(1I)：165169Wartg Minglei，Chen Wuwei，Wang Tanbin，et

24、a1Navigation study for intelligent vehicle based on layered sensor informationfusionJTransactions ofthe Chinese Societyfor A面culturalMachinery，200940(11)：165169(in Chinese)2张正涛，徐德基于智能摄像机的高速视觉系统及其目标跟踪算法研究J机器人，2009，31(3)：229234Zhang Zhengtao，Xu DeHigh-speed vision system based on smart camera and its

25、target tracking algorithmJRobot，2009，31(3)：229234(in Chinese)3祝琨。杨唐文基于双耳视觉的运动物体实时跟踪与测距J机器人，2009，31(4)：327334Zhu KunYang TangwenReal-time tracking and measuring of moving objects based on binocular vision【J】Robot，2009。3l(4)：327334(in Chinese)4刘伟王建平一种移动机器人对运动目标的检测跟踪方法J】计算机技术与发展，2009，19(4)：105108LiuWei

26、tWang JianpingA method of moving object detection andtracking ofmobile robotJComputer Technology andDevelopment2009，19(4)：105108(in Chinese)5李毅孙正兴一种改进的帧差和背景减相结合的运动检测方法J中国图像图形学报，2009，14(6)：11621168Li Yi。Sun Zhengxing An improved method for motion detection by frame difference and background subtracti

27、onJJournalofImageand Graphics，2009，14(6)：11621168(in Chinese)6 Shih MingYuFu Bwo ChauRobustmoving object detection onmoving platformsBLecture Notesin Computer Science，2006，4319：5916007 Sanae ShimizuKazuhiko Yamamoto，Hideki Tanahashi，et al Moving ohject detection by mobile stereo omni-directionalsyst

28、em(sos)using spherical depth imageJPattern Analysis and Applications，2006，9(2)：1131268曹晓光，徐琳基于角点检测的高精度点匹配算法J仪器仪表学报，2006。27(6)：1 2691 271Cao Xiaoguang，Xu LinPoint matching algorithm with high accuracy based on corner detectionJChinese Journal ofScientific Instrument，2006，27(6)：1 2691 271(in Chinese；)9张玉然，张雨东一种用于图像拼接的角点匹配算法J光电工程，2008。35(I)：100104Zhang Yuran，Zhang YudongMethod of corner matching used in image registrationJOptoElectronic Engineering，200835(1)：100104(in Chinese)万方数据