基于光照无关图的农业机器人视觉导航算法.pdf

《基于光照无关图的农业机器人视觉导航算法.pdf》由会员分享，可在线阅读，更多相关《基于光照无关图的农业机器人视觉导航算法.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第25卷第ll期208 2009年 11月农业工程学报Transactions of the CSAE、，0I25 No1lNov2009基于光照无关图的农业机器人视觉导航算法安秋，李志臣，姬长英，周俊(南京农业大学工学院，南京210031)摘要：完成沿作物行的行走作业是农业机器人视觉导航系统的一个基础功能，但是由于田问环境的复杂性，比如阴影的存在和天气的恶劣变化等外界因素的影响使导航参数的提取变得困难。该研究针对农业机器人视觉导航中存在的阴影干扰问题，采用基于光照无关图的方法去除导航图像中的阴影，然后采用增强的最大类间方差法进行图像分割和优化的Hough变换提取作物行中心线，最终通过坐标转换

2、获得导航参数。最后，通过作物行跟踪试验表明，基于光照无关图的阴影去除方法不仅满足了导航实时性的要求，而且使农业机器人在光照变化的情况下导航参数提取的鲁棒性有了更大的提高。关键词：机器视觉，农业机械，自动导航，光照无关图doi103969jissn10026819200911037中图分类号：TP2423 文献标识码：A 文章编号：10026819(2009)一1l一020805安秋，李志臣，姬长英，等基于光照无关图的农业机器人视觉导航算法J】农业工程学报，2009，25(11)：208-212An Qiu，Li Zhichen，Ji Changying，et a1Agriculmral rob

3、ot vision navigation algorithm based on illumination invariant imageJTransactions ofthe CSAE，2009，25(11)：208-212(in Chinese with English abstract)0引言农业机器人的田间视觉导航研究得到重视，成为探索在农业机械装备中应用智能控制等高新技术研究的一个重要方向。农业机器人需要完成连续的田间导航作业，其中一个基础的任务是沿作物行的行走作业。许多研究者对此进行了研究【l钏，认为光照的变化是影响导航参数提取的主要因素，但去除光照因素影响的研究目前还鲜有报道。在其

4、他应用领域中通常采用增加光源系统的方法加以解决光照问题15-q，这种方法在农田作业中使用极不方便，因此不适合实际应用。多数研究者没有从光照问题的机理来考虑，对图像的物理成象过程以及颜色恒常性理论等认识不够深入，忽视了分析人类视觉系统解决光照问题的启示以及可行的工程实现方法。本文针对光照影响中典型的阴影问题，从图像的形成机理出发，采用基于光照无关图的方法有效去除导航图像中存在的阴影，最终采用一系列算法获取导航参数并用于作物行跟踪试验。1 光照无关图的获取Finlayson and Hordley等人提出了基于单个像素的颜色恒常性算法，并采用该算法实现了去除阴影后的彩色图像的恢复【引。这里，我们只

5、感兴趣这种算法的第l步，即如何获取光照无关图。图像中每个像素点的RGB分量，由下式决定Pk=I E(Z)S(Z)Rk(A)dA(七=R，G，曰) (1)收稿日期：20090108 修订日期：2009-0619项目基金：国家863高技术研究发展计划资助项目(2006AAIOZ259)；南京农业大学青年科技创新荜金(1009030)作者简介：安秋(1978一)，山东泰安人博士，主要从事机电一体化方面研究南京农业大学工学院，210031。Emil：boyaq163tom式中：A波长；PI足，G，B的传感器响应；E光照；S表面反射率；Rk传感器灵敏度函数，A在可见光范围内。对于具有窄带响应的摄像机，即

6、R(A)=艿(A一九)，那么式(1)可变为见=I E(X)S(Z)8(X一丸)dA=E(九)s(九)(2)珊自然光照可以用黑体辐射表示，其简化的普朗克方程为E(允，T)=Iqg。5 exp(-扫 (3)式中：c1=37418310一6Wm2，C2=1438810。2mK；T黑体辐射体的色温；J光源强度。于是，单像素的颜色值为既=e,F exp(-暑)s(丸) (4)o对式(4)两边取对数，并分为3个部分Inpk=InI+InS(丸)L,-5Ca一暑 (5)1飞式(5)中，对于3通道彩色摄像机，Pk=R，G，B，可得到3个相同结构的关系式。传感器响应的对数包括3个部分的和：Inl依赖于光照强度且

7、独立于表面几何和光照颜色，ln【s(屯)茸5 c1依赖于表面反射率不依赖于光照，呸r九依赖于光照颜色不依赖于表面反射率。为了消除式(5)中的第一项(光照强度的影响)，可采用2个不同通道间(比如R与G和B与G)的差值来实现。于是可得到2个新独立于光照强度但依赖于光照颜色的新关系式。令瓯=llls(九)暂5c。】和万方数据第11期 安秋等：基于光照无关图的农业机器人视觉导航算法巨=一拿(_j：R,G，曰)，可得PRG=h既一1IlpG=品一&+参(乓一)PSG=ln办一lIlPG=&一&+亭(B一岛)(岛一，一(B一昂)7，其与横坐标轴的角度为0。如果将这些不同的向量在e上(不失一般性，设e上为单

8、位向量)方向投影，则可得到一个固定的标量值，由于该标(6) 量只与摄像机和物体的表面反射特性有关，因此，同一物体表面可投影得到同一标量值。投影处理可表示如下将式(6)的两个方程记作向量方程的形式，其中P(PRG，PBG)，J(品一Sc，&一&)，P(乓一，岛一)。于是式(6)的向量形式为p=J+71 P (7)式中s和r2维向量。占与物体的表面反射特性和摄像机的频率响应函数有关，而与光照条件无关。e只与摄像机的频率响应函数有关，而与物体的表面反射率和光照条件无关。对于图像中的某一种物体表面，在不同的光照条件下，向量J和e的取值均相同，只是对应于光照条件的色温丁产生不同的值。因此，式(7)可看作

9、为以色温r为参数的直线方程。为了验证上述推导，采集7种光照(不同色温丁)下的Macbeth标定板的图像(图la)，获得其24个不同颜色表面的色度对数差图(图lh)。从图中可看出，与向量P所对应的点沿光照变化的方向偏移，且各颜色表面的点位于l条相互平行的直线上。因此，这和上面的推导是吻合的。6宙i三aMacbeth标定版的图像-I51-o-05 0 05 10 15 20 25log(slG)b色度对敦差图图l 不同光照下的不同颜色表面的色度对敷差Fig1 Log-chromaticity difference plot for different colorsurfaces under dif

10、ferent illuminants如图2所示，这些相互平行直线的方向与向量e(ER一岛，岛一艮)的方向是一致的，只与摄像机相关，与光照条件无关。将垂直于e的向量记为e1，即1也一，一惫毫) =(岛一)(&一品)一(乓一艮)(墨一&)西畜皆log(RG)图2获取光照无关图的投影方向Fig2 projection direction ofobtaining illuminantinvariant image若对图像中的每一像素点进行如上投影处理，再求其指数，可得到一幅与光照条件无关的灰度图，即G=exp(a,d) (9)G称为光照无关图，其中e1=(cos0，sinp)，0称为光照无关角。上述算

11、法中，光照无关角0为需要知道的未知参数。采取传统的方法求取该参数需要大量的测量统计，极为麻烦。Cheng Lu、Mark SDrew引入一种无需测量的最小熵的方法【9】，这种方法只需对实际图像进行分析，即可准确求取值0。“熵”是信息学领域用来度量信息传输中平均信息量的一个重要指标，其计算公式为，7=一芝：p(g)lnp(g) (10)窖式中：p(g)信号出现的概率：，广所有信号的平均信息，称为“熵”。若各信号出现的概率越平均，则“熵”越大；反之，如果某些信号出现的概率很大，而其他的概率很小，则“熵”越小。因此，若沿0方向投影，则灰度值分布集中，熵小；否则，其他方向灰度值分布分散，熵大。基于上述

12、原理，采用从0。到180。的遍历算法从各个角度来获取各角度投影后的灰度图，然后，求取各灰度图的“熵”，最后，找到灰度图的熵最小时对应的投影角度即为0。图3为不同投影角度得到的灰度图的熵变化曲线。采用w如23lS摄像机在成行的玉米田中采集6幅导航图像并进行最小熵统计，求取的光照无关角0的统计结果如表l所示。因此，采用的摄像机的光照无关角大约为60。并且发现，光照无关角在2。范围内变化的情况下，得到的光照无关图基本不变。O5O5O5O5O52Omqq屯屯万方数据210 农业T程学报 2009年555045量403530O 20 40 60 80 I120 140 160 180投影角度(。)图3

13、不同投影角度得到的灰度图的熵曲线Fig3 En仃opy cwve ofgray images at different projective angles表l 6幅导航图像的光照无关角的统计结果Table 1 Statistical results of illumination invariant angles forsix navigation images图像编号l 2 3 4 5 6光照无关角(o) 58 63 59 60 58 58图4a是在实际田间环境获取的存在阴影的导航图像。去除阴影后得到的光照无关图如图4b所示，阴影部分已明显去除。图4光照无关图的获取结果Fig4 Result

14、 of illumination invariant image2增强的最大类间方差法图像分割针对光照无关图这种灰度图像，需要寻找合适的灰度图像分割方法。从光照无关图的像素值分布来看，绿色作物与土壤背景的像素值分别集中在某-d,范围内。针对这种前景与背景灰度差较小的问题，可以首先对光照无关图进行对比度增强处理，然后再利用最大类间方差法分割。这里选择简单的线性拉伸增强方法【1 01。若原图像的灰度级为X，期望处理后的图像灰度级为y，原始图像和期望图像的灰度级的分布范围分别为畔高，X。】和【y孟，ym一。为了变换前后的图像对比度保持线性关系，即满足下式兰二生：垄二茎些y蕊一“。一x曲则与原图像灰度

15、级x对应的期望图像的灰度级Y为】，：k二塾x一Y,一Xm-Xm=,ym(12)工。一爿血 爿。一X嘶令口：垡二塾，6：坠生二垡生(13)置。一x曲 工一一爿ll血则线性拉伸后的简单数学表示为r=aX+b (14)利用这个线性变换式，对图像中所有像素逐点进行变换，则可以完成对整幅图像的像素灰度级的合理调整。线性变换需要知道原图像的灰度级范围血，X。和期望图像的灰度级范围，y懈】，。，x。可以从原图像中检测得到，而y盎，y二。】设定为0，255。这种算法尽管有可能受到个别极限灰度级的不良影响，但计算简洁，适合图像灰度级变化比较平滑的图像，它恰恰可以解决最大类间方差法对前景与背景灰度差不明显而造成图

16、像处理效果差的问题。增强最大类间方差法分割结果如图5a所示。通过线性拉伸，改善了原始图像的对比度，扩大了前景与背景之间的灰度差异，然后再利用最大类间方差法自动选取阈值进行二值化处理，效果十分理想。图5增强最大类间方差法分割结果与导舷路径的提取Fig5 Segmentation result enhanced OTSU threshold methodand extraction ofnavigation path3优化的霍夫变换参数导航中心线为了解决传统的Hough变换效率低的问趔11l，对该算法分4个方面进行优化处理：1)参数空间p和0的取值范围的确定；2)查表方法减少正余弦计算次数：3)减

17、少图像数据量的方法；4)参数空间中的峰值检测问题。优化后的Hough变换的导航路径提取算法步骤如下：1)对分割后的图像进行细化处理；2)根据图像尺寸确定Hough变换参数空间的大小，将p一0参数空问离散化为许多小格，每1个格是1个累加器，并分配内存；3)以2。为0的步长，对图像中每一个目标点(，Y1)点，将0的量化值代入p=玉cosO+yt sin0，计算出对应的p，所得结果值落在某个小格内，便使该小 万方数据第11期 安秋等：基于光照无关图的农业机器人视觉导航算法 211格的累加器加l，获得参数窄间累加器：4)对参数空间进行中值滤波，去除噪声点；5)峰值检测寻找5个最人值点，根据导航路径方位

18、角比导航偏移误差重要的特点，通过导航路径方位角统计判断峰值检测的正确性，得出最能代表导航路径的最优峰值点；6)根据检测到的峰值点在图像中绘制导航路径。提取的导航路径如图5b所示。优化的Hough变换算法总花费时间大约30 his，效率有了明显提高。4导航参数的获取图6表示了图像坐标系与作物生长世界坐标系之间的转换关系。假设在图像坐标系里检测到直线AB，它的顶点A(与图像顶边的交点)的坐标为A(xA，Y。)，项点B(与图像底边的交点)的坐标为B(xs，蜘)。在作物生长坐标系里，与它们相对应的点分别是彳(t，L，)和曰7(以，匕，)。那么它们的横坐标转换公式为XAf-=参(_一詈)，XB=-专(一

19、詈)(5)纵坐标为L，_H1一H2，k：0 (16)式中：l和2分别为世界坐标系下图像区域对应的视野区域顶边和底边的长度；凰和目j分别为摄像机投影点到视野区域顶边和底边的长度；形一图像的宽度。C点为摄像机在水平面上的投影点，坐标为(0,-H，)，得到两个点A和B的世界坐标值后，便可以得到直线A 7B的方程。于是可求得C点到直线AB的距离d(认为是机器人到导航路径的横向偏移)和偏航角6。图6图像坐标系与世界坐标系的转换Fig6 Transformation between image coordinatesand world coordinates5作物行跟踪试验在学校农机大院种植一段玉米行，在

20、自行的4轮转向4轮驱动的农业机器人(图7a)上测试了上述视觉导航算法。为了避免车轮损伤到玉米苗，设定机器人右轮与作物行的距离为20 cm(机器人车体中心线与作物行的距离为25 cm)。两次试验的速度分别设为l ms和2 rns时得到的右轮相对于作物行的横向偏移误差曲线如图7b所示。从结果看，机器人从4 m开始，机器人右轮与作物行保持一定距离行走。两次测量的横向偏移均值为56 cm，标准偏差值约为5 cm，完全可以满足机器人在田间行走的要求。40目35蓑30墨2520a农业机器人平台0 2 4 6 8 lO行走距高mb不同速度时的横向信移误差图7试验平台与结果分析Fig7 Robot test

21、platform and analysis ofresults6结论1)针对农、Ik机器人导航图像中存在的光照问题，尤其是阴影的影响，引入光照无关图方法，有效地去除了阴影的影响，提高了农业机器人在光照变化情况下导航作业的鲁棒性。2)由于得到的光照无关图的前景与背景灰度值相差较小，首先进行增强处理后再采用最大类间方差法得到二值图像，然后采用优化的霍夫变换获得导航中心线，最后通过坐标间转换获得2个导航参数。这一系列算法在满足工作需要的前提下，使农业机器人导航作业的实时性得到了明显提高。3)最终，采用上述视觉导航算法进行了作物行跟踪试验，结果表明，农业机器人可以精确地沿作物行行走，满足了田间视觉导航

22、实时性和鲁棒性的要求。参考文献【11 李建平，林妙玲自动导航技术在农业工程中的应用研究进展叨农业工程学报，2006，22(9)：232-236Li Jianping，Lin MiaolingResearch progress of automaticguidance technologies applied in agricultural engineeringYTransactions of the CSAE，2006，22(9)：232-236(inChinese with English abstract)【2】 赵博，朱忠祥，宋正河，等农用车辆视觉导航路径识别方法【J】江苏大学学报，2

23、007，28(6)：482-486Zhao Bo，Zhu Zhongxiang，Song Zhenghe，et a1Pathrecognition method for vision navigation of agriculturalvehicleYJournal ofJiangsu University,2007，28(6)：482 万方数据212 农业工程学报 2009笠【3】4】【5】486(in Chinese witll English abstract)王友权，周俊，姬长英，等基于自主导航和全方位转向的农业机器人设计【J】农业工程学报，2008，24(7)：110113Wang

24、Youquan，Zhou Jun，Ji Changying，et a1Design ofagricultural wheeled mobile robot based 0n autonomousnavigation and omnidirectional steeringJTransactions of theCSAE，2008，24(7)：llO一113(in Chinese谢th Englishabstract)赵颖，陈兵旗基于机器视觉的耕作机器人行走目标直线检测J】农业机械学报，2006，37(4)-8386Zhao Ying，Chen BingqiFast detection of f

25、urrows based onmachine vision oll autonomous mobile robotJTransactionsof the CSAM，2006，37(4)：8386(ha Chinese州也Englishabstract)Elfaki M S，Zhang N，Peterson D EFaao俗affecting6】【7】【8】9】【10】【II】color-base weed detectionJTransactions of the ASAE，2000，43(4)：10011009Hemming JComputer Vision for Identifying

26、Weeds inCropsD】University ofHanover,Germany,2000Marchant J 八 Onyango C M Shadow-invariantclassification for scenes illuminated by daylightJJOSA,2000，17(11)：19521961Finlayson G D，Hordley S，Lu C，et a1On the removal ofshadows from imagesJIEEE Transon Pattern Analysisand Machine Intelligence，2006，28(1)：

27、5968Finlayson G D，Drew M S，Lu CIntrinsic images byen订opy minimizationCIn Proceedings of the 8thEuropean Conference on Computer Vision,Prague，CzechRepublic，2004章毓晋图像分割M】北京：清华大学H版社，1999Rafaei CGonzalezDigital Image Processing UsingMaflabMJ北京：电子工业出版社，2004Agricultural robot vision navigation algorithm b

28、ased on illuminationinvariant image峨Qiu tLi Zhichen l Ji Changying f Zhou Jun(College ofEngineering，NanjingAgricultural University，Nanjing 210031，China)Abstract：Operation along crop row iS a basic function of vision navigation for agricultural robotThe complex externalfactors of working environment

29、in the field,such as existed shadow and weather change ete，make the navigationparameters extracting become more difficultAiming at shadow influence problem in vision navigation process ofagricultural robotillumination invariant image based on shadow removal algorithm was introducedAn enhanced OSTUim

30、age segmentation method was used，and an optimized Hough transformation algorithm was used to extract crop line，and coordinate transforill was applied to obtain navigation parametersFinally,tests of following crop row showed thatshadow removal method based on illumination invariant image satisfied realtime requirement of system and improvedthe robusmess of extracting navigation parameters under variable daylight illuminantsKey words：computer vision，agricultural machinery,automatic guidance，illumination invariant image万方数据