无标定视觉伺服在机器人跟踪多特征点目标的应用-中国电气传gtpf.docx

《无标定视觉伺服在机器人跟踪多特征点目标的应用-中国电气传gtpf.docx》由会员分享，可在线阅读，更多相关《无标定视觉伺服在机器人跟踪多特征点目标的应用-中国电气传gtpf.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、无标定视视觉伺服服在机器器人跟踪踪多特征点点目标的的应用宋平 康庆生生 孟孟正大东南大学学摘要：介介绍了一一种眼在在手上的的机器人人3D视视觉跟踪踪多特征征点目标标的无标标定视觉觉伺服。利利用基于于递推最最小二乘乘法估计计图像雅雅可比矩矩阵伪逆逆的无标标定视觉觉伺服，这这种方法法无需计计算雅可可比矩阵阵伪逆，避避开了图图像雅可可比矩阵阵伪逆计计算的奇奇异性问问题。实实验结果果验证了了这种方方法的可可行性，为机器人抓取目标打下了基础。关键词：眼在手手上 多特征征点 无标定定视觉伺伺服 3D视视觉跟踪踪Appllicaatioon oof UUn-ccaliibraatedd Viisuaal S

2、Servvo iin TTracckinng MMultti-ffeatturee ObbjecctSongg Piing Kaang Qinngshhengg MMengg ZhhenggdaAbsttracct: Thiis ppapeer ppressentts aan uuncaalibbratted conntrool mmethhod forr roobottic vissionn-guuideed ttarggetss 3DD trrackkingg ussingg ann eyye-iin-hhandd caamerra.TThe unccaliibraatedd viisua

3、al sservvoinng iis aadopptedd too fuulfiill thee onnlinne rrecuursiive esttimaatioon oof iimagge JJacoobiaan ppseuudo-invversse mmatrrix, Thhis metthodd dooesnnt ccompputee thhe mmoorre-PPenrrosee innverrse of imaage Jaccobiian andd avvoidd thhe ssinggulaaritty oof iimagge JJacoobiaan. Thiis eexpeer

4、iaamenntall reesullts demmonsstraate thee feeasiibillityy off thhis metthodd annd eexpeerimmentt layys tthe groounddworrk ffor graaspiing tarrgett.Keywwordds: eyee-inn-haand feeatuure poiintss uuncaalibbratted vissuall seervooingg 33D vvisuual traackiing1 引引言近年来，越越来越多多的机器器人被用用于工业业生产，其其领域主主要有机机器人焊焊接、

5、工工件装配配等。这这些任务务需要机机器人有有视觉功功能，并并将视觉觉信息加加入到机机器人控控制中，其其方法被被称为视视觉伺服服。传统统的基于于视觉的的机器人人控制，要要求摄像像机内部部参数标标定、机机器人运运动学标标定、手手眼关系系标定，但但在实际际情况中中无法精精确标定定。为了了克服基基于标定定的方法法的弊端端，一种种无标定定方法就就越来越越受到关关注。它它的核心心是在手手眼关系系及摄像像机模型型未知的的条件下下，在线线估计图图像雅可可比矩阵阵，并利利用视觉觉反馈误误差控制制机器人人运动，进进而完成成视觉伺伺服。由于视觉觉传感本本身固有有的特点点只能反反馈两维维信息，于于是就始始终存在在着对

6、深深度信息息的估计计问题，如如何实时时而准确确地获取取深度信信息是急急需解决决的关键键而困难难的问题题。目前获取取目标三三维信息息的主要要有以下下几种方方法：11）立体体视觉，其其主要特特点是能能够获得得景深，但但立体视视觉要进进行对应应点的匹匹配，耗耗费大量量的机时时，难以以满足实实时性的的要求；2）主主动视觉觉，它通通过测距距传感器器直接测测出目标标物体的的距离，但但这就涉涉及到多多传感器器的数据据融合问问题；33）单目目视觉，它它是通过过运动获获取深度度和从散散焦获取取深度等等。本文主要要用单目目视觉来来进行无无标定视视觉伺服服，根据据目标多多特征点点在图像像平面成成像的位位置与摄摄像机

7、的的相对位位置相关关间接反反映目标标深度信信息，由由视觉伺伺服跟踪踪目标。2 系系统的结结构及工工作原理理实验系统统如图11所示。图1 实验系系统实验系统统包括以以下几个个部分：PA110机器器人手臂臂及其控控制设备备、CCCD摄像像机、图图像采集集卡、多多媒体计计算机和和火炬目目标物。工工作时，安安装在机机器人手手臂的摄摄像机首首先对环环境进行行摄取，通通过图像像采集卡卡采集图图像信息息，利用用图像处处理对目目标物体体识别。如如果目标标不在摄摄像机视视野范围围内，则则控制机机器人手手臂左、右右和上、下下摆动来来进行全全方位的的搜索目目标，直直到目标标出现在在视野范范围内。当当目标在在摄像机机

8、视觉范范围内，则则进行无无标定视视觉伺服服。为了实现现机器人人能在深深度上的的跟踪，本本文选取取了目标标的两个个特征点点。多特特征点在在图像平平面的投投影图像像间接的的反映了了目标的的深度信信息。在在实时的的控制过过程中，用用实时视视觉特征征与图像像期望特特征构成成视觉反反馈的差差，在线线估计图图像雅可可比矩阵阵伪逆，采采用伪高高斯牛牛顿算法法，算出出机器人人关节变变化量，引引导机器器人完成成任务。3 图图像处理理基于图像像的视觉觉伺服系系统中，图图像处理理是目标标识别和和特征点点提取的的基础。图图像处理理的工作作过程是是图像输输入、预预处理、图图像识别别、特征征提取等等步骤。图图像输入入是由

9、摄摄像机和和图像采采集卡共共同完成成；图像像预处理理包括：颜色模模型转换换、图像像平滑、中中值滤波波；图像像识别包包括：边边缘提取取、检测测平行线线、检测测环；特特征提取取。本文文目标识识别主要要是：颜颜色识别别、填充充空穴、去去除噪声声、边缘缘提取、检检测平行行线、检检测环，然然后是目目标特征征点的提提取。图图2是待待处理的的图，图图3是提提取目标标多特征征点的图图。图2 待处理理图像图3 显示两两个环的的重心位位置4 机机器人的的无标定定视觉伺伺服4.1 无标定定视觉伺伺服控制制方法视觉伺服服是以当当前图像像特征与与期望图图像特征征间的偏偏差作为为输入信信号，通通过一定定的控制制算法得得到

10、期望望的关节节角变化化值，输输给机器器人控制制器，控控制机械械手关节节运动，直直到当前前的图像像特征与与期望特特征误差差趋近于于零。假设目标标图像的的特征仅仅仅是时时间t的的函数：n个关关节机械械手末端端执行器器的m个图像像特征点点只是机机械手关关节角的的函数： ，设设在图像像平面内内的跟踪踪误差为为，它是是高度非非线性的的函数，且且 （11）控制关节节轨迹qq(t)使机械械手的末末端执行行器跟踪踪目标，并并使如下下目标函函数最小小： （22）我们采用用伪高斯斯牛顿顿算法：= （33）其中 对于固定定目标时时，图像像特征的的速度误误差项为为零，即即0，这这时要实实现跟踪踪固定目目标的视视觉伺服

11、服控制算算法为 （4）式中，为为图像雅雅可比矩矩阵伪逆逆于时刻的的估计值值。为了保证证开始时时图像雅雅可比矩矩阵伪逆逆收敛于于实际值值，通常常采用以以下比例例控制算算法： （55）4.2 在线线估计图图像雅可可比矩阵阵伪逆计算图像像雅可比比矩阵进进而得到到伪逆的的方法有有经验法法、在线线估计法法和学习习方法等等。经验验法可以以通过标标定或先先验模型型推导得得到；在在线估计计图像雅雅可比矩矩阵的方方法，可可以事先先不进行行标定，但但存在雅雅可比初初值选择择问题；学习方方法主要要有离线线示教和和神经网网络方法法等。本文采用用文献8中中的在线线递推最最小二乘乘法直接接估计图图像雅可可比伪逆逆矩阵，避

12、避开了图图像雅可可比矩阵阵伪逆计计算的奇奇异性。对于n个个关节的的机械手手，2个个特征点点对应的的图像雅雅可比矩矩阵J为为维矩阵阵，则存存在唯一一的维伪伪逆矩阵阵，使得得： （66）上式中，对对于的行可表表示为k=1,2,，n （77）由式（112）可可见，图图像雅可可比矩阵阵的k行与图图像的变变化率成成线性关关系。通通过不断断的测量量机器人人关节的的变化和和对应图图像的改改变，可可同时用用n组遗忘忘因子递递推最小小二乘算算法在线线估计出出图像雅雅可比矩矩阵的伪伪逆，具具体算法法如下： （8） （9） （110）式中：为为k次叠代代对参数数的估计计；为遗遗忘因子子（）。显然，这这里的估估计算法

13、法无需任任何标定定，因不不需要计计算图像像雅可比比矩阵伪伪逆，可可避免雅雅可比矩矩阵的奇奇异性等等特点。5 实实验结果果5.1 试验验条件试验用的的是日本本三菱重重工生产产的PAA10系系列机械械手PAA10-6CEE，它有有6个自自由度。本本试验只只用其中中4个关关节来实实现三维维运动，即即第1（ss1），第第2（ss2），第第3（ee1）和和第5关关节（ww1）。摄摄像机安安装在机机械手的的第6关关节上，构构成眼在在手上结结构，内内外参数数不作任任何标定定。目标标为一个个木制的的仿形火火炬，为为简化图图像处理理和目标标识别，在在仿形火火炬杆上上涂有两两个颜色色环，分分别是：黑色和和紫色环环

14、。本试试验以黑黑色和紫紫色环的的中心点点作为目目标特征征点，利利用无标标定视觉觉伺服实实现机械械手三维维跟踪目目标。视视觉伺服服的目的的是控制制机械手手，使黑黑色和紫紫色的中中心点的的图像最最终位于于指定的的位置。在在起动了了机械手手后，每每个伺服服循环周周期由图图像处理理、参数数估计、视视觉伺服服算法运运算和机机械手关关节运动动等环节节构成。试验过程程中采用用VC+编写写机器人人视觉伺伺服控制制系统，系系统控制制界面如如图4所所示。图4 系系统控制制界面5.2 实验验结果在无标定定跟踪试试验中，当当控制比比例系数数取得过过大时，关关节变化化量也会会比较大大，容易易使摄像像头超出出它的视视觉范

15、围围而无法法到达目目标点。取得小点，不容易超出摄像头的视觉范围，也可以达到目标点，但收敛比较慢，要循环更多的次数才能到达目标点。实验中，控制比例系数取为(0.15,0.15，0.15，0.15)，如果图像误差（当前特征点与期望特征点在图像平面的差值）小于6个pixel范围内，并且跟踪上目标的次数大于30次视为完成视觉伺服。本文介绍绍两组静静态目标标的无标标定跟踪踪实验。实验1：目标特特征点从从起始位位置到期期望位置置的两个个特征点点在图像像平面的的距离值值不变，目目标在图图像平面面的起始始位置为为（699，1003），（666，1148），期期望位置置为（1101，997），（998，1142

16、）。图图5是两两个特征征点的跟跟踪轨迹迹图，图图6是xx轴跟踪踪结果图图，图77是y轴跟踪踪结果图图，图88是两特特征点图图像与期期望图像像的总误误差值。图5 实实验1的的图像平平面的运运动轨迹迹图6 实验11的X轴跟踪踪结果图7 实验11的Y轴跟踪踪结果图8 实验11的图像像误差曲曲线实验2：目标特特征点从从起始位位置到期期望位置置的两个个特征点点在图像像平面的的距离值值变大，目目标在图图像平面面的起始始位置为为（511，1003），（447，1145），期期望位置置为（1129，662），（1123，1138）。图9是两个特征点的跟踪轨迹图，图10是x轴跟踪结果图，图11是y轴跟踪结果图，

17、图12是两特征点图像与期望图像的总误差值。图9 实验22的图像像平面的的运动轨轨迹图10 实验验2的XX轴跟踪踪结果图11 实验验2的YY轴跟踪踪结果图12 实验验2的图图像误差差曲线以上2个个实验表表明本文文采用的的在线最最小二乘乘法估计计图像雅雅可比矩矩阵伪逆逆的视觉觉伺服均均能很好好地跟踪踪上目标标，且跟跟踪误差差都能稳稳定在允允许范围围之内。6 结结论本文在手手眼关系系及摄像像机模型型完全未未知的情情况下，针针对眼在在手上机机器人，选选取了目目标的两两个特征征点，利利用在线线最小二二乘法估估计图像像雅可比比矩阵伪伪逆的视视觉伺服服的方法法实现三三维视觉觉跟踪多多特征点点目标。实实验结果

18、果验证了了这种方方法可行行性，而而且还可可以避开开计算图图像雅可可比矩阵阵伪逆的的奇异性性。参考文献献1 Suutannto H, Shaarmaa R, Vaarmaa V . IImagge BBaseed AAutoo Doockiing Witthouut CCaliibraatioonAA . prroc IEEEE iinteernaatioonall coonfeerennce on robbotiics andd auutommatiionC . aalbuuqueerquue, neww meexicco, 199972 项龙龙江，司司秉玉，薛薛定宇.模型无无关的无无标定视视

19、觉伺服服控制J.机器人人，20003，225（55）：4244-42773 王新新成. 高级图图像处理理技术M. 北京京：中国科科学技术术出报社社，20001：1499-15224 赵玲玲，刘清. 基于于机器人人单目视视觉导航航的测距距方法研研究JJ. 自动化化博览, 20006 (122) ：80-825 郝婷婷，机器人人火炬交交接中的的视觉伺伺服DD. 南京: 东南南大学自自动化学学院, 200066 郝婷婷，孟正大大. 机机器人在在复杂环环境下的的火炬识识别JJ. 东南大大学学报报, 220055,355(2) ：1551-15447 康庆庆生，孟正大大，戴先中中. 图图像雅可可比矩阵阵

20、伪逆估估计在视视觉伺服服中的应应用JJ. 机器人人，20006，28(4) ：4006-40998 Kaang Qinng-sshenng，Haoo Tiing，Menng zzhenng-dda. Pseeudoo-innverrse Esttimaatioon oof IImagge JJacoobiaan MMatrrix in Unccaliibraatedd Viisuaal SServvoinngAA.pprocc IEEEE intternnatiionaal cconffereencee onn Meechaatrooniccs aand AuttomaatioonCC. 20006：15115-15220