无标定视觉伺服在机器人跟踪多特征点目标的应用中国电气传.docx

《无标定视觉伺服在机器人跟踪多特征点目标的应用中国电气传.docx》由会员分享，可在线阅读，更多相关《无标定视觉伺服在机器人跟踪多特征点目标的应用中国电气传.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、无标定视觉伺服在呆板人跟踪多特征点目标的应用宋平 康庆生 孟正大东南大学摘要：介绍了一种眼在手上的呆板人3D视觉跟踪多特征点目标的无标定视觉伺服。利用基于递推最小二乘法预计图像雅可比矩阵伪逆的无标定视觉伺服，这种要领无需盘算雅可比矩阵伪逆，避开了图像雅可比矩阵伪逆盘算的奇异性问题。实验结果验证了这种要领的可行性，为呆板人抓取目标打下了底子。要害词：眼在手上 多特征点 无标定视觉伺服 3D视觉跟踪 Application of Un-calibrated Visual Servo in Tracking Multi-feature ObjectSong Ping Kang Qingsheng M

2、eng ZhengdaAbstract: This paper presents an uncalibrated control method for robotic vision-guided targets 3D tracking using an eye-in-hand camera. The uncalibrated visual servoing is adopted to fulfill the online recursive estimation of image Jacobian pseudo-inverse matrix, This method doesnt comput

3、e the moore-Penrose inverse of image Jacobian and avoid the singularity of image Jacobian. This experiamental results demonstrate the feasibility of this method and experiment lays the groundwork for grasping target.Keywords: eye-in-hand feature points uncalibrated visual servoing 3D visual tracking

4、1 引言近年来，越来越多的呆板人被用于产业生产，其领域主要有呆板人焊接、工件装配等。这些任务需要呆板人有视觉功效，并将视觉信息参加到呆板人控制中，其要领被称为视觉伺服。传统的基于视觉的呆板人控制，要求摄像机内部参数标定、呆板人运动学标定、手眼干系标定，但在实际情况中无法精确标定。为了克服基于标定的要领的毛病，一种无标定要领就越来越受到存眷。它的焦点是在手眼干系及摄像机模型未知的条件下，在线预计图像雅可比矩阵，并利用视觉反馈误差控制呆板人运动，进而完成视觉伺服。由于视觉传感自己固有的特点只能反馈两维信息，于是就始终存在着对深度信息的预计问题，如何实时而准确地获取深度信息是急需解决的要害而困难的问

5、题。目前获取目标三维信息的主要有以下几种要领：1）立体视觉，其主要特点是能够得到景深，但立体视觉要进行对应点的匹配，泯灭大量的机时，难以满足实时性的要求；2）主动视觉，它通过测距传感器直接测出目标物体的距离，但这就涉及到多传感器的数据融合问题；3）单目视觉，它是通过运动获取深度和从散焦获取深度等。本文主要用单目视觉来进行无标定视觉伺服，凭据目标多特征点在图像平面成像的位置与摄像机的相对位置相关间接反应目标深度信息，由视觉伺服跟踪目标。2 系统的结构及事情原理实验系统如图1所示。图1 实验系统实验系统包罗以下几个部门：PA10呆板人手臂及其控制设备、CCD摄像机、图像收罗卡、多媒体盘算机和火把目

6、标物。事情时，安装在呆板人手臂的摄像机首先对情况进行摄取，通过图像收罗卡收罗图像信息，利用图像处置惩罚对目标物体识别。如果目标不在摄像机视野范畴内，则控制呆板人手臂左、右和上、下摆动来进行全方位的搜索目标，直到目标出现在视野范畴内。当目标在摄像机视觉范畴内，则进行无标定视觉伺服。为了实现呆板人能在深度上的跟踪，本文选取了目标的两个特征点。多特征点在图像平面的投影图像间接的反应了目标的深度信息。在实时的控制历程中，用实时视觉特征与图像期望特征组成视觉反馈的差，在线预计图像雅可比矩阵伪逆，接纳伪高斯牛顿算法，算出呆板人枢纽变革量，引导呆板人完成任务。3 图像处置惩罚基于图像的视觉伺服系统中，图像处

7、置惩罚是目标识别和特征点提取的底子。图像处置惩罚的事情历程是图像输入、预处置惩罚、图像识别、特征提取等步调。图像输入是由摄像机和图像收罗卡配合完成；图像预处置惩罚包罗：颜色模型转换、图像平滑、中值滤波；图像识别包罗：边沿提取、检测平行线、检测环；特征提取。本文目标识别主要是：颜色识别、填充空穴、去除噪声、边沿提取、检测平行线、检测环，然后是目标特征点的提取。图2是待处置惩罚的图，图3是提取目标多特征点的图。图2 待处置惩罚图像图3 显示两个环的重心位置4 呆板人的无标定视觉伺服4.1 无标定视觉伺服控制要领视觉伺服是以当前图像特征与期望图像特征间的偏差作为输入信号，通过一定的控制算法得到期望的

8、枢纽角变革值，输给呆板人控制器，控制机器手枢纽运动，直到当前的图像特征与期望特征误差趋近于零。假设目标图像的特征仅仅是时间t的函数：n个枢纽机器手末端执行器的m个图像特征点只是机器手枢纽角的函数： ，设在图像平面内的跟踪误差为，它是高度非线性的函数，且 （1）控制枢纽轨迹q(t)使机器手的末端执行器跟踪目标，并使如下目标函数最小： （2）我们接纳伪高斯牛顿算法： = （3）其中 对付牢固目标时，图像特征的速度误差项为零，即0，这时要实现跟踪牢固目标的视觉伺服控制算法为 （4）式中，为图像雅可比矩阵伪逆于时刻的预计值。为了包管开始时图像雅可比矩阵伪逆收敛于实际值，通常接纳以下比例控制算法： （5

9、）4.2 在线预计图像雅可比矩阵伪逆盘算图像雅可比矩阵进而得到伪逆的要领有经验法、在线预计法和学习要领等。经验法可以通过标定或先验模型推导得到；在线预计图像雅可比矩阵的要领，可以事先不进行标定，但存在雅可比初值选择问题；学习要领主要有离线示教和神经网络要领等。本文接纳文献8中的在线递推最小二乘法直接预计图像雅可比伪逆矩阵，避开了图像雅可比矩阵伪逆盘算的奇异性。对付n个枢纽的机器手，2个特征点对应的图像雅可比矩阵J为维矩阵，则存在唯一的维伪逆矩阵，使得： （6）上式中，对付的行可表现为 k=1,2,，n （7）由式（12）可见，图像雅可比矩阵的k行与图像的变革率成线性干系。通过不停的丈量呆板人枢

10、纽的变革和对应图像的改变，可同时用n组遗忘因子递推最小二乘算法在线预计出图像雅可比矩阵的伪逆，具体算法如下： （8） （9） （10）式中：为k次叠代对参数的预计；为遗忘因子（）。显然，这里的预盘算法无需任何标定，因不需要盘算图像雅可比矩阵伪逆，可制止雅可比矩阵的奇异性等特点。5 实验结果5.1 试验条件 试验用的是日本三菱重工生产的PA10系列机器手PA10-6CE，它有6个自由度。本试验只用其中4个枢纽来实现三维运动，即第1（s1），第2（s2），第3（e1）和第5枢纽（w1）。摄像机安装在机器手的第6枢纽上，组成眼在手上结构，内外参数不作任何标定。目标为一个木制的仿形火把，为简化图像处置

11、惩罚和目标识别，在仿形火把杆上涂有两个颜色环，分别是：玄色和紫色环。本试验以玄色和紫色环的中心点作为目标特征点，利用无标定视觉伺服实现机器手三维跟踪目标。视觉伺服的目的是控制机器手，使玄色和紫色的中心点的图像最终位于指定的位置。在起动了机器手后，每个伺服循环周期由图像处置惩罚、参数预计、视觉伺服算法运算和机器手枢纽运动等环节组成。试验历程中接纳VC+编写呆板人视觉伺服控制系统，系统控制界面如图4所示。图4 系统控制界面5.2 实验结果在无标定跟踪试验中，当控制比例系数取得过大时，枢纽变革量也会比力大，容易使摄像头超出它的视觉范畴而无法到达目标点。取得小点，不容易超出摄像头的视觉范畴，也可以到达

12、目标点，但收敛比力慢，要循环更多的次数才气到达目标点。实验中，控制比例系数取为(0.15,0.15，0.15，0.15)，如果图像误差（当前特征点与期望特征点在图像平面的差值）小于6个pixel范畴内，并且跟踪上目标的次数大于30次视为完成视觉伺服。本文介绍两组静态目标的无标定跟踪实验。实验1：目标特征点从起始位置到期望位置的两个特征点在图像平面的距离值稳定，目标在图像平面的起始位置为（69，103），（66，148），期望位置为（101，97），（98，142）。图5是两个特征点的跟踪轨迹图，图6是x轴跟踪结果图，图7是y轴跟踪结果图，图8是两特征点图像与期望图像的总误差值。图5 实验1的图

13、像平面的运动轨迹图6 实验1的X轴跟踪结果图7 实验1的Y轴跟踪结果图8 实验1的图像误差曲线实验2：目标特征点从起始位置到期望位置的两个特征点在图像平面的距离值变大，目标在图像平面的起始位置为（51，103），（47，145），期望位置为（129，62），（123，138）。图9是两个特征点的跟踪轨迹图，图10是x轴跟踪结果图，图11是y轴跟踪结果图，图12是两特征点图像与期望图像的总误差值。图9 实验2的图像平面的运动轨迹图10 实验2的X轴跟踪结果图11 实验2的Y轴跟踪结果图12 实验2的图像误差曲线以上2个实验表明本文接纳的在线最小二乘法预计图像雅可比矩阵伪逆的视觉伺服均能很好地跟踪

14、上目标，且跟踪误差都能稳定在允许范畴之内。6 结论本文在手眼干系及摄像机模型完全未知的情况下，针对眼在手上呆板人，选取了目标的两个特征点，利用在线最小二乘法预计图像雅可比矩阵伪逆的视觉伺服的要领实现三维视觉跟踪多特征点目标。实验结果验证了这种要领可行性，并且还可以避开盘算图像雅可比矩阵伪逆的奇异性。参考文献1 Sutanto H, Sharma R, Varma V . Image Based Auto Docking Without CalibrationA . proc IEEE international conference on robotics and automationC .

15、albuquerque, new mexico, 19972 项龙江，司秉玉，薛定宇. 模型无关的无标定视觉伺服控制J.呆板人，2003，25（5）：424-4273 王新成. 高级图像处置惩罚技能M. 北京：中国科学技能出报社，2001：149-1524 赵玲，刘清. 基于呆板人单目视觉导航的测距要领研究J. 自动化博览, 2006 (12) ：80-825 郝婷，呆板人火把交代中的视觉伺服D. 南京: 东南大学自动化学院, 20066 郝婷，孟正大. 呆板人在庞大情况下的火把识别J. 东南大学学报, 2005,35(2) ：151-1547 康庆生，孟正大，戴先中. 图像雅可比矩阵伪逆预计在视觉伺服中的应用J. 呆板人，2006，28(4) ：406-4098 Kang Qing-sheng，Hao Ting，Meng zheng-da. Pseudo-inverse Estimation of Image Jacobian Matrix in Uncalibrated Visual ServoingA.proc IEEE international conference on Mechatronics and AutomationC. 2006：1515-1520