基于三维视觉六足机器人多模式测量系统设计-张腾飞.pdf

《基于三维视觉六足机器人多模式测量系统设计-张腾飞.pdf》由会员分享，可在线阅读，更多相关《基于三维视觉六足机器人多模式测量系统设计-张腾飞.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第2期2018年2月组合机床与自动化加工技术Modular Machine Tool & Automatic Manufacturing TechniqueNo.2Feb. 2018文章编号:1001 -2265(2018)02 -0073 -03 DOI:101362/ j cnki mmtamt201802018收稿日期:2017 -0 -09;修回日期:2017 -05 -09基金项目:国家自然科学基金项目(51675259);江苏省“333人才工程”项目资助(3 -5);江苏省普通高校专业学位研究生创新计划项目(SJ160662)作者简介:张腾飞(1993 )，男，江苏宿迁人，南京工程

2、学院硕士研究生，研究方向为机器视觉、图像处理，(E - mail)76507063 qq com;通讯作者:温秀兰(1966 )，女，内蒙古丰镇人，南京工程学院教授，博士，研究方向为计量与测试技术、智能计算、机器视觉及其应用，(E -mail)zdhxwxl njit edu cn。基于三维视觉六足机器人多模式测量系统设计张腾飞,温秀兰,崔俊宇,芮 平,白冰峰(南京工程学院自动化学院，南京 211167)摘要:针对传统六足机器人测量系统存在模式单一的问题,设计出一种基于三维视觉的六足机器人多模式运动测量系统。利用Kinect相机采集图像信息,在VS2010软件开发平台上使用C编程语言,结合op

3、encv计算机开源视觉库,实现对图像的处理。通过设计六足机器人在多模式下的步态,实现对六足机器人多模式下的运动状态测量功能。对六足机器人各步态下的测量系统进行实验验证,结果表明该系统能够对不同步态下六足机器人进行实时三维位置信息反馈,而且得出六足机器人在双足步态下具有良好的稳定性。关键词:六足机器人;三维视觉;摄像机标定;图像处理中图分类号:TH165;TG659 文献标识码:ADesign of a Hexapod Robot Multi-mode Measurement SystemBased on 3D VisionZHANG Teng-fei， WEN iu-lan， CUI Jun-

4、yu， RUI Ping， BAI Bing-feng(School of Automation， Nanjing Institute of Technology， Nanjing 211167， China)Abstract: Aimed at the problem which the mode is single in traditional hexapod robot measurement system，a multi-mode motion measurement system of hexapod robot based on 3D vision is designed in t

5、his paper.The system uses kinect camera to acquire image data and combines with opencv to achieve image processingby using C language based on VS2010 software development platform. The gait of multi-mode robot isdesigned and the system can get hexapod robot multi-mode motion measurement information.

6、 The experi-ment results show that the measurement system can provide real-time three dimensional position informationfeedback for the hexapod robot under different stage. Besides， the conclusion that the hexapod robot hasgood stability in biped gait is concluded.Key words: hexapod robot;3D vision;c

7、amera calibration; image processing0 引言六足机器人具有丰富的步态和冗余的肢体结构，是仿生机器人的典型代表之一1。目前国内外研究热点多是机械结构的优化设计2-5。国内哈尔滨工业大学邓宗全教授对六足机器人步行腿节段比例进行研究，找出最适合基节比例2，并且提出一种低冲击运动规划方法的液压六足机器人，该方法以低冲击平顺运动为目标，减小足地接触冲击的足端轨迹规划方法3。河北工业大学张建华副教授设计了一种基于马尔可夫决策过程的自由步态六足机器人，有变形关节和轮式足端，具备较好的灵活性及环境适应能力。国外，美国密歇根大学和卡内基梅隆大学合作组成的研究团队通过模仿蟑螂步态

8、成功地研制了仿生六足步行机器人RHex，通过改变5个参数值控制机器人的步态，平均速度05 m/ s5。总结目前研究成果，多是通过对六足昆虫运动时的观察来进行模拟仿真确定其所设计六足机器人的运动步态，虽然可以满足六足机器人运动的要求，但提出的运动步态各有不同，没有具体的针对多模式下步态的测量系统开展深入研究。因此，为了进一步探究六足机器人的运动特性问题，结合Kinect相机，设计出一种空间多模式下的六足机器人运动测量系统。1 六足机器人运动测量系统硬件构成六足机器人多模式运动测量系统硬件结构主要包括六足机器人、视觉采集系统和图像处理系统三部分。六足机器人通过控制器CM-530编程，利用绝对值A-

9、万方数据12A舵机来实现多模式下步态设计6。视觉采集系统主要是利用Kinect视觉相机来获取测量六足机器人在空间三维下的位置信息。通过微软Kinect系统的单目RGB摄像机以及深度距离RGB-D像机，来获取六足机器人在世界坐标系X-0-Y平面的坐标和Z轴方向上的坐标进而求得六足机器人在空间坐标系X-Y-Z下的三维坐标参数。图像处理系统主要是通过PC机来处理Kinect相机采集到的数据。通过opencv库进行图像处理，在VS2010软件平台下，进行数据的分析处理，从而实现六足机器人多模式下的步态检测7。系统的硬件环境如图1所示。图1 六足机器人运动测量系统硬件环境1.1 六足机器人的设计本系统所

10、设计的六足机器人，由一个Robot机器人控制器、两块大小不等的PP塑料、18个R-23舵机和若干个舵机连接件组成。 Robot机器人控制器是六足仿生机器人的控制中心，控制器与6只脚连接，每只脚由3个R-23舵机组成。两块大小不等的PP塑料，分别是矩形红色和正方形白色。为了更好的验证六足机器人在不同步态下的运动稳定性问题，共设计单足、双足、三足三种步态。考虑到六足机器人在平面运动时Z轴方向的稳定性因素的影响，设计了旋转运动步态。单足步态指六足机器人每个运动周期只有一只脚作为前进脚，剩下的5只脚作为支撑足。同理，双足步态就是两只脚作为前进足，三足步态就是三只脚作为前进足。旋转步态是六足机器人绕Z轴

11、，在X-O-Y平面上做旋转运动。上述种步态结构图如2所示。图2 六足机器人步态1.2 Kinect相机的标定本测量系统要求对六足机器人在世界坐标系下的三维坐标做到实时反馈。要想保证测量系统的准确性，必须要保证Kinect相机的精度。因此，要对Kinect设备进行标定。 Kinect相机的参数分为内参，畸变参数和外参。由于Kinect相机模型采用的是针孔成像原理，中心轴安装偏心问题会产生精度误差，所以要进行内参数标定。考虑到Kinect相机为了提高采光效率而使用透镜，这种透镜会造成畸变误差的问题，所以对畸变参数进行标定。畸变误差分为径向畸变误差和切向畸变误差。径向畸变误差是因为透镜会使得成像的中

12、心O产生畸变，并且越偏离光学中心O，畸变误差越大。切向畸变误差是透镜所在平面不完全平行于图像平面而产生8。 Kinect相机外参数误差标定是针对旋转3个角度和平移的6个方向参数进行标定。121 标定原理由于光学畸变的影响，使得彩色图和深度图对应的像素点不一致，采用Kinect摄像头标定的方法可以校正二者对齐。 Kinect的标定采用棋盘式标定方法。在棋盘中，黑色格子与白色格子相见排列，不同颜色的格子之间有明显的边界，即“角点”。通过程序来识别二维图像上的彩色像素点，从而获取坐标9。对Ki-nect设备的彩色相机和深度相机进行标定，设景物点P1的坐标为(x1，y1，z1)，P1在成像平面的成像点

13、P2的坐标为(x2，y2，z2)，则:x1z1 x2z2 x2fy1z1 y2z2 y2f (1)f是相机的焦距，f z2。在Kinect相机内参数标定中，成像平面上的像经放大处理得到数字图像，成像平面上成像点(x2，y2)转换为图像点(u，v)。将光轴中心线在成像平面的交点的图像坐标记为(u0，v0)，则:u - u0 axx2v - v0 ayy2(2)ax和ay成像平面到图像平面在X轴和Y轴方向上的放大系数。联立(1)和(2)可以得到摄像机内参矩阵(3):uv1kx 0 u00 ky v00 0 1x1z1y1z11 Minx1z1y1z11(3)式中，kx axf，f是X轴方向的放大系

14、数;ky ayf，f是Y轴方向的放大系数，Min即为内参矩阵。u - u0 (u - u0)(1 kur2)v - v0 (v - v0)(1 kvr2)()式中，(u， v)无畸变的理想图像坐标，(u， v)为实际图像坐标，(u0，v0)为光轴中心点图像坐标。 r为无畸变的理想图像点到实际图像点距离，ku、kv分别为u、v方向二阶畸变参数。Kinect外参数的矩阵为:xcyczc1nx ox ax pxny oy ay pynz oz az pz0 0 0 1xwywzw1 cMwxwywzw1(5)7组合机床与自动化加工技术 第2期万方数据式中，(xc，yc，zc)表示景物点在摄像机坐标系

15、中坐标，(xw，yw，zw)表示景物点在owxwywzw中坐标， cMw是外参矩阵。122 标定误差通过软件编程，利用opencv开源库，对1幅不同角度的棋盘图标定得到Kinect相机的标定参数为:(1)内参数Min 512.97672 0 339.522950 512.581 268.389820 0 1(2)畸变参数k1k2p1p2k30.329875598783762- 0.09155088688330.0019922358808930580.00086356665013623.707999007112式中，k1为径向参数，k2为畸变参数，p1为切向参数，p2为畸变参数，k3为可选参数无

16、实际意义。(3)外参数通过对每幅图像像素进行计算，得出红外相机到彩色相机的旋转矩阵和平移矩阵，进而计算出Kinect的外参矩阵。标定结果:CMW 0.936 - 0.339 - 0.091 0.0230.3 0.938 0.033 0.00350.007 - 0.006 0.995 - 0.0050 0 0 1由旋转矩阵得，红外相机与彩色相机之间无明显的旋转变换。由平移矩阵得，红外相机与彩色相机在X轴方向上有0023m的平移量，Y轴和Z轴方向上的平移可以忽略不计。()标定像素误差s通过对不同角度的1幅图的像素进行采样分析，得到每幅采样图像的平均误差如图3所示。图3 标定像素误差计算图3中不同角

17、度的1幅图的像素平均误差为005像素，标准差00066，满足实验的要求。2 多模式运动测量系统软件设计六足机器人多模式测量系统软件流程图如图所示。当程序开始运行时，首先对各个硬件设备进行初始化设置，包括六足机器人、Kinect相机等。设计六足机器人的运动步态轨迹，当六足机器人进入Kinect相机工作区域时，程序就会采集图片信息，进行二值化、RGB识别处理，然后根据处理结果，输出处理过后的图片和所需的三维坐标信息。运行主界面设计主要是分为三部分，第一部分是RGB颜色显示区域，分别显示采集到的图片的红色、绿色和蓝色三种颜色;第二部分用一幅图来显示Kinect相机输入经过VS2010处理过后输出的图

18、片，包含定位点在整个世界坐标系的三维坐标信息。第三部分是数据的实时显示和存储。程序开始运行，所采集到的坐标就会在编辑框中显示并且生成文本文件，记录所需数据。图4 软件流程3 多模式运动测量实验及结果3.1 多步态监测实验通过对六足仿生机器人的舵机编程，实现六足机器人的单足、双足、三足和旋转四种步态下的运动。使用Kinect彩色相机和红外相机采集到的图像进行处理，得到不同步态下六足机器人在空间坐标系X、Y、Z轴的坐标和当前运动方向与X轴的夹角。3.2 实验结果与分析使用所设计的多步态运动测量系统，采集到在各步态下的三维坐标数据，将数据导入MATAB 7 0中进行分析计算，得出各步态Z平面如图5所

19、示，各步态运动轨迹如图6所示。如图5所示，是为了验证各步态的稳定性，对四种步态下参考点到Kinect相机距离进行计算得到的点云数据。由图可得，四种步态下的整体数据均无较大波动。图6中X、Y轴为图像坐标系转换为世界坐标系的坐标轴，(x ， y)坐标点是六足机器人定位点，所拟合出来的曲线为六足机器人定位点的运动轨迹。分析四幅图可知，六足机器人沿直线运动时，单足步态下，拟合出的轨迹线与直线最为贴合，但在运动过程中，会出现数据突变现象。双足步态下，轨迹线较为贴近直线且运动过程中，不会发生突变现象。三足步态下，六足机器人摆动幅度较大，因此实验拟合出来的轨迹线与直线相差较大，且波形不稳定。旋转步态，六足机

20、器人在X-0-Y平面上做椭圆运动，由于六足机器人步态设计运动周期与程序运行周期存在时间间隔，轨迹线出现了一定的错位和交叉现象。综上所述，该测量系统实现了对不同步态下六足机器人运动特性的测量，改进了仅仅通过软件仿真对六足机器人运动特性描述方法的不足，通过对实验结果的分析得出的结论，更可靠，具有说服力。 (下转第80页)572018年2月 张腾飞，等:基于三维视觉六足机器人多模式测量系统设计万方数据4 结论本文以立式加工中心KSMC1250双驱进给系统为研究对象，建立了两轴不同步误差进给系统数学模型，通过数值仿真，着重分析进给系统的机械结构参数(丝杠导轨间距、主轴箱部件偏心参数和质量)对两轴不同步

21、误差的影响，仿真结果表明:随着丝杠导轨间距增大，进给系统两轴不同步误差减小，但不同步误差减小率不断减缓，因此可以适当增大丝杠导轨间距以减小两轴不同步误差;主轴箱部件偏心参数x对进给系统两轴不同步误差影响明显，随着x增大，其双轴不同步误差迅速增大;主轴箱部件质量减少10、20时，进给系统的两轴不同步误差减少13 5、27 1。从上述研究结论可得，可在数控机床双驱进给系统机械结构设计时进行参数优化，以减小两轴不同步误差，提高数控机床的加工精度。参考文献1刘丽兰，刘宏昭，吴子英，等考虑摩擦和间隙影响的机床进给伺服系统建模与分析J农业机械学报， 2010，1(11):212 -2182 Hsieh M

22、 F， Yao W S， Chiang C R Modeling and synchro-nous control of a single-axis stage driven by dual mechani-cally-coupled parallel ball screws J The InternationalJournal of Advanced Manufacturing Technology， 2007， 3(9):933 -933陈琳，程正波，黄炳琼，等伺服增益不匹配的双轴同步误差补偿策略J中国机械工程， 2016， 27(11):1502-1507夏阳雨，程寓，倪玉晋，等双驱进给

23、系统热误差仿真分析及试验J组合机床与自动化加工技术， 2016(5):71 -75夏田，王志军，缑建文，等基于重心驱动进给系统工作台动态性能分析J组合机床与自动化加工技术，201(9):109 -1126李玉霞，赵万华，程瑶，等动梁式龙门机床的双驱同步控制系统建模J西安交通大学学报， 2012， 6():119 -127谢黎明，杨晓瑛，靳岚考虑负载重心变化的双驱进给系统不同步误差分析J现代制造工程， 2016(1):82-878何王勇数控机床双轴同步控制技术研究D武汉:华中科技大学， 20119 T A Harris， M N Kotzalas滚动轴承分析M5版，罗继伟，马伟，译北京:机械工业

24、出版社， 2009(编辑 李秀敏)(上接第75页)图5 Z轴距离点云600580560540520500480460440420260280300320340360 400420440460380世界坐标系X轴单足步态运动轨迹图世界坐标系Y轴世界坐标系Y轴世界坐标系X轴双足步态运动轨迹图550500450400350300250100 150 200 250 300 350 400 45060055050045040035030025020015050 100 150 200 250 300 350世界坐标系X轴三足步态运动轨迹图世界坐标系Y轴世界坐标系Y轴世界坐标系X轴旋转步态运动轨迹图28

25、8287286285284283282281280279278309 310 311 312 313 315 316 317314图6 步态运动轨迹4 总结本文针对目前缺乏对六足机器人多模式下运动特性探究的问题，通过对舵机控制器进行编程来控制舵机实现仿生运动，利用Kinect相机RGB-D特征提取等图像处理技术完成对六足机器人空间的定位，从而实现了六足机器人在多模式下的空间运动的跟踪和测量功能。系统可应用在六足机器人的多模式的运动参数测量中，并且由实验得出六足机器人在双足步态直线前进中有较高的稳定性，为仿生机器人运动特性研究提供了一定的参考价值。参考文献1 Chen ， Wang Q， Ye

26、F， et al Prototype developmentand gait planning of biologically inspired multi-legged crab-like robotJ Mechatronics， 2013， 23(): 29 -2邓宗全，刘逸群，高海波，等液压驱动六足机器人步行腿节段长度比例研究J机器人，201，36(5):5 -5513刘逸群，邓宗全，刘振，等液压驱动六足机器人一种低冲击运动规划方法J机械工程学报，2015，51(3):10-17李满宏，张建华，张明路新型仿生六足机器人自由步态中足端轨迹规划J中国机械工程，201，25(6):821 -8

27、255李满宏，张明路，张建华，等六足机器人关键技术综述J机械设计，2015，32(10):1 -86 J Zhang J Wang， W Chen， et al Virtual model optimizationand locomotion control of bionic hexapod robotC2012 7thIEEE Conference on Industrial Electronics and Applications(ICIEA)， Singapore， 2012:97 -5017杨东方，王仕成，刘华平，等基于Kinect系统的场景建模与机器人自主导航J机器人，2012，3(5):581 -5898乔凤斌，张松，郭立杰基于机器视觉的枪式微型电阻焊接系统设计与应用J组合机床与自动化加工技术，2013():86 -88，929郑梓均基于ROS系统的简易服务机器人关键技术的研究D无锡:江南大学，2016 (编辑 李秀敏)08组合机床与自动化加工技术 第2期万方数据