基于opencv的水下机器人单目定位技术研究与仿真-韩冲.pdf

《基于opencv的水下机器人单目定位技术研究与仿真-韩冲.pdf》由会员分享，可在线阅读，更多相关《基于opencv的水下机器人单目定位技术研究与仿真-韩冲.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、文章编号：16714598(2017)12021905 DOI：1016526jcnki11-4762tp201712057 中图分类号：TP391 文献标识码：A基于OpenCV的水下机器人单目定位技术研究与仿真韩 冲，苏 涛，谢基榕(中国船舶科学研究中心深海载人装备国家重点实验室，江苏无锡214082)摘要：针对水下机器人自主回收对接时的定位问题，提出了一种基于OpenCV的单目定位技术研究与仿真方法；首先确定回收装置在回收侧的光源标记点坐标信息；然后借助OpenCV算法库，通过对水下机器人自带摄像机的标定，得出反应摄像机固有信息的内参数，通过摄像机对回收装置光源标记点的识别，得出光源标记

2、点在图像上的像素坐标，结合其世界坐标，得出反映回收装置在摄像机坐标系下位置和姿态信息关系的平移向量和旋转向量，进而确定水下机器人在回收装置坐标系下的位置和姿态信息；最后运用CATIA软件对摄像机拍摄模型进行建模和仿真，结果表明，所提方法不仅能快速地获得水下机器人的位置和姿态信息，而且定位精度高，满足水下机器人在自主回收对接时的设计要求。关键词：OpenCV；水下机器人；单目视觉；位置和姿态；CATIA建模Research and Simulation of Underwater Vehicle Monocular PositioningTechnology Based on OpenCVHan

3、 Chong，Su Tao，Xie Jirong(State Key Laboratory of Deep-sea Manned Vehicles，China Ship Scientific Research Center，Wuxi 214082，China)Abstract：Focused on obtaining the position and attitude information for automation recovery of underwater vehicle，a research and simulation method of monocular positionin

4、g technology based on OpenCV was proposedFirstly，the light source tag coordinate information forthe recovery side of the recovery unit was determined；Then，with the help of OpenCV library，the intrinsic parameters of the cameraS inherent information were obtained by calibrating the camera of the under

5、water vehicleThrough the recognition of the recovery markers，thetranslation and rotation vector which reacted position and attitude relationship of the reclaimer in the camera coordinate system were obtainedThen the position and attitude of the underwater vehicle in the world coordinate system of th

6、e reclaimer were determinedFinally，thecamera shooting model was modeled and simulated by CATIA，the experimental results demonstrate that the method can obtain the positionand attitude information of underwater vehicle quickly and accurately，and the positioning accuracy is high，which meets the design

7、 requirements of autonomous unterwater vehicle for recovery and dockingKeywords：OpenCV；underwater vehicle；monocular vision；CATIA modeling0 引言深海空间站国家重大专项的设立，标志着我国进入了深海开发的新时代，其中，水下机器人作为深海空间站勘探和开采深海资源的主要工具，发挥着不可或缺的作用。在水下机器人开发应用过程中，合理有效的回收对接方案将直接影响到水下机器人的作业范围、隐蔽性和回收释放时间，于是自主回收对接技术11逐渐成为水下机器人研究的前沿和关键技术。自

8、主回收对接的难点和前提在于对水下机器人的精确定位，即获知水下机器人本体相对于回收对接目标的位置和姿态信息。水下机器人的回收对接对远端的定位要求并不高，近距离的导航定位精度才是最终影响回收对接的关键。近距离使用的导航定位传感器一般包括声学传感器、光学传感器和视觉传感器，视觉传感器以其具有分辨率高和几乎不存在盲区等优点成为广大专家学者在研究水下机器人回收对接定位时的选择。韩收稿日期：20170516；修回日期：20170607。作者简介：韩 冲(1988一)，男，江苏徐州人，硕士，工程师，主要从事图像识别、计算机视觉方向的研究。国科技高等研究所的MyungHwan Oh和JunHo Oh利用ISI

9、MI进行的视觉伺服算法23设计了一种视觉引导对接方法，实现了水下机器人的精确定位，但是其过分依赖于复杂的算法，导致实时性较差；哈尔滨工程大学的施小威等33针对一种具有圆形对接导航标志的坐落式对接平台，提出了一种基于纹理控制的金字塔互相关快速双目视觉测距的方法，此方法有较高的精度和实时性，但是却不适用于姿态信息的求解；西北工业大学的严卫生等4针对自主水下航行器(AUV)的不同姿态，分别给出对应的平移定位与旋转定位的单目定位方法，但是并没有指出AUV不同姿态的具体判定依据。基于上述局限，结合实际应用场合，本文提出了一种基于计算机视觉的水下机器人单目定位方法，在位置信息和姿态信息的确定上均有较高的精

10、度，而且对OpenCV计算机视觉库的应用，算法的复杂度得到了极大的简化，从而保证了算法具有较高的实时性。最后通过CATIA软件建立了水下相机拍摄模型，仿真结果表明，该方法定位精度高，实时性好，从而为进一步的水池实验奠定了理论基础。l 问题描述水下机器人(即潜器)在自动回收对接过程中，如图1所万方数据220 计算机测量与控制 第25卷示，P1、P2、P3、P4为设置在回收装置进门侧顶点处的4个光源标记点。潜器在靠近回收装置过程中回收装置包括光源标记点在摄像机平面中成像，根据摄像机针孔成像原理“1，标记点在世界坐标系下的坐标和其在像素坐标系F的坐标可以由以摄像机像素焦距、光学中心为主的内参数和以旋

11、转向量、平移向量为主的外参数”来表征从而确定潜器相对于回收装置的位置和姿态信息。收裴胃 水卜机器人h特谍像机图i 水F机器人自动川收小，苣圈若要获得目标的位置和姿态信息，就必须知道摄像机的图像坐标系与各坐标系的相互转换模型。摄像机成像时的坐标系有4个均是右手坐标系；由。z。叫。和构成的世界坐标系；215一y。和z、构成的摄像饥坐标系；由P，和P、构成的图像坐标系；由“和”构成的像素坐标系。轴和图像坐标平面垂直，0。为相机光心M为物点m为像点如图2所示。t图2摄像机成像过程各坐标系2水下机器人位置和姿态信息获取OpenCV的ealib3d模块主要用于摄像机标定和场景的三维重建F。其中包含的库函数

12、町以方便地对摄像机进行内参的标定和外参的获取。对于设定好的摄像机，其内部参数是固定的，通过实时地获取不同成像平面下摄像机的外部参数m1，便可以实现对目标的实时位姿信息获取。定位过程中由4个目标点共面且光心不在此平面时必然有唯一解9，首先对回收装置的光源标记点进行识别得到其像素坐标，结合标记点的世界坐标，运用OpenCV内置函数解算出实时的旋转和平移向量，也就获得了回收装置相对于潜器的实时位置和姿态信息，文中摄像机坐标系等价为潜器本身的坐标系。21摄像机标定利用OpenCV进行摄像机标定时，需要拍摄至少10幅以上各个角度和平面的棋盘图片川，利用ev2findChessboardCorners()

13、函数可以得到棋盘格每个棋盘亚像素级角点的像素坐标，借助cv2calibrateCamera()摄像机标定函数，可以得到摄像机的内参信息该函数返回摄像机矩阵。畸变系数，旋转和平移向量。22目标点识别水下机器人在靠近回收装置时，摄像机实时捕捉回收装置的光源标记点，进行图像预处理，包括高斯滤波，去白噪声。如图3所示，对目标点的识别也就是获取光源标记点中心的像素坐标。R逸为了提高计算效率在目标识别时，运用检测光源轮廓的方法”1，()pen(、V函数库提供cv2findContours()函数对轮廓进行检测，返回光源轮廓的像素坐标。由于图像的旋转不确定性。1 2；在实际应用中还需对目标点进行排序，以便将

14、像素坐标点和世界坐标点相对应。23摄像机定位在得到了光源标记点的像素坐标后运用OpenCV中提供的cv2solvePnPRansac()函数进行摄像机定位返回回收装置平面坐标系到默认潜器摄像机平面坐标系的旋转向量和平移向量而只有标准的潜器坐标系在标准世界坐标系的姿态才能直观反映出潜器的姿态故默认潜器坐标系需要左乘一姿态矩阵转换为标准潜器坐标系变换过程为：FR t rR， f rR； f0 rRR嚣 Rf+瑶I I 一0 1 0 1 l【0 1【 0 1(1)其中：(R0靠)为世界坐标系到默认相机坐标系的旋转矩阵与平移向量(R0，t，)为摄像机默认坐标系到标准坐标系旋转矩阵与平移向量。231 根

15、据平移向量计算摄像机光心位置通过OpenCV算法函数和必要的坐标轴转换，得到了摄像机平面坐标系到回收装置平面坐标系的平移向量，它的物理含义为世界坐标系坐标原点在摄像机坐标系下的坐标，以下公式表示了这种转换关系：rR 1 1户，一l，、 ，P。 (2)u l由于旋转矩阵各元素两两正交，自由度和秩均是3，所以可以得出：rR。一R。t，Puf，、 ， Jpr (3)L u 1 J此时，一R。t表示摄像机坐标系坐标原先在世界坐标系中的坐标，即摄像机的光心位置。232根据平移向量计算摄像机平面姿态由于()penCV中，返回的外参数在物理含义上不能直观地反映姿态信息，所以先将得到的旋转向量转化为可以直观表

16、示物体旋转的欧拉角”形式。这个过程可以通过罗得里格斯变换1获得。()penCV里的罗得里格斯函数解算出来的矩阵是：R=R，(妒)R、(妒)R：(目)=万方数据第1 2期 韩 冲等：基于()pen(、V的水下机器人单日定位技术研究tj仿真 221r cospcosO cos59sin0 一sinq：sinpsin妒cos0一cospsin0 sin妒sin妒sin臼+cos?cos0 sin驴cos驴llc。蚋in59c(潮+咖删n口c。sn卿n口一渤妒c。s口c。哪。sJ(4)式中旋转矩阵R表征世界坐标系依次沿。、儿和轴逆时针旋转角度0、午和f后b-摄像机坐标系姿态相同。上述旋转顺序下的欧拉角

17、可以直观地反映出潜器的姿态分别为偏航角p、俯仰角a、滚转角y。即船舶领域中的艏向、纵倾和横倾”。根据纵倾的定义，潜器前进方向一u。轴与世界坐标系水平面一如r。Y。平面的夹角即为潜器的纵倾角，摄像机坐标系下前进方向。、轴一点其在世界坐标系下的坐标为M*然后投影变换如图1所示。图i 潜器姿态角求解结合旋转矩阵的定义得出潜器的纵倾表达式：sina=一MMwfk M=一R】。 (j)即：a一一arcsinRlj (6)同理可以求出艏向和横倾的表达式：p圳一rctan(筹)、 7(7)，R，y一妒2盯“”(纛)此时求出纵倾、艏向和横倾的物理意义即为回收装置所在的标准世界坐标系下潜器摄像机坐标系的姿态实际

18、运算时，潜器的摄像机坐标系到潜器的本体坐标系也有一个变换这里把两个坐标系等价为一个坐标系。24摄像机位置和姿态获取算法软件流程摄像机位姿确定足根据其捕捉的单帧图像实时计算获取的，软件流程如图5所示。3仿真与结果分析31 CATIA摄像机拍摄模型本文借助CATIA三维建模软件建立了水下机器人摄像机和回收装置的拍摄模型如图6所示。P1、P2、P3、P r1分别为回收装置进门侧顶点上的光源标记点，V2为摄像机的观测点旧收装置的中心点为i维坐标原点。利用()pcn(、V可以对光源标记进行识别定位分别表示出轮廓、重心和中。t2,位嚣重心坐标可以作为光源标记点的像素坐标，中心位置可以作为四个标记点的位置分

19、辨依据，整个识别过程如图7所示。摄像机的内参信息是给定的，本次实验折算后的摄像机的内参信息见表l。32数据获取与分析根据目标点的像素坐标、世界坐标以及相机的内参数借助OpenCV计算出jo组摄像机在回收装置坐标系的位置和调用相机标定子函数camerademarcate0 I返网内参保存f01der调用目标识别子函数+ objectidentify0读取内参文件 motordmi xdi st盼算目标和图像点频数的平I移、旋转向量从摄像头捕获视频 FreestvecscaD 调用坐标轴显示子函数指定视频的编码格式 drawcoordinate 0fourcc 计算欧拉角子函数矸胜柳舾的在储牵间

20、CUiaange0EulaAnontt l调用图像窗口显不f函数1从cap中获取单帧图像 imshowwindow()fn。I 显示单帧图像 设置刷新时问0 存储单帧图形到。t窀问l 中断break调_Hj世界坐标获取r函敲1 lJ释放相机捕捉内存释放存储空间lworldcoordi nate()内存，释放窗口内存封6摄像机回收装置模型d)检测轮廓重心起始点 (e)检测其余目标轮廓重心 (f)检测目标点中心图7 光源标记点识别定位过程表1 摄像机的内参数坐焦距，7像素 光心，+像素fx fY u0 v0840 840 384 288万方数据：!： 生塞丝型里皇堡型 丝!童表2摄像机在世界坐标系

21、下的位姿对比信息(位置毫米；姿态度)序号 CATIA理论值 OpenCV计算值 偏差 偏差率1 (1200，2000，0；30，0，0) (1212，20050：3000) (12，50：00，0) (1，025，；0，一，一)2 (2500，25000：20，3040) (2493，2533， 19：213040) (一7，3319：1，00) (028132一；5，0，0)(一2200，2200一2200：一30 ( 2258，2200，一2209：一31 (26004；03，3 (一580一9：一12，一1)一45 15) 一43一16) 4，67)4 (346402000：3000)

22、(3450。242036：32，1，0) (14，一24，36；2，一1，0) (04，一，18；67一，)(一346420000：0一300) (3514，2025一38；一1一31，3) (50，2538；一1一1，3) (14，13，一；一33一)6 (一3464，2000，0：0，30+30) (一3446，1992，2：0，一30，28) (18，一82：0，0，一2) (05，04一；一，0，67)7 (一4000，0。0：0030) (一3992，一52，108：3，130) (8一52108：31，0) (02一，一：一，O)8 (520047003000：60，一45一10)

23、 (5299，4655，3010；64，一43，一10) (99，一4510；42，0) (19，1，03；67，44，0)9 (80001000500：30 451 5) (8220，1060，493：27，一4416) (220，60，一】7：一31，1) (286，34 0A；1022，67 0A)10 (一100001000一2000：000) (一10140，945，2226：一13，一2) (一140，一j5，26：一13一2) (0i4，55，13；一一一)姿态信息，然后与CATIA真实的位姿对比，得出OpenCV单目视觉定位出的计算位姿与真实位姿信息及误差，以位置一姿态的形式给

24、出位置表示。轴、y轴和z轴的距离信息，姿态表示纵倾、艏向和横倾的角度信息其中，偏差为计算值与理论值之差，偏差率为偏差的模与理论值的比值，选取部分数据见表2。由表2可知，由于潜器摄像机坐标系和回收装置世界坐标系的设定，且潜器总是面对着回收装置进行拍摄。所以潜器前进方向(z轴)的坐标在世界坐标系下均是负值；本文的研究方法在位置和姿态的确定上均有较高的精度，位置最大误差率不超过6，姿态最大误差率不超过10，满足回收对接设计要求。图8为不同实验序号下的位置和姿态误差对比图，由图可知，六自由度位置和姿态求取中，其误差随着潜器与回收装置(试验序号次)(8)水下机器人位置偏差信息(试验序号次)(b)水下机器

25、人姿态偏差信息图8位姿信息偏差对比示意图距离的增大有增大的趋势，符合机器视觉的光学特性，同时与实际经验分析相吻合。考虑造成偏差的因素，主要有：第一：光源点像素坐标的获取受环境和识别算法等因素的影响存在一定误差，这会对后面的位置和姿态计算造成影响；第二：在计算摄像机平面在世界坐标系下的位置和姿态信息时，不同的求解算法对结果也会有一定的影响，同时算法本身也有一定的误差。5 结论本文提出了一种基于OpenCV的单目视觉定位方法，实现了水下机器人自主回收对接时位置和姿态信息的获取。并巧妙地借助CATIA软件对摄像机拍摄模型进行建模，通过数据的获取与分析确定了该方法的可行性。该方法简单直观，快速准确地解

26、决了水下机器人自主回收对接时的定位问题，具有较高的工程应用价值。参考文献：1李 晔，姜言清，张国成，等考虑几何约束的AUV回收路径规划J机器人，201 5(4)；4784852Pan M LBong H J，Chong M I。A Docking and Control Systemfor an Autonomous Underwater Vehicle r CProceedings of theMTSIEEE OCEANS Conference2002，l 609161 43施小威，王晓娟一种面向AUV水下对接的双目视觉测距方法J计算机测量与控制200816(10)：1 46014 624严

27、卫生，高智，杨小龙等面向AUV自主回收的单目视觉定位算法EJ电子设计工程201 422(22)：1 74176EsErik JProgramming Computer Vision with PythonMZhu W，Yuan Y，t ranslatedBeijing：Post s and Telecom Press，2014E6胡钊政，赵斌，李娜，等基于虚拟三面体的摄像机与二维激光测距仪外参数最小解标定新算法J自动化学报，201 5(11)：195119607Robert I，OpenCV2 Computer Vision Application ProgrammingCookbookMZh

28、ang Jt ranslated。Shanghai：Science Press201 3：246247E83 Zhao Z QYe DZhang xet a11mproved direct linear transforma rion for parameter decoupling in camera calibrationJAlgorithms201 6(2)：100一】059吴福朝胡占义PnP问题的线性求解算法J软件学报，200314(3)682688万方数据第12期 韩 冲，等：基于OpenCV的水下机器人单目定位技术研究与仿真 22310宋涛，褚光宇，侯培国，等基于质心点优化的鱼眼摄

29、像机标定口。光子学报，201 6(5)：100105王森，伍星，刘 韬，等基于反对称双正交小波变换的多尺度归一化分割方法J计算机辅助设计与图形学学报2016(1)：10611812Bradski G，Kaehler ALearning OpenCVM，Yu S Q，Liu RZ，translatedBeijing：7Fsinghua University Press，2009：4 l 441 613Weng J，Cohen PHemiou MCamera calibration with molds andaccuracy EvaluationJIEEE Transaction on Patt

30、ern Analysisand Machine Intelligence，201116(I 5)：469476，1 4Dai，J Jan SEuIer Rodrigues formula variations，quaternion conjugatkm and intrinsic connectionsJMechanism and MachineTheory：Dynamics of Machine Systems Gears and Power Transmissions Robots and Manipulator Systems ComputerAided De。sign Methods2

31、01 5(1)：144一1521 5岳晓奎，侯小娟基于Rodrigues参数的视觉相对位姿确定方法J宇航学报，20lo3I(3)：7537571 6施生达潜艇操纵性M北京：国防工业出版社，1995奇啦孚i溥韭沪渺渺渺秽孚非渺沪秽渺秽渺秽渺溥眇渺渺渺孚弘驰P鼬9秽渺渺湖毋曲渺渺滂曲秘鹕，渺渺瑚姐9渺渺b陋扣9渺归渺渺渺守辨浮扭出9淖韭出哆(上接第171页) IEEE Transactions on Image Processing2011，20(12)：3534图2是本文算法对输电线路的检测结果。图2(a)是原始图像，从图中可以看出，图像中含有多条输电线路还有建筑、树木等复杂背景。图2(b)是利

32、用随机Hough变换检测出的曲线(灰色部分)，可见除了输电线路之外还有一些其他曲线，需要进一步进行判别，图2(c)是利用在进行视觉字典匹配之后曲线是被识别为输电线路和非输电线路图2(d)为最终检测结果，从结果可以发现图像中可见的输电线路均已检测出来。(a) (b) (c) (d图2输电线路的检测5 结论输电线路的检测是电力传输系统中非常重要的问题为了解决复杂背景下的输电线路检测问题，本文提出了一种基于切比雪夫多项式描述子的复杂背景下输电线路提取算法，该算法利用随机Hough变换提取图像中的直线和曲线然后利用切比雪夫多项式描述子的曲线描述优势，对所提取的对象进行特征描述，并通过Kmeans聚类分

33、析方法来训练视觉字典，通过视觉字典的比对，检测出图像中的输电线路。实验结果说明了本文方法可以精确地提取复杂背景下的输电线路。但从实验结果看，本文算法只能够检测出图像中可见的输电线路，在检测出的9条输电线路中有一条并不完整，这是由于该输电线路可见度很低未检测部分基本不可见，这需要进一步进行经验判断，也是我们今后的研究方向。参考文献：1李朝阳，阎广建，等高分辨率航空影像中高压电力线的自动提取口中国图象图形学报，2007，12(6)：10411047E23李彩林，冯朝晖，等复杂地物背景下的电力线提取方法J计算机工程与应用，2016，52(22)：i982023张少平，杨忠，等基于特征检测的航拍图像电

34、力线提取方法J应用科技，2012，39(5)：36394Ma Q R，Goshi D S，Shih Y C，et a1An algorithm for power linedetection and warning based on a millimeter-wave radar video LJ56一3543Song WHu X R，Fu J，et a1The method of hyb“d一1aser imagespot extracts based on HSV space SVD for power transmission linedetection rA20I 6 1EEE Int

35、ernational Conference on Informationand Automation(ICIA)It20i6：i3611364Baker I，Mills S，Langlotz Tet a1Power line detection usingHough t ransform and line tracing techniquesA201 6 International Conference on Image and Vision Computing，New Zealand(IVCNZ)r(、20i 6：i一67汪林，王燕午干琳，等基于无人机的航空影像电力线提取方法的研究J城市勘测

36、，20133：92958Ren D，Wang QSun FA fast and effective algorithm based on improved Hough transformJJournal of the Indian Society of Remote Sensing，201644(3)：4654699Xu L，Oja E，Kuhanen PA new curve detection method：Randomized Hough transform(RHT)JPattern Recognition Letters，1 9901l：33133810Baker I，。Mills S

37、Langlotz Tet a1Power line detection usingHough transform and line tracing techniquesA201 6 International Conference on Image and Vision Computing New Zealand(IVCNZ)c2016：I一6i iZahn C T，Roskies R zFourier descriptors for plane closed curvesJIEEE Trans，Comput1972，21(3)：26928112Rouhani MSappa AImplicit

38、 polynomial representation through afast fitting error estimationJIEEE TransImage Process，201221(4)：2089209813Mokhtarian F，Mackworth A KA theory of multiscale curvaturebased shape representation for planar curvesJIEEETransPattern AnalMachIntell，1992+14(8)：789805r14Mori MUchida S，Sakano HGlobaI featu

39、re for online characterrecognitionJPattern RecognitLett，2014，35(1)：142148rl 5Tanaka E，Tamura Y，Hosoya Met a1Protrusion fourier descriptor：skeleton based representation of open curvesJForma，2008，23(1)：91816Wu G，Zhang Y C，A new Chebyshev polynomials descriptor applicable to open curvesJPattern Recognition Letters，2015，62：41481 7Macqueen JSome methods for classification and analysis of multivariate observationsABerkeley Symposium on MathematicalStatistics and Probabilityc1967：28129718吴文峰基于局部特征字典的图像分类算法研究D深圳：深圳大学。2012万方数据