基于立体视觉的水下三维测量系统研究.docx
《基于立体视觉的水下三维测量系统研究.docx》由会员分享,可在线阅读,更多相关《基于立体视觉的水下三维测量系统研究.docx(25页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、基于立体视觉的水下三维测量系统研究基于立体视觉的水下三维测量系统研究张洪龙、陈涛、庄培钦、周志盛、宋展、焦国华、乔宇导语:随着我国海洋战略的提出,对于海洋观测技术和装备的需求日趋迫切。针对现有水下成像系统无法实现准确三维测量这一难题,该文提出了一种基于双目立体视觉原理的水下三维测量系统研究方法,并对其可行性进展了验证摘要随着我国海洋战略的提出,对于海洋观测技术和装备的需求日趋迫切。针对现有水下成像系统无法实现准确三维测量这一难题,该文提出了一种基于双目立体视觉原理的水下三维测量系统研究方法,并对其可行性进展了验证。针对水下成像经过存在的水体界面折射问题,该文提出了相应的相机成像模型及系统参数标
2、定方法,建立了防水深度达30m的双目水下测量及照明装置,并在水池、近海条件下进展了实地测试。实验结果显示,在水体条件较好的情况下,系统观测间隔可达8m以上,有效测量间隔为0.54.5m,在0.5m和4.5m间隔处的测量误差分别为2mm和20mm。实验验证了水下双目成像模型、立体标定、测量模型等方法的有效性和准确性,可为水下检修作业等海洋工程行业提供一种有效的三维测量技术手段。1引言作为海洋研究的一项根底技术,水下视觉测量技术已经得到诸多研究者的关注。国外的研究者较早展开了水下测量方面的研究,国内起步稍晚,但也获得了丰富的研究成果。如中国研制的“蛟龙号深潜机器人、中国科学院沈阳自动化研究所的水下
3、机器人、加拿大的Sea-wolf3水下机器人和日本的“海沟号水下机器人等,这些水下设备无一例外地搭载了视觉设备,并构建视觉测量系统。目前使用的水下探测技术主要有水声学和水光学两大类。其中,水光学中水下视觉技术开展晚于其他水下探测技术,但由于其低本钱、高精度、高分辨率等优良特点受到研究者的青睐。国内外学者对此展开了深化的探究和研究。光在水下有独特的传播特性,海水对0.470.58m波段内蓝绿光的衰减比其他短波长的光衰减要小得多1。光波在水中会被吸收,也会发生散射,因此光波在水中的衰减相当快,且衰减程度和传播间隔呈指数关系。由于水下环境复杂,存在水对光的散射和吸收、水体自身的流动、水中的悬浮颗粒以
4、及各种浮游生物等因素的干扰,水下光源会衰减直至消失,这是水下成像需要考虑并解决的关键问题之一。光在不同水质的传播特性对成像品质有较大影响。很多学者研究了不同水质(如泳池、水族箱、近海海水等)中相机的成像情况,结论是在浑浊度低、照明度适中的环境下,视觉测量可以获得更高的精度本文针对水下三维测量的需求,搭建了水下双目立体视觉系统,对水下光线散射、折射、吸收等问题展开讨论,并对在空气、池塘、近海等不同环境中的相机成像、双目相机标定、系统测量等问题进展了研究。实验结果说明,在水下环境中,系统成像间隔高达8m,有效测量范围为0.54.5m,测量误差小于2cm。实验验证了成像模型、立体标定、测量模型等方法
5、的可靠性,水下测量结果符合预期的技术指标。2相关研究进展针对水质的差异、水上成像与水下成像的区别,水下视觉测量主要从图像增强、相机标定、畸变模型等方面着手对现有水上测量模型进展了改良。视觉测量完全依靠于图像质量的上下,图像复原成了图像预处理的首选操纵。Sanchez-Ferreira等研究中首先进展图像复原,然后再进展后续标定、匹配、测量等操纵并得到了预期的测量结果。相机标定是视觉测量中的关键步骤之一,水下视觉测量的标定需要考虑光在水下的传播特性。等基于张氏标定法9,结合Jean-YvesBouguet灭点标定方法,建立了综合考虑径向畸变和切向畸变的水下相机非线性数学模型,获取了更高精度的参数
6、和平均误差更小的重投影误差。由于水的流动性较强,流动经过中的水可能导致图像运动模糊、光路变化等问题,进而得到错误的测量结果。Pang等针对静态水池和动态水流环境分别采用不同的标定方法,在两种状态下均得到了有效的标定参数和测量结果,但是水流变化多端,无法预测,因此面对不同运动状态下的水流采用不同的标定方法适用场景有限。随着研究的深化,研究成果也逐步落地,越来越多基于双目视觉的水下三维重建、水下跟踪定位、水下目的检测识别等应用层出不穷。Massot-Campos等12比照了构造光和双目立体视觉在水下环境下的三维重建,也有研究者将双目视觉应用于水下洞穴、水底地形的探测和三维重建13,14。潜水、捕鱼
7、、测绘等水下活动日渐频繁,水下目的实时跟踪监控的应用也日趋成熟,如潜水人员位姿监测、鱼群监测、珊瑚礁监测等。Xu等15建立基于混合高斯模型的目的识别模型,提取目的图像中的特征点进展匹配,进而获得目的的位置和朝向。Chavez等16将双目视觉应用于水下环境中场景或者物体的三维点云,并结合LSTM-RNN监测算法实时监测潜水人员姿态,确保潜水人员生命平安。水下机器人广泛应用于水下测绘、海洋资源勘探、海洋生物探测等方面,而自主水下机器人那么需要更多外部信息辅助自身的定位、导航、运动控制。Carrasco等17使用双目视觉构建了SLAM系统,并且获得了优于IMU和GPS的定位、导航和控制效果。水下机器
8、人的伺服控制大多依靠于视觉定位,研究者将双目视觉技术应用于水下机器人的研制,目的是获取水下目的的位置、姿态,控制机械臂对目的进展抓取18-21。Bruno等22将双目视觉和构造光技术结合,构建了用于水下近场三维重建的测量系统(如珊瑚礁监控、水下遗址建模);并且研究了不同浑浊度的水下环境中的重建问题。调研结果说明,构造光能有效克制高浑浊水质中的强散射、强吸收问题,获得高质量的三维重建结果。综上所述,基于双目视觉的水上视觉测量技术根底研究涉及范围较广。由于双目测量具有准确、高效的特点,双目测量技术已经应用到水下三维重建、水下目的检测、水下定位导航等各个方面。尽管水下双目视觉得到了广泛而又深化的研究
9、,但由于水下成像特性导致图像质量下降、模型退化的问题还没有得到完全解决。3双目立体视觉模型相机通常使用针孔相机模型表征相机的成像经过。如图1所示,使用带有小孔的板遮挡在成像平面与物体之间,屏幕上会形成物的倒像。其中,像的大小会随遮挡板的前后挪动而变化。针孔相机模型表达为:其中,f为小孔到成像平面的间隔;Z为相机到物体的间隔;X为物体的长度;x为成像平面上物体的长度。为了更好地描绘物体三维信息到图像的转换经过,采用如图2所示的世界坐标系Ow-XwYwZw、相机坐标系Oc-XcYcZc、图像像素坐标系和图像物理坐标系来简化复杂的转换经过。其中,世界坐标系是自由确定的三维空间坐标系。在实际应用中,世
10、界坐标系通常与相机坐标系一致。图2坐标系之间的转换Fig.2Transformationbetweencoordinatesystem相机坐标系中Xc和Yc平行于成像平面,Zc与成像平面垂直。图像像素坐标系O-uv是以图像本身左上角O0为原点的一个平面坐标系,uv值分别代表像素坐标值,即像素所在图像中的行数和列数,单位是像素。图像物理坐标系是以相机光轴和成像平面垂直相交的点为原点的平面坐标系,xy轴(单位是毫米)分别与像素坐标系的uv轴平行。实现世界坐标系到图像像素坐标系的转换就是建立空间三维点到图像二维点之间的联络。世界坐标系上的一点P(Xw,Yw,Zw)转换到相机坐标系上的点P(Xc,Yc
11、,Zc)可通过坐标系旋转和平移实现,转换模型如公式(2)所示。其中,R为一个33的旋转矩阵;T为平移向量;0000。相机坐标系上一点Pc(Xc,Yc,Zc)可通过针孔模型变换到图像坐标系上一点pI(x,y)。其中,x、y的计算方式分别如公式(3)、(4)所示。使用齐次坐标系和矩阵可以表示为:其中,fx、fy为相机的等效焦距。综上所有变换,从世界坐标系中一点P(Xw,Yw,Zw)到图像坐标系中一点p(u,v)的坐标转换关系可表示为:其中,M1为相机内参数(fx,fy,cx,cy,dx,dy),dx、dy分别表示x和y方向上单个像素的物理长度;M2为相机外参数,包含参数旋转矩阵R和平移向量T。立体
12、视觉中理想的相机排列关系是成像平眼前向对准,光轴平行。图3为立体视觉模型,两个相机固定在同一轴线上,相机的基线间隔为b。f表示相机焦距;P(Xw,Yw,Zw)表示场景中的一点;pl(xl,yl)表示P投影到左相机图像上的点;pr(xr,yr)表示P投影到右相机图像上的点。图像立体校正之后可得ylyr,(xlxr)就是P点在左、右图像上的视差。图3立体视觉模型Fig.3Stereovisionmodel在立体视觉模型中,除了标定获取每个相机的内外参数,还需要获取两个相机之间的位置关系。在单个相机的标定经过中,可以获得左、右相机与世界坐标系之间转换关系(外参数)。左相机的外参数为旋转矩阵Rl和平移
13、向量Tl,假设左相机的外参数为旋转矩阵Rr和平移向量Tr。因此,假设世界坐标系中一个点P在x轴上的坐标是xw,xl和xr分别表示点P在左、右相机坐标系X轴上的坐标,可以得到:由此,左、右相机的位置关系可以通过R0和T0表达为:4水下双目立体世界系统水下成像分析光在水下传播与空气传播存在差异,Mcglamery23和Jaffe24对水下成像做了细致的研究。图4所示为Jaffe24文中提出的水下环境中的光线传播模型,提出了水下列图像光量由直接反射光、前向散射光和后向散射光三种光分量叠加生成的观点。其中,直接反射光经过物体对光线的反射和水的吸收后到达成像平面的光分量;前向散射光是物体反射后的光经过水
14、中悬浮物和水的吸收后到达成像平面的光分量;后向散射光是光源发出的光经过水中悬浮物和水的吸收到达成像平面的光分量。图4水下环境中的光线传播24Fig.4Lightpropagationinunderwaterenvironment24在水下使用相机时,将相机放置在密封防水罩中,由于防水罩与水、防水罩与空气传输介质差异,光线从水中进入防水罩时会发生折射,光线从防水罩进入空气中时也会发生折射。由于光线在防水罩处发生两次折射,且防水罩厚度较薄(可忽略不计),因此将水中的成像经过简化为如图5所示。其中,防水罩所在平面与相机成像平面平行,世界坐标系下一点P(Xw,Yw,Zw)反射的光线与防水罩相交于点O(
15、xr,yr,zr),光线在O点发生折射,通过镜头最后在成像平面p(u,v)点成像。假设防水罩外表与成像平面平行,防水罩到相机镜头的间隔为d,相机焦距为f(w,w,w)T和(a,a,a)T分别为入射光线发生折射前后的方向向量,与分别为光线在空气、水中与光轴的夹角,假如折射平面与相机光轴垂直,那么光轴在相机坐标系下的方向向量为(0,0,1)T。图5水下成像分析Fig.5Analysisofunderwater-imaging光线折射前、前方向向量之间的关系表示为:其中,k1和k2可根据Snell定律和角度转换关系25求得。因此,将(10)、(11)代入(9)整理简化后,光线折射前后光线方向向量之间
16、的关系表示为:假设(xu,yu)T是成像点在相机坐标系下的二维物理坐标,入射光线发生折射后的方向向量可表示为:由此入射光线折射前的方向向量,与成像点二维物理坐标之间的关系为:物体在相机坐标系下的三维坐标可表示为:其中,(xr,yr,zr)T表示入射光线与折射平面的交点。在相机坐标系下的坐标为:其中,d为防水罩到相机镜头的间隔。通过联立公式(12)(16)可得公式(17),即加了防水罩的相机在水下拍摄的成像经过,光线传播从水介质到玻璃防水罩介质发生一次折射,从玻璃防水罩到空气介质中发生一次折射。由于防水罩较薄,且在玻璃防水罩上发生两次折射,所以玻璃防水罩的折射影响可以忽略。5水下双目成像实验系统
17、实验中采用SV-16HR水下彩色相机、EasierCAPUSB图像收集卡、LED补光灯、信号传输线缆、电源转换器、固定支架等设备搭建双目测量系统,实验装置实物组成如图6所示。其中,相机工作电压为5V;LED补光灯工作电压为12V;图像收集卡的工作电压为5V,图像分辨率为640480像素,收集帧率为30帧/秒;信号传输线缆长10m;电源转换器提供12V电压输出。图7为本系统在泳池中测试的现场情况。图6实验装置组成局部Fig.6Experimentalfacilityparts图8为水下相机在4种不同环境中收集的图像。分别为实验室(无水环境)、泳池、池塘、近海海水4种不同环境下目的物体间隔相机约为
18、1m时的成像情况。由于水质问题引起的成像差异显而易见,池塘和近海海水水质太差,目的成像间隔较短,立体视觉测量相关实验没有完成。图9和图10分别为水上(实验室)和水下(泳池)环境中测量目的距相机不同间隔的成像结果。6水下双目系统测量实验采用64(10.9cm)尺寸的棋盘格标定板对相机的内外参数进展标定。由于池塘和近海海水中成像效果不佳,在此仅提供实验室和泳池中的集成技术相机标定实验结果。6.1系统标定实验结果使用立体视觉测量装置收集棋盘格在相机前方不同角度、不同倾斜度的图像共20幅,而后通过本文第2局部介绍的模型进展计算,得到两个相机与每幅图像上棋盘格之间的位置关系,进而确定两个相机之间的位置关
19、系,最终确定立体视觉测量系统的内外参数。整个标定经过包括原始图像收集、棋盘格角点提取、单目的定、立体标定等步骤。图11(a)为在泳池中收集的16幅不同的标定板图像,图11(b)为16幅标定板图像的角点提取结果。图12(a)、(b)分别为实验室采用(a)1.4m(b)2.2m(c)3.2m(d)3.9m(e)4.6m(f)5.6m(a)原始图像(b)棋盘格角点提取(a)原始图像(b)棋盘格标定图像的16幅标定板图像及其角点提取结果。表1中所呈现的数据是两种环境中获得的相机标定结果。水上标定得到的参数与水下标定得到的参数存在较大差异,由此可知,直接使用水上标定的参数进展水下测量是不可行的。从标定结
20、果中选取相机的内外参数应用于图像畸变校正和立体校正,校正结果如图13所示。图13(a)、(b)分别为水上和水下环境中的校正图像。为了方便观察,图像中添加了对齐线,如图13中所标注的pl、pr为同一目的位置分别在左、右校正图像上的成像点,pl、pr位于左、右校正图像的同一条对齐线上。表1相机标定结果Table1Resultofcameracalibration6.2系统测量误差评估结果本文采用的误差测量方法是,先测量标定板n个角点的空间位置,然后计算相邻两个角点之间的间隔di,相邻角点之间的实际间隔为10.9cm(即棋盘格单个方格的边长),分别通过公式(22)、(23)计算最大误差和平均误差。在
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 立体 视觉 水下 三维 测量 系统 研究
限制150内