第4讲 摄像机标定.ppt

摄像机标定技术摄像机标定技术机器视觉第四讲机器视觉第四讲主要内容主要内容1.摄像机标定概述2.摄像机成像模型3.射影几何学简介4.摄像机标定方法1、摄像机标定概述u计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体。u空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。u在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定。1、摄像机标定概述u标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着计算机视觉的精度。因此，只有做好了摄像机标定工作，后续工作才能正常展开。u迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决，对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。摄像机标定的分类摄像机标定的分类u根据是否需要标定参照物来看根据是否需要标定参照物来看传统的摄像机标定方法传统的摄像机标定方法摄像机自标定方法摄像机自标定方法在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。不依赖于标定参照物的摄像机标定方法，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行的标定称为摄像机自标定方法 从所用模型不同来分：u线性u非线性摄像机标定的分类摄像机标定的分类线性模型摄像机标定,用线性方程求解，简单快速，已成为计算机视觉领域的研究热点之一，目前已有大量研究成果。但线性模型不考虑镜头畸变，准确性欠佳；对于非线性模型摄像机标定，考虑了畸变参数，引入了非线性优化，但方法较繁，速度慢，对初值选择和噪声比较敏感，而且非线性搜索并不能保证参数收敛到全局最优解。u从视觉系统所用的摄像机个数不同分为单摄像机和多摄像机 u在双目立体视觉中，还要确定两个摄像机之间的相对位置和方向。摄像机标定的分类u从求解参数的结果来分隐式显式摄像机标定的分类为了提高标定精度，就需要通过精确分析摄像机成像的中间过程，构造精密的几何模型，设置具有物理意义的参数(一般包括镜头畸变参数、图像中心偏差、帧存扫描水平比例因子和有效焦距偏差)，然后确定这些未知参数，实现摄像机的显参数标定。隐参数标定是以一个转换矩阵表示空间物点与二维像点的对应关系，并以转换矩阵元素作为标定参数，由于这些参数没有具体的物理意义，所以称为隐参数定标。在精度要求不高的情况下，因为只需要求解线性方程，此可以获得较高的效率。比较典型的是直接线性标定(DLT)。DLT标定以最基本的针孔成像模型为研究对象，忽略具体的中间成像过程，用一个34阶矩阵表示空间物点与二维像点的直接对应关系。u从解题方法来分解析法神经网络法摄像机标定的分类解析方法是用足够多的点的世界坐标和相应的图像坐标，通过解析公式来确定摄像机的内参数、外参数以及畸变参数，然后根据得到的内外参数及畸变系数，再将图像中的点通过几何关系得到空间点的世界坐标。解析方法不能囊括上述的所有非线性因素，只能选择几种主要的畸变，而忽略其它不确定因素。神经网络法能够以任意的精度逼近任何非线性关系，跳过求取各参数的繁琐过程，利用图像坐标点和相应的空间点作为输入输出样本集进行训练，使网络实现给定的输入输出映射关系，对于不是样本集中的图像坐标点也能得到合适的空间点的世界坐标。u根据标定块的不同立体平面摄像机标定的分类摄像机标定的分类平面模板(作为标定物)，对于每个视点获得图像,提取图像上的网格角点，平面模板与图像间的网格角点对应关系，确定了单应性矩阵(Homography)，平面模板可以用硬纸板，上面张贴激光打印机打印的棋盘格。模板图案常采用矩形和二次曲线（圆和椭圆）。标定通过拍摄一个事先已经确定了三维几何形状的物体来进行，也就是在一定的摄像机模型下，基于特定的实验条件如形状、尺寸已知的定标参照物(标定物)，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。这种定标方法的精度很高。用于定标的物体一般是由两到三个相互正交的平面组成。但这些方法需要昂贵的标定设备，而且事前要精确地设置。u不管怎样分类，标定的最终目的是要从图像点中求出物体的待识别参数，即摄像机内外参数或者投影矩阵。然而，不同应用领域的问题对摄像机定标的精度要求也不同，也就要求应使用不同的标定方法来确定摄像机的参数。u例如：例如：在物体识别应用系统中和视觉精密测量中，物体特征的相对位置必须要精确计算，而其绝对位置的标定就不要求特别高；在自主车辆导航系统中，机器人的空间位置的绝对坐标就要高精度测量，并且工作空间中障碍物的位置也要高度测量，这样才能安全导航。摄像机标定的分类摄像机标定的分类2.摄像机成像模型图像形成的简单模型图像形成的简单模型来自于光源(如太阳)的光入射到物体表面并被表面反射。反射光进入人眼，最终导致了我们对颜色的感知摄像机成像模型摄像机成像模型u在计算机视觉中，利用所拍摄的图像来计算出三维空间中被测物体几何参数。图像是空间物体通过成像系统在像平面上的反映，即空间物体在像平面上的投影。u图像上每一个像素点的灰度反映了空间物体表面某点的反射光的强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。这些位置的相互关系，由摄像机成像系统的几何投影模型所决定。u计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成成像像模模型型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。针孔模型针孔模型u假设物体表面的反射光都经过一个针孔而投影到像平面上，即满足光的直线传播条件。u针孔模型主要由光心（投影中心）、成像面和光轴组成。u小孔成像由于透光量太小，因此需要很长的曝光时间，并且很难得到清晰的图像。实际摄像系统通常都由透镜或者透镜组组成。u两种模型具有相同的成像关系，即像点是物点和光心的连线与图像平面的交点。因此，可以用针孔模型作为摄像机成像模型。针孔摄像机针孔摄像机空间点O是投影中心，它到平面的距离是f。空间点M在平面上的投影(或像)m是以点O为端点并经过点M的射线与平面的交点。平面：摄像机的像平面点O：摄像机中心(光心)f：摄像机的焦距以点O为端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的交点p称为摄像机的主点成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMmpf上式可表示为下面的矩阵：上式可表示为下面的矩阵：成像模型的代数表示o o o of f f f摄像机坐标系：O-XcYcZc图像坐标系：O1-XY根据三角形相似原理，有常用坐标系及其关系常用坐标系及其关系图1 摄像机标定中常用坐标系图1 表示了三个不同层次的坐标系统：1.世界坐标系2.摄像机坐标系3.图像坐标系（图像像素坐标系和图像物理坐标系）。三个层次的坐标系统（1）世界坐标系（Xw，Yw，Zw）：也称真实或现实世界坐标系，或全局坐标系。它是客观世界的绝对坐标，由用户任意定义的三维空间坐标系。一般的3场景都用这个坐标系来表示。（2）摄像机坐标系(xoy)：以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为oz 轴建立的三维直角坐标系。x，y 一般与图像物理坐标系的，平行。（3）图像坐标系，分为图像像素坐标系和图像物理坐标系两种：a)图像物理坐标系：其原点为透镜光轴与成像平面的交点，X 与Y 轴分别平行于摄像机坐标系的x与y 轴，是平面直角坐标系，单位为毫米。b)图像像素坐标系计算机图像（帧存）坐标系：固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角,Xf，Yf 平行于图像物理坐标系的X 和Y轴。对于数字图像，分别为行列方向。1)世界坐标与摄像机坐标之间的转换关系世界坐标与摄像机坐标之间的转换关系：其中，T是世界坐标系原点在摄像机坐标系中的坐标，矩阵R是正交旋转矩阵R满足约束条件：正交旋转矩阵实际上只含有三个独立变量Rx，Ry，Rz，再加上tx,ty,tz 总共六个参数决定了摄像机光轴在世界坐标系中的坐标，因此这六个参数称为摄像机的外部参数。2)图像坐标系与摄像机坐标系变换关系图像坐标系与摄像机坐标系变换关系:摄像机坐标系中的一点p在图像物理坐标系中像点P坐标为：齐次坐标表示为：将上式图像物理坐标系进一步转化为图像坐标系：其中，u0，v0是图像中心（光轴与图像平面的交点）坐标，dx，dy分别为一个像素在X与Y方向上的物理尺寸，sx=1/dx，sy=1/dy 分别为X与Y方向上的采样频率，即单位长度的像素个数。因此可得物点p与图像像素坐标系中像点pf的变换关系为：其中，fx=fsx，fy=fsy分别定义为X和Y方向的等效焦距。fx、fy、u0、v0这4个参数只与摄像机内部结构有关，因此称为摄像机的内部3）世界坐标系与图像坐标系变换关系：世界坐标系与图像坐标系变换关系：转化为齐次坐标为：这是针孔模型或者中心投影的数学表达式。在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的内部和外部参数。三维重建三维重建主要目的：从图像出发，求出所有的主要目的：从图像出发，求出所有的X摄像机摄像机标定标定：从图像出发，求出内参数：从图像出发，求出内参数M1摄像机标摄像机标定位定位或运动参数求解或运动参数求解：从图像出发，求出运动参数从图像出发，求出运动参数M M2 23.射影几何学简介为什么要学习射影几何？u照相机的成像过程是一个射影变换(透视或中心射影)的过程：物体与其影像不同，但是又有着一些共同的几何性质。射影几何是三维计算机视觉的数学理论基础u几何是：研究某个空间里的图形在变换之后保持几何是：研究某个空间里的图形在变换之后保持不变的性质的不变的性质的 学科。学科。常见的旋转和平移是欧氏变换，研究在欧氏变换下保持不变的性质（欧氏性质）的几何，是欧氏几何。比如长度、角度、平行性等都是欧氏性质。Euclid（约公元前约公元前330-275）原本，欧氏几何学原本，欧氏几何学整理、归纳、升华照相机的成像过程不保持欧氏性质例如:平行线不再平行无穷远元素无穷远元素 平行线交于一个无穷远点;平行平面交于一条无穷远直线;u在一条直线上只有唯一一个无穷远点.所有的一组平行线共有一个无穷远点.无穷远点无穷远点无穷远无穷远u在一个平面上,所有的无穷远点组成一条直线,称为这个平面的无穷远直线.平行线无穷远直线无穷远直线u3维空间中所有的无穷远点组成一个平面,称为这个空间的无穷远平面.无穷远平面无穷远平面平行线平行线平平行行平平面面和和直直线线射影空间 对 n 维欧氏空间加入无穷远元素,并对有限元素和无穷远元素不加区分,则它们共同构成了 n n 维射影空间维射影空间.1维射影空间是一条射影直线,它由我们所看到的欧氏直线和它的无穷点组成;2维射影空间是一个射影平面,它由我们所看到的欧氏平面和它的无穷远直线组成;3维射影空间由我们所在的空间与无穷远平面组成.齐次坐标 在欧氏空间中建立坐标系后,便有了点与坐标间的一一对应,但当引入无穷点以后,无穷远点无坐标,为了刻化无穷远点的坐标,我们引入齐次坐标.在 n 维空间中,建立欧氏坐标后,每一个有限的点的坐标为 ,对任意 n+1 个数 ,如果满足:则 被叫作这个点的齐次坐标齐次坐标.相对于齐次坐标,被称作非齐次坐标非齐次坐标.不全为0的数 组成的坐标 被称作无穷远点的齐次坐标齐次坐标.例如:在欧氏直线上的普通点的坐标为 x,则适合 的两个数 组成的坐标 为这个点的齐次坐标,x 为这个点的非齐次坐标.对任意的 ,则 为无穷远点的齐次坐标.引入齐次坐标后,u在二维平面上,如果直线的方程为:则直线的齐次方程为:无穷远直线的方程则为:u在三维空间中,如果平面的方程为:则平面的齐次方程为:无穷远平面的方程则为:射影参数 对于对于 n 维空间中的任意一条直线维空间中的任意一条直线,如果如果 是它上的任意两个取定的点是它上的任意两个取定的点,则它上的任则它上的任意一个点意一个点 可以由可以由 线性生成线性生成:其中其中 分别是分别是 的齐次坐标的齐次坐标,是两个不全为零的常数是两个不全为零的常数.比例 被叫作 关于 在这条直线上的射影参数射影参数.如果 ,则射影参数为 .交比 对于共线的4个点 ,比例：被叫作 关于 的交比交比，记为 其中 分别是 ，的射影参数。u定理：设四个不同的共线点中的三点及其交比值为已知，则第四点必唯一确定。射影变换 记 是两个由点组成的射影空间,是由 到 的映射.如果 保持:(i)点和直线的结合关系.比如:点在直线上;直线通过点;等等.(ii)共线的四个点的交比.则 被叫作 n n 维射影变换维射影变换.两个射影空间 可以是同一个空间,则 是同一个空间里的变换.u点用齐次坐标表示,则射影变换可用一个(n+1)(n+1)的矩阵表示:u 的行列式非零,则它是一个非退化的射非退化的射影变换影变换,否则是个退化的射影变换.u照相机的成像过程是一个从3维空间到2维空间的退化的射影变换。成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMm射影几何 射影几何射影几何是：研究射影空间中在射影变换下保持不变的性质的几何学。射影变换射影变换射影空间射影空间射影空间射影空间几何性质几何性质/数量数量几何性质几何性质/数量数量=射影平面中的对偶u“点”与“直线”叫作射影平面上的对偶元素对偶元素。u“过一点作一直线”与“在一直线上取一点”叫作对偶作图对偶作图。u在射影平面里设有点，直线及其相互结合和顺序关系所组成的一个命题，将此命题中的各元素改为它的对偶元素，各作图改为它的对偶作图，其结果形成另一个命题，这两个命题叫作平面对偶命题对偶命题。u对偶原则对偶原则：在射影平面里，如果一个命题成立，则它的对偶命题也成立。u例如：命题：通过不同两点必有一直线。对偶命题：两不同直线必有一交点。u共线的四个点有交比,根据对偶,共点的四线也有交比.L1L2L3L4P1P2P3P4(P1,P2;P3,P4)=(L1,L2;L3,L4)调和关系 如果点对 和 的交比是-1,即:则称 与 是调和调和的.点对 与 是调和的,当且仅当:其中 分别是 ,的射影参数.u一线段的中点为无穷远点关于这个线段的两个端点的调和点。u因为调和关系是由交比定义的，所以它是射影不变的。u例如：利用这种不变的调和关系，我们可以求出无穷远点的像。无穷远点的像可以用来对照相机进行标定。成像平面摄像机坐标系ZXYOP p二次曲线 记射影平面上点的齐次坐标为 ,则满足一个二次方程,即:的所有点的集合构成一条由 决定的 二次曲线二次曲线,其中至少有一个 非零.在二次曲线的定义中的方程又可以写为:矩阵 是对称的,它的秩在一个非退化的射影变换下保持不变.如果矩阵 的行列式非零,则这个二次曲线非退化非退化.否则二次曲线退化为两条直线,或一条直线.例如:圆,椭圆,双曲线和抛物线都是非退化的二次曲线.二次曲线的对偶：u射影平面上点与直线是对偶的，将二次曲线的点元素换为线元素，则这些线的包络为一个二次曲线。u二次曲线 （为点坐标）的对偶为：（为线坐标）其中 为 的伴随矩阵。互为对偶点的轨迹线的包络绝对二次曲线 欧氏空间中,无穷远平面上的二次曲线:称为绝对二次曲线绝对二次曲线.绝对二次曲线的像与照相机的内参数紧密相连.假定照相机的内参数为:则绝对二次曲线的像是:反之,如果绝对二次曲线的像已知,则 K 可以被完全确定.参考书目u吴福朝.计算机视觉中的数学方法，科学出版社，2008uJ.G.Semple,G.T.Kneebone,Algebraic Projective Geometry,Oxford University Press,1952.u梅向明,刘增贤,王汇淳,王智秋,高等几何,高等教育出版社,1998.u 周兴和，高等几何，科学出版社，2003.