相机标定算法综述(共27页).doc

精选优质文档-倾情为你奉上相机标定算法综述Name MoonlightranEmail randolphingwp Note: 欢迎就任何问题发邮件讨论！专心-专注-专业目 录第1章 引言计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D空间和2D图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3×3的旋转矩阵R 和一个平移向量t 来表示。摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了最初的镜头校正。本文综述中，将相机的标定按照参数的未知程度分成了三大类：参数完全不知（内外参数都未知）的相机标定，内参数已知的相机标定和内参数部分未知的相机标定，由于时间的原因，因此只详细介绍内外参数都未知的相机标定算法，内参数已知的标定算法，其实就是一个相机位姿估计问题。同样部分参数未知的标定，也可以归结为相机位子估计问题中，对这些问题，我们给出最新的相关参考文献。第2章 相机标定模型的介绍2.1摄像机成像模型图像是视觉信息表示的一种物理形式，要了解图像所携带信息的内在性质，必须了解三维景物是如何形成二维图像的几何模型，就要用适当的数学模型表征图像的形成过程。成像几何模型只与三维物体点的空间位置、摄像机焦距以及物体或摄像机相对运动参数有关，而与二维图像的强度信息无关。研究建立成像几何模型的目的就是建立真实世界(物体空间)和图像(图像空间)之间的坐标关系。摄像机参数总是相对于某种几何成像模型的，这个模型是对光学成像过程的简化。首先我们从物理学角度上简单介绍针孔成像和透镜成像原理，然后引入机器视觉中的世界坐标系，图像坐标系和摄像机坐标系，在坐标系的基础上建立起针孔成像的数学模型，进而推导更为复杂的坐标系转换和模型的参数求取问题。虽然实际的成像要比针孔成像模型复杂的多，但是针孔成像模型在数学上应用是非常方便的，并且对成像的近似程度往往可以接受48。如图3.1所示为针孔成像模型，左端的物体在右端的像平面上成像，像平面相当于一个方形盒子的一个面，在这个面的对面是针孔所在的面，针孔相当于投影的中心，针孔模型所成的像是倒像。其中平面为物体所在平面，其高度为，平面为针孔所在平面，平面为像平面，在的成像高度为，到的距离称为物距，距离表示为。到的距离称为像距，也叫主距或相机常数，表示为。因为针孔成像模型产生的像是颠倒的，为了方便，我们可以假定成的像落在针孔所在平面的前面，即平面上，它到针孔的距离和实际成像面到针孔的距离完全一样为，大小和成像大小完全一样，这样假定的这个像和实际成像物体的方向都是一样的，这样在我们的分析计算中会显得更为方便，接下来本文的分析计算都是在这种情况下完成的。图2.1 针孔成像模型虽然针孔成像模型简单，但是在实际中CCD摄像机成像系统采用的并不是小孔成像原理，而是透镜原理49。如下图为透镜成像的原理，其中称为物距，为像距，称为透镜的焦距，三者关系如下： (2.1) (2.2)图2.2 透镜成像模型在实际情况中，因此上式可以简化为。这样就可以将像距近似的看作系统焦距，此时透镜模型可以近似的使用小孔成像模型来替代。接下来引入图像形成过程中所涉及到的各种坐标系。2.2 图像坐标系和物理坐标系摄像机采集的每一幅数字图像在计算机内，存储形式都是行的数组，的图像中每一个元素(称为像素，pixel)的数值称为图像的灰度(亮度)。如图3.2，在图像上定义直角坐标系，。任意一个像素的坐标分别是该像素在数组中所在的行数和列数。所以，是以像素为单位的图像坐标系。由于只是以像素在数组中的行和列表示出了该像素的位置，并没有用物理单位表示出来。因此，接下来需要建立物理坐标系，以物理单位表示像素的位置。物理坐标系的原点为摄像机的光轴和图像平面的交点，轴和轴分别和轴、轴平行。图2.3 图像坐标系和物理坐标系若在坐标系中的坐标为，每一个像素在轴和轴上的物理尺寸为和，则图像中任意一个像素在图像坐标系和物理坐标系中的坐标有如下关系： (2.3)为了方便，用齐次和坐标形式表示为： （2.4）（2.5）2.3 摄像机坐标系为了分析摄像机成像几何的关系，我们定义一个摄像机坐标系，摄像机坐标系的原点在摄像机的光心上，轴和轴和图像坐标系中轴和轴平行，为摄像机的光轴，它和图像平面垂直，光轴和图像平面的交点即为图像物理坐标系的原点，摄像机成像几何关系如图3.3所示，其形式为针孔成像模型。图中即为摄像机坐标系，为摄像机的焦距。图2.4 摄像机坐标系和物理坐标系2.4 世界坐标系由于摄像机可以安装在环境中的任意位置，所以在环境中还应该选取一个基准坐标来描述摄像机的的位置，并用它描述环境中其他任何物体的位置，该坐标系称为世界坐标系。它由、和轴组成，如图3.3所示，摄像机坐标系和世界坐标系之间的关系可以用旋转矩阵和平移矩阵来描述。若空间某点在世界坐标系和摄像机坐标系下的齐次坐标如果分别是和，则存在如下关系：(2.6)其中，为的正交单位矩阵，为三维平移向量，为的矩阵。2.5 线性摄像机模型(针孔成像模型)针孔模型是目前最常见的摄像机模型,它简单实用而不失准确性,在计算机视觉研究中被广泛使用。在3.2.1中我们已经对简单的针孔成像模型进行的介绍，在介绍完三种坐标系后，接下来将针孔成像模型作进一步介绍。在如图3.3中所示，空间任何一点P在图像上的成像位置为光心和点的连线和图像平面的交点。空间点在摄像机坐标系下的坐标为，在图像上的投影坐标为，平面和图像平面的距离为，一般称为摄像机焦距，它们满足如下的几何关系：(2.7)用齐次坐标和矩阵表示上述关系为：(2.8)其中，为一比例因子，为透视投影矩阵。将(3.4)和(3.5)带入式(3.7)，得到以世界坐标系表示点坐标与其投影点的坐标的关系。(2.9)其中为轴上的尺度因子，或者轴上的归一化焦距。，为轴上的尺度因子或轴上的归一化焦距。为的矩阵，称为投影矩阵，由摄像机相对于世界坐标系的方位决定，称为摄像机的外参数。由、决定，只于摄像机内部参数有关系，称为摄像机的内参数。确定某一摄像机的内外参数叫做摄像机的标定。式2.9在实际中简写为如下形式： (2.10)此外，为方便起见，还有共线方程的形式，如下所示： (2.11)2.6 非线性摄像机模型在实际中，摄像机的镜头并不是理想的透视成像，而是带有不同程度的畸变，使的空间点所成的像并不在线性模型所描述的位置，而是在受到镜头失真影响而偏移的实际像平面坐标 (2.12) (2.13)其中是主点位置坐标的精确值，而(2.14)上式表明方向和方向的畸变相对值与径向半径的平方成正比，即在图像边缘处的畸变较大。对一般机器视觉，一阶径向畸变完全够描述非线性畸变，故3.10式变为：(2.15)线性模型参数、和非线性畸变参数、一起构成了摄像机非线性模型的内部参数。第3章 内外参数未知的摄像机标定总的来看，根据标定方式的不同，在相机内外参数都未知的情况下，现有的摄像机标定技术大体可以归结为三类：传统的摄像机标定方法和摄像机自标定方法以及基于主动视觉的标定方法。(1)传统摄像机标定方法传统摄像机标定方法是，在一定的摄像机模型下，基于待定的实验条件和形状、尺寸已知的标定参照物(如标定块)，经过对其图像进行处理，利用一系列数学变化和计算方法，求取摄像机模型的内部参数和外部参数。根据计算参数方法的不同，传统的摄像机标定方法大致可以分为四类：即利用最优化算法的标定方法，利用摄像机投影变化矩阵的标定方法(张正友标定方法)，进一步考虑畸变补偿的两步法和双平面标定法。传统摄像机标定的优点在于可以任意使用摄像机的模型，标定精度很高，适用于精度高和相机内外参数不经常变化的场合。(2)摄像机自标定方法传统摄像机有其标定精度高的优点，但其也有着明显的缺点，其缺点是标定的过程非常复杂，需要高精度的已知结构信息，并且常常受限与实际的标定场合。在很多情况下，由于存在经常性调整摄像机的要求，而且设置已知的标定参照物也不现实，这时就需要一种不依赖标定参照物的所谓摄像机自标定方法。自标定的方法首先由Faugeras、Luong等人提出，该方法相比于传统方法最大的优点在于，摄像机的标定不需要借助任何特殊的标定物，而是仅仅利用图像对应点的信息，直接利用图像来完成标定的任务。正式这种特性使得摄像机自标定技术有了很大的灵活性，应用空间广泛。但其缺点也是明显的，相对于传统的摄像机标定方法，摄像机自标定方法具有的是灵活性，但失去的恰恰是传统方法的精确性和鲁棒性。其原因在于，自标定都只是利用了摄像机内部参数自身存在的约束，而与场景和摄像机运动无关，这是该方法灵活性的本质。自标定方法主要应用的是精度要求不太高的场合。(3)基于主动视觉的标定方法鉴于传统方法灵活性的不足和自标定方法精度的不足，故提出了基于主动视觉的摄像机标定方法。基于主动视觉的摄像机标定指的就是“已知摄像机的某些运动信息”下的摄像机标定，类似于自标定方法，其也是一种仅从图像对应点进行标定的方法，因此也不需要标定物，但需要控制摄像机做某些特殊的运动，比如围绕着光心旋转81或纯平移71,83，利用运动的特殊性质来计算摄像机的内部参数。基于主动视觉的标定方法算法简单，通常能获得线性解，鲁棒性高，但其缺点在于标定的实验成本太高，设备昂贵，实验要求高。通过个人和一般单位承受不起，而且该方法不适合于运动参数未知或者运动无法控制的场合。根据以上对现有标定方法的总结，接下来主要讨论传统的相机标定方法。3.1基于3D立体靶标相机标定基于3D立体靶标进行摄像机参数标定是一个将如下图所示的3D立体靶标放置在摄像机前面，靶标上每一个小方块的角点均可作为特征点。对于每一个特征点，其相对于世界坐标系的位置在制作时候精确的测量。摄像机获取该靶标上特征点的图像，由靶标上特征点的世界坐标和图像坐标即可计算出摄像机的内外参数。基于3D立体靶标上特征点直接求解摄像机线性和非线性模型参数是较为传统的方法。线性摄像机模型有下式表示：其中，为3D立体靶标第个点的坐标；为第个点的图像坐标，为投影矩阵的第行列元素。上式包含三个方程：将上面式子的第一式除第三式，第二式除第三式分别消去后，可以得到如下两个关于的线性方程：上面式子表示，如果靶标上有个特征点，并且已知他们的空间坐标为与他们的图像坐标，就可以采用直接线性变化的方式解出矩阵元素。对于个特征点，则有个关于矩阵元素的线性方程，下面用矩阵形式写成这些方程：实际上，矩阵乘以任意部位零的常数并不影响与的关系，因此，在上公式中可以指定，从而得到关于矩阵其他元素的个线性方程，这些未知元素的个数为11个，记为11维向量，将上公式改写为：其中为矩阵，为未知的11维向量，为维向量，为已知向量。对于上公式，可以利用线性方程组的常规解法求出矩阵。当时候，可以利用最小二乘解上述方程：求出矩阵后，还需要计算出摄像机的全部外参数。将M矩阵和摄像机外参数的关系写成如下形式：即然后得到，由于是正交单位矩阵的第三行，故而有，因此，我们可以从求出。根据上面的公式求的，如下：由以上可以看出，只有空间中6个以上的点和其所对应的图像坐标系，就能够求出M矩阵，然后根据上面的公式以此求出相机内外参数。3.2基于径向约束的相机标定(Tsai)Roger Tsai给出了一种基于径向约束的两步标定法。该方法的第一步是利用最小二乘法解超定线性方程，给出外部参数。第二步求解内部参数，如果摄像机无透镜畸变，可以由一个超定线性方程解出。如果存在径向畸变，则可结合非线性优化的方法获得全部参数。该方法计算量适中，精度较高，平均精度可达1/4000，深度方向精度可达1/8000。Roger Tsai的两步法是基于以下径向排列约束实现的。3.2.1径向排列约束如下图所示，按照理想的透视投影关系，空间点在摄像机像平面上的像点为，但是由于镜头的径向畸变，其实际的像点为，它与之间不符合透视投影关系。考虑镜头径向畸变的摄像机模型由上图可以看出，与的方向一致，且径向畸变不改变的方向，即方向始终与的方向一致。其中是图像中心，位于的点，这样径向约束可以表示为：由成像模型可以知道，径向畸变不改变的方向。因此，无论有无透镜畸变都不影响上述事实。有效焦距的变化也不会影响上述的事实，因为的变化只会改变的长度而不会改变方向。这样就意味着由径向约束所推倒出的任何关系都是与有效焦距和畸变系数无关的。假设标定点位于绝对坐标系中某以平面中，并假设摄像机相对与这个平面的位置关系满足下面两个重要的条件：（1）绝对坐标系中的原点不在视场范围内；（2）绝对坐标系中的原点不会投影到图像上接近与图像平面坐标系的Y轴。条件（1）消除了透视变形对摄像机常数和标定平面距离的影响，条件（2）保证了缸体平移的Y分量不会接近于0，因为Y分量常常出现在下面引入的许多方程的分母中。这两个条件在许多成像场合下是很容易满足的。3.2.2径向约束两步法标定过程由摄像机坐标系和世界坐标系的关系可以得到如下表达式：由径向约束可以得到：将上公式整理得到：上公式两端除以，得到如下： 将上面表达式表示为失量的形式如下：其中，行矢量是已知的，而列矢量是待求的参数。实际图像到计算机图像变化为：其中，为摄像机在X防线的像素间距，为摄像机在Y方向的像素间距，为摄像机在X方向的像素数，为计算机在X方向采集到的行像素数，为图像尺度因子，为光学中心。基于上述由共面标定点和非共面标定点的求解方法。由于共面标定点的方法不能求解出，因此一般使用较少。下来介绍基于非共面标定点的求解方法。采用N个非共面点进行标定，计算机图像坐标为，相应三维世界坐标为，相应三维世界坐标为，则标定过程分为以下几步实现：1）求解旋转矩阵R，平移矩阵T的分量以及图像尺度因子（1）设，为计算机平面的中心点坐标，依上公式由获得的计算机图像坐标计算出实际图像坐标。（2）由径向约束条件，且，则前面公式写成：这样，可以计算出。（3） 令，由于：（4） 由下公式计算：（5） 由下面方法确定的符号并且同时得到及。由于与与具有相同的符号，则先假设符号为正，在标定点中任意选择一个点，进行如下计算：a. b.若与符号相同且与符号相同，则符号为正，否则，符号为负。c. 根据R的正交性，计算，如下：2）求解有效焦距，的分量和透镜畸变系数。对于每一个特征点，不考虑畸变有：令，为计算机屏幕的中心点坐标，则得到：其中，解由上面式子构成的超定方程组，即可得到的初始值。接下来取的初始值为0，的初始值为计算机屏幕的中心点坐标，解下列非线性方程组，进行优化搜索即可以得到及的精确解。3.3基于交比不变的相机畸变系数标定非线性畸变参数通常是作为摄像机的内部参数，其标定是通过预先设定的初值，与其他摄像机内部参数一起通过非线性优化过程获得。本节介绍基于交比不变的摄像机畸变系数标定方法。对于空间中同一直线上的四个点：，其交比可以写成如下形式：根据透视原理，空间点与其对应图像点的坐标关系为：空间共线四点A、B、C、D对应的图像点分别为。根据交比不变的性质有：由于实际的镜头并不是理想的透视成像，而是带有不同程度的畸变，即使得空间点所成的像并不在点，而是在点。一般情况下，一阶径向畸变已经足够描述非线性畸变，所以我们只考虑径向畸变，畸变模型如下：其中，则可得到如下表达式：解这些式子，便可以得到畸变系数。3.4基于2D平面靶标的相机标定(张正友标定法)张正友针对径向畸变，提出一种利用多幅平面模板标定摄像机内外参数的方法。该方法需要摄像机从不同的角度拍摄平面模板的多幅图像(最少三幅)，摄像机和平面模板之间可以自由运动，运动参数不需要知道。根据平面模板上的每个特征点与其相对应图像上的特征点建立映射矩阵，为内部参数的求解提供约束条件，通过这些约束条件来求解摄像机的内外参数。在张正友标定方法中，假设模板平面在世界坐标系上Z=0的平面上，摄像机或者平面标定板一端固定，另一端在视场内移动，拍摄多幅图像，依据拍摄的多幅图像就可以获得标定结果。该方法的操作可以描述为以下几步：1.打印一张模版(棋盘方格图)并贴在一个平面上；2.移动平面模板或摄像机，从不同角度拍摄若干张(至少3张)模版图像；3.检测出每幅图像中的特征点；4.求出每一幅图像的单应矩阵H(Homograpy)；5.在令畸变系数为零的前提下，利用求出的单映矩阵H计算摄像机的内参数；6.利用反投影法进一步优化求精，同时计算出各项畸变系数和相机的外参数。靶标平面上的三维点记为，其图像平面上的二维点记为，其相应的其次坐标系为和，摄像机基于针孔成像模型，空间点和图像点之间的映射关系为： (3.13)其中，为任意的非零尺度因子，旋转矩阵和平移向量称为摄像机外参数矩阵，为摄像机内参数矩阵，其定义为： (3.14)其中，为主点坐标，、分别是轴和轴的尺度因子，是轴和轴的不垂直因子。为了不失一般性，假设靶标平面落在世界坐标系的的平面上，即平面上。记旋转矩阵的第列为，由(3.13)得： (3.15)这里仍然用表示平面靶标上的点，此时，这样，靶标平面上的点与对应的图像点之间存在一个矩阵变换： (3.16)其中为一的矩阵，称作单应矩阵，为一常数因子。记，有： (3.17)其中，平移向量为世界坐标系的原点到光心的矢量，、为图像平面中的两个坐标轴在世界坐标系中的方向矢量，不会位于、构成的平面上，由于和正交，因此。又由于，所以。的计算是使实际图像坐标和式子(3.13)计算出来的图像坐标之间的残差最小，其目标函数为： (3.18)当求解出来以后，由(3.17)和的正交性质，可以得到两个基本的方程： (3.19)式(3.19)是关于摄像机内参数的两个基本约束。一个转换矩阵有8个自由度，而外参数有6个自由度(三个旋转自由度，三个平移自由度)，因此通过一个转换矩阵只能获得摄像机内参数的两个约束条件。空间上的二次曲面可以用，其中，为一个的对称矩阵。乘以任何一个不为零的标量，其结果描述的仍然是同一个二次曲面。平面上的二次曲线可以表示为，其中，是一个对称矩阵。乘以任何一个不为零的标量，其结果描述的仍然是同一条二次曲线。故实际上描述的是绝对二次曲线在图像平面上的投影。令 (3.20)是对称矩阵，可以另外表示为下面的六维向量：，设中的第列向量为，因此有： (3.21)其中：，这样式子(3.19)可以写成两个关于为未知数的齐次方程 (3.22)如果对靶标平面拍幅图像，可以得到个(3.22)的方程，将个方程程叠起来，可以得到： (3.23)其中，为的矩阵。如果，可以在相差一个尺度因子的意义下唯一的确定。时可以加上一个附加条件，即。因此可以用作为(3.23)的一个附加方程。方程(3.23)的解是矩阵的最小特征值对应的特征向量，通过对矩阵进行奇异值分解求出。当求解出的时候，利用Cholesky矩阵分解算法求出，然后求逆得到。一旦得到后，每幅图像的外参数便可以计算得到了，由(3.17)得到： (3.24)其中 (3.25)通常情况下摄像机的镜头都是有不同的畸变的。因此，还要根据上面得到的参数作为初始值，进行优化搜索，进而得到所有参数的准确值。3.5基于KALMAN滤波器的相机标定该方法将二维平面靶标上的特征点看作是匀速运动的点，利用系统噪声和观测噪声的统计特性，以观测到的特征点的图像坐标和对应世界坐标作为滤波器的输入，内外参数的估计值作为滤波器的输出，根据迭代扩者卡尔曼滤波算法得到摄像机内外参数的最优估计。由于kalman滤波具有良好的动态特性和参数的最优估计特性，因此将IEKF方法作为摄像机参数估计的一种新途径。1. 状态模型在主动视觉中，不考虑摄像机畸变系数的变化，摄像机模型参数可以表示为。这里采用四元数来表示旋转矩阵，其中。提取一幅平面靶标图像上的特征点，假设提取的特征点是做匀速运动，把点数的增减作为时刻的变化，靶标点的坐标作为点在不同时刻的运动坐标。取和相机内外参数作为状态参数，则状态向量为，由此建立摄像机模型的状态方程为：其中，分别为和时刻的状态向量，为11*11的到时刻的状态转移矩阵。同一幅图像内在不同时刻的状态转移向量的参数是不变的，上式为以线性位移不变方程，矩阵是个11阶的单位方阵，处于临界稳定状态。2. 测量模型在标定过程中，特征点的图像坐标和对应的世界坐标是可以观测到的，选为观测向量，同时约束条件也作为观测向量，则模型的测量方程可以描述为：其中，是零均值白噪声，为时间的函数。可以由摄像机的投影模型得到：3. 卡尔曼滤波算法设特征点从时刻0运动到时刻，图像坐标点作为观测值。在卡尔曼滤波方法分析中，利用观测值求出的状态向量的最优估计称为滤波估计。而利用观测值的最优估计通过状态方程求得的估计称为一步估计。由于状态矩阵为11阶单位矩阵I，状态不变，一步估计状态，一步估计误差方差阵。卡尔曼滤波最优滤波估计方程组为：其中第一式为最优滤波增益方程，为卡尔曼增益，为噪声协方差阵，是3*3矩阵。第二式和第三式是最优滤波方程，分别得到时刻最优状态估计和最优误差方阵。通过上述公式来完成参数的最优化。从而得到相机标定参数的最有结果。3.6 立体视觉的标定立体视觉系统标定与简单的单个摄像机标定的不同之处在于它在获知系统中单个摄像机内外参数的同时还需得到摄像机间的空间位置参数。 首先，采用张正友标定法计算出两个摄像机的内部参数以及各自相对于固定参考坐标系的旋转矩阵、，平移向量、。假设场景中任一点在左右成像平面上的投影分别为、，且该点在固定参考坐标系下的坐标为，则、之间存在以下变化关系： (3.26)消去后可得： (3.27)其中为立体视觉系统的旋转矩阵，为立体视觉的平移向量。可见两个相机之间的位置参数矩阵、由每个相机的外参数所决定。根据上述立体视觉标定原理将立体视觉标定过程叙述如下：(1) 制作已知参数的标定模版。(2) 改变模版的相对位置采集不同空间位置下标定模版的多幅图像。采集过程中尽量使得不同空间位置存在明显的差异，用以提高精度。(3) 采用角点检测算法定位每一幅模版图像中角点的位置。(4) 根据检测到的角点进行单个摄像机内外参数的标定。(5) 根据两个摄像机的外参数求出两个摄像机之间的旋转矩阵和平移向量。3.7 相关文献1 Y. I. Abdel-Aziz and H. M. Karara. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry. In Proceedings of the Symposium on Close-Range photogrammetry, volume 1, page 18, 1971.2 R. Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal on Robotics and Automation, 3(4):323344, August 1987.3 Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):13301334, November 2000.4 张广军. 视觉测量M. 北京: 科学出版社, 2007.第4章 内外参数已知或部分未知的标定4.1 引言介绍内参数已知或者部分未知的相机标定，可以看作是一个相机姿态估计问题，通常是已知空间3D点和图像平面上2D点对，然后根据空间几何约束构建方程，构建不同的方程，还有不同方程的解法，都对位姿估计问题有影响。下面列出的参考文献也是从这方面出发，根据已知条件构建不同的约束，利用不同的解法，力求得到相机位置姿态的最优估计。下面对这部分内容只是列出参考文献。4.2 相关文献1 Zhang Z Y, Zhang J, Zhu D Y. A fast convergent pose estimation algorithm and experiments based on vision images. Acta Aeronautica et Astronautica Sinica 2007; 2 “A stable direct solution of perspective-three-point problem,” International Journal of Pattern Recognition and Artificial Intelligence, vol. 25, no. 5, pp. 627642, 2011. 3 V. Lepetit, F. Moreno-Noguer, and P. Fua. EPnP: An accurate O(n) solution to the PnP problem. IJCV, 81(2):155166,2008. 1, 2 4 V. Lepetit, F. Moreno-Noguer, and P. Fua. EPnP: An accurate O(n) solution to the PnP problem. IJCV, 81(2):155166,2008. 1, 2 5 S. Li, C. Xu, and M. Xie. A robust O(n) solution to the perspective-n-point problem. TPAMI, 34(7):14441450, 2012. 1, 2, 3, 5 6 Y. Zheng, Y. Kuang, S. Sugimoto, K. Astrom, and M. Okutomi. Revisting the PnP problem: A fast, general and optimal solution. Proc. ICCV, pages 23442351, 2013. 1, 57 Kneip, L., Furgale, P., Siegwart, R.: Using Multi-Camera Systems in Robotics: Efficient Solutions to the NPnP Problem. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Karlsruhe, Germany (2013) 8 Laurent Kneip1, Hongdong Li1, and Yongduek Seo2. UPnP: An Optimal O(n) Solution to the Absolute Pose Problem with Universal Applicability. ECCV 2014, Part I, LNCS 8689, pp. 127142, 2014. 9 M. A. Abidi and T. D. Chandra. A new efficient and direct solution for pose estimation using quadrangular targets: algorithm and evaluation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 17(5):534538, May 1995.10 B. Triggs. Camera pose and calibration from 4 or 5 known 3d points. In ICCV99, volume 1, page 278, 1999.11 Z. Y. Hu, C. Lei, and F. C. Wu. A short note on p4p problem. Acta Automatica Sinica, 27(6):770776, 2001.12 Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):13301334, November 2000.13 M. Bujnak, Z. Kukelova, and T. Pajdla. A general solution to the p4p problem for camera with unknown focal length. In CVPR08, 2008.14 K. Choi, S. Lee, and Y. Seo. A branch-and-bound algorithm for globally optimal camera pose and focal length. Image and Vistion Computing, 28(9):13691376, September 2010.15 M. Bujnak, Z. Kukelova, and T. Pajdla. Making Minimal Solvers Fast. In CVPR12, 2012.16 Y. Guo. A novel solution to the p4p problem for an uncalibrated camera. Journal of Mathematical Imaging and Vision, pages 113, 2012.17 Yinqiang Zheng,Shigeki Sugimoto, et al. A General and Simple Method for Camera Pose and Focal Length Determination. 2014 IEEE Conference on Computer Vision and Pattern Recognition, pages 431-43718 Reference: M. Bujnak, Z. Kukelova, and T. Pajdla. A general solution to the p4p problem for camera with unknown focal length. Proc. CVPR, pages 1-8, 2008. 1,2,3,519 K. Josephson and M. Byrod. Pose estimation with radial distortion and unknown focal ¨ length. In CVPR09, 2009.20 M. Bujnak, Z. Kukelova, and T. Pajdla. New efficient solution to the absolute pose problem for camera with unknown focal length and radia