摄像机标定的几种方法ppt课件.ppt

摄相机标定摄相机标定中国科学院自动化研究所中国科学院自动化研究所模式识别国家重点实验室模式识别国家重点实验室http:/ (Marr 1982)所谓三维重建就是指从图象出发恢复出空间点三维所谓三维重建就是指从图象出发恢复出空间点三维坐标的过程。坐标的过程。三维重建的三个关键步骤三维重建的三个关键步骤 图象对应点的确定图象对应点的确定 摄像机标定摄像机标定 二图象间摄像机运动参数的确定二图象间摄像机运动参数的确定O Ou ux xy yv vcXcZcY1OwXwZwYwO wwwZYX,cccZYX,vu,yx,坐标系坐标系sincot00dyyvvdxydxxuuddd为 1Ovu,00,vudydx,图像数字化图像数字化1O0udydx0vdYdX1100sin/0cot100ddvuuyxvfuffvudyfdxfvu1,1摄像机的内参数矩阵摄像机的内参数矩阵 K1100sin/0cot100wwwvuuczyxvffuffffvuztRK2、摄相机标定方法分类、摄相机标定方法分类分三类分三类 传统摄像机标定方法 主动视觉摄像机标定方法 摄像机自标定方法1. 传统的摄像机标定方法传统的摄像机标定方法特点特点利用已知的景物结构信息。常用到标定块。利用已知的景物结构信息。常用到标定块。1. 传统的摄像机标定方法传统的摄像机标定方法 优点优点 可以使用于任意的摄像机模型，标定精度高可以使用于任意的摄像机模型，标定精度高 不足不足 标定过程复杂，需要高精度的已知结构信息。标定过程复杂，需要高精度的已知结构信息。 在实际应用中很多情况下无法使用标定块。在实际应用中很多情况下无法使用标定块。 2. 主动视觉摄像机标定方法主动视觉摄像机标定方法 特点 已知摄像机的某些运动信息已知摄像机的某些运动信息 优点 通常可以线性求解，鲁棒性比较高通常可以线性求解，鲁棒性比较高 不足 不能使用于摄像机运动未知和无法控制的场合不能使用于摄像机运动未知和无法控制的场合3. 摄像机自标定方法摄像机自标定方法 特点特点 仅依靠多幅图像之间的对应关系进行标定仅依靠多幅图像之间的对应关系进行标定 优点优点 仅需要建立图像之间的对应，灵活性强，潜在仅需要建立图像之间的对应，灵活性强，潜在 应用范围广。应用范围广。 不足不足 非线性标定，鲁棒性不高非线性标定，鲁棒性不高3、摄像机传统标定方法、摄像机传统标定方法主要内容主要内容3.1、DLT方法方法3.2、RAC方法方法3.3、张正友的平面标定方法、张正友的平面标定方法(ICCV, 1999)3.4、孟胡的平面圆标定方法、孟胡的平面圆标定方法(PR, 2003)3.5、吴毅红等的平行圆标定方法、吴毅红等的平行圆标定方法(ECCV, 2004)3.1、直接线性变换（、直接线性变换（DLT变换）变换） DLT: Direct Linear TransformationAbdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。 DLTDLT变换变换直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式： DLTDLT变换变换11143wwwwwwZYXZYXvusPtRK其中 为图像坐标系下的点的齐次坐标， 为世界坐标系下的空间点的欧氏坐标， 为 的透视投影矩阵， 为未知尺度因子。 1 ,vuwwwZYX,Ps43DLTDLT变换变换0034333231142322213433323114131211upuZpuYpuXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww消去 ，可以得到方程组:sijp43P当已知 个空间点和对应的图像上的点时，可以得到一个含有2* 个方程的方程组： DLTDLT变换变换0AL其中 为 的矩阵， 为透视投影矩阵元素组成的向量 。 12*2NLATpppppppppppp343332312423222114131211,NNDLTDLT变换变换 像机定标的任务就是寻找合适的 ，使得 为最小，即 | ALL|minALL给出约束： 134pBCCCLTT1)(为 的前11个元素组成的向量， 为 前11列组成的矩阵， 为 第12列组成的向量。LCABALDLTDLT变换变换134p是否合理？ 约束 不具有旋转和平移的不变性,解将随着世界坐标系的选取不同而变化.134p证明：世界坐标系作刚性坐标变换10tRPP则3433323213134ptptptpp显然在一般的情况下3434pp另一个约束 具有旋转和平移的不变性1233232231pppDLTDLT变换变换1coscoscos322212由1321R3P3R2R312111,rrr332313,rrr322212,rrr),(333231ppp向量 , , 是两两垂直的单位向量1R2R3R3.2、R. Tsai 的 RAC的定标算法 80年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除 （像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。简 介zt像机模型 径向一致约束 定标算法 主要内容 世界坐标系和摄像机坐标系的关系像机模型cocxcy oczOwYwZwXxy1)(1ZYXtRKyx在Tsai的方法中，K 取作：1,0,0,0,0,00vfusfK理想图像坐标到数字图像坐标的变换（只考虑径向偏差） ccccvvvukvyuuvukux)(1)()(1)(221221像机模型(u, v)为一个点的数字化坐标，（x, y）为理想的数字化坐标，（uc, vc）为畸变中心。（uc, vc）(u, v)（x, y）径向一致约束 在图像平面上，点（在图像平面上，点（xc, yc），（），（x, y），（），（u, v) 共线，共线，或者直线或者直线(xc, yc)(x, y)与直线（与直线（ xc, yc ）（）（ u, v ）平行或）平行或斜率相等，则有：ccccvvuuvyux通常把图像中心取作畸变中心和主点的坐标，因此：0000vvuuvyux定标算法 1.利用径向一致约束来求解 和 21,ttRs定标步骤:2.求解有效焦距 、 方向上的平移t t3 和畸变参数 fz1k1,0,0,0,0,00vfusfK定标算法步骤一1.1.求解像机外参数旋转矩阵求解像机外参数旋转矩阵 和和 、 方向上的平移方向上的平移 Rxy根据：1)(1ZYXtRKyx得到：039871321)(utZrYrXrtZrYrXrfsx039872654)(vtZrYrXrtZrYrXrfy987654321rrrrrrrrrR321tttt1,0,0,0,0,00vfusfK定标算法步骤一再根据：0000vvuuvyux得到：0026541321)(vvuutZrYrXrtZrYrXrs由至少7组对应点，可以求得一组解M0=(m1, m2, m3, m4, m5, m6, m7, m8) (sr1, sr2, sr3, st1, r4, r5, r6, t2)定标算法步骤一对M0除以272625mmmc则得到一组解 。(sr1, sr2, sr3, st1, r4, r5, r6, t2)由 可求出s, 从而 t1也可被解出。1232221rrr),(),(),(654321987rrrrrrrrr),(),(),(321654987rrrrrrrrr或者根据 ， 来选择1)det(R),(987rrr定标算法步骤二2. 求解求解t3, f, k1k1=0 作为初始值，则：0000vvvyuuux039871321)(utZrYrXrtZrYrXrfsx039872654)(vtZrYrXrtZrYrXrfy定标算法步骤二将 x, y 的表达式代入，并将上一步中求出的 R, t1, t2 的值代入，得：)()(132139870tZrYrXrfstZrYrXruu)()(265439870tZrYrXrftZrYrXrvv由此可解出 f , t3定标算法步骤二将求出的 和 连同 作为初始值，对下式进行非线性优化01k3tf估计出 、 和 的真实值。3tf1k022139872654022139871321)(1()()(1()(vvvuktZrYrXrtZrYrXrfuuvuktZrYrXrtZrYrXrfs3.3、张正友的平面标定方法、张正友的平面标定方法张正友方法 0,YXMcXcZcYvum ,wXwZwYwOO张正友方法基本原理：110121321YXtrrKYXtrrrKvus 在这里假定模板平面在世界坐标系 的平面上 其中， 为摄像机的内参数矩阵， 为模板平面上点的齐次坐标， 为模板平面上点投影到图象平面上对应点的齐次坐标， 和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量KTvum 1TYXM 1t321rrr0ZH21321trrKhhhH0211hKKhTT212111hKKhhKKhTTTT根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束021rrT121 rr由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出K张正友方法2121111,1hKrhKr张正友方法所用的平面模板张正友方法算法描述张正友方法1. 打印一张模板并贴在一个平面上2. 从不同角度拍摄若干张模板图象3. 检测出图象中的特征点4. 求出摄像机的内参数和外参数5. 求出畸变系数6. 优化求精张正友方法张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。3.4、孟晓桥、胡占义的圆标定方法、孟晓桥、胡占义的圆标定方法孟胡方法所用的模版孟胡方法 从至少三个不同方位拍摄模板图象，根据射影不变性计算出每幅图象上的圆环点像的坐标，得到关于内参数矩阵的至少六个方程，即可解出所有内参数。孟胡方法 计算圆环点像的原理：)0 , 1 (i1B模板平面)0 , 1 (i)0 , 1 ( i1AO1B1C2A2B2C无穷远直线圆环点为无穷远点，它是绝圆环点为无穷远点，它是绝对二次曲线上的一对共轭点对二次曲线上的一对共轭点0, 00232221xxxx(1,i,0,0) (1,-i,0,0) 是一对圆环点是一对圆环点孟胡方法在图像上，两个圆环点的图像在图像上，两个圆环点的图像 被计算出，被计算出，则有：则有：21, mm0111mKKmTT0212mKKmTT0 xxTTxxx),(321x0, 00232221xxxxTTxxx)0 ,()0 ,(321xX3213210)(1xxxKRxxxtRKvu32111xxxRvuK01)1(1vuKKvuT孟胡方法 孟胡的方法与张的方法相比： 过程相似； 所用的模版不同，孟胡的方法基于曲线拟合（稳定），并且不需要任何匹配，而张的方法基于点，需要匹配模版的点和图像点。3.5、吴等的平行圆标定方法、吴等的平行圆标定方法吴等的标定方法吴等的标定方法 平行圆平行圆：同一个平面上的圆、或平行平面上的：同一个平面上的圆、或平行平面上的圆。圆。 原理原理：利用摄像机成像的准仿射不变性，计算：利用摄像机成像的准仿射不变性，计算图像上二此曲线的交点，得到圆环点的图像图像上二此曲线的交点，得到圆环点的图像21, mm0111mKKmTT0212mKKmTT进而：进而：该方法从平行圆的最小个数出发，基于准仿射不该方法从平行圆的最小个数出发，基于准仿射不变性，分析了所有可能情况的计算圆环点的方变性，分析了所有可能情况的计算圆环点的方法法吴等的标定方法吴等的标定方法a) The concentric caseThe line at infinityb) The inner-tangent caseThe line at infinityThe line at infinityc) The outer-tangent casee) The separate caseThe line at infinityThe line at infinityf) The enclosing but not concentric caseThe line at infinityd) The intersecting case共面分布：共面分布：吴等的标定方法吴等的标定方法以上可进行推广到非共面的平行圆的情形以上可进行推广到非共面的平行圆的情形1003042.3493772.138502194.5680417. 83835.1409K吴等的标定方法吴等的标定方法利用利用K重建一个垂直角；重建平行线之间的交角重建一个垂直角；重建平行线之间的交角重建的垂直角重建的垂直角89.28重建的平行角重建的平行角0.0000475吴等的标定方法吴等的标定方法该方法和以往的基于圆的标定方法相比该方法和以往的基于圆的标定方法相比:(1). 从最小个数出发从最小个数出发;(2). 计算圆环点图像简单计算圆环点图像简单;(3).只需要从拟合的二次曲线出发只需要从拟合的二次曲线出发, 不需要任何匹不需要任何匹配配, 不需要计算圆心不需要计算圆心;(4). 应用场合广泛应用场合广泛, 不仅仅限于平面的情形不仅仅限于平面的情形. 可应可应用基于转盘的重构。用基于转盘的重构。H. Wu, Q. Chen, T. Wada, Visual Line Estimation from a Single Image of Two Eyes. ICPR (3) 2004. 应用于: G. Jiang, L. Quan, H.T. Tsui, Circular motion geometry by minimal 2 points in 4 images, ICCV2003.自动化所一角(1)视线定位视线定位(2)基于转盘的重建基于转盘的重建(3) 车辆机器车辆机器人等的定位人等的定位4、主动视觉标定方法、主动视觉标定方法胡占义等的主动视觉标定方法 基于平面单应矩阵的正交运动方法 基于外极点的正交运动方法胡主动视觉标定方法 基于平面单应矩阵的正交运动方法原理 是摄像机一组正交的平移运动，两个单应矩阵： 满足：)2()1(,tt)(1)1(11KdntKIHT)(1)2(22KdntKIHT0)()()()2()1(221221111TTTTnttndKIHKKIHK胡主动视觉标定方法 基于平面单应矩阵的正交运动方法原理即： ，其中 五组两正交运动可完全求解5个内参数。 0)()(2211IHCIHT1KKCT胡主动视觉标定方法 第1、2幅图像在第0幅图像的外极点分别是： 则：22Kte11Kte111eKt212eKt基于外极点的正交运动方法原理012胡主动视觉标定方法 基于外极点的正交运动方法原理 从而： 五组两正交运动可完全求解5个内参数。012112tteKKe胡主动视觉标定方法 这两种主动视觉标定方法与最经典的主动视觉标定方法（马颂德的三正交运动法）相比，具有如下优点： 照相机的二正交运动比三正交运动更容易实现。 可以求解摄像机的所有5个内参数，马颂德的 方法可以求解4个内参数。5、摄像机自标定方法、摄像机自标定方法主要内容主要内容5.1、预备知识：、预备知识： 什么是摄像机自标定什么是摄像机自标定 ？ 为什么要对摄像机进行自标定为什么要对摄像机进行自标定 ？ 对极几何对极几何 5.2、基于Kruppa方程的自标定方法 5.3、基于绝对二次曲面、无穷远平面的自标定方法 5.4、几种自标定方程的关系5.1、预备知识、预备知识摄像机自标定是指不需要标定块，仅仅通过图象点之间的对应关系对摄像机进行标定的过程。什么是自标定？什么是自标定？为什么要进行自标定？为什么要进行自标定？实际应用的需求，主要应用场所的转移优缺点：优缺点：优点：灵活，方便缺点：精度不太高，鲁棒性不足自标定的基本假设及任务自标定的基本假设及任务1、假定图象点之间的对应关系已经确定。2、一般来说，认为在拍摄不同图象时，摄像机的内参数没有发生变化3、所谓的自标定，就是要标定摄像机的内参数矩阵K100000vfusfKvu一些预备知识一些预备知识1、点的齐次坐标、点的齐次坐标二个齐次坐标如相差一个非零因子，则这二个齐次坐标相同1vuvu2、无穷远直线上的点、无穷远直线上的点如点 为无穷远直线上的点，则 t =0tvu一些预备知识一些预备知识3、通过二点的直线、通过二点的直线 如果如果 为二图象点，则通过为二图象点，则通过该二点的直线的参数向量为：该二点的直线的参数向量为：22221211,tvuxtuux21xxL0021xLxLTTLx1x2一些预备知识一些预备知识反对称矩阵反对称矩阵（Anti-symmetric or Skew-Symmetric matrix) 给定向量 ，其对应的反对称矩阵定义为：321aaaa 000121323aaaaaaa则对应任意的向量 b, 有 baba一些预备知识一些预备知识对偶原理对偶原理如果 C为一非退化的图象二次曲线，即：0CxxJT0)(,CDetCCT0llT 则 1C过x 处的切线参数向量为：CxxJl2则 , 代入上式可得： lCx121对偶线坐标曲线点坐标曲线一些预备知识一些预备知识l1l2l3l1l2l3对偶曲线示意图C点坐标曲线对偶线坐标曲线x1x2x3一些预备知识一些预备知识欧几理得空间下的投影矩阵欧几理得空间下的投影矩阵如果X 为空间某一点，两摄像机间的坐标变换为： TRxxrlTRKPIKPErEl0则欧几理得空间下的两投影矩阵为：欧几理得空间下的两投影矩阵为： K 为摄像机的内参数矩阵11XPmXPmErrEll其中 X为空间点，ml, mr 对应于X 的一对图象对应点投影关系一些预备知识一些预备知识对极几何对极几何（Epipolar Geometry)oIIMomm eel lNn一些预备知识一些预备知识基本矩阵的推导及形式基本矩阵的推导及形式 1110, 0)(),(,1,1RKTKFFmmmRKTKmRXTmKTTRXKmKXmXPmXPmTTTTErElF 的秩为的秩为2，F在相差一个常数因子下是唯一确定的。在相差一个常数因子下是唯一确定的。F 可以通过可以通过8对图象对应点线性确定。对图象对应点线性确定。一些预备知识一些预备知识对极几何的一些代数性质对极几何的一些代数性质0FmnT基本矩阵和外极点的关系0, 0eFFeT0)(iTFme所有的外极线都过对应的外极点，外极点是光心连线与图象平面的交点。对应外极线束构成一射影变换nFlFmlT如果 m位于极线l上，n 位于极线l上，m, n不一定是对应点,下述关系仍然成立：一些预备知识一些预备知识emnl0FmnT0FmmTnmFml一些预备知识一些预备知识中心投影下，如果射影平面与空间曲线相切，则射影平面与图象平面的交线必与空间曲线在图象平面上的投影曲线相切图象平面空间曲线一些预备知识一些预备知识绝对二次曲线 摄像机自标定的参考标定物绝对二次曲线是无穷远平面上的一条二次曲线，它的数学定义为：TTzyxXtXX00一些预备知识一些预备知识绝对二次曲线在图象上投影的性质绝对二次曲线在图象上投影的性质绝对二次曲线的象仅与摄像机的内参数有关，与摄像机的运动参数无关mKRXXTRKmT1,0从定义 XTX0 知，01mKKmTT给定正定矩阵 ，则 K 可以通过Cholesky 分解唯一确定 1KKCT自标定的基本思路自标定的基本思路通过绝对二次曲线建立关于摄像机内参数矩阵的约束方程，称之为Kruppa 方程求解Kruppa 方程确定 矩阵C通过Cholesky分解得到矩阵K如何进行5.2、基于、基于Kruppa方程的自标定方法方程的自标定方法iCjCijieje推导推导Kruppa 方程的示意图方程的示意图llrllxrxKruppa 方程方程00rTrlTlllll,xellx 为位于 ll 上的任意一点，则 ,Fxlr则0, 0FxFxxeexTTTT则FFeeTT00rTrlTlCxxCxx对偶对偶TKK 的组成形式的组成形式TKK6535423211KKCT对偶曲线对偶曲线关于关于Kruppa 方程的几点说明方程的几点说明1、在Kruppa方程中，F,e 为已知数， 为未知数2、 有5个独立未知变量3、每个Kruppa方程最多可以提供2个关于未知变量的独立约束，约束方程为5元二次方程4、每对图象可以得到一个Kruppa方程，故至少需要3对图象来标定摄像机，且摄像机的内参数必须保持不变5、假定内参数都在变，任意两幅图像间有两个独立的Kruppa方程，则 N (=3) 幅图像之间有N(N-1)个Kruppa方程，其中只有5N-9个方程是独立的。5.3、基于绝对二次曲面、基于绝对二次曲面、无穷远平面的自标定方法无穷远平面的自标定方法绝对二次曲面绝对二次曲面 将世界坐标系取作第一个摄像机的坐标系，则绝对二次曲面是：aKKaKKaaKKKKa0I00K00I00Ka0I111111111111011其中 K1 是第一个摄像机的内参数，a 是无穷远平面的法向量。绝对二次曲面定标方程绝对二次曲面定标方程 是射影重建， 则有： ),(),(iiiiiieHeHKKNi,2 0IP 1iiieHP Ni,2 ),(1),(11iiiieHbbKKeH无穷远平面的单应矩阵无穷远平面的单应矩阵 是射影重建，第1幅和第 i 幅图像之间的无穷远平面的单应矩阵是：aeHii0IP 1iiieHP Ni,2 Ni,2 基于无穷远平面单应矩阵的标定方程基于无穷远平面单应矩阵的标定方程 方程是：)()(11aeHKKaeHKKiiiiiiNi,2 xmmeeH335.4、几种自标定方程的关系、几种自标定方程的关系关系关系 基于绝对二次曲面的标定方程与基于无穷远平面的标定方程完全等价。 由绝对二次曲面的标定方程或无穷远平面的标定方程可以推出 Kruppa 方程。反之，对Kruppa 方程添加一个方程后，可以推出绝对二次曲面的标定方程或无穷远平面的标定方程。