一种基于任意点对的相机标定方法.doc

《一种基于任意点对的相机标定方法.doc》由会员分享，可在线阅读，更多相关《一种基于任意点对的相机标定方法.doc（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、文章编号 : 100220446 ( 2008) 01 20085 2063一种基于任意点对的相机标定方法钟志光 , 赵一鸣 , 林雪明(宁波大学科学技术学院 , 浙江 宁波 315211 )摘 要 : 提出了一种基于任意点对的几何标定方法 ,用于标定相机外部参数 . 该方法考虑点对而不是单个点与相机的几何关系 . 首先根据三个标定点对估计旋转矩阵 ,然后根据相机和一个点对的几何关系直接计算平移向量 .整个标定过程无需任何点对的绝对位置信息 ,而且对点对的位置关系也没有任何限制 . 试验结果表明了该方法的有 效性 .关键词 : 相机标定 ; 外部标定 ; 运动估计 ; 姿态估计中图分类号 :

2、TP24文献标识码 : AA Cam era Ca l ibra t ion M e thod Ba sed on A rb itra ry Po in t Pa ir sZHON G Zh i2guang, ZHAO Yi2m ing, L IN Xue2m ing( C ollege of S cience & Technology, N ingbo U n iversity, N ingbo 315211, Ch ina )A b stra c t: Th is p ap e r p re sen ts a simp le geom e tric app roach fo r ca li

3、b ra ting extrin sic cam e ra p a ram e te rs from a rb itra ry po in tp a irs. The p ropo sed m e thod con side rs the geom e tric re la tion sh ip s be tween a cam e ra and the po in t p a irs in stead of an ind ivid2 ua l po in t. It firstly e stim a te s the ro ta tion m a trix acco rd ing to th

4、 ree po in t p a irs, then d irec tly ca lcu la te s the tran sla tion vec to r from the geom e tric re la tion sh ip s be tween the cam e ra and one p a ir of the po in ts. The who le ca lib ra tion p roce ss doe snt need the ab so lu te po sition info rm a tion of any po in t p a irs, and it doe s

5、nt exe rt any re stric tion s on the po sition re la tion sh ip s among the po in t p a irs. Exp e rim en ta l re su lts show the effec tivene ss of the p ropo sed app roach.Keyword s: cam e ra ca lib ra tion; extrin sic ca lib ra tion; mo tion e stim a tion; po se e stim a tion1 引言 ( In troduc t io

6、n )相机标定在计算机视 觉 、机 器 人和 自动 化 以及 计算机集成制造系统等领域有重要应用. 几十年来 , 大量的研究者一直致力于提出快速有效的算法来解 决这一问题 . 这些努力开始于摄影测绘学研究领域 , 并体现在随后的计算机视觉研究领域.已有技术可以大致分为两组 : 摄影测绘标定 1 , 2 和自标定 3 , 4 . 前者观察一个标定参照物且该参照物 的三维空间信息是精确已知的. 这些方法需要昂贵的标定仪器和精心的试验设计. 后者不需要任何标定目标 ,但由于有许多参数需要估计 ,不能保证总得 到可靠的标定结果 5 . 大多数已有方法都强调完全 的相机标定 ,即同时标定相机内部和外部参

7、数.然而 ,在许多应 用 中 , 如机 器人 视觉 、车 辆 导航 以及视觉安全系统等 ,内部相机参数只需标定一次 ,但外部相机参数不得不频繁地标定. 对这些应用 ,可以假设内部相机参数已经被很好地标定 , 剩下的任 务是如何有效地标定外部相机参数 , 因为这些参数会随着运动或别的影响因素而不停地变化. 因此 ,提出一种快速有效的外部相机参数标定方法是非常必 要的 .本文针对上述应用 , 提出 了一 种 根据 相机 和 标定点对之间的几何关系标定外部相机参数的方法 . 该方法首先根据三个标定点对计算旋转矩阵 , 但不 需要任何关于点对的精确三维信息 . 这与大多数已有标定方法不同 , 也是该方

8、法的一个很有吸引力的特征 ,因为旋转矩阵的计算是外部参数标定的关键 . 计算出旋转矩阵后 , 下一步是根据相机与一个标定 点对的几何关系计算平移向量 . 这一步要求一个而3 基金项目 : 科技部技术创新基金资助项目 ( 06C26213311210 ) ; 浙江省教育厅高校科研计划资助项目 ( 20061653 ) .收稿日期 : 2007 - 03 - 21且只需一个标定点对的相对位置信息是已知的 . 整个标定过程不需要任何标定点的绝对三维信息 . 与 已有标定方法相比 , 该方法所要求的已知信息是非 常少的 .与本 文 方 法 最 相 近 的 标 定 方 法 是 W ang 6 和 钟 7

9、 的方法. 这两种方法都需要选取四个特殊的标 定点 :文 6 要求三个点位于一条直线上 ,另一个位 于另外一条直线上 ,而文 7 要求一个点在原点 ,其 它的三个分别位于相互垂直的三条轴线上. 本文方法对标定点之间的位置关系没有任何限制 , 而且当 旋转参数较小时根据三个标定点就能获得较好的估 计结果 .2 估 计 旋 转 矩 阵 ( Ro ta t ion m a tr ix e st im a 2t ion )如图 1所示 , 假定某个标定参照物上有 n + 1 个sin, 那么 R 可以写成R = RZ () RY ( ) RX ()c cc s- sss c - csss s + cc

10、sccs c + ss=cs s - sccc( 2 )如果三个旋转角都较小 , 则 R 可以近似表示为 :1- - 1Ra=- ( 3 )1从而由式 ( 1 )可得 :g0 xg0 ygix giy11GixGiy- G0 x1- - 1- - G0 y= 0( 4 )特征点 G0 , G1 , Gn 在相机视域里. 在后面的, Gi ,1Giz - G0 z讨论中 , 这些特征点被叫作标定点 , 它们之间的位置关系是任意的. 目标或世界坐标系由 G0 表示 . 点 Gi为了方便 , 假设g0 xg0 y1gixT在目标坐标系中的三维坐标 Gix , Giy , Giz 是已知的或是未知的

11、, 如果未知 , 则至少三个标定点之间的 相对三维信息是已知的 . Gi 在图像平面上的投影 (成像 )叫做像点 gi , 它们在相机坐标系 C 下的正规化图 giyA0 i=1以及TGixGiyGiz-G0 xG0 yG0 z像坐标 gix , giy , 1 (假设相机焦长为 1时图像点的3维坐标 )是已知的 .B 0 i=再假设旋转向量 w = , ,T , 那么由式 ( 4 )可以得到P0 i w = Q0 i( 5 )其中 ,P0 i = A3 B 2 - B 3 A2 , A1 B 3 - A3 B 1 , A2 B 1 - A1 B 2 Q0 i = - (A1 B 1 + A2

12、 B 2 + A3 B 3 )A i 和 B i ( i = 1, 2. 3 ) 分别是向量 A0 i和 B 0 i的第 i个元素 . 根据前面的假设 , 它们都是已知的 .图 1 相机与点对的几何关系F ig. 1 Geom e tric re la tion sh ip s be tween a cam e ra and po in t p a irs类似地 , 如果选择 G 和 G 或者 G 和 G 为点对 ,0 jij就可以得到与式 ( 5 ) 类似的方程 . 因此 , 可以解出旋转向量 w 为根据图 1, 假设选取 G0 和 Gi 为标定点对 , 则可以得到- 1PQ0 i0 iw

13、= Q0 j( 6 )P0 j( C G0 C G i ) ( R G0 G i ) = 0( 1 )P ijQ ij其中 , 表达式 R G0 G i 表示将向量 G0 G i 由 G0 坐标系变换到 C 坐标系. R 是需要估计的旋转矩阵 , 一般 由欧拉角表示. 假设 是偏航角 ( yaw ) , 是俯仰角( p itch ) , 是 翻 滚 角 ( ro ll) , 以 及 c = co s、s =如果标 定点 数大 于3, 为 提 高 估 计 算 法 的 鲁 棒性 , 可以通过最小二乘法估计旋转向量 , 即- T- T-w = ( P P ) P Q( 7 )-尤其适用.3 估计平移

14、向量 ( Tran sla t ion vec tor e st im a 2t ion )一旦估计出旋转矩阵 , 就 可以 根 据相 机和 任 何 一个点对之间的几何关系直接计算出平移向量. 假 设 G0 和 Gj 是这个选取的点对 , 那么由图 1可以得到其中 , P 是由 P ij构成的矩阵 , 而 Q 是由 Q ij构成的列向量.值得一提的是 , 多数已 有方 法 都是 根据 大 量的 已知标定点 , 通过非线性优化同时估计旋转矩阵和平移向量 , 因而需要大量的已知信息 , 如每个特征点的三维坐标或各个特征点与相机投影中心连线的夹 角等 , 有些还需附加额外的限制 , 如共面 等 .

15、尽 管这些方法可以获得较好的估计结果 , 但却比较复杂 . 上 述方法只需至少 3 个标定点就能得到旋转矩阵的线性解且不需要标定点的绝对三维信息 , 同时 , 对标定点之间的位置关系没有任何限制 , 因而简单灵活 , 便 于实际应用 .另一方面 , 上述线性估 计方 法 只是 对小 角 度旋 转参数的近似估计 . 随着旋转角度的增大 , 估计结果的准确性将随之下降 . 此时 , 可以考虑用最小平方误差方法进行非线性估计 . 把 ( 4 )式改写成 ( C G0 C G j )co s =( 11 )C G0 C G j和( ( R G GC Gj )j )0co s =( 12 ) C G0

16、j由于已经得到 R , 根据上述方程和已知条件容易解出和 .假设 d = CG、d = CG以及d = RG G,00jj0 j0 j则有下面的方程成立 .ddd0j0 jsin = sin ( +) = sin( 13 )A0 i r1 r2 r3 B 0 i = 0( 8 )其中 , rk ( k = 1, 2, 3 )是 R 的第 k 列. 经过简单运算 , 上式即等价于因为d 已知 , 就可以直接求出平移向量T 为0 jTgx0 xd0r1r2r3T =( 14 )Tgy0 y2 2g0 x+ g0 y + 1D 0 i ( 1 ) D 0 i ( 2 ) D 0 i ( 3 ) =

17、0( 9 )1Tz其中 , d0 = d0 sin/ sin.jT其中 , D 0 i ( k ) ( k = 1, 2, 3 ) 是 3 3 矩阵 B 0 i A0 i第 k行. 根据假设 , 它们是已知的. 当选取 G0 和 Gj 或者 Gi和 Gj 为点对时 , 也可以得到类似的方程. 显然 , 如果4 试验和分析 ( Exper im en ts an d ana ly s is)本节给出用上述线性与非线性方法标定相机外 部参数的模拟和实际试验结果 . 由于旋转矩阵的估 计是关键 ,这些试验的焦点是测试估计的旋转向量 .对非线性估计而言 , 旋转 角的 初 始猜 测是 由 线 性解自动

18、给出的 . 试验中非线性优化工具是标准的 M a tlab 函 数 Fm in sea rch, 它 是 一 个 基 于 N e lde r2M ead 方法的多维非限制非线性最小化子例程. 其它有效的方法 ,如 N ew ton2B royden 也可以使用. 之所以选择 Fm in sea rch,是因为它使用广泛 , 并且便于再现 和 比 较试验结果 . 试验中 Fm in sea rch 的参数设置为 M ax2FunEva ls = 10000 , To lFun = 1 E - 6 , To lX = 1 E - 4.4. 1 模拟数据假定参考点 G0 的 世 界坐 标是 0, 0

19、, 0 , 另外 9给定的标定点数是 n 个 , 那么总共可以得到 C2 个这n样的方程 . 这样 , 旋转矩阵就可以通过最小化这些方程的残差的平方得到 , 即n - 1 nT T T T 2m inR( D ij ( 1 ) D ij ( 2 ) D ij ( 3 ) rrr )1 2 3i = 0 j = i +1( 10 ) 而 R 的初始 猜 测 可 以 由 旋 转 向 量 的 线 性 估 计 结 果 ( 7 )式给出 .本文定义旋转角的变化范围是 - 90 , 90 . 后 面的 试 验 结 果 表 明 , 线 性 估 计 方 法 可 以 在 - 30 ,30 范围内得到较准确的估计

20、结果 , 而非线性估计方法可以在旋转角的整个变化范围内得到十分准确 的估计结果. 和预期的一样 , 在 - 30 , 30 这一较小的变化范围内 , 非线性估计结果要优于线性估计 结果. 这一简单的估计方法能有如此令人鼓舞的性能得益于标定点对的使用 . 上述估计过程说明所有标定点和它们的像点提供的信息都能被充分利用 ,因而在那些只能得到少量已知信息的场合 , 该方法个特征点 G1 , G2 , G9 在一个边长为 150 cm 的立方体内随机产生 . 根据要求的标定点数 , 它们按顺序从存储这 10 个标定点的数组的顶部选取 , 即如果需要4 个标定点 , 那么数组的最前面的 4 个标定点被选

21、取 用于试验 , 目的是保证用于不同试验的数据的一致 性 . 除非特别声明 , 所有试验的基本参 数设 置 如下 :R G Gj平移向量 T = 25, 15, 200 cm, 标定点数 n = 3. 线性估计时实际的旋转角是 , , = 1 , 1 , 1 , 而 在非线性估计时它们是 60 , 40 , 50 .线性估计 :假定俯仰角 从 - 90 变化到 90 而保持翻滚角 和偏航角 为 0 , 那么根据 3 个标定 点得到的旋转参数估计结果如图 2 所示 . 当俯仰角 由 0 增加到 30 时 , 估计的俯仰角由 0 增加到 3017 , 而当俯仰角增加到 40 时 , 估计的俯仰角是

22、 3413 . 在 俯仰角由 0 开始减小的情况下 , 估计结果是类似的.这些 结 果 显 示 如 果 旋 转 角 在 相 对 较 小 的 区 间 - 30 , 30 内变化 , 那么提出的线性方法根据少量 的标定点就能获得相对准确的估计结果.非线性估计 :对照图 2, 图 4 表明了当俯仰角 由 - 90 变化到 90 而翻滚角 与偏航角 保持为 0 时 3 个旋转角的绝对估计误差 . 显然 , 非线性估计误差比线性估计误差要小得多. 而且可以看出 , 非线性 估计在几乎整个俯仰角的变化范围内都能得到准确的估计结果 . 值得 注意 的是 , 当 俯仰 角 等于 - 90 或90 时偏航角的估

23、计误差大于 0104 , 可能的原因是此 时由线性估计获得的初始猜测大大偏离它们的实际 值 .图 4 变化时旋转参数的非线性估计结果F ig. 4 Non linea r e stim a tion re su lts of ro ta tiona l p a ram e te rs when va rie s图 2 变化时旋转参数的线性估计结果F ig. 2 L inea r e stim a tion re su lts of ro ta tiona l p a ram e te rs when va rie s当模型点数由 3 增加到 10 ,而俯仰角 、翻滚角和偏航角分别是 60 、4

24、0 和 50 时 , 3个旋转角的绝对估 计误差如图 5 所示. 显然 , 估计误差都非常小 ( 10 - 4数量级 )且随着模型点增加变得越来越小 .当标定点数目由 3 增加到 10 ,同时 3 个实际的旋转角都保持为 1 时 ,估计结果如图 3 所示. 可以看 出 ,估计的旋转角越来越准确. 当标定点数大于等于8时 ,估计结果十分准确且稳定. 这表明要使提出的 线性方法获得 尽 可能 好的 估 计 结 果 , 则 最 好 已 知 8 个以上的标定点.图 5 n增加时旋转参数的非线性估计结果F ig. 5 Non linea r e stim a tion re su lts of ro t

25、a tiona l p a ram e te rs when n va rie s平移向量 :平移向量实际上是标定点 G0 在相机坐标系下的三维坐标 , 由于假设标定点的像点已知 ,因而平移向量完全由其深度坐标 (即 Z 坐标 ) 决定 .图 6 显示了当 G0 与相机之间的距离 T3 (平移向量的图 3 n增大时旋转参数的线性估计结果F ig. 3 L inea r e stim a tion re su lts of ro ta tiona l p a ram e te rs when n inc rea se s第 3个分量 , 即 Z 坐标 ) 变化时 ,根据 4 个特征点得到的绝对深

26、度估计误差. 由该图容易看出 ,绝对深度 估计误差是很小的 (最大的也小于 013 cm ) , T3 的大 小对估计结果几乎没有影响 . 此外 ,由本文提出的非线性技术得到的深度估计结果更加准确.误差 (最后那个标定点的误差 )小于 10 cm ,与其实际值 11415 cm 相比 ,该误差是可以接受的 ,因为用于估 计的数据是有噪声的 , 而且估计结果是由线性估计 技术得到的 .图 8 实际图像测试时 T3 的线性估计结果F ig. 8 L inea r e stim a tion re su lts of T3 in ac tua l im age te sting图 6 T3 的线性估

27、计结果F ig. 6L inea r e stim a tion re su lts of T3非线性估计 : 图 9 表明了当相机平移是 50 , 0 ,80 cm 且旋转角是 0 , 40 , 30 时的绝对深度 (即 平移向量的第 3 个分量 T3 )估计误差. 估计的旋转角 是 0109 , 40102 , 30100 . 由该图明显可以看出 , 估计结果非常准确 . 最大深度估计误差 (最后那个标定 点的误差 ) 大 约 是 113 cm , 与 该 标 定 点 实 际 的 深 度11415 cm 相比 ,该误差是非常小的 .4. 2 实际试验为验证该方法的有效 性和 实用 性 ,

28、我们 还 做了 一些实际试验. 采用的相机有一个 p an2tilt控制单元 ,图像分辨率是 768 584像素 . 为了方便获取标定点 ,选取一个有 4 4 cm 网格的标定参照物为目标 ,如图7所示 . 从目标的两个面上任意选取 10 个网格点作 为特征点且每个面选取 5 个 . 由于测试的目的不是图像处理算法 , 因此这些特征点的图像坐标是手工 获取的 ,误差一般是 13 个像素 .图 9 实际图像测试时 T3 的非线性估计结果F ig. 9 Non linea r e stim a tion re su lts of T3 in ac tua l im age te sting5 结论

29、 ( C on c lu s ion )本文提出了一种基于任意点对标定相机外部参 数的方法. 该方法有较大的灵活性 ,能适用于 3 个以 上的任何数目的特征点 , 不需要特征点的任何绝对 信息 ,而且对特征点的位置关系没有任何限制. 提出 的方法首先独立地估计旋转参数 , 当目标旋转角较 小时可以直接得到线性闭式解 , 而当旋转参数较大图 7 实际试验的一幅典型图像F ig. 7 A typ ica l im age fo r ac tua l exp e rim en ts线性估计 :首先让相机平移 50 , 0 , 80 cm ,再分别绕其 Z 轴 、Y 轴和 X 轴旋转 0 , 5 ,

30、5 ,那么 10个 标定点的绝对深度 (即平移向量的第 3 个分量 T3 )估 计误差如图 8 所示 . 估计的旋转角是 - 0117 , 5121 ,4185 . 显然 ,估计结果是比较准确的 ,最大深度估计m ing cam e ras J . In te rna tional Jou rna l of Comp u te r V ision,2001 , 45 ( 2 ) : 107 - 127.Bougnoux S. F rom p ro jec tive to Euc lidean sp ace unde r any p rac tica l situa tion, a c riti

31、c ism of se lf2ca lib ration A . P roceed ings of the 6 th In te rna tional Confe rence on Comp u ter V ision C . N ew D e lh i, In2 d ia: N a ro sa Pub lish ing Hou se, 1998. 790 - 796.W ang F Y. A simp le and ana lytica l p rocedu re fo r calib ra ting extrin2 sic cam e ra p a ram e te rs J . IEEE

32、 Tran saction s on Robo tic s and A u2 tom a tion, 2004 , 20 ( 1 ) : 121 - 124.钟志光 , 易建强 , 赵冬斌. 一种基于点对的相机几何标定方法 J . 机器人 , 2005 , 27 ( 1 ) : 31 - 34 , 40.时可以通过最小平方误差方法获得非线性解且初始估计值由线性解直接给出 . 估计出旋转矩阵后 ,平移 向量能直接计算得到 . 试验结果表明 ,提出的线性估 计技术能在 - 30 , 30 旋转范围内得到较准确的估计结果 , 而非线性技术能在旋转角度的整个变化 范围 ,即 - 90 , 90 内 ,

33、得到较高精度的解. 5 6 参考文献( Referen ce s)B rown D. C. C lo se2range cam e ra calib ra tion J . Enginee ring, 1971 , 37 ( 8 ) : 855 - 866.Fa ig W. Ca lib ra tion of c lo se2range p ho togramm e try system s: M a the2 m a tica l fo rm u la tion J . Pho togramm e tric Enginee ring and R emo te Sen sing, 1975 ,

34、 41 ( 12 ) : 1479 - 1486.L uong Q T, Fauge ras O. Se lf2ca lib ra tion of a moving cam e ra frompo in t co rre spondences and fundam en ta l m a trice s J . In te rna tiona lJou rna l of Comp u te r V ision, 1997 , 22 ( 3 ) : 261 - 289.A gap ito L , H aym an E, R eid I. Se lf2calib ra tion of ro ta

35、ting and zoo2 7 1 Pho togramm etric 2 作者简介 :钟志光 ( 19742) ,男 ,博士 . 研究领域 : 智能机器人 ,无线传 感器网络 .赵一鸣 ( 1958 2) ,男 ,教授 . 研究领域 :虚拟现实 ,计算智能 .林雪明 ( 19602) ,男 ,副教授 . 研究领域 : 计算智能 ,无线传 感器网络 . 3 4 (上接第 84 页 ) 6 M ake la H , Ko sk inen K. N aviga tion of ou tdoo r mob ile robo ts u sing dead reckon ing and visua ll

36、y de tec ted landm a rk s A . P roceed ings of the 5 th In te rna tiona l Confe rence on A dvanced Robo tic s C . P iscat2 away, NJ , U SA: IEEE, 1991. 1051 - 1056.L eona rd J J , D u rran t2W hyte H F. Mob ile robo t loca liza tion by track2ing geom e tric beacon s J . IEEE Tran sac tion s on Robo

37、tic s and A u to2m a tion, 1991 , 7 ( 3 ) : 376 - 382.Chenavier F, C row ley J L. Po sition e stim a tion fo r a mob ile robo t u sing vision and odom e try A . P roceed ings of the IEEE In te rna tion2 al Conference on Robo tics and A u tom a tion C . P isca taway, NJ , U SA: IEEE, 1992. 2588 - 259

38、3.徐德 ,涂志国 ,谭民. 基于单应性矩阵的室内移动机器人视觉定位研究 J . 自动化学报 , 2005 , 31 ( 3 ) : 464 - 469. 11 尚文 ,马旭东 ,戴先中. 基于视觉特征的移动机器人 Mon te Ca rlo定位方法 J . 制造业自动化 , 2004 , 26 ( 11 ) : 35 - 39. 12 A sen sio J R , Mon tie l J M M , Mon tano L. Goa l d irec ted reactive ro2 bo t navigation w ith re loca tion u sing la se r and

39、vision A . P roceed2 ings of the IEEE In te rna tiona l Confe rence on Robo tic s and A u tom a2 tion C . P isca taway, NJ , U SA: IEEE, 1999. 2905 - 2910. 7 13 Xu D , L i Y F, Tan M. A visua l po sition ing m ethod ba sed on re la2 tive o rien ta tion de tec tion fo r mob ile robo ts A . P roceed i

40、ngs of the IEEE In te rna tiona l Confe rence on In te lligen t Robo ts and System s C . P isca taway, NJ , U SA: IEEE, 2006. 1243 - 1248. 8 作者简介 :韩立伟 ( 1972 2) ,男 ,博士生 . 研究领域 :机器人视觉控制 .徐 德 ( 1965 2) ,男 ,博士 ,研究员 . 研究领域 : 机器人视觉 控制 ,智能控制 . 9 10 潘良晨 ,陈卫东. 室内移动机器人的视觉定位方法研究 J . 机器人 , 2006 , 28 ( 5 ) : 504 - 509.