摄像机模型分析解析学习教案.pptx

《摄像机模型分析解析学习教案.pptx》由会员分享，可在线阅读，更多相关《摄像机模型分析解析学习教案.pptx（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1摄像机模型分析摄像机模型分析(fnx)解析解析第一页，共44页。内容内容内容内容(nirng)(nirng)（ContentsContents）n n成像几何(j h)n n坐标系和齐次坐标n n摄像机参数n n透视投影n n仿射变换n n内参、外参n n摄像机标定第1页/共44页第二页，共44页。成像几何成像几何成像几何成像几何(j(j h)h)（Projective GeometryProjective Geometry）n n图像上的像素点与空间(kngjin)中真实点的对应关系第2页/共44页第三页，共44页。成像几何成像几何成像几何成像几何(j(j h)h)（Projecti

2、ve GeometryProjective Geometry）n n空间实际长度与图像中的长度成一定(ydng)比例放缩第3页/共44页第四页，共44页。成像几何成像几何成像几何成像几何(j(j h)h)（Projective GeometryProjective Geometry）n n消失(xiosh)点（Vanishing Point）第4页/共44页第五页，共44页。消失消失(xiosh)点点透视法：大小相同的物体，离你较近的看起来比离你较远的大。如当你沿着铁路线去看两条铁轨，沿着公路线去看两边排列(pili)整齐的树木时，两条平行的铁轨或两排树木连线交与很远很远的某一点，这点在透视图

3、中叫做消失点。凡是平行的直线都消失于无穷远处的同一个点，消失于视平线上的点的直线都是水平直线。第5页/共44页第六页，共44页。成像特点成像特点成像特点成像特点(tdi(tdi n)n)（Properties of Projection Properties of Projection）n n点（points）投影后为点；n n线（lines）投影后为线；n n平面（planes or polygon）投影后为平面（可能不是整个平面）。n n特殊情况(qngkung)：n n经过光心的线投影后退变为点；n n经过光心的平面投影后退变为线。第6页/共44页第七页，共44页。坐标坐标坐标坐标(zu

4、bio)(zubio)系和齐次坐标系和齐次坐标系和齐次坐标系和齐次坐标(zubio)(zubio)（Coordinate Systems and Coordinate Systems and Homogeneous CoordinatesHomogeneous Coordinates）右手右手(yushu)坐标系坐标系XYZxyzPO第7页/共44页第八页，共44页。齐次坐标齐次坐标齐次坐标齐次坐标(zubio)(zubio)（Homogeneous Coordinates Homogeneous Coordinates）n n所谓齐次坐标就是用n+1维矢量表示一个(y)n维矢量n n为什么要

5、用齐次坐标表示？n n提供了用矩阵运算把二维、三维甚至高维空间中的一个(y)点集从一个(y)坐标系变换到另一个(y)坐标系的有效方法；n n可以表示无穷远点。第8页/共44页第九页，共44页。问题问题(wnt):两条平行线会相交两条平行线会相交n n在欧几里得几何(j h)空间里，两条平行线永远都不会相交。但是在投影空间中，如右图中的两条铁轨在地平线处却是会相交的，因为在无限远处它们看起来相交于一点。第9页/共44页第十页，共44页。n n在欧几里得（或称笛卡尔）空间里描述在欧几里得（或称笛卡尔）空间里描述2D/3D 2D/3D 几何物几何物体是很理想的，但在投影空间里面却并不见得。体是很理想

6、的，但在投影空间里面却并不见得。我们我们用用(x,y)(x,y)表示笛卡尔空间中的一个表示笛卡尔空间中的一个 2D 2D 点，而处于无限点，而处于无限远处的点远处的点(,)(,)在笛卡尔空间里是没有意义的。投影空在笛卡尔空间里是没有意义的。投影空间里的两条平行线会在无限远处相交于一点，但笛卡尔间里的两条平行线会在无限远处相交于一点，但笛卡尔空间里面无法搞定这个问题（因为空间里面无法搞定这个问题（因为(yn wi)(yn wi)无限远处的无限远处的点在笛卡尔空间里是没有意义的），因此数学家想出齐点在笛卡尔空间里是没有意义的），因此数学家想出齐次坐标这个点子来了。次坐标这个点子来了。第10页/共4

7、4页第十一页，共44页。解决办法解决办法:齐次坐标齐次坐标(zubio)n n由由August Ferdinand Mbius August Ferdinand Mbius 提出的齐次坐标（提出的齐次坐标（Homogeneous Homogeneous coordinatescoordinates）让我们能够在投影空间里进行图像和几何处理，齐次坐）让我们能够在投影空间里进行图像和几何处理，齐次坐标用标用 N+1 N+1个分量来描述个分量来描述 N N 维坐标。比如维坐标。比如(b(b r)r)，2D 2D 齐次坐标是在齐次坐标是在笛卡尔坐标笛卡尔坐标(X,Y)(X,Y)的基础上增加一个新分量的

8、基础上增加一个新分量 w w，变成，变成(x,y,w)(x,y,w)，其中，其中笛卡尔坐标系中的大笛卡尔坐标系中的大X X，Y Y 与齐次坐标中的小与齐次坐标中的小x x，y y有如下对应关系：有如下对应关系：n nX=x/wX=x/wY=y/wY=y/w笛卡尔坐标中的点笛卡尔坐标中的点(1,2)(1,2)在齐次坐标中就是在齐次坐标中就是(1,2,1)(1,2,1)。如果这点移动。如果这点移动到无限远到无限远(,)(,)处，在齐次坐标中就是处，在齐次坐标中就是(1,2,0)(1,2,0)，这样我们就避免，这样我们就避免了用没意义的了用没意义的 来描述无限远处的点。来描述无限远处的点。第11页/

9、共44页第十二页，共44页。为什么叫齐次坐标为什么叫齐次坐标(zubio)？n n前面提到(t do)，我们分别用齐次坐标中的 x 和 y 除以 w 就得到笛卡尔坐标中的 x和 x，如图所示：n n仔细观察下面的转换例子，可以发现些有趣的东西：第12页/共44页第十三页，共44页。n n上图中，点(1,2,3),(2,4,6)和(4,8,12)对应笛卡尔坐标(zubio)中的同一点(1/3,2/3)。任意数量积的(1a,2a,3a)始终对应于笛卡尔坐标(zubio)中的同一点(1/3,2/3)。因此这些点是“齐次”的，因为他们始终对应于笛卡尔坐标(zubio)中的同一点。换句话说，齐次坐标(z

10、ubio)描述缩放不变性（scale invariant）。第13页/共44页第十四页，共44页。证明证明(zhngmng):两平行线可以两平行线可以相交相交n n笛卡尔坐标系中，对于如下两个直线方程：n n如果C D，以上方程组无解；如果C=D，那这两条线就是同一条线了。n n下面我们用 x/w,y/w 代替 x,y 放到投影空间(kngjin)里来求解：第14页/共44页第十五页，共44页。n n现在我们就可以在 CD 的情况(qngkung)得到一组解(x,y,0)，代入得(C-D)w=0，因为CD，所以 w=0。因而，两条平行线相交于投影空间中无限远处的一点(x,y,0)。n n齐次坐

11、标在计算机图形学中是有用的，将 3D 场景投影到 2D 平面的过程中就用到它了。第15页/共44页第十六页，共44页。n n一维齐次点坐标(zubio)定义齐次坐标齐次坐标(zubio)（Homogeneous Coordinates）有穷远点无穷远点非齐次齐次坐标(zubio)关系(x1,x2)(x20)xx=x1/x2(x1,0)(x10)第16页/共44页第十七页，共44页。n n二维齐次点坐标(zubio)定义齐次坐标齐次坐标(zubio)（Homogeneous Coordinates）有穷远点 方向(fngxing)为=x2/x1的无穷远点非齐次齐次坐标关系 y轴上的无穷远点(x,

12、y)x=x1/x3,y=x2/x3(x1,x2,x3)(x30)(x1,x2,0)(x10)(=x2/x1)(0,x2,0)(x20)无穷远点第17页/共44页第十八页，共44页。n n二维齐次点坐标(zubio)举例齐次坐标齐次坐标(zubio)（Homogeneous Coordinates）齐次坐标(zubio)(一般形式)特定一组第18页/共44页第十九页，共44页。摄像机参数摄像机参数摄像机参数摄像机参数(cnsh)(cnsh)（Camera ParametersCamera Parameters）n n摄像机内部参数(cnsh)（Intrinsic Parameters）n n摄像

13、机坐标和理想坐标系之间的关系n n图像坐标系、摄像机坐标系n n摄像机外部参数(cnsh)（Extrinsic Parameters）n n摄像机在世界坐标系里的位置和方向n n摄像机坐标系、世界坐标系第19页/共44页第二十页，共44页。透视透视透视透视(tush)(tush)投影（投影（投影（投影（Perspective ProjectionPerspective Projection）n n小孔成像模型(mxng)（Pinhole camera model）第20页/共44页第二十一页，共44页。小孔成像模型小孔成像模型小孔成像模型小孔成像模型(mxng)(mxng)（Pinhole c

14、amera model Pinhole camera model）第21页/共44页第二十二页，共44页。小孔成像模型小孔成像模型小孔成像模型小孔成像模型(mxng)(mxng)（Pinhole camera model Pinhole camera model）n n一般的孔成像模型，所有的光线都经过(jnggu)小孔一点，所成的像为倒立的实像zxX第22页/共44页第二十三页，共44页。小孔成像模型小孔成像模型小孔成像模型小孔成像模型(mxng)(mxng)（Pinhole camera model Pinhole camera model）n n为便于理解，我们将成像平面和景物(jngw

15、)空间放在同一侧q=(X,Y,f)Q=(x,y,z)第23页/共44页第二十四页，共44页。图像图像图像图像(t xin(t xin)坐标系（坐标系（坐标系（坐标系（Image CoordinateImage Coordinate）n n以像素为单位的图像坐标系坐标：n n以物理单位表示的图像坐标系：n n每一个像素在X轴与Y轴方向(fngxing)上的物理尺寸为dX，dYOuXYvo(u0,v0)第24页/共44页第二十五页，共44页。图像图像图像图像(t xin(t xin)坐标系与摄像机坐标系坐标系与摄像机坐标系坐标系与摄像机坐标系坐标系与摄像机坐标系n n摄像机坐标(zubio)系：n

16、 n根据小孔成像模型：n n用齐次坐标(zubio)和矩阵表示摄像机内参摄像机内参(ni cn)s就是z第25页/共44页第二十六页，共44页。摄像坐标系与世界摄像坐标系与世界摄像坐标系与世界摄像坐标系与世界(shji)(shji)坐标系坐标系坐标系坐标系n n世界坐标(zubio)系：n n用齐次坐标(zubio)和矩阵表示：摄像机外参摄像机外参第26页/共44页第二十七页，共44页。摄像机参数摄像机参数摄像机参数摄像机参数(cnsh)(cnsh)（Camera ParametersCamera Parameters）p用齐次坐标(zubio)和矩阵表示第27页/共44页第二十八页，共44页

17、。坐标系旋转坐标系旋转坐标系旋转坐标系旋转(xunzhu(xunzhu n)n)与平移与平移与平移与平移n n欧拉角n n二维坐标系旋转(xunzhun)第28页/共44页第二十九页，共44页。坐标系旋转坐标系旋转坐标系旋转坐标系旋转(xunzhu(xunzhu n)n)与平移与平移与平移与平移n n三维坐标系的旋转可以(ky)分解成绕三个坐标轴旋转的乘积n n绕x轴旋转：第29页/共44页第三十页，共44页。坐标系旋转坐标系旋转坐标系旋转坐标系旋转(xunzhu(xunzhu n)n)与平移与平移与平移与平移n n绕绕y y轴旋转轴旋转(xunzhu(xunzhu n)n)n n绕绕z z轴

18、旋转轴旋转(xunzhu(xunzhu n)n)第30页/共44页第三十一页，共44页。相机相机相机相机(xingj)(xingj)畸变（畸变（畸变（畸变（Lens DistortionLens Distortion）n n根据理想的小孔成像模型，矩形物体投影到图像平面应该保持矩形，可是由于镜头(jngtu)的畸变，引起了一些误差第31页/共44页第三十二页，共44页。相机相机相机相机(xingj)(xingj)畸变（畸变（畸变（畸变（Lens DistortionLens Distortion）第32页/共44页第三十三页，共44页。径向径向径向径向(jn(jn xin xin)畸变（畸变（

19、畸变（畸变（Radial DistortionRadial Distortion）n n径向畸变是由于镜头不是理想(lxing)的小孔引起的误差，一般只考虑二次和四次畸变项第33页/共44页第三十四页，共44页。切向畸变切向畸变切向畸变切向畸变(jbin)(jbin)（Tangential DistortionTangential Distortion）n n切向畸变是由镜头跟CCD平面没有(mi yu)理想地垂直引起的，考虑p1,p2参数第34页/共44页第三十五页，共44页。仿射投影仿射投影仿射投影仿射投影(tuy(tuy ng)ng)（Affine ProjectionAffine Pr

20、ojection）n n当场景的深度大小变化远小于场景摄像机的距离(jl)，可以用仿射投影近似成像过程。n nM23秩为2。第35页/共44页第三十六页，共44页。摄像机的标定摄像机的标定摄像机的标定摄像机的标定(bio dn(bio dn)（Camera CalibrationCamera Calibration）n n什么是几何标定?n n图像上每一点的亮度反映了空间物体表面某点反射光的强度,而该点在图像上的位置与空间物体表面相应点的几何位置有关。这些位置的相互关系,由摄像机的成像几何模型所决定。该几何模型的参数称为(chn wi)摄像机参数,这些参数必须由实验和计算来确定,实验和计算的过

21、程称为(chn wi)摄像机的几何标定/定标(Calibration).n n几何模型的分类：n n线性模型，或称针孔(pin-hole)模型；非线性模型(如广角镜头的模型)；多摄像机的立体模型，等等.第36页/共44页第三十七页，共44页。摄像机的标定摄像机的标定摄像机的标定摄像机的标定(bio dn(bio dn)（Camera CalibrationCamera Calibration）n n标定的分类（Classification）n n传统摄像机标定方法(fngf)；n n主动视觉摄像机标定方法(fngf)；n n摄像机自标定方法(fngf)第37页/共44页第三十八页，共44页。传

22、统摄像机标定传统摄像机标定传统摄像机标定传统摄像机标定(bio dn(bio dn)方法方法方法方法n n直接(zhji)线性变换（DLT变换）第38页/共44页第三十九页，共44页。DLTDLT变换变换变换变换(binhun)(binhun)n nAbdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立(jinl)了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。第39页/共44页第四十页，共44页。DLTDLT变换变换变换变换(binhun)(binhun)p直接线性变

23、换是将像点和物点的成像几何关系(gun x)在齐次坐标下写成透视投影矩阵的形式：p其中 为图像坐标系下的点的齐次坐标，为世界坐标系下的空间点的欧氏坐标，P 为3*4的透视投影矩阵，s为未知尺度因子。第40页/共44页第四十一页，共44页。消去消去 s s，可以，可以(ky)(ky)得到方程组得到方程组:第41页/共44页第四十二页，共44页。DLTDLT变换变换变换变换(binhun)(binhun)p当已知N个空间点和对应(duyng)的图像上的点时，可以得到一个含有2*N个方程的方程组：其中 A 为2N*12 的矩阵，L为透视投影矩阵元素(yun s)组成的向量:第42页/共44页第四十三页，共44页。DLTDLT变换变换变换变换(binhun)(binhun)像机定标的任务就是寻找合适(hsh)的 ，使得 为最小，即 给出约束：给出约束：为为 的前的前1111个元素组成的向量，个元素组成的向量，为为 前前1111列组成的矩列组成的矩阵，阵，为为 第第1212列组成的向量。列组成的向量。向量向量(xingling)的比例的比例有意义有意义第43页/共44页第四十四页，共44页。