计算机视觉中的多视几何ppt课件.ppt

《计算机视觉中的多视几何ppt课件.ppt》由会员分享，可在线阅读，更多相关《计算机视觉中的多视几何ppt课件.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物计算机视觉的多视几何计算机视觉的多视几何吴吴 毅毅 红红中国科学院自动化研究所中国科学院自动化研究所模式识别国家重点实验室模式识别国家重点实验室我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物主主 要要 内内 容容 1. 单视几何单视几何（应用（应用 单幅图像测量）单幅图像测量） 2. 两视几何两视几何（Epipolar Geometry 约束）约束）空间平面与空间平面与H

2、omography 3. 三视几何三视几何（Trifocal Geometry 约束）约束）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1. 单视几何单视几何成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMm成像平面成像平面OiiixtRKm,我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1. 单视测量单视测量 目标、内容 研究的意义 国内外研究的现状 算法我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这

3、样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1. 单视测量单视测量 从单幅图像中恢复场景的全部或部分三维信息 运用射影几何理论，探索利用单幅图像实现场景测量所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量目标、内容目标、内容我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1. 单视测量单视测量 利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响 基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确 具有非常广泛的应用前

4、景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面研究的意义研究的意义我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1. 单视测量单视测量 用两幅或多幅图像对场景进行重建以后进行测量的方法以及摄影测量学的方法有很大的局限性 利用单幅图像对场景进行测量，已引起人们的关注 A. Criminisi University of Oxford 目前，国内外在此方面还没有系统的研究研究现状研究现状我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有

5、错：表里边有一个活的生物1.单视测量单视测量空间平面与其图像间的关系可由平面空间平面与其图像间的关系可由平面Homography: H 来表示来表示(一个一个 的矩阵的矩阵). 一般将空间平面假设一般将空间平面假设为为 即即X-Y 平面平面, 则：则： Tvu1 ,mTMMYX 1 ,M0wZHMHtrrKtrrrKm11,10,21321MMMMMMYXYXYXs算法算法33成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMmXwYw33H平面测量平面测量我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1

6、. 单视测量单视测量 如果如果4个空间点个空间点 已知，则由它们可线性求解已知，则由它们可线性求解H：算法算法5155mHMsiiisHMmiM4 , 3 ,2 , 1i6166mHMs然后通过将图像点反投到空间平面，实现空间平面上的测量然后通过将图像点反投到空间平面，实现空间平面上的测量平面测量平面测量距离面积夹角1. 单视测量单视测量 已知一个空间平面的已知一个空间平面的homography和此平面法向和此平面法向量方向的一组平行线、某个线段的距离，或已知量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测：另一个平面的位置，可测：算法算法空间测量空间测量体积、身高、两个平面的

7、距离、两个平体积、身高、两个平面的距离、两个平面内的两个点之间的距离面内的两个点之间的距离我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物1. 单视测量单视测量算法算法 S8S10S9R3V2XZY XYZS1S2S3R1S4XZS5S6S7R2V1Y物体体积的测量结果：V1 Real volume: 109265.0 cm3 Measured value: 110018.9 cm3 Relative error: 0.69 % V2 Real volume: 26826.7 cm3 Measured va

8、lue: 26628.2 cm3 Relative error: 0.74 %我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 外（对）极几何（外（对）极几何（Epipolar geometry） 基本矩阵、本质矩阵基本矩阵、本质矩阵 重建重建 景物平面与单应矩阵（景物平面与单应矩阵（Homography）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何外极几何外极几何外极几何

9、是研究两幅图像之间存在的几何。它和场外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。种几何可以用在图像匹配、三维重建方面。基本概念：基本概念：基线；外极点；外极线；外极平面；基本矩阵；本质矩阵基线；外极点；外极线；外极平面；基本矩阵；本质矩阵我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何外极几何外极几何外极线外极线MmmleelOOmTFm=0基线基线外极点外极点

10、外极平面外极平面对极线对极线基本矩阵，基本矩阵，33的矩阵的矩阵我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 基线：连接两个摄象机光心连接两个摄象机光心 O（O）的直线）的直线 外极点：基线与像平面的交点基线与像平面的交点 外极平面：过基线的平面过基线的平面 外极线：对极平面与图像平面的交线对极平面与图像平面的交线 基本矩阵F：对应点对之间的约束对应点对之间的约束0FmmT外极几何外极几何我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快

11、，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何外极几何外极几何wXwZwYwOo ov vv vcXcZcY1OiiixtRKm,00iiixtRKm , O O cXcZcYR0, t0R, t如果将世界坐标系取在第一个摄像机如果将世界坐标系取在第一个摄像机坐标系上，则：坐标系上，则：iiix0IKm,iiixtRKm, R, t我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物基本矩阵基本矩阵 F： 是一秩为是一秩为2的的33矩阵，自由度为矩阵，自由度为 72. 两视几何两视几何外极几何

12、外极几何对象的数学表达：对象的数学表达：iiiixP0IKm,iiiixPtRKm, MmmleelOOm TFm=01RKtKFTtKPOPeT1000外极点：外极点：tKRtRPPOeT1,光心：光心： 1000O 1,tRO我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物本质矩阵本质矩阵 E： 是一秩为是一秩为2的的33矩阵，自由度为矩阵，自由度为 52. 两视几何两视几何Fml mFlT0Fe0FeT外极几何外极几何对象的数学表达：对象的数学表达：iiiixP0IKm,iiiixPtRKm, Mmm

13、leelOOm TFm=0外极线：外极线：melmel（用法向量表示）（用法向量表示）对象之间的关系式：对象之间的关系式：RtE我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何Fml mFlT0Fe0FeT外极几何外极几何iiiixP0IKm,iiiixPtRKm, MmmleelOOm TFm=0对象之间的关系式：对象之间的关系式：F不是一个一一对应的变换。不是一个一一对应的变换。1EKKFT0Fmm如果，如果，m，m是一对对应点，则：是一对对应点，则：反之，不成立。反之，不成立。我

14、吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何H是一个是一个 射影变换矩阵射影变换矩阵 ，投影矩阵对，投影矩阵对 和和 对应相同的基本矩阵对应相同的基本矩阵 。),(PP),(HPPH1RKtKFTiiiixP0IKm,iiiixPtRKm, iiiixPHH0IKm,iiiixHPHtRKm, 441RKtKFT我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何在两幅图像之间，

15、基本矩阵将点在两幅图像之间，基本矩阵将点 m 映射为对应的对极线，映射为对应的对极线，将对极点映射为将对极点映射为0。不能提供对应点间的一一对应。不能提供对应点间的一一对应。Fml mFlT0Fe0FeTMmmleelOOm TFm=0F0F我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何空间中一点 在两幅图像上的成像分别为： 极点 极线tKPCPeT1000 FmmRKtKtKRXKtKmelT1KXXPsmT1tKRXKXPms1mmleelCCmTFm=0MTXM101FmmmR

16、KtKmlmTTTT因此：因此：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何基于代数误差的线性估计基于代数误差的线性估计-8、7点算法点算法基于几何误差的非线性优化基于几何误差的非线性优化基于基于RANSAC思想的自动估计算法思想的自动估计算法我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何一对对应点一对对应点 ， 之间之间满足约束：满足约束：展开可以得到约束方程为：展开可

17、以得到约束方程为：0iTiFmm0333231232221131211FFvFuFvFvvFuvFuFvuFuuiiiiiiiiiiiiTiiivu 1 , , mTiiivu1 ,m333231232221131211,FFFFFFFFFF8点算法点算法:我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何当当 n=8 时，可以线性求解时，可以线性求解 f。0fA11111111111111nnnnnnnnnnnnvuvvvuvuvuuuvuvvvuvuvuuuA对于对于 n 对对应的图

18、像点对对对应的图像点对iimm ni.1可得到可得到 n 个这样的方程个这样的方程T,333231232221131211FFFFFFFFFf 构造向量构造向量:构造矩阵构造矩阵:从而从而:8点算法点算法:我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 基于代数误差的估计方法是满足某些约束下使 最小的算法 8 点算法： 步骤：1) 由对应点 (n=8) 集构造矩阵A；2) 对 A 进行奇异值分解 ，由向量 构造矩阵F（3）对F进行SVD分解 得到基本矩阵的估计1minf约束条件fAf

19、ATUDVA9vf TVsssUdiagF321TVssUdiagF0218点算法点算法:我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 8 点算法估计基本矩阵点算法估计基本矩阵 F 的结果与图像点的坐的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精标系有关。当图像数据有噪声，即对应点不精确时，由确时，由 8 点算法给出的基本矩阵点算法给出的基本矩阵 F 的解精度的解精度很低。很低。 存在一种规一化坐标系，在此坐标系下估计的存在一种规一化坐标系，在此坐标系下估计的基本矩阵优

20、于其它坐标系。基本矩阵优于其它坐标系。8点算法点算法:我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 规一化变换：规一化变换：1) 对图像点做位移变换，使得图像对图像点做位移变换，使得图像的原点位于图像点集的质心；的原点位于图像点集的质心；2) 对图像点做缩放对图像点做缩放变换，使得图像点分布在以质心为圆心半径为变换，使得图像点分布在以质心为圆心半径为 的圆内。的圆内。28点算法点算法:H我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，

21、证实我的猜测没有错：表里边有一个活的生物l规一化规一化 8 点算法：由对应点点算法：由对应点 ，求，求F 1) 对两幅图像分别做规一化变换对两幅图像分别做规一化变换 , 得到新的得到新的对应点集；对应点集； 2) 有新的对应点集和有新的对应点集和8点算法估计点算法估计 ； 3）基本矩阵）基本矩阵 2. 两视几何两视几何iimmF11HFHFHH,8点算法点算法:我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 如果求解的基本矩阵如果求解的基本矩阵 F 不满足约束不满足约束 ，即即 那么

22、不存在向量那么不存在向量 e 使得使得 Fe=0，则在图像中的对极线不交于同一点则在图像中的对极线不交于同一点 (对极点对极点 e )。 由于基本矩阵的秩为由于基本矩阵的秩为 2 ，因此基本矩阵仅具有，因此基本矩阵仅具有7个自由度，所以已知个自由度，所以已知7对匹配点便足以确定基本对匹配点便足以确定基本矩阵。矩阵。0)det(F7点算法点算法:0)det(F我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 利用利用SVD分解的方法得到两个对应于系数矩阵分解的方法得到两个对应于系数矩阵A

23、 的右零空间的基向量的右零空间的基向量 和和 的矩阵基的矩阵基 和和 ，然后利用然后利用det(F)=0性质来解出性质来解出F通解通解 中的比例因子中的比例因子 ，来确定所要估计的基本矩阵。，来确定所要估计的基本矩阵。 由于基本矩阵行列式为零所对应的约束是一个由于基本矩阵行列式为零所对应的约束是一个三次方程，因此最后所可能得到的基本矩阵的三次方程，因此最后所可能得到的基本矩阵的解的个数对应于上述三次方程实数解的个数，解的个数对应于上述三次方程实数解的个数，最多可以得到最多可以得到 3 个解。个解。1f2f1F2F21)1 (FFF7点算法点算法:我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把

24、它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何将估计基本矩阵的问题化为数学的最优化问题，然将估计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解后使用某种优化迭代算法求解. 算法如下：算法如下：（1）构造基于几何意义的目标函数）构造基于几何意义的目标函数（2）选取）选取8点算法的结果作为迭代算法的初始值点算法的结果作为迭代算法的初始值（3）选取一种迭代方法（）选取一种迭代方法（L-M方法），迭代求解最方法），迭代求解最小化问题小化问题基于几何误差的优化基于几何误差的优化:我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什

25、么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何常用准则：常用准则：(1)点到对应极线距离的平方和点到对应极线距离的平方和 (2)反投影距离反投影距离基于几何误差的优化基于几何误差的优化:构造基于几何意义的目标函数构造基于几何意义的目标函数我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何mmleelOOniiiiTiFdFd122),(),(mmmmniiTiTiTiiiiTi12221222212)()()()()()

26、(mFmFFmmFmFmFmm基于几何误差的优化基于几何误差的优化:准则准则 (1)点到对应极线距离的平方和点到对应极线距离的平方和我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物其中其中 和和 是通过一定的方法进行射影重建所得是通过一定的方法进行射影重建所得到空间点的反投影图像点到空间点的反投影图像点.2. 两视几何两视几何准则准则 (2)反投影距离反投影距离niiiiidd122),(),(mmmmimim基于几何误差的优化基于几何误差的优化:mmeeOOmm我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什

27、么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物基于准则基于准则 (2)步骤：步骤：1. 由线性算法求出基本矩阵的初始值由线性算法求出基本矩阵的初始值 ;2. 由对应点由对应点 和基本矩阵和基本矩阵 射影重建得射影重建得到三维空间点坐标到三维空间点坐标 ；3. 由三维空间点得到新的图像点：由三维空间点得到新的图像点： .2. 两视几何两视几何基于几何误差的优化基于几何误差的优化:FiMiimmiimm F我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几

28、何两视几何例：利用例：利用 RANSAC 思想估计直线思想估计直线 给定给定7点，找最匹配的直线，使有效点到直线的距离点，找最匹配的直线，使有效点到直线的距离小于小于0.8个单位，找到的点集为个单位，找到的点集为 1,2,3,4,5, 6，然后，然后用最小二乘法计算直线方程。用最小二乘法计算直线方程。x01123234578645910yPOINTX Y12345670 01 12 23 23 34 410 2理想直线RANSAC估计估计我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何

29、 前面所讲的所有的方法都假设没有错误匹配点前面所讲的所有的方法都假设没有错误匹配点(Outliers)(Outliers)。实际处理过程中可能会出现错误的。实际处理过程中可能会出现错误的匹配点。可以用匹配点。可以用 RANSAC RANSAC 方法剔除错误的匹配点方法剔除错误的匹配点 基本思想基本思想：1. 通过迭代地随机抽取最小点集来找通过迭代地随机抽取最小点集来找出能够使得所谓出能够使得所谓Inliers所占比例最高的最小点集所占比例最高的最小点集 2.用此用此最小点集估计的基本矩阵和所识别出的最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最一起进行进一

30、步非线性优化，从而得到最终的基本矩阵估计值终的基本矩阵估计值RANSAC估计估计我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何 本质矩阵本质矩阵 E (Essential Matrix) 由摄像机的外由摄像机的外参数确定，与摄像机内参数无关。参数确定，与摄像机内参数无关。O O v vcXcZcY1Oo ocXcZcYu uxyRtEmm0EmmT我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2

31、. 两视几何两视几何 MtRKPXm|MtRmKx1,tRP0IP,FKKET 1RKtKFT当摄像机内参数当摄像机内参数 K 已知时，当已知时，当 F 被求出时，重被求出时，重建即要求出建即要求出 R，t。ttEEtRtER我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 给定一基本矩阵给定一基本矩阵 F，构造投影矩阵对，构造投影矩阵对 2. 两视几何两视几何重建重建0IP eFePl 有了投影矩阵和图像点就可以通过三角化实现重建有了投影矩阵和图像点就可以通过三角化实现重建PMm MPmM我吓了一跳，蝎子

32、是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何重建重建H是一个是一个44的可逆射影变换矩阵，则的可逆射影变换矩阵，则MHPHPMm1s0IP eFeP,0IK,tRKHH我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何例子例子 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何例子例子

33、我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 概念概念 已知基本矩阵已知基本矩阵 F 确定单应矩阵确定单应矩阵H 已知单应矩阵已知单应矩阵H确定基本矩阵确定基本矩阵 F 无穷远平面的单应矩阵无穷远平面的单应矩阵2. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物两幅图像上的点如果来自空间的同一个平面，则两幅图像上的点如果来自空间的同一个平面，则在它们之间存在一个射

34、影变换，可以用一个在它们之间存在一个射影变换，可以用一个33矩阵表示，称为单应矩阵矩阵表示，称为单应矩阵, 记为记为H。xmmee2. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵概念概念H33我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物建立世界坐标系，使得建立世界坐标系，使得 X-Y 平面为空间平面，即平面为空间平面，即为为 平面，则平面，则Tvu1 ,mTwwYX 1 ,M0wZ11021321wwwwYXYXtrrKtrrrKmHMHm1wwYX2. 两视几何两视几何景物平面与单应矩阵景物

35、平面与单应矩阵概念概念我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 若若 是空间平面上的点是空间平面上的点在两幅图像上对应点对，则存在矩阵在两幅图像上对应点对，则存在矩阵H使得使得 s为非零常数因子，为非零常数因子，H是一是一33矩阵，一般可由矩阵，一般可由4对对应点对对应点求得。求得。Hmm sTvu1mTvu1mXHm1XHm2mHHm1122. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵概念概念我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快

36、，证实我的猜测没有错：表里边有一个活的生物若两视点投影矩阵为若两视点投影矩阵为则空间平面则空间平面 的单应矩阵的单应矩阵H可表示为可表示为0IKP tRKP1)/(KdtnRKHTTTdn2. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵概念概念我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物iimm 2. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵由由F 确定确定H给定三对对应点：给定三对对应点：它们对应的空间的景物点为：它们对应的空间的景物点为：M1，M2，M33 , 2 , 1i则这

37、三个景物点唯一确定了一个空间平面则这三个景物点唯一确定了一个空间平面如果如果F已求出，则这个平面的已求出，则这个平面的H也可以求出：也可以求出：0Fe0Fee, eiiisHmm 3 , 2 , 1iHee sH我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物2. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵由由F 确定确定Hxmmee我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物一一. 由共面的由共面的4对对

38、应点求得对对应点求得 H二二. 由直线由直线 和和 确定极点确定极点e 三三. 由由6个点，其中个点，其中4个点共面，来求解基本矩阵个点共面，来求解基本矩阵F：55mHm 66mHm HeF2. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵由由H 确定确定F我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 当空间平面为无穷远平面时，对应的单应矩阵为当空间平面为无穷远平面时，对应的单应矩阵为无穷远平面的无穷远平面的H ： 如果如果H 已知后，则可进行标定、重建。已知后，则可进行标定、重建。1limRK

39、KHHd1)/(KdtnRKHT2. 两视几何两视几何景物平面与单应矩阵景物平面与单应矩阵无穷远平面的单应矩阵无穷远平面的单应矩阵RKHK1KKHKKH我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 引言引言 点、线关联关系点、线关联关系 基本矩阵、投影矩阵基本矩阵、投影矩阵主要内容主要内容我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 两幅图像之间存在约束：基本矩阵两幅图像之间存在约束：基本矩阵F； 三幅图像之间存

40、在约束：三焦张量三幅图像之间存在约束：三焦张量T（Trifocal Tensor）；）； 四幅或更多幅图像之间不存在独立的约束，它们四幅或更多幅图像之间不存在独立的约束，它们可以由可以由F和和T生成。生成。引言引言我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物三幅图像间的独立的几何约束三幅图像间的独立的几何约束OLOOlll3. 三视几何三视几何两幅图像间不能对直线产生约束两幅图像间不能对直线产生约束LOOll引言引言我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感

41、到愉快，证实我的猜测没有错：表里边有一个活的生物三焦张量由三个三焦张量由三个3 3矩阵矩阵T1，T2，T3组成。组成。 321,lTTTllTT3. 三视几何三视几何0Fmm在两幅图像之间有约束：在两幅图像之间有约束：在三幅图像之间有约束：在三幅图像之间有约束：其中，其中，l，l，l为在三幅图像中对应的直线。为在三幅图像中对应的直线。引言引言我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物线 - 线 - 线点 - 线 - 线点 - 线 - 点点 - 点- 线点 - 点 - 点 0 xTxliiiT点、线关联

42、关系点、线关联关系TTlTTTl 321,l 0 lTxxiii0 lTxliiiT 0,321 llTTTlT l lx 0 xTxxiiixlx lxx 3. 三视几何三视几何我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物点、线关联关系点、线关联关系Point line line0iiilmlmT0)( TiiiTTmll 321,lllTTTTT3. 三视几何三视几何我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生

43、物点、线关联关系点、线关联关系Point line pointOLmmlXmOOmlHm)(13 32113,)(llTTTTTTHTiiiTmTm0)( l3. 三视几何三视几何我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物点、线关联关系点、线关联关系Point point pointLmmOXmOOnmlTiiiTmTm0)( l33 0)(mTmmiii3. 三视几何三视几何我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一

44、个活的生物 基本矩阵与三焦张量之间存在关系：基本矩阵与三焦张量之间存在关系： 由三焦张量和外极点可得到一组投影矩阵：由三焦张量和外极点可得到一组投影矩阵：基本矩阵、投影矩阵基本矩阵、投影矩阵 32121,eTTTeF32131, eeTTTTTTF 321,eeTTTP 321 ,)(eeTTTIeePTTTT0IP 3. 三视几何三视几何我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物小小 结结 1. 单视几何：单视几何：应用于单幅图像测量应用于单幅图像测量 2. 两视几何：两视几何：基本矩阵、外极点、空间平面与单应矩阵基本矩阵、外极点、空间平面与单应矩阵 3. 三视几何三视几何：三焦张量：三焦张量参考文献：参考文献：R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2000.