基于双目视觉的三维重建优秀PPT.ppt

《基于双目视觉的三维重建优秀PPT.ppt》由会员分享，可在线阅读，更多相关《基于双目视觉的三维重建优秀PPT.ppt（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于基于双目视觉双目视觉图像的三维重建图像的三维重建人机交互课程1.引言2.基于图像的三维重建 2.1 摄像机标定 2.2特征抽取与特征匹配 2.3三维空间点定位 2.4表面几何建模 2.5纹理映射3.三维重建效果与应用主要内容主要内容 我们看到的世界是三维的。人机交互中计算机视觉方面的探讨目的就是为了赐予计算机以人类的视觉认知功能，使计算机具有通过二维图像认知三维世界的实力。1 1、引言、引言 三维信息获得的技术手段通常分三种：第一种：利用三维建模软件（如3DSMAX，AutoCAD等）构造三维模型；其次种：人们通过仪器设备干脆获得三维信息；第三种：利用图像或者视频来重建三维模型；最终一种基

2、于图像的三维建模方法，通过对物体实拍的图像序列或者图像对来复原出物体模型。依据重建算法的困难性，建模过程也越来越自动化，使得人工劳动强度越来越轻，降低了建模成本。而建模所需的设备只须要一个一般的相机，适用于任何场景的重构。基于图像的三维重建常见算法：基于平面的三维重建；基于深度图的三维重建；基于轮廓线的三维重建；基于立体视觉的三维重建；2 2、基于图像的三维重建、基于图像的三维重建图 基于立体视觉的三维重建 基于立体视觉的三维重建流程原始图像摄像机基础矩阵摄像机标定特征点特征点对特征匹配特征点检测对极线约束空间点定位点云模型表面几何重建可见外壳纹理映射三维模型 2.1 2.1摄像机标定摄像机标

3、定 2.1.1 2.1.1定义与几何意义定义与几何意义 (1)(1)定义：从摄像机获得的图像信息动身，计算三维空间中定义：从摄像机获得的图像信息动身，计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型确定的，这些几何模型参数系是由摄像机成像的几何模型确定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必需通过试就是摄像机参数。在大多数条件下，这些参数必需通过试验与计算才能得到，这个过程被称为摄像

4、机定标验与计算才能得到，这个过程被称为摄像机定标(或称为标或称为标定定)。(2)(2)三个坐标系三个坐标系：a、世界坐标系：b、摄像机坐标系：c、图像坐标系:Ou摄像机坐标系摄像机坐标系yxv图像坐标系图像坐标系世界坐标系系 对图像坐标系，如图，原点 定义为摄像机光轴与图像平面的交点。若 在u，v坐标系中的坐标为 ，每一个像素在x轴与y轴方向上的物理尺寸为dx,dy，则图像中随意一个像素在坐标系下的坐标有如下关系：写为齐次坐标形式 图 图像坐标系 o写成齐次坐标形式为（3）两种摄像机模型）两种摄像机模型a、小孔成像模型小孔成像模型写成齐次坐标形式为 ofb、中心透视投影、中心透视投影模型模型

5、对于世界坐标系中的点进行变换，其过程包括两个部分：对于世界坐标系中的点进行变换，其过程包括两个部分：一个是变换部分，一个是旋转部分。所以摄像机坐标系与世界一个是变换部分，一个是旋转部分。所以摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵坐标系之间的关系可以用旋转矩阵R R与平移矩阵与平移矩阵t t来描述。因此，来描述。因此，空间中某一点空间中某一点P P在世界坐标系与摄像机坐标系下的齐次坐标假在世界坐标系与摄像机坐标系下的齐次坐标假如分别是如分别是 与与 ，于是存在如下关系：，于是存在如下关系：(4)(4)世界坐标与摄像机坐标的关系世界坐标与摄像机坐标的关系 由以上推导的公式由以上推导的公式

6、 (5)(5)几何意义几何意义最终得到K蕴涵了摄像机的焦距等内部参数，被称为内参矩阵；(R,t)则反映了摄像机坐标系相对于世界坐标系的方向和位置等外部参数，称为外参矩阵。所以，求投影矩阵P的过程则成为摄像机的标定。2.1.22.1.2摄像机标定方法摄像机标定方法 由2.1.1中的推导，有图像像素坐标系和世界坐标系的关系:从公式上看，若求矩阵P，则应同时知道空间中若干M点的坐标以及图像上对应点M1、M2的坐标。MM1M2 通常，可以接受在摄像机取景范围内放置定标物体的方法进行摄像机定标，其中定标物体的三维形态是已知的，即定标物体上标识点(也称为参考点)相对于物体本身坐标系的三维坐标是已知的。目前

7、广为接受的定标物体是一块画有棋盘格 的平板（如图），只须要用摄像机从不同视角拍摄 这个平板，对每幅图像提取标识点(定标板上已经标 记好位置)，从而获得定标板标识点与图像标识点间 的对应关系，这样，对每幅图像就可以确定一个投 影矩阵P，从而完成摄像机标定。2.2 2.2特征提取与特征匹配特征提取与特征匹配 2.2.1 2.2.1特征提取特征提取 特征提取，就是要从大量的图像数据中选择最能反应景特征提取，就是要从大量的图像数据中选择最能反应景物属性特征的因素，用于特征匹配。在目前的特征提取算物属性特征的因素，用于特征匹配。在目前的特征提取算法中，常常接受的是区域特征、边缘特征和角点特征。法中，常常

8、接受的是区域特征、边缘特征和角点特征。为空间点的定位重建，这里实行提取特征点。图像特征点提取方法有很多，可以定义某种算子(Harris算子、DoG算子等)，通过在图像上找寻该算子的极值来提取图像的特征点；也可以通过从图像中提取边缘，然后，在边缘上搜寻曲率最大的点作为特征点等等。图 特征点的提取结果2.2.22.2.2特征匹配特征匹配 图像匹配是图像处理中的重要课题，也是三维重建的一个重要步骤。图像匹配是图像处理中的重要课题，也是三维重建的一个重要步骤。是为了找寻同一空间场景在不同视点下投影图像像素间的对应关系。是为了找寻同一空间场景在不同视点下投影图像像素间的对应关系。对特征提取出的特征点来说

9、，匹配即是在不同视角的图像中找出特对特征提取出的特征点来说，匹配即是在不同视角的图像中找出特征点的对应点，也称对应基元匹配。征点的对应点，也称对应基元匹配。（1 1）对极几何约束）对极几何约束 设两相机的中心分别为C和C，两图像平面分别为I和I，X1、X2为共同视域中的场景空间点，它们在两幅图像平面上的投影点分别为 ，。已知点C，C，X1，X2构成一个平面，称为对极平面 ；该平面与成像平面I和I分别交于直线L和L，称为极线。对极几何约束可以描述为：假设x和x分别为同一场景空间点X在两幅图像平面I，I上的像点，则x必定位于x对应的极线L上，反之亦然。（2 2）匹配约束条件）匹配约束条件 a a、

10、唯一性：在给定的两幅图中，一幅图中的一点，在另一幅图中的对应、唯一性：在给定的两幅图中，一幅图中的一点，在另一幅图中的对应 匹配点至多只有一个，反之亦然。匹配点至多只有一个，反之亦然。b b、相像性：对应的特征应当具有相同的属性。在某种度量下，同一物理、相像性：对应的特征应当具有相同的属性。在某种度量下，同一物理 特性在两幅图像中应当表现出相像的性质。特性在两幅图像中应当表现出相像的性质。c c、连续性：与视察点的距离相比，物体表面因凸凹不平引起的深度变更、连续性：与视察点的距离相比，物体表面因凸凹不平引起的深度变更 是缓慢的，因而，视差的变更也是缓慢的，或者说视差具有连续性。是缓慢的，因而，

11、视差的变更也是缓慢的，或者说视差具有连续性。（3 3）常见算法：）常见算法：a、区域匹配；b、相位匹配；c、特征点匹配；图 特征匹配结果 2.32.3三维空间点定位三维空间点定位图 三维空间点定位 如图，m是提取的图像特征点，通过特征匹配得到其在另一平面的匹配点为m。由摄像机标定得知投影矩阵P和P，故可以得到这对匹配点（m，m）的反投影的两条射线。当匹配点满足对极几何约束时，反投影射线会在空间中相交，交点M的坐标即为三维空间坐标。通常状况下，像点坐标都存在测量误差，使得对极几何约束得不到满足，无法运用反投影交点的方法得到三维空间坐标。因此，须要计算出三维空间坐标的最佳估计值，这个过程称为三维空

12、间点定位。可用最小二乘法求取坐标，或者用最大似然估计法最小化投影误差。2.4 2.4表面几何建模表面几何建模 2.4.1 2.4.1 点云模型的建立点云模型的建立 概念：概念：点云：三维景物外观表面的点数据集合称之为点点云：三维景物外观表面的点数据集合称之为点云。云。面片：即三维景物表面某一部分的估计。面片：即三维景物表面某一部分的估计。由之前的方法重建出的空间三维点，每个三维点都会对由之前的方法重建出的空间三维点，每个三维点都会对应一组面片。依据应一组面片。依据PMVSPMVS点云生成算法，剔除错误的三维点点云生成算法，剔除错误的三维点对应的面片，从而得到点云模型。对应的面片，从而得到点云模

13、型。2.4.2 2.4.2 表面重建与实现表面重建与实现 对于散乱点云，找寻一种快速有效的曲面重建方法是当前的一个探讨对于散乱点云，找寻一种快速有效的曲面重建方法是当前的一个探讨热点。热点。（1 1）依据重建曲面和数据点云之间的关系可以将曲面重建分为插值法）依据重建曲面和数据点云之间的关系可以将曲面重建分为插值法和靠近法两大类。前者得到的重建曲面完全通过原始数据点。后者得到的和靠近法两大类。前者得到的重建曲面完全通过原始数据点。后者得到的重建曲面是原始数据点的一个靠近。重建曲面是原始数据点的一个靠近。（2 2）依据重建曲面表示形式的不同可以将曲面重建分为五大类：参）依据重建曲面表示形式的不同可

14、以将曲面重建分为五大类：参 数曲面重建、隐式曲面重建、变形曲面重建、细分曲面重建和分片线数曲面重建、隐式曲面重建、变形曲面重建、细分曲面重建和分片线 性曲面重建。性曲面重建。（3）依据曲面拓扑形式的不同可以将曲面重建方法分为两大类：基于矩形域曲面的方法和基于三角域曲面的方法。基于矩形域的曲面建模主要面对有序数据点云，而基于三角域的曲面建模则是面对散乱数据点云。这样，经过曲面重建算法，可以得到三维模型的可见外壳 2.5 2.5纹理映射纹理映射 2.5.1 2.5.1纹理映射定义纹理映射定义 在计算机图形学中，为了使模型具有视觉上的真实感，常在计算机图形学中，为了使模型具有视觉上的真实感，常常预先

15、定义一个纹理图像，再通过某种映射算法建立物体表常预先定义一个纹理图像，再通过某种映射算法建立物体表面点和纹理图像像素点之间的对应关系，合理填充纹理图像面点和纹理图像像素点之间的对应关系，合理填充纹理图像像素，最终将纹理图像覆盖到三维表面上，这一过程就是纹像素，最终将纹理图像覆盖到三维表面上，这一过程就是纹理映射。理映射。2.5.2 2.5.2纹理映射基本思想纹理映射基本思想 纹理映射以多幅图像为基础，须要解决的问题是如何将存在于不同图纹理映射以多幅图像为基础，须要解决的问题是如何将存在于不同图像中的纹理信息组织起来。像中的纹理信息组织起来。这就须要将图像中的有用信息提取出来，这就须要将图像中的

16、有用信息提取出来，用一张纹理图像进行表示。这部分工作通用一张纹理图像进行表示。这部分工作通常包含两个步骤：第一步是建立几何模型常包含两个步骤：第一步是建立几何模型与纹理图像间的对应关系；其次步是依据与纹理图像间的对应关系；其次步是依据对应关系合成纹理图像。对应关系合成纹理图像。图 纹理像素映射过程 2.5.32.5.3模型优化模型优化 可见外壳一般以网格形式表示。网格中三角可见外壳一般以网格形式表示。网格中三角面片数目的多少，对模型的显示速度及模型所需面片数目的多少，对模型的显示速度及模型所需的存储空间都有特别大的影响。的存储空间都有特别大的影响。目前人们熟知的网格优化技术包括网格平滑目前人们

17、熟知的网格优化技术包括网格平滑和网格简化。在进行纹理映射之前，接受适当的和网格简化。在进行纹理映射之前，接受适当的平滑和简化算法对网格结构进行优化，有利于提平滑和简化算法对网格结构进行优化，有利于提高映射精度。高映射精度。图 可见外壳 2.5.4 2.5.4模型绽开模型绽开 空间六面体可以依据确定的对应关系绽开二维平面中。基于这个思想，空间六面体可以依据确定的对应关系绽开二维平面中。基于这个思想，选定一个可以包围三维模型的六面体，将模型向空间六面体的六个面进行选定一个可以包围三维模型的六面体，将模型向空间六面体的六个面进行投影，再通过平面绽开，就获得了三维模型与二维平面间的对应关系。投影，再通

18、过平面绽开，就获得了三维模型与二维平面间的对应关系。图 模型平面参数化和柱面参数化图 六面体的一种绽开方式 2.5.5 2.5.5最终纹理合成最终纹理合成 由同空间点定位的方法可知几何模型与每幅彩色图像之间的投影关系，由同空间点定位的方法可知几何模型与每幅彩色图像之间的投影关系，我们可以计算出模型上的每一个三维点在各幅图像上所对应的象素。我们可以计算出模型上的每一个三维点在各幅图像上所对应的象素。经过一些处理（面片可见性推断、加权平均），就获得了全部三维模经过一些处理（面片可见性推断、加权平均），就获得了全部三维模型在纹理图上对应的纹理信息，也就台成了模型的最终纹理图像。在进行型在纹理图上对应

19、的纹理信息，也就台成了模型的最终纹理图像。在进行绘制的时候只需通过新合成的纹理图对模型进行映射，就能正确的显示出绘制的时候只需通过新合成的纹理图对模型进行映射，就能正确的显示出三维重建的最终结果。三维重建的最终结果。纹理映射最终结果展示：3 3、三维重建效果及应用、三维重建效果及应用（1 1）制造业与逆向工程制造业与逆向工程（2 2）影视与消遣）影视与消遣数字化三维模型，能够给电影和视频游戏供应丰富素材。数字化三维模型，能够给电影和视频游戏供应丰富素材。37 （3 3）文化遗产的保存）文化遗产的保存对文物进行三维重建操作，以便获得文物精准的对文物进行三维重建操作，以便获得文物精准的几何和色调信息。几何和色调信息。图 河南省新乡市辉县村舍重建河南省新乡市辉县村舍重建图图 新疆米兰古城三维重建图新疆米兰古城三维重建图39（4 4）裸眼）裸眼3D3D40 感谢！