基于图像的三维建模技术综述.ppt

CompanyLOGO基于图像的基于图像的3-D建模技术综述建模技术综述 组员：组员：第一页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院目目 录录总结与展望总结与展望应用应用实现方法实现方法基本分类基本分类引言引言测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院引引 言言 对于计算机而言，其所能够直接获取到的数据源仅为二维平面图像，相对于真实的三维景物无疑会存在着一定程度的信息丢失，因此利用二维图像来重建三维物体便不可避免的成为一个重点问题。在实际工作中采用对同一物体从不同的角度分别成像，进而对这些数据进行分析、综合来恢复出被摄物体的三维信息。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第四页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院基本分类基本分类1、传统的三维建模技术 传统的三维建模主要使用基于几何造型的建模方法，由专业美术人员通过使用几何造型软件（如AutoCAD，3DsMax，Maya等），运用计算机图形学与美术理论，创建出物体的三维模型。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第五页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院基本分类基本分类2、非传统的三维建模技术 三维漫游效果 三维全景漫游是指在由全景图像构建的全景空间里进行切换，达到浏览各个不同场景的目的。目前，实现三维全景漫游的技术有两种，一是在三维全景或地图中添加其他三维全景的链接。第二种方法是采用计算机视觉技术和计算机图形图像技术，获取全景图像对应的环境模型，实现全景空间与真实环境的一一映射。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第六页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院基本分类基本分类 主动法主动法基于图像的建模基于图像的建模 被动法被动法 基于图像的建模基于图像的建模能够生成物体精确的三维几何模型，根据图像采集时对光源是否进行主动控制，基于图像的几何建模可以分为主动法与被动法2 种。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第七页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院主动法Text优点优点得到物体精确的表面细节特征缺点缺点成本很高操作不便后期处理有损处理激光激光扫扫描法描法阴影法阴影法结构光法构光法基本分类基本分类测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第八页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院被动法并不直接控制光源，而通过被动地分析图像中各种特征信息，逆向地重建出物体的三维模型。Text基本分类基本分类被动法被动法技术成熟技术成熟操作简单操作简单对光照要求低对光照要求低成本较低成本较低测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第九页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法实现方法实现方法轮廓法运动法明暗法纹理法交互法亮度法变焦法测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法轮廓法：基于轮廓的建模（shape from silhouettes/contours）通过分析物体多视角下的轮廓图像（contour）或侧影轮廓线（silhouette），得到物体的三维模型。19941983MartinLaurentini将物体所在的三维空间离散化成体素，并使用正向试探，剔除投影在轮廓区域外的体素，从而得到物体的三维模型。可视壳是所有轮廓图像反投影到三维空间中形成的三维锥壳的交集。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十一页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院199320022003SzeliskiFrancoTarini八叉树数据结构Marching Intersection结构兼顾速度与精度测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十二页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院多边形逼近侧影轮廓线多边形逼近侧影轮廓线消除锯齿现象消除锯齿现象Matusik2001背景减除算子实现亮度图像建模背景减除算子实现亮度图像建模从未定标图像中生成三维可视壳从未定标图像中生成三维可视壳20002004SnowSinhaForbes2006测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十三页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院效率最高效率最高通用性好通用性好建模速度快建模速度快鲁棒性高鲁棒性高复杂性低复杂性低透明、透明、纹理欠缺、纹理欠缺、特征点较少特征点较少的物体的建模的物体的建模优点优点缺点缺点精度低精度低物体大致的物体大致的三维轮廓三维轮廓与拓扑与拓扑输入源要求高输入源要求高轮廓法轮廓法应用于人机交互、应用于人机交互、运动跟踪运动跟踪测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十四页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法亮度法：基于亮度的建模（shape from illumination）通过分析物体多个视角下图像中亮度特征的一致性关系，恢复出其表面的深度信息，并得到其三维几何模型。ConceptConcept亮亮度度一一致致性性算算子子亮亮度度一一致致性性对于满足朗伯表面假设的物体，不论光源方向如何，相同的表面点从任何方向观察都具有同样的亮度颜色绝对差值算子误差平方和算子归一化互相关算子特殊算子（特殊物体）测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十五页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院正向法 对物体所在的三维空间进行均匀采样，将各采样点投影到所有可见的二维图像中，若其投影满足亮度一致性，则说明该三维点属于物体表面，将其保留，否则，将其剔除。图像壳（图像壳（photo hull）（物体的三维采样表示）（物体的三维采样表示）基于图像一致性的重建基于图像一致性的重建三维模型三维模型 由于采样点在投影过程中存在的互相遮挡现象会破坏亮度一致性的判断，因此，正向法主要需解决遮挡问题。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十六页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院体素颜色法体素颜色法Seitz1997水平集的局部优化水平集的局部优化Faugeras1998搜索空间由三维降至一维搜索空间由三维降至一维Cheung2003通用体素颜色法通用体素颜色法Culbertson1999空间雕刻法空间雕刻法Kutulakos2000测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十七页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院逆向法 在图像中搜索满足亮度一致性的匹配点，使用立体视觉的三角测量原理，由这些特征点反算其对应的三维点位置。基于立体视觉的建模基于立体视觉的建模 由于匹配点的搜索是一个高自由度的问题，简单的搜索方法极易陷入局部最优，这将极大地影响重建效果。因此，逆向法主要需解决匹配特征点的高效搜索问题。图像校正图像校正极线几何约束极线几何约束图像间极线的对应关系图像间极线的对应关系搜索的空间由二维降低到一维搜索的空间由二维降低到一维测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十八页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院鲁棒性差鲁棒性差单点比较单点比较窗口比较窗口比较精确性差精确性差（窗口形状、大小）（窗口形状、大小）基于图割的全局优化基于图割的全局优化（添加平滑性约束）（添加平滑性约束）Boykov1998点匹配点匹配测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第十九页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院灵活性低灵活性低鲁棒性低鲁棒性低复杂性高复杂性高优点优点缺点缺点 亮度法亮度法亮度信息亮度信息无手工交互无手工交互没有严格的没有严格的光照条件要求光照条件要求应用于文物数字化、应用于文物数字化、人脸自动建模人脸自动建模全自动全自动建模精度高建模精度高测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法运动法：基于运动的建模（shape-structure from motion）通过在2幅或多幅未定标图像中检测匹配的特征点集，使用数值方法，同时恢复出相机运动参数与场景几何，并得到物体三维模型。HarrisKLTSIFT匹配匹配匹配匹配特征特征特征特征点点点点检测检测检测检测算子算子算子算子 恢复出相邻图像间恢复出相邻图像间相机的位置关系相机的位置关系测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十一页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院因式分解因式分解Tomasi1992几何约束几何约束Faugeras1992射影重建射影重建仿射、度量与欧氏层次的重建仿射、度量与欧氏层次的重建测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十二页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院Kurppa方程方程与与SVD分解标分解标Hartley1997相机内参数自动定标相机内参数自动定标射影层次重建升级为射影层次重建升级为度量层次的重建度量层次的重建Pollefeyes1999一般物体的重建，需要知道相机的内部参数。内部参数不变情况下内部参数不变情况下相机焦距改变情况下相机焦距改变情况下测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十三页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实用价值高实用价值高鲁棒性高鲁棒性高建模精度较低建模精度较低优点优点缺点缺点 运动法运动法不需预先标定不需预先标定相机的参数，相机的参数，从而降低了对从而降低了对图像采集过程图像采集过程的限制的限制对光照条件对光照条件图像噪声具有图像噪声具有鲁棒性鲁棒性应用于室外场景、应用于室外场景、自然景观、建筑物等自然景观、建筑物等的三维建模。的三维建模。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十四页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法明暗法：基于明暗度的建模（shape from shading）通过分析图像中的明暗信息，运用反射光照模型，恢复出物体表面的法向信息，从而得到其三维几何模型。基于光度立体视觉的建模基于光度立体视觉的建模使用同一视点、不同光照条件下得到的多幅图像明暗信息，可以增加明暗度方程的约束，提高求解的精度与鲁棒性Woodham1999测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十五页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院明暗度方程明暗度方程（二维图像中各像素明暗度）（二维图像中各像素明暗度）Horn1975基于粘性约束的建模方法基于粘性约束的建模方法Camilli1996基于图像边沿已知基于图像边沿已知Lions1993Prados2004实用方法（文献？）实用方法（文献？）测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十六页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院建模精度高建模精度高全自动全自动灵活性低灵活性低鲁棒性低鲁棒性低复杂性高复杂性高优点优点缺点缺点 明暗法明暗法精确地计算精确地计算物体表面的物体表面的法向量与法向量与深度值深度值无手工交互无手工交互没有严格的没有严格的光照条件要求光照条件要求应用于文物数字化、应用于文物数字化、人脸自动建模人脸自动建模测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十七页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法纹理法：基于纹理的建模（shape from texture）通过分析单张图像中物体表面重复纹理单元的大小、形状，恢复出物体的法向、深度等信息，并得到三维几何模型。对于一个具有光滑表面并覆盖了重复模式（纹理单元）的物体，当被投影在二维图像时，模式会发生一定程度的变形。射影射影变形形透透视收收缩变形形使得与图像平面越远使得与图像平面越远的纹理单元看上去越小的纹理单元看上去越小使得与图像平面角度越大使得与图像平面角度越大的纹理单元看上去越短的纹理单元看上去越短测量量变形量，形量，反求物体表面反求物体表面法向、深度，法向、深度，测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十八页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院从纹理梯度中从纹理梯度中恢复平面的法向恢复平面的法向Gibson1950特征分析法特征分析法1981Witkin从等方性的纹理中从等方性的纹理中恢复平面的法向恢复平面的法向 方法比较简单，却需要进行精确的特征检测，鲁棒性较低，并且对图像中纹理信息的利用率不高。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第二十九页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院谱分析法谱分析法1976Bajesy傅里叶变换傅里叶变换1990Brown等方性纹理重建等方性纹理重建1992Garding理论联系纹理梯度与表面曲面理论联系纹理梯度与表面曲面1993Malik仿射变换重建仿射变换重建2002Clerc小波分解小波分解存在过约束存在过约束实用性较差实用性较差仅适用于纹理单元仅适用于纹理单元结构不发生改变结构不发生改变2005Loh透视投影下的表面重建透视投影下的表面重建2006Forsyth正交投影下的表面重建正交投影下的表面重建纹理单元纹理单元拓扑拓扑改变改变测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院通用性较低通用性较低优点优点缺点缺点 纹理法纹理法与明暗法与明暗法在数学上是等价的在数学上是等价的基于不同的理论依据基于不同的理论依据建模精度对建模精度对光照、噪声不敏感、光照、噪声不敏感、鲁棒性强的优势鲁棒性强的优势测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十一页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法变焦法：基于变焦的建模方法（shape from focus/defocus）通过分析相机焦距、光圈与图像清晰度之间的关系，恢复出物体的深度，从而得到其三维模型。聚焦法聚焦法失焦法失焦法 采集大量不同焦距下物体的图像，对于每个表面区域，从中检索出聚焦最佳的图像，从而反求出物体的深度，并进行重建。在图像采集的过程中，记录下改变相机焦距的多张图像，通过分析其不同区域的模糊程度，恢复出物体表面深度，从而进行建模。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十二页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院聚焦法聚焦法2000Yun动态规划的优化方法动态规划的优化方法1998Watanabe频域法频域法19992005失焦法失焦法FavaroRajagopalan统计法统计法空域法空域法2007Pradeep利用失焦形成的模糊利用失焦形成的模糊2009Hasinoff共焦立体视觉法共焦立体视觉法测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十三页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院操作复杂操作复杂优点优点缺点缺点 变焦法变焦法在采集图像的过程中在采集图像的过程中改变相机的改变相机的焦距、光圈等设置焦距、光圈等设置物体表面的几何细节物体表面的几何细节对光照条件不苛刻对光照条件不苛刻建模效果差建模效果差测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十四页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院实现方法实现方法交互法：基于交互的建模方法（shape from interaction）通过引入少量的用户交互，为建模算法提供数据与约束信息，可以方便、快捷、鲁棒地生成较精确的三维模型。这种方法结合了传统手动建模与基于图像自动建模的优势，实用性较强。二维图像点二维图像点三维空间点三维空间点映射映射测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十五页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院基于单张相片的漫游基于单张相片的漫游Horry1997基于灭点基于灭点与几何约束与几何约束1999Cipolla灭点求取相机参数灭点求取相机参数2000Criminisi单目度量技术单目度量技术只能处理一些比较只能处理一些比较规则的平面与几何体规则的平面与几何体测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十六页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院基于复杂信息基于复杂信息交互建模交互建模基于数据库基于数据库 交互建模交互建模直接使用交互的手段，给图像中的像素设置复杂的深度、法向等信息，从而恢复得到三维模型。基于人脸数据库基于人脸数据库Blanz1999基于人体数据库基于人体数据库Mao2004基于建筑元素数据库基于建筑元素数据库Muller2006测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十七页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院依赖客户依赖客户优点优点缺点缺点 交互法交互法商业建模软件的核心商业建模软件的核心Autodesk ImageModeler；Google Sketchup避免建模过程的发散避免建模过程的发散通用性较高通用性较高依赖交互操作依赖交互操作测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十八页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院 应应 用用12345Cycle 传统应用方向用方向文物保存文物保存工业设计工业设计医疗康复医疗康复影视制作影视制作游戏娱乐游戏娱乐测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第三十九页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院应应 用用1非刚体的三维建模2特殊规模物体的建模3大规模城市的建模4动态物体的建模5识别与理解新型应用方向测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第四十页，编辑于星期六：二十一点 二十一分。重庆科技学院重庆科技学院总结总结与展望与展望 基于图像建模技术相对于传统建模方法而言具有简单、快速、真实感强的特点，它已经在实践中获得了广泛的应用；又因为在计算机图形学、虚拟现实和多媒体通信等领域中对复杂真实感模型的需求与日俱增，该技术必将获得更大的发展。测控技术与仪器测控技术与仪器电气与信息工程学院电气与信息工程学院第四十一页，编辑于星期六：二十一点 二十一分。CompanyLOGO感谢大家悉心聆听！感谢大家悉心聆听！第四十二页，编辑于星期六：二十一点 二十一分。