VR05基于图像的建模和绘制.ppt

《VR05基于图像的建模和绘制.ppt》由会员分享，可在线阅读，更多相关《VR05基于图像的建模和绘制.ppt（61页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第5章章 基于图像的建模和绘制基于图像的建模和绘制(Image-Based Modeling and Rendering)（IBMR）计算机科学系计算机科学系2009，5主要内容主要内容5.1简介简介 5.2图像变换图像变换5.3 立体视觉理论立体视觉理论5.4 基于图像的建模技术基于图像的建模技术5.5 基于图像的绘制基于图像的绘制2第5章 基于图像的建模和绘制5.1 简介简介nVR对传统计算机图形学的挑战对传统计算机图形学的挑战高质量的、实时的图像生成高质量的、实时的图像生成高分辨率的显示高分辨率的显示宽视角的立体显示器宽视角的立体显示器HMD要求两个显示器显示的内容有视差要求两个显示器

2、显示的内容有视差自然的交互自然的交互要求图形绘制能准确地反映观察者所处的位置和视要求图形绘制能准确地反映观察者所处的位置和视线方向线方向3第5章 基于图像的建模和绘制5.1 简介简介n计算机成像技术计算机成像技术Computer ImageryVR中最根本和关键的核心问题中最根本和关键的核心问题传统图形学方法传统图形学方法利用透视投影原理将三维几何模型变换到二维屏幕空利用透视投影原理将三维几何模型变换到二维屏幕空间的过程，主要的计算有：裁剪、投影、光照、消隐、间的过程，主要的计算有：裁剪、投影、光照、消隐、纹理、阴影等纹理、阴影等nVR需求需求立体图像是立体图像是VR系统具有沉浸感的前提系统具

3、有沉浸感的前提左右眼图像左右眼图像4第5章 基于图像的建模和绘制5.1 简介简介nIBMR硬件无法满足传统图形学的图像生成硬件无法满足传统图形学的图像生成20世纪世纪90年代中期兴起基于图像的建模和绘制技年代中期兴起基于图像的建模和绘制技术术是计算机图形学和计算机视觉相结合的产物是计算机图形学和计算机视觉相结合的产物使用计算机图形学的思想构造虚拟场景使用计算机图形学的思想构造虚拟场景使用计算机视觉技术从已知的图象中生成新的图象。使用计算机视觉技术从已知的图象中生成新的图象。5第5章 基于图像的建模和绘制5.1 简介简介n相关学科相关学科计算机图形学计算机图形学如何由几何模型绘制出图像如何由几何

4、模型绘制出图像计算机视觉计算机视觉如何从场景图像中重建场景几何如何从场景图像中重建场景几何图像处理图像处理对图像进行加工处理对图像进行加工处理6第5章 基于图像的建模和绘制5.1 简介简介n相关学科相关学科IBMR在图形学和计算机视觉中搭起一座桥梁在图形学和计算机视觉中搭起一座桥梁图像图像几何几何图像图像计算机视觉计算机视觉计算机图形学计算机图形学IBMR7第5章 基于图像的建模和绘制5.1 简介简介n基于几何的建模和绘制基于几何的建模和绘制20世纪世纪80年代初期，三维图形研究核心是真实感年代初期，三维图形研究核心是真实感图形生成图形生成方法：首先建立三维几何模型、设置视点位置，然后方法：首

5、先建立三维几何模型、设置视点位置，然后经明暗处理（经明暗处理（shading）、隐藏面消除（）、隐藏面消除（hidden surface removal）等过程生成图像）等过程生成图像问题：建模和绘制的开销非常大问题：建模和绘制的开销非常大建模的复杂性建模的复杂性物体表面的三维点构建多边形网格（一般是三角形网物体表面的三维点构建多边形网格（一般是三角形网格）格）如故宫：外观亭台楼阁，室内布置的独具匠心如故宫：外观亭台楼阁，室内布置的独具匠心8第5章 基于图像的建模和绘制5.1 简介简介n基于几何的建模和绘制（续）基于几何的建模和绘制（续）绘制的速度绘制的速度主要指生成一帧图像所需要的时间主要指

6、生成一帧图像所需要的时间受制于图形生成的硬件及场景的复杂性受制于图形生成的硬件及场景的复杂性“相片真实感（相片真实感（photo realism）”：意味着只要绘：意味着只要绘制方法的复杂性和环境的复杂性超过主流硬件的发制方法的复杂性和环境的复杂性超过主流硬件的发展，就会导致图像生成时间的增加展，就会导致图像生成时间的增加9第5章 基于图像的建模和绘制5.1 简介简介n基于图像的建模和绘制基于图像的建模和绘制利用图像数据作为输入来建模和绘制利用图像数据作为输入来建模和绘制图像数据的作用图像数据的作用从图像数据中抽取出三维信息，重构三维几何模型从图像数据中抽取出三维信息，重构三维几何模型以图像作

7、为输入，进行图像的视图重构以图像作为输入，进行图像的视图重构IBMR用预先获得的一组图像（合成的或者真实的）来表示用预先获得的一组图像（合成的或者真实的）来表示场景的形状和外观，新图像的合成则是通过适当地组场景的形状和外观，新图像的合成则是通过适当地组合原有图像来实现合原有图像来实现10第5章 基于图像的建模和绘制5.1 简介简介n基于图像的建模和绘制基于图像的建模和绘制优点优点建模容易：拍照容易，照片反映细节精细。把不同视建模容易：拍照容易，照片反映细节精细。把不同视线方向、不同位置的照片组织起来表示以表示场景，线方向、不同位置的照片组织起来表示以表示场景，如全景图像（如全景图像（panor

8、amic image）和光场（）和光场（light field）绘制速度快：直接从已有视图生成新视图。只要根据绘制速度快：直接从已有视图生成新视图。只要根据不同的视线方向映射全景图像的相应部分不同的视线方向映射全景图像的相应部分真实感强：真实反映景物的形状、明暗、材质及纹理真实感强：真实反映景物的形状、明暗、材质及纹理细节细节交互性好：当然是视觉方面，但触交互性好：当然是视觉方面，但触/力觉较差力觉较差11第5章 基于图像的建模和绘制5.1 简介简介n比较比较模型变换模型变换视域变换视域变换裁剪裁剪投影投影扫描转换扫描转换图像变换图像变换裁剪裁剪重采样重采样透视正规化透视正规化重构核重构核12

9、第5章 基于图像的建模和绘制5.1 简介简介nIBMR模型分类模型分类基于立体视觉的方法基于立体视觉的方法利用立体视觉技术从图像中合成新视点的图像利用立体视觉技术从图像中合成新视点的图像基于视图插值的方法基于视图插值的方法新视图由参考图像插值产生新视图由参考图像插值产生基于拼图和分层的方法基于拼图和分层的方法将场景中的图像组合成较多的图像，称为拼图将场景中的图像组合成较多的图像，称为拼图（mosaic）将场景分解成独立的、由仿射运动模型描述的不同层将场景分解成独立的、由仿射运动模型描述的不同层次，各层的子画面被组合到显示器上次，各层的子画面被组合到显示器上13第5章 基于图像的建模和绘制5.1

10、 简介简介nIBMR模型分类（续）模型分类（续）基于全视函数的方法基于全视函数的方法全视函数全视函数(plenoptic function)，描述，描述空间中任意点空间中任意点(x,y,z)在任意时刻在任意时刻(t)、任意视角、任意视角(,)、任意波长、任意波长()范围内看到的全部光线集合范围内看到的全部光线集合基于全视函数的基于全视函数的IBMR方法视图捕获方法视图捕获空间任意区域内的完全光流以重建该空间任意区域内的完全光流以重建该函数函数实践中每一时刻，每一方向对场景中实践中每一时刻，每一方向对场景中所有点度量是很困难的所有点度量是很困难的目前的方法是离散采样来重构连续的目前的方法是离散采

11、样来重构连续的全视函数全视函数14第5章 基于图像的建模和绘制主要内容主要内容5.1简介简介 5.2图像变换图像变换5.3 立体视觉理论立体视觉理论5.4 基于图像的建模技术基于图像的建模技术5.5 基于图像的绘制基于图像的绘制15第5章 基于图像的建模和绘制5.2 图像变换图像变换n图像操作图像操作像素处理像素处理针对像素亮度和颜色值的操作，如图像增强、平针对像素亮度和颜色值的操作，如图像增强、平滑滑图像变换图像变换针对像素空间坐标的操作针对像素空间坐标的操作一般有仿射变换和透射变换一般有仿射变换和透射变换多应用于实时视频、图像校正和电影的变形特技多应用于实时视频、图像校正和电影的变形特技等

12、等16第5章 基于图像的建模和绘制5.2 图像变换图像变换n前向映射前向映射(forward mapping)原图像中像素原图像中像素(u,v)映射到目标图像的像素映射到目标图像的像素(x,y)表示表示问题问题u，v是整数，但是整数，但x，y可能是实数可能是实数导致导致“空洞空洞”和和“重叠重叠”现象现象多个输入像素映射到同一输出像素，出现多个输入像素映射到同一输出像素，出现“重叠重叠”。如。如图像缩小图像缩小两个相邻的输入像素映射到不相邻的两个输出像素，出两个相邻的输入像素映射到不相邻的两个输出像素，出现现“空洞空洞”，如图像放大，如图像放大17第5章 基于图像的建模和绘制5.2 图像变换图

13、像变换n逆向映射逆向映射(inverse mapping)从输出图像中像素从输出图像中像素(x,y)映射到原图像的像素映射到原图像的像素(u,v)表示表示问题问题x，y是整数，但是整数，但u，v可能是实数可能是实数避免了避免了“空洞空洞”，但，但 存在存在“重叠重叠”现象现象多个输出像素映射到同一输出像素，出现多个输出像素映射到同一输出像素，出现“重叠重叠”解决方法是线性插值解决方法是线性插值18第5章 基于图像的建模和绘制5.2 图像变换图像变换n图像变形技术图像变形技术（Image Morphing）给定两幅图像，同时对其形状和纹理进行给定两幅图像，同时对其形状和纹理进行2D插值，插值，产

14、生出新的视图，称为图像变形技术产生出新的视图，称为图像变形技术利用图像变换产生新图像的技术。产生一系列连利用图像变换产生新图像的技术。产生一系列连续变化的图像，使得起始图像逐渐变化到终结图续变化的图像，使得起始图像逐渐变化到终结图像像关键技术关键技术图像变换图像变换像素变换像素变换 19第5章 基于图像的建模和绘制5.2 图像变换图像变换n图像变形技术图像变形技术（续）（续）具体方法：具体方法：建立两幅图像之间的对应关系，这是最困难的，建立两幅图像之间的对应关系，这是最困难的，通常由人工完成。由对应点，构造从第一幅图像通常由人工完成。由对应点，构造从第一幅图像到第二幅图像之间的映射函数。这样第

15、一幅图像到第二幅图像之间的映射函数。这样第一幅图像中其余的点可以根据这个映射函数，在第二幅图中其余的点可以根据这个映射函数，在第二幅图像中找到各自的对应点。利用该映射关系，对第像中找到各自的对应点。利用该映射关系，对第一幅图像到第二幅图像的形状进行插值，同时融一幅图像到第二幅图像的形状进行插值，同时融合这两个变形图像对应的像素值合这两个变形图像对应的像素值20第5章 基于图像的建模和绘制5.2 图像变换图像变换n图像变形技术图像变形技术（续）（续）例子：例子：Seitz和和Dyer提出视图变形技术，能够产提出视图变形技术，能够产生两个参考视点连线之间任意的新视图，并且新生两个参考视点连线之间任

16、意的新视图，并且新视图可以保持两幅原始图像的形状视图可以保持两幅原始图像的形状 21第5章 基于图像的建模和绘制主要内容主要内容5.1简介简介 5.2图像变换图像变换5.3 立体视觉理论立体视觉理论5.4 基于图像的建模技术基于图像的建模技术5.5 基于图像的绘制基于图像的绘制5.6 实例实例22第5章 基于图像的建模和绘制5.3 立体视觉理论立体视觉理论n立体视觉立体视觉由多幅图像获取三维几何信息的方法。根据生物由多幅图像获取三维几何信息的方法。根据生物视觉系统的原理，用双摄像机从不同的角度获取视觉系统的原理，用双摄像机从不同的角度获取周围景物的两幅图像，并重建景物的三维形状和周围景物的两幅

17、图像，并重建景物的三维形状和位置位置主要过程主要过程摄像机定标（摄像机定标（Calibration）对应点寻找对应点寻找23第5章 基于图像的建模和绘制5.3 立体视觉理论立体视觉理论5.3.1 摄像机定标摄像机定标 图像上像素（点）的位置和空间物体表面上点的几图像上像素（点）的位置和空间物体表面上点的几何位置有关，这种位置关系由相机的成像模型决定。何位置有关，这种位置关系由相机的成像模型决定。成像模型中的几何参数称为摄像机参数，确定这些成像模型中的几何参数称为摄像机参数，确定这些参数的计算过程称为参数的计算过程称为摄像机标定摄像机标定。成像模型是光学成像几何关系的简化，最简单的成像模型是光学

18、成像几何关系的简化，最简单的模型是线性模型，或称为针孔模型（模型是线性模型，或称为针孔模型（pinhole model）24第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n摄像机坐标系摄像机坐标系摄像机光心摄像机光心O摄像机光轴摄像机光轴ZcOO1为焦距为焦距f OZcXcYcXYZwYwXwO1PQ25第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定线性模型摄像机标定P投影点投影点Q的坐标的坐标其中（其中（Xc，Yc，Zc）为空间点）为空间点P在摄像机坐标系下的坐标在摄像机坐标系下的坐标用齐次坐标和矩阵表示为用齐次坐标和矩阵表示为式式（5.3.1

19、）式式（5.3.2）26第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）这里（这里（x，y）为实数，而在计算机中图像以像素为坐标，因）为实数，而在计算机中图像以像素为坐标，因此需要转换。假设（此需要转换。假设（u，v）是图像的像素坐标，每一像素在）是图像的像素坐标，每一像素在x轴和轴和y轴方向的物理尺寸为轴方向的物理尺寸为dx，dy，那么有，那么有式式（5.3.3）式式（5.3.4）27第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）式式（5.3.4）表示为矩阵形式：表示

20、为矩阵形式：式式（5.3.5）逆关系式逆关系式式式（5.3.6）28第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）式式（5.3.6）和式和式（5.3.1）代入代入（5.3.3）中中内部参数内部参数外部参数外部参数式式（5.3.7）29第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）标定方法标定方法 在摄像机前放置一个特制的标定参照物，如下图。在摄像机前放置一个特制的标定参照物，如下图。标定物上的点在世界坐标系中标定物上的点在世界坐标系中 的位置（的位置（Xwi,Ywi,

21、Zwi）必须）必须 精确测定，如果已知这些点的精确测定，如果已知这些点的 图像像素坐标图像像素坐标(ui,vi),),可由可由 式（式（5.3.75.3.7）计算内外参数。）计算内外参数。YXZ30第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）（1）由参照物图像计算投影矩阵）由参照物图像计算投影矩阵M式（式（5.3.7）可写成如下方程）可写成如下方程式式（5.3.8）31第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）（1）由参照物图像计算投影矩阵）由参照物图像计算投影

22、矩阵M式（式（5.3.8）可写成如下方程）可写成如下方程6个点可以计算出个点可以计算出M中的元素，大于中的元素，大于6个采用最小二乘法个采用最小二乘法32第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）（2）计算内外参数）计算内外参数M1和和M233第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n线性模型摄像机标定（续）线性模型摄像机标定（续）（2）计算内外参数）计算内外参数M1和和M234第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定两个摄像机，需要标定双摄像机间的

23、相机位置两个摄像机，需要标定双摄像机间的相机位置（1）假设摄像机）假设摄像机C1和和C2的外参数分别是的外参数分别是R1，t1和和R2和和t2，设，设P为空间中的一点，它在世界坐标系、为空间中的一点，它在世界坐标系、C1坐标坐标系和系和C2坐标系中的坐标分别为坐标系中的坐标分别为Pw，Pc1和和Pc2，则有，则有式式（5.3.9）35第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定对两摄像机获得的图像对两摄像机获得的图像I1和和I2，如果，如果p1和和p2是空间是空间同一点同一点p在两幅图像上的投影点，称其为一对对在两幅图像上的投影点，称其为一

24、对对应点应点如果知道一对对应点，那么就可以计算出空间点如果知道一对对应点，那么就可以计算出空间点p的坐标的坐标关键问题是如何在关键问题是如何在I2中找中找I1中的对应点？中的对应点？不必要在整个图像中找！不必要在整个图像中找！36第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定两相机的极几何约束两相机的极几何约束Y1X1Z1ppY2X2Z2p1p2p2I1I2e1e2l1l2极平面极平面极线极线O1O2如何计算极线方程？如何计算极线方程？37第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定如何计

25、算极线方程（已知两相机的参数如何计算极线方程（已知两相机的参数M1 1和和M2 2）xp为空间某点为空间某点p在世界坐标系下的齐在世界坐标系下的齐次坐标次坐标；u1和和u2为点为点p在两图像中的在两图像中的齐次坐标齐次坐标。M1和和M2矩阵的左边矩阵的左边3 3部分记为部分记为Mi1（i=1,2），），右边的右边的3 1部分记为部分记为mi（i=1,2）如果将如果将xp=(Xwp,Ywp,Zwp,1)记为记为xp=(xT 1)T，其中其中x=(Xwp,Ywp,Zwp)T上式消去上式消去x，得得38第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定

26、如何计算极线方程如何计算极线方程(续续)式式（5.3.10）式式（5.3.10）两边是三维向量，包含了三个等式，消去两边是三维向量，包含了三个等式，消去Zc1和和Zc2后，得到与后，得到与Zc1和和Zc2无关的关系式，称为极线约束无关的关系式，称为极线约束令式（令式（5.3.10）的右边向量为：）的右边向量为：式式（5.3.11）即有：即有：39第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定如何计算极线方程如何计算极线方程(续续)反对称矩阵：反对称矩阵：设设t=(=(tx,ty,tz)T为三维向量，称下列矩阵为由为三维向量，称下列矩阵为由t

27、t定义定义的反对称矩阵，记为的反对称矩阵，记为 t t x x性质：性质：（1）任意三维向量）任意三维向量r与与t的叉积为的叉积为（2）任意满足）任意满足 的向量的向量 r 与与 t 只差一个常数因子，即只差一个常数因子，即 r=kt40第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定如何计算极线方程如何计算极线方程(续续)由反对称矩阵的性质，对式由反对称矩阵的性质，对式（5.3.11）两边同乘以两边同乘以mx，因，因mx m=0=0，所以有，所以有两边同除以两边同除以Zc2，并记并记Zc=Zc1/Zc2，得得41第5章 基于图像的建模和绘制5

28、.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定极线方程极线方程结论：极线方程只与结论：极线方程只与M1 1和和M2 2有关，有关，令令 有有称称F为基本矩阵为基本矩阵F也可由八对对应像素点的关系恢复也可由八对对应像素点的关系恢复42第5章 基于图像的建模和绘制5.3.1 摄像机标定摄像机标定n立体视觉摄像机标定立体视觉摄像机标定基本矩阵基本矩阵F性质：性质：（1 1）基本矩阵）基本矩阵F是一个是一个3 3 3 3，秩为，秩为2 2的矩阵的矩阵（2 2）可由相机的投影矩阵计算，或者图像间对应）可由相机的投影矩阵计算，或者图像间对应点求出。可证明至少需要点求出。可证明至少需要

29、8 8个对应点个对应点（3 3）给定图像）给定图像I1 1中的一点中的一点u，其相应的图像，其相应的图像I2 2中极中极线线l可表示为可表示为 l=Fu 43第5章 基于图像的建模和绘制5.3.2 对应点的寻找方法对应点的寻找方法n极线的性质极线的性质图像上的所有极线都交于极点图像上的所有极线都交于极点e1（e2）极线方程和基本矩阵可由两摄像机的投影矩阵求出极线方程和基本矩阵可由两摄像机的投影矩阵求出如果两摄像机的光心的基线如果两摄像机的光心的基线于某一图像平面平行时，于某一图像平面平行时，极点就处于无穷远极点就处于无穷远I1上的极线束上的极线束与与I2上的极线束上的极线束互为投影变换互为投影

30、变换Y1X1Z1ppY2X2Z2p1p2p2I1I2e1e2l1l2极平面极平面极线极线O1O2极点极点44第5章 基于图像的建模和绘制5.3.2 对应点的寻找方法对应点的寻找方法n寻找对应点寻找对应点相关法：考虑相关法：考虑 邻域像素的相关性邻域像素的相关性（1）相关值越大说明越相似）相关值越大说明越相似（2）只需要沿极线检查各点的相关性）只需要沿极线检查各点的相关性（3）该方法易于用硬件实现）该方法易于用硬件实现45第5章 基于图像的建模和绘制5.3.2 对应点的寻找方法对应点的寻找方法n寻找对应点寻找对应点特征点匹配法特征点匹配法 特征点常选取图像中的边界点、角点等灰度不连续的特征点常选

31、取图像中的边界点、角点等灰度不连续的点，一般对应与空间中物体棱边上的点点，一般对应与空间中物体棱边上的点基于极线的整体匹配法基于极线的整体匹配法 同时寻找同时寻找l1上的所有点在上的所有点在l2上的对应点上的对应点46第5章 基于图像的建模和绘制主要内容主要内容5.1简介简介 5.2图像变换图像变换5.3 立体视觉理论立体视觉理论5.4 基于图像的建模技术基于图像的建模技术5.5 基于图像的绘制基于图像的绘制47第5章 基于图像的建模和绘制5.4 基于图像的建模技术基于图像的建模技术（1）全景图）全景图由相机中心旋转所拍摄到的一组照片拼合而成由相机中心旋转所拍摄到的一组照片拼合而成拼图技术（拼

32、图技术（image mosaic）：把互相有重叠的照片）：把互相有重叠的照片无缝地拼接在一起无缝地拼接在一起 核心技术称为图像整合（核心技术称为图像整合（image registration），即寻），即寻找图像间的对应关系以及对应关系间的映射。找图像间的对应关系以及对应关系间的映射。虚拟数字航空航天博物馆虚拟数字航空航天博物馆48第5章 基于图像的建模和绘制5.4 基于图像的建模技术基于图像的建模技术（1）全景图）全景图柱面全景图像的拍摄方法柱面全景图像的拍摄方法 拍摄实景图像时，将数码相机固定在摄影三角架上，拍摄实景图像时，将数码相机固定在摄影三角架上，尽量避免平转数码相机时镜头的偏斜和俯

33、仰，并以镜头为尽量避免平转数码相机时镜头的偏斜和俯仰，并以镜头为轴平转一周连续拍摄。在拍摄时，要求被拍摄的景物是静轴平转一周连续拍摄。在拍摄时，要求被拍摄的景物是静止的，并且相邻两张图像边界部分具有一定程度的重叠。止的，并且相邻两张图像边界部分具有一定程度的重叠。当数码相机焦距为当数码相机焦距为35mm35mm时，一幅时，一幅360360度全景图像一般需要度全景图像一般需要7-7-9 9张照片。当焦距为张照片。当焦距为105mm105mm时，一幅时，一幅360360度全景图像一般需要度全景图像一般需要2424张照片，一般把焦距定在张照片，一般把焦距定在35mm35mm49第5章 基于图像的建模

34、和绘制5.4 基于图像的建模技术基于图像的建模技术（1）全景图）全景图图像的匹配图像的匹配 算法利用一幅图像上间隔一定距离的两列所对应的部算法利用一幅图像上间隔一定距离的两列所对应的部分像素与另一幅图像上的两列像素进行匹配。即在前一幅分像素与另一幅图像上的两列像素进行匹配。即在前一幅图像的重叠区域中分别在两列上取出部分像素，计算它们图像的重叠区域中分别在两列上取出部分像素，计算它们的差值作为特征模板，然后在第二幅图像中搜索最佳的匹的差值作为特征模板，然后在第二幅图像中搜索最佳的匹配。即对于第二幅图像，在搜索范围内依次从间距相同的配。即对于第二幅图像，在搜索范围内依次从间距相同的两列上取出部分像

35、素，并逐一计算其对应像素值差值；然两列上取出部分像素，并逐一计算其对应像素值差值；然后将这些差值依次与模板进行比较，其最小偏差值对应的后将这些差值依次与模板进行比较，其最小偏差值对应的列就是最佳匹配。这样在比较中只利用了一组数据，但是列就是最佳匹配。这样在比较中只利用了一组数据，但是这组数据利用了两列像素及其所包含的区域信息。这组数据利用了两列像素及其所包含的区域信息。50第5章 基于图像的建模和绘制5.4 基于图像的建模技术基于图像的建模技术（2）同心圆拼图（）同心圆拼图（concentric mosaics）1999年年SIGGRAPH大会上微软研究院沈向洋博大会上微软研究院沈向洋博士提出

36、士提出基本思想基本思想把相机位置约束在一组平面同心圆上，然后将每个圆把相机位置约束在一组平面同心圆上，然后将每个圆移动相机所得到的一系列图像拼接成一组同心拼图移动相机所得到的一系列图像拼接成一组同心拼图将全视函数化为将全视函数化为3个参数：半径、旋转角和垂直仰角个参数：半径、旋转角和垂直仰角在重建过程中，根据视域方向找到相应的线图象，即在重建过程中，根据视域方向找到相应的线图象，即可生成新的视图可生成新的视图51第5章 基于图像的建模和绘制5.4 基于图像的建模技术基于图像的建模技术（2）同心圆拼图（）同心圆拼图（concentric mosaics）52第5章 基于图像的建模和绘制5.4 基

37、于图像的建模技术基于图像的建模技术（2）同心圆拼图（）同心圆拼图（concentric mosaics）53第5章 基于图像的建模和绘制5.4 基于图像的建模技术基于图像的建模技术（2）同心圆拼图（）同心圆拼图（concentric mosaics）54第5章 基于图像的建模和绘制主要内容主要内容5.1简介简介 5.2图像变换图像变换5.3 立体视觉理论立体视觉理论5.4 基于图像的建模技术基于图像的建模技术5.5 基于图像的绘制基于图像的绘制55第5章 基于图像的建模和绘制5.5 基于图像的绘制基于图像的绘制n绘制绘制在给定的图像表示模型下，如何由已知视点的视在给定的图像表示模型下，如何由已

38、知视点的视图来合成新视点的视图图来合成新视点的视图n主要技术主要技术视图变形技术视图变形技术基于同心圆拼图的绘制基于同心圆拼图的绘制56第5章 基于图像的建模和绘制5.5 基于图像的绘制基于图像的绘制（1）视图变形技术）视图变形技术 保持图像中物体的形状基础上，生成物理上正确保持图像中物体的形状基础上，生成物理上正确的中间视图，而不需要知道任何三维形状信息的中间视图，而不需要知道任何三维形状信息 条件：条件：（1）两幅图像）两幅图像I0和和I1是表示同一三维对象或场是表示同一三维对象或场景的视图（景的视图（2）已知每个图像的投影矩阵）已知每个图像的投影矩阵M0和和M1（3）已知两幅图像的对应关

39、系）已知两幅图像的对应关系57第5章 基于图像的建模和绘制5.5 基于图像的绘制基于图像的绘制（1）视图变形技术）视图变形技术 平行视图变形：平行视图变形：(1-s)p0+sp158第5章 基于图像的建模和绘制5.5 基于图像的绘制基于图像的绘制（1）视图变形技术）视图变形技术 非平行视图变形：非平行视图变形：需要三步才能产生新的视图：需要三步才能产生新的视图：（1 1）前向折叠（）前向折叠（PrewarpPrewarp）：把两）：把两个视平面变换到平行位置个视平面变换到平行位置（2 2）变形：运用简单的线性插值方）变形：运用简单的线性插值方法，获得中间图象法，获得中间图象（3 3）后向折叠（）后向折叠（PostwarpPostwarp）：根据）：根据视点位置，将生成的图象变换到视点位置，将生成的图象变换到相应的视平面相应的视平面59第5章 基于图像的建模和绘制5.5 基于图像的绘制基于图像的绘制（2）基于同心圆拼图的绘制）基于同心圆拼图的绘制新视点的绘制方法新视点的绘制方法60第5章 基于图像的建模和绘制5.5 基于图像的绘制基于图像的绘制（2）基于同心圆拼图的绘制基于同心圆拼图的绘制插插值值61第5章 基于图像的建模和绘制