虚拟现实技术及应用 - 浙江大学计算机辅助设计与图形学国家重点实验室.ppt

《虚拟现实技术及应用 - 浙江大学计算机辅助设计与图形学国家重点实验室.ppt》由会员分享，可在线阅读，更多相关《虚拟现实技术及应用 - 浙江大学计算机辅助设计与图形学国家重点实验室.ppt（102页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、虚拟现实技术及应用第一讲：虚拟现实技术概论 VR的概念和开展 VR系统的硬件组成 VR系统的体系结构 VR的研究内容 增强现实 AR VR应用 虚拟现实的开展趋势一VR的概念和开展1虚拟现实技术的提出1965年计算机图形学的奠基者 Ivan Sutherland发表了“The Ultimate Display 论文，提出了一种全新的图形显示技术。他在论文中提出使观察者直接沉浸在计算机生成的三维世界中，而不是通过窗户计算机屏幕来观察。观察者自然地转动头部和身体，他看到的场景就实时地发生变化。观察者能够以自然的方式直接与虚拟世界中的对象进行交互操作，触摸它们，感觉它们，并能听到虚拟世界的三维空间声

2、音。2虚拟现实的狭义解释虚拟现实对不同的人的有不同的含义。比较狭义的解释是：虚拟现实是由计算机生成的、可交互的仿真环境。该虚拟环境具有以下三个特点：1 该环境将向介入者人提供视觉、听觉、触觉等多种感官刺激。2该环境应给人以一种身临其境的沉浸感。3人能以自然的方式与该环境中的一些对象进行交互操作，既不使用键盘鼠标等常规输入设备，而强调使用手势数据手套、体势数据衣服和自然语言等自然方式的交互操作。3一个典型的虚拟现实系统4虚拟现实的广义解释虚拟现实是由计算机生成的计算机生成的给人以沉浸感沉浸感的虚拟环境。5虚拟现实的概念模型 感官刺激信号 反响动作 感知系统介 入 者 反响系统虚拟世界环境6虚拟环

3、境系统提供的各种感官刺激视觉听觉嗅觉味觉触觉触觉，力觉身体感觉7虚拟环境中用户的动作检测和设备 用户反响动作 检测设备 头部运动 头部跟踪装置 肢体或躯体运动 跟踪器，力反响装置，空间球 手指运动 数据手套，按钮装置，操纵感 眼球运动 眼球跟踪器 语言 语音识别装置 受力 带力传感器的力反响装置8虚拟现实的开展历程1965年 Ivan Sutherland博士提出“The Ultimate Display概念，1968年他研制成功头盔式显示器HMD70年代以来图形学技术的进步，特别是90年代，可以实时显示复杂场景军方飞行模拟器的研制和开展对VR的推动1984年美国NASA的AMES中心研制成功

4、VIVD系统，以及1986年的VIEW工程1992年美国NSF召开VR研讨会其他国际会议IEEE VR；ACM VRST等，VR专著以及各种研究成果二VR系统的典型设备和环境显示和观察设备沉浸式现实设备 非沉浸式显示设备 交互设备 数据手套 输入手的各种姿势 三维鼠标 游戏杆 传感设备 数据手套 数据衣 位置跟踪装置三维立体声系统三维数据获取设备1显示和观察设备产生沉浸感的方法和装置1.头盔式显示器2.快速响应的工作平台3.大屏幕投影 洞穴状的投影屏幕CAVE 圆柱型的投影屏幕 由矩形块拼接构成的投影屏幕 4.全景图5.可支持多用户协作的投影屏幕6.具有三维空间感的声音头盔式显示器的特点用户带

5、着头盔。双眼看到不同的图象。跟踪器跟踪头的方向。具有看穿功能see-through)的头盔显示器 快速响应的工作平台 洞穴状的投影屏幕CAVE 安装在浙江大学的CAVE CAVE 示意图 圆柱型的投影屏幕 由矩形块拼接构成的投影屏幕全景图可支持多用户协作的投影屏幕可支持多用户协作的投影屏幕的改进2交互设备力反响设备：数据手套(cyberglove)：三维鼠标3三维声音系统声音在VR中的作用：1增强空间信息，尤其是当空间超出了视域范围。2数据驱动的声音能传递对象的属性信息。3声音是用户和虚拟环境的另一种交互方法。4三维数据获取设备静态数据的获取：三维扫描仪动态数据的获取：运动捕捉设备 用多摄像机

6、实时重构三维数据 三维扫描仪(来自cyberware 公司有多个摄像头的三维实时重构 4基于图片的三维重建基于图片的三维重建三VR系统的体系结构1非分布式VR系统体系结构会话管理应用进程设备效劳器 2 分布式虚拟现实系统DVR的结构1 数据模型 集中式结构 *结构简单 *实现比较容易 *对网络通信带宽有较高的要求 *中心效劳器往往会成为整个系统的瓶颈复制式结构 *所需网络带宽较小 *交互式响应效果好 *比集中式结构复杂 *维护多个备份的信息或状态一致性比较困难 2基于分布仿真DS模型的VR系统软件结构 计算 几何模型展示用户交互 智能代理图 基于DS模型的VR系统软件结构 3 DVR系统的通用

7、参考结构模型 四 VR的研究内容1研究内容的多种分类技术/应用:层面 *虚拟现实技术本身 *虚拟现实应用技术软硬件层面 *虚拟现实硬件技术 *虚拟现实软件技术技术层面 *建模场景基于：几何/图象，听觉，行为等 *绘制图形，声音，力觉 *交互人-机交互；人-人交互 2分布式虚拟现实分布式虚拟现实分布式虚拟现实分布式虚拟现实(Distributed Virtual Reality,DVR)在DVR系统中，位于不同物理位置的多个用户或多个虚拟环境通过网络相联结，进行信息共享和交互DVR系统或工具的开发涉及多个领域系统或工具的开发涉及多个领域 *虚拟现实 *分布式系统 *实时图形绘制技术 *异步系统设

8、计 *数据库 *用户界面设计 DVR的实例 3实时绘制技术场景简化快速消隐纹理化对象限时绘制五增强现实增强现实允许用户看到真实世界，并且把虚拟对象叠加在真实世界之上。1增强现实系统的定义真实世界和虚拟世界融为一体的系统具有实时人-机交互功能真实世界和虚拟世界是在三维空间上整合的。2增强现实的关键技术聚焦和比照度系统的可移动性整合技术实时高精度传感器六虚拟现实的应用六虚拟现实的应用*应用一应用一虚拟战场虚拟战场核爆炸、战略导弹的虚拟杀伤核爆炸、战略导弹的虚拟杀伤虚拟飞行虚拟飞行/驾驶驾驶虚拟建筑漫游虚拟建筑漫游虚拟风洞实验虚拟风洞实验虚拟设计、虚拟制造虚拟设计、虚拟制造战场仿真虚拟驾驶模拟虚拟建

9、筑漫游*应用二应用二虚拟课堂虚拟课堂虚拟手术和远程手术虚拟手术和远程手术城市规划和建筑设计的虚拟演示城市规划和建筑设计的虚拟演示虚拟商店、虚拟旅游、虚拟剧场虚拟商店、虚拟旅游、虚拟剧场虚拟体育仿真虚拟体育仿真虚拟文化遗产保护虚拟博物馆虚拟文化遗产保护虚拟博物馆虚拟手术 虚拟故宫漫游虚拟博物馆虚拟体操训练系统Sheffield Hallam University 虚拟滑雪训练系统Reebok Sports Club in New York City其他例子PC CLUSTER 七虚拟现实的开展趋势1虚拟现实硬件的开展趋势 1 正在大力开展基于 PC 的低价格的虚拟现实系统 2基于多个视频输入的系

10、统受到重视。例如：由多个摄像头组成的跟踪器,由多个摄像头组成的三维重构系统等。2虚拟现实软件的开展开展特点：1非常规的输入设备在主流的操作系统中不被支持。2管理不同的输入的工具包正在出现。软件资源：VRJuggler 开放源代码，其功能类似CAVElib。具有输入和显示功能。输入层不支持手势识别。设计者有雄心打算将其开展成一个操作系统。3虚拟现实应用的开展1网络化=?网络VR2单投影应用=?多投影应用3智能化=?智能虚拟环境4虚拟现实=?增强现实，混合现实5应用向各个行业扩展：*与商业结合=?虚拟商城 *与体育结合=?虚拟体育仿真 。最终形成网络化的虚拟社会。第二讲 实时图形绘制技术图形绘制流

11、水线网格简化快速消隐纹理映射IBR&IBM真实感图形生成的步骤场景造型取景变换、透视投影视域裁剪、消除隐藏面光亮度计算典型三维图形系统的绘制流水线OpenGL绘制流水线计算机成像过程与照相过程的类比影响图形绘制性能的因素几何复杂度光照模型复杂度纹理映射问题：如何提高绘制速度？针对不同的因素采取不同的方法。降低场景几何复杂度场景简化 和网格多分辨表示快速消隐基于BSP树的绘制纹理映射技术基于图象的绘制网格简化技术场景简化层次细节模型:在大规模的虚拟环境中，很多对象很小，获距离视点很远。按透视规律，在屏幕上只占很小的图象区域。为了更好地利用这一特点，一个对象应该用多层次细节表示。在交互绘制过程中，

12、使用简单的对象的表示可以提高帧速率 根据观察者的心理、生理特点和场景画面限根据观察者的心理、生理特点和场景画面限时计算的要求，在视觉等价的前提下，对要时计算的要求，在视觉等价的前提下，对要绘制的复杂场景进行简化绘制的复杂场景进行简化,生成可表达不同生成可表达不同层次细节的场景模型。层次细节的场景模型。在多层次细节建模和三角形网格简化方面，在多层次细节建模和三角形网格简化方面，我们设计和实现了一系列新的算法，并提出我们设计和实现了一系列新的算法，并提出了新的控制全局误差和局部误差的方法。了新的控制全局误差和局部误差的方法。LoD网格-1基于顶点删除的三角形网格模型简化 Schroeder 199

13、2基于距离准那么的顶点删除，顶点移去留下的空洞由一个局部的三角面片机制重新生成新的三角面片。基于重新划分的多边形网格模型简化 Turk 1992引入新的顶点来优化三角形网格，生成新的几何模型。新的顶点均匀地分布在原对象外表。原来的顶点被逐步移去，外表进行局部的三角化，以最好地满足对象外表的连续性。整体网格优化算法，全局能量优化方程 Hoppe 1993基于外表重构的三角网格简化方法。它引入了一种新的能量公式来建模多边形简化以及与简化模型与原模型的相似度。用能量函数来衡量原网格模型与简化模型的变形程度。算法可以找到使变形最小的优化的顶点分布。LoD网格-2基于顶点聚类的网格简化算法 Rossig

14、nac 1993不考虑输入模型和输出模型的拓扑结构。结果，算法对于退化的输入数据具有很好的鲁棒性，对任意类型的几何数据都可以得到很高的压缩比。缺点是，简化模型的人工痕迹严重，模型的局部特征保持不好。不同的选择准那么来选取那些聚类的顶点。Rssignac提出了一种简单有效的一致量化方法。Schaufler那么采用了分层的聚类方法。边折叠与视点有关的累进网格 Hoppe 1997基于边折叠操作，产生一个无损的，连续分辨率的三角网格。简化表示通过一系列重复的边折叠操作产生，很容易转换为递进的重构过程。LoD简化网格的一些评价参数网格简化算法的鲁棒性简化网格的生成和解析速度简化后的对象shape是否保

15、持不变简化后的网格是否保持拓扑结构不变LoD几何模型传统的网格的表示数据量庞大，不易于存储传输-实时性很多情况下，我们并不需要一个对物体的细节刻画得很详细的模型较远或物体在运动 -较粗糙网格物体较近或物体静止-精细网格基于视点的网格简化快速消隐技术视见体裁减反面提出遮挡剔除(Occlusion Culling)遮挡剔除(Occlusion Culling)快速消隐的例子基于BSP树的场景绘制技术BSP树方式的场景组织BSP树的遍历纹理映射根本思想：根本思想：实际纹理非常复杂，难以解实际纹理非常复杂，难以解析描述。采用图象来描述外表纹理析描述。采用图象来描述外表纹理细节。细节。IBMR(Imag

16、e-based Modeling and Rendering)关键问题：关键问题：如何在光照明模型中融入纹理如何在光照明模型中融入纹理的描述？的描述？如何将纹理绘制在景物外表上如何将纹理绘制在景物外表上？光亮度计算1 1依据：光照明模型依据：光照明模型局部光照明模型：朗伯模型、局部光照明模型：朗伯模型、PhongPhong模型模型整体光照明模型：整体光照明模型：WhittedWhitted模型，光能辐射模型，光能辐射度方程隐式度方程隐式追求目标：光照效果的真实感追求目标：光照效果的真实感2 2计算方法：绘制算法计算方法：绘制算法扫描线方法扫描线方法 光线跟踪方法光线跟踪方法 光能辐射度方法光能

17、辐射度方法追求目标追求目标：画面生成的实时性：画面生成的实时性 纹理映射的根本原理纹理映射的根本原理 纹理生成过程实质上是将所定义的纹理生成过程实质上是将所定义的纹理映射为反映某种三维景物外表的属纹理映射为反映某种三维景物外表的属性，并参与后续的光照明计算。性，并参与后续的光照明计算。外表属性：与光照明模型及外表几何外表属性：与光照明模型及外表几何有关的各种参数，如外表法向、漫有关的各种参数，如外表法向、漫/镜面镜面反射率等。反射率等。纹理映射的实现：纹理映射的实现：交互确定纹理属性交互确定纹理属性参数不再是常数，逐点变化参数不再是常数，逐点变化建立纹理空间与景物空间及景物空间与屏幕空间建立纹

18、理空间与景物空间及景物空间与屏幕空间之间的映射关系：之间的映射关系：M:ObjectSpace TextureSpace T:ScreenSpace ObjectSpaceIlocal=kaIa+kd(NL)+ks(N H)nI=Ilocal+s Is+t It景物外表的纹理属性主要有以下几种：景物外表的纹理属性主要有以下几种：1 1外表颜色外表颜色,即外表的漫反射率；即外表的漫反射率；2 2镜面反射分量镜面反射分量,即外表的镜面反射即外表的镜面反射率率3 3透明度；透明度；4 4外表法向外表法向,即挠动外表法向来产生即挠动外表法向来产生外表外表 的凹凸纹理；的凹凸纹理；5 5环境的漫反射和镜面反射效果；环境的漫反射和镜面反射效果；6 6光源强度和色彩分布。光源强度和色彩分布。基于图象的建模与绘制基于图象的建模IBM基于图象的绘制IBR基于图象的三维重建基于图片的三维重建基于图象的绘制IBR基于立体视觉的方法基于视图插值的方法基于拼图和分层的方法基于全视函数的方法基于全景图的绘制算法戈壁网欢送您戈壁网欢送您 :/:/免费网赚网盘免费网赚网盘 :/:/