虚拟现实技术幻灯片.ppt

虚拟现实技术第1页，共43页，编辑于2022年，星期二第2章 虚拟现实技术概论2.1跟踪定位设备跟踪定位设备2.2立体显示设备立体显示设备2.3手部数据交互设备手部数据交互设备2.4虚拟声音输出设备虚拟声音输出设备2.5其他交互设备其他交互设备2.6虚拟现实硬件系统的集成虚拟现实硬件系统的集成第2页，共43页，编辑于2022年，星期二2.1 跟踪定位设备 典型的工作方式是：由固定发射器发射出信号，该信典型的工作方式是：由固定发射器发射出信号，该信号将被附在用户头部或身上的机动传感器截获，传感器接号将被附在用户头部或身上的机动传感器截获，传感器接收到这些信号后进行解码并送入计算部件处理，最后确定收到这些信号后进行解码并送入计算部件处理，最后确定发射器与接收器之间的相对位置及方位，数据随后传输到发射器与接收器之间的相对位置及方位，数据随后传输到时间运行系统进而传给三维图形环境处理系统。时间运行系统进而传给三维图形环境处理系统。第3页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.1 电磁波跟踪器电磁波跟踪器2.1.2 超声波跟踪器超声波跟踪器2.1.3 光学跟踪器光学跟踪器2.1.4 其他类型跟踪器其他类型跟踪器2.1.5 跟踪传感设备的性能比较跟踪传感设备的性能比较第4页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.1 电磁波跟踪器 电磁波跟踪器是一种较为常见的空间跟踪定位器，电磁波跟踪器是一种较为常见的空间跟踪定位器，一般由一个控制部件，几个发射器和几个接收器组成。一般由一个控制部件，几个发射器和几个接收器组成。第5页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.1 电磁波跟踪器l l优点是其敏感性不依赖于跟踪方位，基本不受视线阻挡优点是其敏感性不依赖于跟踪方位，基本不受视线阻挡的限制，体积小、价格便宜，因此对于手部的跟踪大都的限制，体积小、价格便宜，因此对于手部的跟踪大都采用此类跟踪器。采用此类跟踪器。l l缺点是其延迟较长，跟踪范围小，且容易受环境中大的金属物体或其他磁场的影响，从而导致信号发生畸变，跟踪精度降低。第6页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.2 超声波跟踪器 超声波跟踪器是声学跟踪技术最常用的一种，其工超声波跟踪器是声学跟踪技术最常用的一种，其工作原理是发射器发出高频超声波脉冲（频率作原理是发射器发出高频超声波脉冲（频率20KHz20KHz以上）以上），由接收器计算收到信号的时间差、相位差或声压差等，由接收器计算收到信号的时间差、相位差或声压差等，即可确定跟踪对象的距离和方位。即可确定跟踪对象的距离和方位。第7页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.2 超声波跟踪器按测量方法的不同，超声波跟踪定位技术可分为：按测量方法的不同，超声波跟踪定位技术可分为：l l飞行时间（Time Of Flight，TOF）测量法 同时使用多个发射器和接收器，通过测量超声波从发出到同时使用多个发射器和接收器，通过测量超声波从发出到反射回来的飞行时间计算出准确的位置和方向。反射回来的飞行时间计算出准确的位置和方向。l l相位相干（Phase Coherent，PC）测量法 通过比较基准信号和发射出去后发射回来的信号之间的相通过比较基准信号和发射出去后发射回来的信号之间的相位差来确定距离。位差来确定距离。第8页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.3 光学跟踪器 光学跟踪器可以使用多种感光设备，从普通摄像机光学跟踪器可以使用多种感光设备，从普通摄像机到光敏二极管都有。光源也是多种多样的，如自然光、到光敏二极管都有。光源也是多种多样的，如自然光、激光或红外线等，但为避免干扰用户的观察视线，目前激光或红外线等，但为避免干扰用户的观察视线，目前多采用红外线方式。多采用红外线方式。第9页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.3 光学跟踪器光学跟踪器使用的主要三种技术：光学跟踪器使用的主要三种技术：l l标志系统标志系统 通常是利用传感器（如照相机或摄像机）监测发射器（如通常是利用传感器（如照相机或摄像机）监测发射器（如红外线发光二极管）的位置进行追踪。红外线发光二极管）的位置进行追踪。l l模式识别系统模式识别系统 把发光器件按某一阵列排列，并将其固定在被跟踪对象把发光器件按某一阵列排列，并将其固定在被跟踪对象身上，由摄像机记录运动阵列模式的变化，通过与已知的身上，由摄像机记录运动阵列模式的变化，通过与已知的样本模式进行比较从而确定物体的位置。样本模式进行比较从而确定物体的位置。l l激光测距系统激光测距系统 将激光通过衍射光栅发射到被测对象，然后接收经物体表面反将激光通过衍射光栅发射到被测对象，然后接收经物体表面反射的二维衍射图的传感器记录。射的二维衍射图的传感器记录。第10页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.3 光学跟踪器 光学跟踪器虽然受视线阻挡的限制且工作范围较小，但其数据处理速度、响应性都非常好，因而较适用于头部活动范围相当受限而要求具有较高刷新率和精确率的实时应用。第11页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.4 其他类型跟踪器1 1、机械跟踪器、机械跟踪器 通常把参考点和跟踪对象直接通过连杆装置相连，采用刚通常把参考点和跟踪对象直接通过连杆装置相连，采用刚体框架，一方面可以支撑观察设备，另一方面可以测量跟踪对体框架，一方面可以支撑观察设备，另一方面可以测量跟踪对象的位置和方位。象的位置和方位。2、惯性跟踪器 惯性跟踪器也是采用机械方法，其原理是利用小型陀惯性跟踪器也是采用机械方法，其原理是利用小型陀螺仪测量跟踪对象在其倾角、偏角和转角方面的数据。螺仪测量跟踪对象在其倾角、偏角和转角方面的数据。3 3、图像提取跟踪器、图像提取跟踪器 一般是由一组摄像机拍摄人及其动作，然后通过图像处一般是由一组摄像机拍摄人及其动作，然后通过图像处理技术的运算和分析来确定人的位置及动作。理技术的运算和分析来确定人的位置及动作。第12页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.5 跟踪传感设备的性能比较跟踪定位器的性能指标主要包括：l l精度：指检测目标位置的正确性，即误差范围。l l分辨率：指跟踪定位器所能检测到的最小变化范围，小分辨率：指跟踪定位器所能检测到的最小变化范围，小于此值将检测不到。于此值将检测不到。l l响应时间：包括采样率、数据率、更新率和延迟时间等4个指标。l l抗干扰性：指跟踪定位器在相对恶劣的条件下避免出错的能力。第13页，共43页，编辑于2022年，星期二2.1 跟踪定位设备2.1.5 跟踪传感设备的性能比较跟踪器跟踪器跟踪器跟踪器类类类类型型型型精精精精 度度度度分分分分 辨辨辨辨 率率率率响响响响 应应应应 时时时时 间间间间跟跟跟跟 踪踪踪踪 范范范范 围围围围电电 磁磁 波波3mm0.1mm3mm0.1mm1mm0.03mm1mm0.03mm50 ms50 ms半径半径1.6m1.6m的半球形的半球形超超 声声 波波依空气密度依空气密度变变化化10mm0.5mm10mm0.5mm30 ms30 ms4 45m5m3 3光光 学学1 mm1 mm2mm0.02mm2mm0.02mm 1 ms 1 ms4 48m8m3 3（可（可扩扩展至展至14m14m3 3）3种常用跟踪技术的主要性能指标对比第14页，共43页，编辑于2022年，星期二2.2 立体显示设备 人眼立体视觉效应的原理人眼立体视觉效应的原理 ：当人在现实生活中观：当人在现实生活中观察物体时，双眼之间察物体时，双眼之间67cm的距离（瞳距）会使左、右眼分别产生一个略有差别的影像（即双眼视差），而大脑通过分析后会把这两幅影像融合为一幅画面，并由此获得距离和深度的感觉。第15页，共43页，编辑于2022年，星期二2.2 立体显示设备2.2.1 固定式立体显示设备固定式立体显示设备2.2.2 头盔显示器头盔显示器2.2.3 手持式立体显示设备手持式立体显示设备第16页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备1、台式VR显示设备 一般使用标准计算机监视器，配合双目立体眼镜组成。一般使用标准计算机监视器，配合双目立体眼镜组成。根据监视器的数目不同，还可分为单屏式和多屏式两类。根据监视器的数目不同，还可分为单屏式和多屏式两类。最简单也是最便宜的最简单也是最便宜的VRVR视觉显示模式，视觉显示模式，但缺乏沉浸感。但缺乏沉浸感。第17页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备2 2、投影式、投影式VRVR显示设备显示设备 一般可以通过并排放置多个显示器创建大型显示墙，或通过多台一般可以通过并排放置多个显示器创建大型显示墙，或通过多台投影仪以背投的形式投影在环幕上，各屏幕同时显示从某一固定投影仪以背投的形式投影在环幕上，各屏幕同时显示从某一固定观察点看到的所有视像，由此提供一种全景式的环境。观察点看到的所有视像，由此提供一种全景式的环境。第18页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备2 2、投影式、投影式VRVR显示设备显示设备 （1 1）墙式投影显示设备：）墙式投影显示设备：可采用平面、柱面、球面的屏幕形式。可采用平面、柱面、球面的屏幕形式。第19页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备2、投影式VR显示设备 （2 2）响应工作台式显示设备响应工作台式显示设备（Responsive Work BenchResponsive Work Bench，RWBRWB）：一般由投影仪、反射镜和一般由投影仪、反射镜和 显示屏（一种特制玻璃）显示屏（一种特制玻璃）组成，投影仪将立体图像组成，投影仪将立体图像 投射到反射镜面上，再由投射到反射镜面上，再由 反射镜将图像反射到显示反射镜将图像反射到显示 屏上。屏上。第20页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备2、投影式VR显示设备 （3 3）洞穴式投影显示设备（洞穴式投影显示设备（CAVECAVE）：CAVECAVE就是由投影显示屏包围而成的一个立体空间就是由投影显示屏包围而成的一个立体空间 （洞穴），分别有（洞穴），分别有4 4面式、面式、5 5面式或面式或6 6面式面式CAVECAVE系统。系统。第21页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备3 3、三维显示器、三维显示器 指的是直接显示虚拟三维影像的显示设备，用户不需佩指的是直接显示虚拟三维影像的显示设备，用户不需佩戴立体眼镜等装置就可以看到立体影像。戴立体眼镜等装置就可以看到立体影像。三星公司的2233RZ三维显示器 第22页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备3、三维显示器 三维显示器的实现方法主要分为以下三维显示器的实现方法主要分为以下4 4种：种：（1 1）在普通的显示屏前附着特殊的涂层和滤光器来替代立体眼镜在普通的显示屏前附着特殊的涂层和滤光器来替代立体眼镜的作用。的作用。（2 2）利用投影机把同一物体的多幅不同二维影像闪投在显示屏上，利用投影机把同一物体的多幅不同二维影像闪投在显示屏上，同时屏幕快速旋转，观看者大脑就会将不同画面拼合而成似乎漂浮同时屏幕快速旋转，观看者大脑就会将不同画面拼合而成似乎漂浮在空中的三维物体影像。在空中的三维物体影像。第23页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.1 固定式立体显示设备3、三维显示器三维显示器的实现方法主要分为以下三维显示器的实现方法主要分为以下4 4种：种：（3 3）显示器由几十个超薄屏幕叠制而成，每个屏幕快速依次闪）显示器由几十个超薄屏幕叠制而成，每个屏幕快速依次闪现出同一图像，由此流畅的组成完整的三维影像。现出同一图像，由此流畅的组成完整的三维影像。（4 4）利用全息图像技术实现）利用全息图像技术实现 真正的三维显示，它是真正的三维显示，它是 在真实空间内创造出一在真实空间内创造出一 个完整的立体影像。个完整的立体影像。第24页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.2 头盔显示器头盔显示器（Head-Mounted Display，HMD）HMD通常被固定在用户的头部，随着头部的运动而运动，并装有位置跟踪器，能够实时测出头部的位置和朝向，并输入到计算机中。第25页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.2 头盔显示器头盔显示器HMD HMD通常被固定在用户的头部，随着头部的运动而运动，并装有位置跟踪器，能够实时测出头部的位置和朝向，并输入到计算机中。计算机根据这些数据生成反映当前位置和朝向的场景图像，进而由两个LCD或CRT显示屏分别向两只眼睛提供图像。第26页，共43页，编辑于2022年，星期二2.2 立体显示设备 2.2.2 头盔显示器头盔显示器HMD双眼局部重叠的头盔显示器光学模型 第27页，共43页，编辑于2022年，星期二2.2 立体显示设备2.2.2 头盔显示器头盔显示器HMD衡量头盔显示器性能的指标包括以下各方面：衡量头盔显示器性能的指标包括以下各方面：1 1、逼真的立体视觉（双眼视觉）、逼真的立体视觉（双眼视觉）2 2、分辨率、分辨率3、视场（Fireld Of View，FOV）4、透射率5 5、重叠率、重叠率6 6、重量、重量7 7、人的因素、人的因素第28页，共43页，编辑于2022年，星期二2.2 立体显示设备2.2.2 头盔显示器头盔显示器HMD公公公公 司司司司/型型型型 号号号号分分分分 辨辨辨辨 率率率率视视视视 场场场场重重重重 量量量量市市市市场场场场参考价参考价参考价参考价Virtual Research Systems/Virtual Research Systems/VR1280VR128012801280102410246060约约0.8KG0.8KG1717万元万元Rockwell Collins/Rockwell Collins/ProView SR80ProView SR8012801280102410248080约约0.8KG0.8KG1616万元万元eMagin/eMagin/Z800 3DvisorZ800 3Dvisor8008006006004040约约0.225KG0.225KG1515万元万元第29页，共43页，编辑于2022年，星期二2.2 立体显示设备2.2.3 手持式立体显示设备手持式立体显示设备 手持式手持式VRVR立体显示器屏幕很小，它利用某种跟踪立体显示器屏幕很小，它利用某种跟踪定位器和图像传输技术实现立体图像的显示和交互作用，定位器和图像传输技术实现立体图像的显示和交互作用，可以将额外的数据增加到真实世界的视图中，用户可以可以将额外的数据增加到真实世界的视图中，用户可以选择观看这些信息，也可以忽略它们而直接观察真实世选择观看这些信息，也可以忽略它们而直接观察真实世界，一般适用于增强式界，一般适用于增强式VRVR系统中。系统中。第30页，共43页，编辑于2022年，星期二2.3 手部数据交互设备2.3.1 数据手套数据手套2.3.2 空间球空间球2.3.3 三维浮动鼠标器三维浮动鼠标器第31页，共43页，编辑于2022年，星期二2.3 手部数据交互设备 2.3.1 数据手套（数据手套（Data Glove）数据手套是一种戴在用户手上的传感装置，用于检测用户数据手套是一种戴在用户手上的传感装置，用于检测用户手部活动的设备，并向计算机发送相应电信号，从而驱动虚拟手部活动的设备，并向计算机发送相应电信号，从而驱动虚拟手模拟真实手的动作。手模拟真实手的动作。如图所示为戴上如图所示为戴上VPLVPL数据手套的人数据手套的人手与屏幕显示的虚拟手。该数据手手与屏幕显示的虚拟手。该数据手套把光导纤维和一个三维位置传感套把光导纤维和一个三维位置传感器缠绕在一个轻的、有弹性的手套器缠绕在一个轻的、有弹性的手套上，每个手指的每个关节处都有一上，每个手指的每个关节处都有一圈纤维，用以测量手指关节的位置圈纤维，用以测量手指关节的位置与弯曲。与弯曲。第32页，共43页，编辑于2022年，星期二2.3 手部数据交互设备 2.3.2 空间球（空间球（Space Ball）空间球是一种可以提供空间球是一种可以提供6 6自由度的桌面设备，它被安装在一自由度的桌面设备，它被安装在一个小型的固定平台上，可以扭转、挤压、按下、拉出和来回摇个小型的固定平台上，可以扭转、挤压、按下、拉出和来回摇摆。摆。第33页，共43页，编辑于2022年，星期二2.3 手部数据交互设备 2.3.3 三维浮动鼠标器（三维浮动鼠标器（3D Flying Mouse）三维浮动鼠标器的工作原理是：在鼠标内部安装了一个超声波或电三维浮动鼠标器的工作原理是：在鼠标内部安装了一个超声波或电磁探测器，利用这个接收器和具有发射器的固定基座，就可以测磁探测器，利用这个接收器和具有发射器的固定基座，就可以测量出鼠标离开桌面后的位置和方向。量出鼠标离开桌面后的位置和方向。第34页，共43页，编辑于2022年，星期二2.4 虚拟声音输出设备 2.4.1 固定式声音设备 固定式声音输出设备即扬声器，允许多个用户同时听到声音，一般固定式声音输出设备即扬声器，允许多个用户同时听到声音，一般在投影式在投影式VRVR系统中使用。扬声器固定不变的特性使其易于产生系统中使用。扬声器固定不变的特性使其易于产生世界参照系的音场，在虚拟世界中保持稳定，且用户使用起来世界参照系的音场，在虚拟世界中保持稳定，且用户使用起来活动性大。活动性大。2.4.22.4.2 耳机式声音设备 耳机式声音设备一般与头盔显示器结合使用。在默认情况下，耳机耳机式声音设备一般与头盔显示器结合使用。在默认情况下，耳机显示的是头部参照系的声音，在显示的是头部参照系的声音，在VRVR系统中必须跟踪用户头部、耳系统中必须跟踪用户头部、耳部的位置，并对声音进行相应的过滤，使得空间化信息能够表现部的位置，并对声音进行相应的过滤，使得空间化信息能够表现出用户耳部的位置变化。出用户耳部的位置变化。第35页，共43页，编辑于2022年，星期二2.5 其他交互设备 2.5.1 触觉和力反馈设备触觉和力反馈设备2.5.2 数据衣数据衣2.5.3 三维扫描仪三维扫描仪第36页，共43页，编辑于2022年，星期二2.5 其他交互设备2.5.1 触觉和力反馈设备 1、接触反馈设备接触反馈设备（1 1）充气式接触反馈手套是使用小气囊作为传感装置，在手）充气式接触反馈手套是使用小气囊作为传感装置，在手套上有套上有20-3020-30个小气囊放在对应的位置，当发生虚拟接触时，个小气囊放在对应的位置，当发生虚拟接触时，这些小型气囊能够通过空气压缩泵的充气和放气而被迅速地加这些小型气囊能够通过空气压缩泵的充气和放气而被迅速地加压或减压。压或减压。（2 2）振动式接触反馈手套是使用小振动换能器实现的，换能器通常）振动式接触反馈手套是使用小振动换能器实现的，换能器通常由状态记忆合金制成，当电流通过这些换能器时，它们就会发生形由状态记忆合金制成，当电流通过这些换能器时，它们就会发生形变和弯曲。变和弯曲。第37页，共43页，编辑于2022年，星期二2.5 其他交互设备2.5.1 触觉和力反馈设备 2、力反馈设备力反馈设备（1 1）桌面式力反馈系统设备）桌面式力反馈系统设备安装简单、使用轻便灵巧，并安装简单、使用轻便灵巧，并且不会因自身重量等问题而让且不会因自身重量等问题而让用户在使用中产生疲倦甚至疼用户在使用中产生疲倦甚至疼痛的感觉，因此目前已经成为痛的感觉，因此目前已经成为较为常用的力反馈设备。较为常用的力反馈设备。第38页，共43页，编辑于2022年，星期二2.5 其他交互设备2.5.1 触觉和力反馈设备 2 2、力反馈设备（2 2）力反馈手套可以独立反力反馈手套可以独立反馈每个手指上的力，主要用于馈每个手指上的力，主要用于完成精细操作完成精细操作第39页，共43页，编辑于2022年，星期二2.5 其他交互设备2.5.2 数据衣（Data Suit）数据衣将大量的光纤、电极等传感器安装在一个紧身服上，可以根据需要检测出人的四肢、腰部的活动以及各关节（如腕关节、肘关节）的弯曲角度，然后用计算机重建出图像。第40页，共43页，编辑于2022年，星期二2.5 其他交互设备2.5.3 三维扫描仪（3D Scanner）l l三维扫描仪的功能是通过扫描真实模型的外观特征，构造出该物体对三维扫描仪的功能是通过扫描真实模型的外观特征，构造出该物体对应的计算机模型，通常分为激光式、光学式、机械式等三种类型。应的计算机模型，通常分为激光式、光学式、机械式等三种类型。l l三维激光扫描仪（三维激光扫描仪（3D Laser Scanner3D Laser Scanner）应用最为广泛，其数）应用最为广泛，其数据处理的过程一般包括数据采集、数据预处理、几何模型重据处理的过程一般包括数据采集、数据预处理、几何模型重建和模型可视化等四个步骤。建和模型可视化等四个步骤。第41页，共43页，编辑于2022年，星期二2.6 虚拟现实硬件系统的集成 l lVIEWVIEW为美国宇航局为美国宇航局AmesAmes研究中心开发的虚研究中心开发的虚拟交互环境工作站。拟交互环境工作站。l lVIEWVIEW由一组以计算机控由一组以计算机控制的输入制的输入/输出子系统组输出子系统组成，分别提供虚拟环境所成，分别提供虚拟环境所需的各种感觉通道的识别需的各种感觉通道的识别和控制功能，从而为各类和控制功能，从而为各类VRVR应用系统的研发提供应用系统的研发提供了一个方便、通用的集了一个方便、通用的集成环境。成环境。第42页，共43页，编辑于2022年，星期二本 章 结 束谢 谢 大 家第43页，共43页，编辑于2022年，星期二