人机交互系统的设计准备优秀PPT.ppt

《人机交互系统的设计准备优秀PPT.ppt》由会员分享，可在线阅读，更多相关《人机交互系统的设计准备优秀PPT.ppt（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人机交互系统的设计准备第1页，本讲稿共24页虚拟环境是一个封闭的回路系统，虚拟环境生成系统将生成的用以仿真现实环境的图虚拟环境是一个封闭的回路系统，虚拟环境生成系统将生成的用以仿真现实环境的图象、音响象、音响(和语音和语音)、压力等等通过人机接口系统作用到用户的感官，并实时通过传感器测、压力等等通过人机接口系统作用到用户的感官，并实时通过传感器测试与跟踪用户的行为与反应，以便实时调整生成的序列，用户则通过交互方式可以实际感试与跟踪用户的行为与反应，以便实时调整生成的序列，用户则通过交互方式可以实际感知和响应虚拟环境。虚拟环境人机接口系统中传感器的作用是将得到的用户数据实时地反知和响应虚拟环境。

2、虚拟环境人机接口系统中传感器的作用是将得到的用户数据实时地反馈到虚拟环境系统中，而虚拟环境则可以根据这些数据来计算和生成新的视景、音响和作馈到虚拟环境系统中，而虚拟环境则可以根据这些数据来计算和生成新的视景、音响和作用力，以使生成的系统更加逼真，更加符合自然规律，并将新的结果再作用到用户作为新用力，以使生成的系统更加逼真，更加符合自然规律，并将新的结果再作用到用户作为新的激励。的激励。为了设计一个友好和实用的虚拟环境系统，有必要对虚拟环境系统的构成，特别是人机交为了设计一个友好和实用的虚拟环境系统，有必要对虚拟环境系统的构成，特别是人机交互系统的构成，以及其中主要部件和模块的情况和设计准则有一

3、个概括的了解。互系统的构成，以及其中主要部件和模块的情况和设计准则有一个概括的了解。关于友好和实用虚拟环境的解释，本领域的开创人关于友好和实用虚拟环境的解释，本领域的开创人IvanSutherland最初的想法是利最初的想法是利用计算机系统构造一个用户看起来是用计算机系统构造一个用户看起来是“景物真实、动作真实、声音真实、感觉真实景物真实、动作真实、声音真实、感觉真实”的世界。当时强调的是视觉感知和视觉作用，主要想法是通过显示设备的世界。当时强调的是视觉感知和视觉作用，主要想法是通过显示设备(头盔式显示头盔式显示器器HMD)来解决问题。从虚拟环境技术的应用中不难发现，在虚拟环境的实现中来解决问

4、题。从虚拟环境技术的应用中不难发现，在虚拟环境的实现中实际要解决的问题远比仅仅开发一个显示设备要复杂得多，因为它需要考虑虚拟实际要解决的问题远比仅仅开发一个显示设备要复杂得多，因为它需要考虑虚拟环境系统的所有主动和被动的部分，包括视觉、听觉、触觉、嗅觉以及回路中人环境系统的所有主动和被动的部分，包括视觉、听觉、触觉、嗅觉以及回路中人的运动和对环境的反应。由此，我们可以看出这样的系统绝不只是一个简单的显的运动和对环境的反应。由此，我们可以看出这样的系统绝不只是一个简单的显示系统，至少还必须考虑音响系统、力觉作用系统、人类感知的心理学和生理学示系统，至少还必须考虑音响系统、力觉作用系统、人类感知的

5、心理学和生理学因素、传感器技术、实时图象生成及系统集成。因素、传感器技术、实时图象生成及系统集成。第2页，本讲稿共24页v虚拟环境的基本设计准则 设计一个应用虚拟环境系统，应该确定的设计准则和策略：设计一个应用虚拟环境系统，应该确定的设计准则和策略：所设计的系统应该是开放的所设计的系统应该是开放的虚拟环境系统是一个集成系统，是一个尚不成熟的技术虚拟环境系统是一个集成系统，是一个尚不成熟的技术学科。为了使所设计的系统能够方便地在绝大多数硬件平台上运行，能够吸收任何新的软学科。为了使所设计的系统能够方便地在绝大多数硬件平台上运行，能够吸收任何新的软件系统和硬件设备成为自己的组成部分，能够方便地在网

6、络环境上运行，必须遵循开放性件系统和硬件设备成为自己的组成部分，能够方便地在网络环境上运行，必须遵循开放性设计的原则。设计的原则。所设计的系统应该是面向对象的和可重用的所设计的系统应该是面向对象的和可重用的虚拟环境系统中的软件子系统和传感设虚拟环境系统中的软件子系统和传感设备种类繁多，而且新的设备不断出现，新的应用要求也不断出现，因此必须采用面向备种类繁多，而且新的设备不断出现，新的应用要求也不断出现，因此必须采用面向对象技术，将功能块和功能设备全部利用面向对象技术进行描述和管理。对象技术，将功能块和功能设备全部利用面向对象技术进行描述和管理。所设计的系统应该是服从标准化原则所设计的系统应该是

7、服从标准化原则必须认真了解每个分支领域在接口和算必须认真了解每个分支领域在接口和算法方面的标准化现状，严格服从已有的标准化方案，对正在制定中的标准化方案也要法方面的标准化现状，严格服从已有的标准化方案，对正在制定中的标准化方案也要充分注意。充分注意。所选择的部件或子系统应该是有生命力所选择的部件或子系统应该是有生命力在灵境的商品化领域，特别是虚拟环境在灵境的商品化领域，特别是虚拟环境中的传感设备和应用软件方面，绝大多数的公司都是只有几十个人甚至几个人，中的传感设备和应用软件方面，绝大多数的公司都是只有几十个人甚至几个人，因而如何判断他们的生命力是一个很困难的问题。因而如何判断他们的生命力是一个

8、很困难的问题。用户的安全和健康放在第一位用户的安全和健康放在第一位与其他的计算机应用系统不同，虚拟环境系与其他的计算机应用系统不同，虚拟环境系统使用生成的视景和音响，使用力学装置产生虚拟环境，由于我们对生成的环境、统使用生成的视景和音响，使用力学装置产生虚拟环境，由于我们对生成的环境、对人的健康到底会有什么样的影响和副作用尚不十分清楚，所以在设计和引入某对人的健康到底会有什么样的影响和副作用尚不十分清楚，所以在设计和引入某些设备时一定要首先考虑可靠性，要仔细计算或调查对于用户可能带来的任何影些设备时一定要首先考虑可靠性，要仔细计算或调查对于用户可能带来的任何影响。响。第3页，本讲稿共24页v虚

9、拟环境系统分类 根据应用的要求，虚拟环境系统可以设计成非配带型或配带型：根据应用的要求，虚拟环境系统可以设计成非配带型或配带型：非配带型非配带型 有时也称为桌上型，其视景是通过计算机的屏幕，或电视屏幕，有时也称为桌上型，其视景是通过计算机的屏幕，或电视屏幕，或投影屏幕，或室内的实际景物加上部分计算机生成的环境来提示给用户的；音或投影屏幕，或室内的实际景物加上部分计算机生成的环境来提示给用户的；音响是通过安放在桌上的或室内的音响系统提供的。汽车模拟器、飞机模拟器、电响是通过安放在桌上的或室内的音响系统提供的。汽车模拟器、飞机模拟器、电子会议等都属于非配带型。子会议等都属于非配带型。非配带型的优点

10、是用户比较自由，不需要戴头盔和耳机，不需要戴数据手套，不需要戴跟非配带型的优点是用户比较自由，不需要戴头盔和耳机，不需要戴数据手套，不需要戴跟踪器，可以同时允许多个用户加人系统，对用户数的限制铰小。但非配带型系统不容易解决双目踪器，可以同时允许多个用户加人系统，对用户数的限制铰小。但非配带型系统不容易解决双目视觉竞争问题。不容易构造用户沉浸于其中的环境。视觉竞争问题。不容易构造用户沉浸于其中的环境。非配带型系统中比较重要的功能块包括计算机系统、显示系统、摄象机的非配带型系统中比较重要的功能块包括计算机系统、显示系统、摄象机的光学跟踪系统、音响系统、甚至网络系统。光学跟踪系统、音响系统、甚至网络

11、系统。配带型配带型 用封闭的视景和音响系统将用户的视听觉与外界隔离，使用户完全用封闭的视景和音响系统将用户的视听觉与外界隔离，使用户完全置于计算机生成的环境之中。计算机通过用户戴的数据手套和跟踪器可以测试出置于计算机生成的环境之中。计算机通过用户戴的数据手套和跟踪器可以测试出用户的运动和姿态，并将测得的数据反馈到生成的视景中，产生人在其中的效果。用户的运动和姿态，并将测得的数据反馈到生成的视景中，产生人在其中的效果。配带型系统中比较重要的功能块包括计算机系统、头盔式显示器、图象生成器、数据配带型系统中比较重要的功能块包括计算机系统、头盔式显示器、图象生成器、数据手套、音响系统和力学传感器系统等

12、等。手套、音响系统和力学传感器系统等等。第4页，本讲稿共24页v虚拟环境中人机接口系统的构成在理想的情况下，虚拟环境系统应在理想的情况下，虚拟环境系统应当是多传感器构成的人机交互方便的综当是多传感器构成的人机交互方便的综合集成系统，该系统所产生的图象的分合集成系统，该系统所产生的图象的分辨率应该足够高，图象要十分丰富和自辨率应该足够高，图象要十分丰富和自然然(主要指图象的色彩和运动图象的连主要指图象的色彩和运动图象的连续及实时显示续及实时显示)，系统集成不会产生延迟，系统集成不会产生延迟，色彩和立体感要足够好，音响的立体声效色彩和立体感要足够好，音响的立体声效果要好，语音合成要足够逼真，力感要

13、足果要好，语音合成要足够逼真，力感要足够细微，用户使用该系统不会轻易感觉疲够细微，用户使用该系统不会轻易感觉疲劳，系统中的传感器系统应具有多个自由劳，系统中的传感器系统应具有多个自由度，延迟时间要足够短。度，延迟时间要足够短。一个理想的虚拟环境系统的人机一个理想的虚拟环境系统的人机交互系统应该包括右图所示的内容：交互系统应该包括右图所示的内容：虚虚拟拟环环境境生生成成器器立体声立体声音响合成音响合成语音合成语音合成图形图象生图形图象生成成语音识别语音识别头眼手身跟头眼手身跟踪踪人体语言识人体语言识别别运动学运动学头头盔盔显显示示设设备备多传感器多传感器组组力觉作用力觉作用装置装置第5页，本讲稿

14、共24页分辨率足够的立体显示设备分辨率足够的立体显示设备 如头盔如头盔式显示器式显示器HMD，分左右两屏显示景物，并经分左右两屏显示景物，并经过视觉的作用产生立体视觉效果；过视觉的作用产生立体视觉效果；立体声音响合成立体声音响合成 产生以用户本人为原点的立体声音响；产生以用户本人为原点的立体声音响；语音合成语音合成 根据文本生成自然语言的语音；根据文本生成自然语言的语音；图形与图象生成图形与图象生成 产生以用户本人为视点的包括景物和运动目标的视景；产生以用户本人为视点的包括景物和运动目标的视景；头、眼、手、身体定位与跟踪头、眼、手、身体定位与跟踪 确定用户头、眼、手和身体的位置与方向；确定用户

15、头、眼、手和身体的位置与方向；人体语言识别人体语言识别 识别用户的手势、头势、体势等形体语言信息识别用户的手势、头势、体势等形体语言信息；语音识别语音识别 识别用户的语音命令甚至会话内容；识别用户的语音命令甚至会话内容；触觉系统触觉系统 提供重力与压力的反馈提供重力与压力的反馈；运动学系统运动学系统 提供用户和目标运动的法则和定律；提供用户和目标运动的法则和定律；虚拟环境生成器虚拟环境生成器 根据内部模型和外部环境的变化计算生成人在回路中的逼真的虚拟环根据内部模型和外部环境的变化计算生成人在回路中的逼真的虚拟环境。境。从系统组织上分类，我们可以将虚拟环境的人机交互子系统分为从系统组织上分类，我

16、们可以将虚拟环境的人机交互子系统分为硬件、软件、硬件、软件、界面和人性因素界面和人性因素等四部分。等四部分。从功能的角度分类，将人机交互子系统分为从功能的角度分类，将人机交互子系统分为显示与表现、生成与合成、感知与识别和人显示与表现、生成与合成、感知与识别和人性因素性因素等四部分。等四部分。第6页，本讲稿共24页v虚拟环境的硬件系统 一个逼真的虚拟环境，至少包括以下五类设备或硬件系统：跟踪系统、触觉系统、音一个逼真的虚拟环境，至少包括以下五类设备或硬件系统：跟踪系统、触觉系统、音频系统、图象生成系统和显示装置。频系统、图象生成系统和显示装置。跟踪系统跟踪系统其功能是确定用户的头、手、身体及任意

17、真实世界物体的位置及指向。其功能是确定用户的头、手、身体及任意真实世界物体的位置及指向。磁性跟踪设备磁性跟踪设备利用小型天线发出的磁场，由多个接收天线接收信号，控制并通过计算得到利用小型天线发出的磁场，由多个接收天线接收信号，控制并通过计算得到三维的位置坐标和方向。缺点是容易受其他磁场的干扰和对其他的磁性设备产生三维的位置坐标和方向。缺点是容易受其他磁场的干扰和对其他的磁性设备产生干扰。干扰。声学跟踪设备声学跟踪设备使用超声波脉冲，不受磁干扰的影响。缺点是由于超声波的折射、反射以及衰减会随使用超声波脉冲，不受磁干扰的影响。缺点是由于超声波的折射、反射以及衰减会随着环境的改变而改变。着环境的改变

18、而改变。惯性跟踪设备惯性跟踪设备此种技术在航空、航天和航海导航设备中已经得到广泛的应用，核心技术是此种技术在航空、航天和航海导航设备中已经得到广泛的应用，核心技术是陀螺。此类设备的灵敏性好，响应速度快。陀螺。此类设备的灵敏性好，响应速度快。机械跟踪设备机械跟踪设备通过精密的机械框架和连接来测量指定点的位置和指向。通过精密的机械框架和连接来测量指定点的位置和指向。光学跟踪设备光学跟踪设备利用摄象机获取图象，通过立体视觉计算确定目标位置，并通过观测多个参照点利用摄象机获取图象，通过立体视觉计算确定目标位置，并通过观测多个参照点来确定目标的表面指向。来确定目标的表面指向。第7页，本讲稿共24页触觉系

19、统触觉系统触觉系统是指为虚拟世界提供手工探测或操作物体的现实感生成设备，它触觉系统是指为虚拟世界提供手工探测或操作物体的现实感生成设备，它利用人的触觉、力觉及运动神经系统与虚拟环境相互作用，并具有如下三个基本利用人的触觉、力觉及运动神经系统与虚拟环境相互作用，并具有如下三个基本功能：功能：n测量用户手与测量用户手与/或其他部位的位置和受力，以便得到控制虚拟环境的输入；或其他部位的位置和受力，以便得到控制虚拟环境的输入；n显示受力和位置与或它们对用户的空间和时间的分布；显示受力和位置与或它们对用户的空间和时间的分布；n通过力学作用单元产生力矩和力觉作用。通过力学作用单元产生力矩和力觉作用。当前在

20、虚拟环境的触觉系统中人们感兴趣的研究领域包括：当前在虚拟环境的触觉系统中人们感兴趣的研究领域包括：n手的位置和指向的测量；手的位置和指向的测量；n应用受力和转矩的测量：应用受力和转矩的测量：n受力情况和趋势的显示；受力情况和趋势的显示；n其他激励分布的测量与分析；其他激励分布的测量与分析；n手套中的力矩作用元：手套中的力矩作用元：n反作用力作用元。反作用力作用元。对于触觉系统的研究课题首先考虑的是机械稳定性和可靠性对于触觉系统的研究课题首先考虑的是机械稳定性和可靠性(包括对用户的安全性包括对用户的安全性)。为了避免给出误提示，反馈系统必须用小于几毫米的振幅仔细控制振动。为了保为了避免给出误提示

21、，反馈系统必须用小于几毫米的振幅仔细控制振动。为了保证用户的安全，力觉的作用元必须有完全不会出现危险误动作的保证。证用户的安全，力觉的作用元必须有完全不会出现危险误动作的保证。第8页，本讲稿共24页音频系统音频系统一个音频系统，可划分为以下主要功能模块：一个音频系统，可划分为以下主要功能模块：制作、录音、再生和加工制作、录音、再生和加工。由于光盘数字音频磁带与采样系统的出现，极大地简化了控制现实世界声音的再现方式，由于光盘数字音频磁带与采样系统的出现，极大地简化了控制现实世界声音的再现方式，在这方面仅需进行很少的研究就可以满足虚拟环境的需要。在这方面仅需进行很少的研究就可以满足虚拟环境的需要。

22、通过拉长短音样本制造出长音效果，改变音高或振幅以响应虚拟现象，为通过拉长短音样本制造出长音效果，改变音高或振幅以响应虚拟现象，为激活声音起动，常用的工具是激活声音起动，常用的工具是MIDI界面，借助于现代数字信号处理装置的计算能力，界面，借助于现代数字信号处理装置的计算能力，很容易实现应用中所需要的声音。很容易实现应用中所需要的声音。在虚拟世界中出现特定的物理现象时，比较困难的问题是应该产生什么样的声音，如在虚拟世界中出现特定的物理现象时，比较困难的问题是应该产生什么样的声音，如设想将木块插进一块厚钢中，除非已经建立了相应的物理声学模型，或者建立了完整的规设想将木块插进一块厚钢中，除非已经建立

23、了相应的物理声学模型，或者建立了完整的规则库系统，否则虚拟环境系统对产生这类尚无定义的声音是毫无办法的。现假定这样的库则库系统，否则虚拟环境系统对产生这类尚无定义的声音是毫无办法的。现假定这样的库存在虚拟环境内部，解决的办法是把两种不同密度材料的撞击和插入声音的数字录音全部存在虚拟环境内部，解决的办法是把两种不同密度材料的撞击和插入声音的数字录音全部拿来，由设计人员凭经验和直觉选出几种候选对象，然后再用合成的方法进行加工。拿来，由设计人员凭经验和直觉选出几种候选对象，然后再用合成的方法进行加工。定位问题是另一个在音频系统中受重视的问题。定位问题是另一个在音频系统中受重视的问题。人确定声源方位的

24、能力要强于仅仅探测到达两激励间差别的延迟，很显然人们可以区人确定声源方位的能力要强于仅仅探测到达两激励间差别的延迟，很显然人们可以区别声音是高还是低，在听者前还是后，即使声音可能来自听者中间。别声音是高还是低，在听者前还是后，即使声音可能来自听者中间。NASA空军研究中心的空军研究中心的科研人员已研制出一些测量及应用与头部相关的转换函数科研人员已研制出一些测量及应用与头部相关的转换函数HRTF技术，在人体的耳道中放人技术，在人体的耳道中放人很小的麦克风，用许多不同源的位置记录头部对脉冲的响应，然后将很小的麦克风，用许多不同源的位置记录头部对脉冲的响应，然后将HRTF与声音与声音激励一起进行实时

25、卷积计算以产生位置感，通过路径中不同位置上采用的激励一起进行实时卷积计算以产生位置感，通过路径中不同位置上采用的HRTF间的插值来全面产生轨道。间的插值来全面产生轨道。第9页，本讲稿共24页图形与图象生成器图形与图象生成器计算机图形学的发展正迅速改善着多边形、阴影模型及纹理成象技术和图象计算机图形学的发展正迅速改善着多边形、阴影模型及纹理成象技术和图象显示技术，目前可视系统的成本在性能不变的条件下以每年大约显示技术，目前可视系统的成本在性能不变的条件下以每年大约50的速度下降。的速度下降。虚拟环境应用中虚拟环境应用中图象生成器的主要问题是图象生成器的主要问题是延迟时间延迟时间即可视数据库或视觉

26、参数的变化与屏幕即可视数据库或视觉参数的变化与屏幕显示的变化间的延迟与实时显示要求之间的矛盾。显示的变化间的延迟与实时显示要求之间的矛盾。影响延迟的两个影响延迟的两个主要因素主要因素是是视觉参数变化视觉参数变化的计算开销的计算开销和和将数据送给显示装置的传送开销。将数据送给显示装置的传送开销。大多数应用中的图形用户要求等待时间越短越好，因而要求生成器的计算能力越强越好。大多数应用中的图形用户要求等待时间越短越好，因而要求生成器的计算能力越强越好。传送速度的决定因素：传送速度的决定因素：一是数据带宽和主频速度；二是从数据库中读取图形图象数据的一是数据带宽和主频速度；二是从数据库中读取图形图象数据

27、的速度。速度。关于前者，绝大多数图形结构很大程度上使用管道输送方法减小传输时间。目关于前者，绝大多数图形结构很大程度上使用管道输送方法减小传输时间。目前需要研究减少读取等待时间的方法，即使在牺牲多边形吞吐量的情况下，虚拟环境前需要研究减少读取等待时间的方法，即使在牺牲多边形吞吐量的情况下，虚拟环境也需要较低的等待时间。目前还没有找到等待时间的阈值数据，因此仍需进行研究。也需要较低的等待时间。目前还没有找到等待时间的阈值数据，因此仍需进行研究。模拟病对等待时间的影响在模拟病对等待时间的影响在100ms与与300ms之间，这是由于所用的图象生成系统的限之间，这是由于所用的图象生成系统的限制。确定阈

28、值的一种方法是使用全景缓冲器，并根据头跟踪信息，制。确定阈值的一种方法是使用全景缓冲器，并根据头跟踪信息，“拍摄拍摄”预预存景象。存景象。PAL显示设备的等待时间为显示设备的等待时间为20ms，NTSC显示设备的等待时间约显示设备的等待时间约16.7ms，为超过该，为超过该速度，必须在成象前根据最近的几何图形立即产生扫描线。速度，必须在成象前根据最近的几何图形立即产生扫描线。最新构造的具有最小等待时间的虚拟环境系统从用户实际移动到用户移动后的图最新构造的具有最小等待时间的虚拟环境系统从用户实际移动到用户移动后的图象输出到象输出到HMD上仍会有延迟。在所有虚拟环境系统中，这些输出将可能导致在知觉

29、上仍会有延迟。在所有虚拟环境系统中，这些输出将可能导致在知觉质量和模拟病方面造成不良影响。因此应重视研究低延迟时间的计算机成象系统，而质量和模拟病方面造成不良影响。因此应重视研究低延迟时间的计算机成象系统，而且为克服系统本身延迟及所产生的影响，还应研究关于运动预测的软件技术。且为克服系统本身延迟及所产生的影响，还应研究关于运动预测的软件技术。第10页，本讲稿共24页可视化显示设备可视化显示设备可视化显示设备主要包括可视化显示设备主要包括HMD和其他立体显示器。和其他立体显示器。HMD由光学器件和一对显示屏幕组成由光学器件和一对显示屏幕组成，对于，对于HMD的设计，最困难的是如何将光学器的设计，

30、最困难的是如何将光学器件和显示屏幕装入耐用、轻便、人机控制和卫生的封壳中。件和显示屏幕装入耐用、轻便、人机控制和卫生的封壳中。HMD的工作原理是的工作原理是由计算机实时生成视景图象，通过光学器件投影到由计算机实时生成视景图象，通过光学器件投影到HMD的显示的显示屏幕上，屏幕上，HMD就可以沉浸在计算机生成的视景图象中。就可以沉浸在计算机生成的视景图象中。目前，目前，HMD的显示器已采用彩色的液晶显示，但其分辨率还远远满足不了灵境的显示器已采用彩色的液晶显示，但其分辨率还远远满足不了灵境系统中的实际需求的。美国加利福尼亚州航天空间实验室设计了一种特殊的设备系统中的实际需求的。美国加利福尼亚州航天

31、空间实验室设计了一种特殊的设备BOOM，解决了，解决了HMD的的光学系统重、显示系统重、显示分辨率低、视域低光学系统重、显示系统重、显示分辨率低、视域低等问题。等问题。BOOM是一种三维显示设备，悬挂在一个重的吊臂上，可自由旋转，使得观察者不必戴头盔，是一种三维显示设备，悬挂在一个重的吊臂上，可自由旋转，使得观察者不必戴头盔，计算机通过获取吊臂的位置信息判断观察者的视点。计算机通过获取吊臂的位置信息判断观察者的视点。BOOM可以安装高分辨率的彩色显示可以安装高分辨率的彩色显示器，取代了低分辨率的彩色液晶显示器。器，取代了低分辨率的彩色液晶显示器。BOOM的六轴编码装置可以测量显示设备的六轴编码

32、装置可以测量显示设备的位置和方向信息，提供完全六自由度的感觉。的位置和方向信息，提供完全六自由度的感觉。一般认为一般认为10241024或者或者20482048规模的分辨率才会令用户满意，然而这样规模的规模的分辨率才会令用户满意，然而这样规模的LCD成本太高。华盛顿大学适人化界面技术实验室，正在研制一种用激光束直接在视网膜成本太高。华盛顿大学适人化界面技术实验室，正在研制一种用激光束直接在视网膜上成象的显示设备，上成象的显示设备，激光微型扫描器激光微型扫描器的优点的优点包括光加权、非常高的分辨率及高亮度包括光加权、非常高的分辨率及高亮度。但是。但是该系统必须能准确地确定和跟踪眼睛瞳孔的位置，并

33、且能够准确检测出瞳孔移动和焦距的变化。该系统必须能准确地确定和跟踪眼睛瞳孔的位置，并且能够准确检测出瞳孔移动和焦距的变化。FakeSpace实验室提供了一种引人注目的解决实验室提供了一种引人注目的解决HMD办法，精心设计的钢铁吊杆可用大办法，精心设计的钢铁吊杆可用大量光学器件支持高分辨率的立体量光学器件支持高分辨率的立体CRT显示器。高的终端产品在红绿场系列颜色中支显示器。高的终端产品在红绿场系列颜色中支持持1000行以上的信息，这个吊杆提供机械支持并可进行高速、准确地跟踪。行以上的信息，这个吊杆提供机械支持并可进行高速、准确地跟踪。第11页，本讲稿共24页v虚拟环境的软件系统在人机交互子系统

34、的用户界面后面，软件系统必须维护一个虚拟世界的实时模型，该模型在人机交互子系统的用户界面后面，软件系统必须维护一个虚拟世界的实时模型，该模型能模拟虚拟物体本身的运动和不同虚拟物体间的交互作用关系，系统同时还必须提供实时计算能模拟虚拟物体本身的运动和不同虚拟物体间的交互作用关系，系统同时还必须提供实时计算能力。能力。在虚拟环境系统的初期开发活动中，大多数实验室都使用程序员较熟悉的非实时的在虚拟环境系统的初期开发活动中，大多数实验室都使用程序员较熟悉的非实时的UNIX来来实现系统。在实现系统。在UNIX中任何操作都被看成是进程，因而任何一个模拟的内核都只能是一中任何操作都被看成是进程，因而任何一个

35、模拟的内核都只能是一个进程。如传感器输入、冲突检测与控制、图象生成、显示输出等等，这些进程可以个进程。如传感器输入、冲突检测与控制、图象生成、显示输出等等，这些进程可以有高的优先级，但这并不足以保证实时性。在实时系统中，进行一次循环需要一组固有高的优先级，但这并不足以保证实时性。在实时系统中，进行一次循环需要一组固定数量的时钟周期，或称为一帧，使用固定的帧频可简化微分方程的积分，但对模拟定数量的时钟周期，或称为一帧，使用固定的帧频可简化微分方程的积分，但对模拟设计者却提出了严格的要求。同样实时模拟中的图象生成也是基于固定的帧频，以便设计者却提出了严格的要求。同样实时模拟中的图象生成也是基于固定

36、的帧频，以便为每个模拟帧产生一个新的视点。为每个模拟帧产生一个新的视点。虚拟环境软件研究和实现中比较受重视的问题包括：虚拟环境软件研究和实现中比较受重视的问题包括：n软件特性软件特性许多商品化的软件系统可用于构造一些简单而专用的虚拟环境，这种许多商品化的软件系统可用于构造一些简单而专用的虚拟环境，这种“虚拟环境外壳虚拟环境外壳”系系统具有如下特征统具有如下特征:n可以可以接收头盔跟踪信息；接收头盔跟踪信息；n提供跟踪手套、指挥棒等驱动和接收；提供跟踪手套、指挥棒等驱动和接收；n生成立体显示；生成立体显示；n接收并传输接收并传输CAD模型；模型；n物理模拟的变化程度。物理模拟的变化程度。第12页

37、，本讲稿共24页 某些虚拟环境外壳也提供了详细控制，即将虚拟物体对应两个以上的几何模型，只要从观某些虚拟环境外壳也提供了详细控制，即将虚拟物体对应两个以上的几何模型，只要从观察者的角度注意不到被缩减的多边形，那么就可以用不太复杂的模型。有时面向军事或野外应用察者的角度注意不到被缩减的多边形，那么就可以用不太复杂的模型。有时面向军事或野外应用的外壳包括磁盘到的外壳包括磁盘到RAM的切换，以便接近观察点时能产生新的地形区域，这是由于较大的地形的切换，以便接近观察点时能产生新的地形区域，这是由于较大的地形通常含有几百兆字节的数据。通常含有几百兆字节的数据。工具工具从零开始设计一个虚拟环境软件工具是不

38、明智的。实际上很多成熟的模型和软件工具以及从零开始设计一个虚拟环境软件工具是不明智的。实际上很多成熟的模型和软件工具以及数据可以利用，例如数据可以利用，例如3DS软件、软件、AutoCAD等等。另外，尽可能的利用可从计算机网上得到的等等。另外，尽可能的利用可从计算机网上得到的免费软件或许能够做到事半功倍。例如免费软件或许能够做到事半功倍。例如A1berL大学通过大学通过Email提供提供MR系统，华盛顿大学的系统，华盛顿大学的适人化界面技术实验室也提出了适人化界面技术实验室也提出了VEOS，该程，该程序的源代码可通过序的源代码可通过FIP得到。得到。设计和构造虚拟世界设计和构造虚拟世界 构造虚

39、拟世界的主要工作包括构造虚拟世界的主要工作包括模型化和描述生成模型化和描述生成两大部分。模型化是两大部分。模型化是对世界动态对世界动态性和交互性的抽象性和交互性的抽象，描述生成主要，描述生成主要使用使用CAD建造几何模型的交互式构造建造几何模型的交互式构造。虚拟世界的。虚拟世界的建模应在环境内部变化还是在外部特性考虑尚未统一。建模应在环境内部变化还是在外部特性考虑尚未统一。利用外部利用外部CAD利用内部利用内部CAD利用共享模型利用共享模型第13页，本讲稿共24页寻找合适的应用对象寻找合适的应用对象这是关系到虚拟环境技术能否长久发展的问题。在过去的若干虚拟环境研这是关系到虚拟环境技术能否长久发

40、展的问题。在过去的若干虚拟环境研究开发项目中，成功的经验是根据应用对象的具体情况研究开发针对性技术，然究开发项目中，成功的经验是根据应用对象的具体情况研究开发针对性技术，然后在此基础之上抽象出一般方法。在虚拟环境投资方面，军事模拟远远超过了民后在此基础之上抽象出一般方法。在虚拟环境投资方面，军事模拟远远超过了民用，目前最成功的军事虚拟环境系统是用，目前最成功的军事虚拟环境系统是SIMNET。SMNET是是DARPA与美国空军立项构造的一个庞大的低成本网络化军队训练环境原与美国空军立项构造的一个庞大的低成本网络化军队训练环境原型，于型，于1989年完成，它的操作结点分布在美国和欧洲的约十个地点。

41、为了构造一个拥有几万个年完成，它的操作结点分布在美国和欧洲的约十个地点。为了构造一个拥有几万个实时模拟器的网络，美国波士顿实时模拟器的网络，美国波士顿BBN公司公司(SIMNET的主要设计单位的主要设计单位)决定采用决定采用远程运载工具近远程运载工具近似似(RVA)技术，其中每个模拟器维护一个记录技术，其中每个模拟器维护一个记录(称为一个称为一个RVA)，它实际上是其他模拟，它实际上是其他模拟运载工具的位置和速度的局部近似，同时每个模拟器保持其自身位置的运载工具的位置和速度的局部近似，同时每个模拟器保持其自身位置的RVA。在。在模拟帧期间，每个模拟器根据最新得到的速度矢量，通过改变位置更新所有

42、的模拟帧期间，每个模拟器根据最新得到的速度矢量，通过改变位置更新所有的RVA，当重，当重新计算动态模型时新计算动态模型时(每秒每秒15次次)，将其运载装置的新位置与局部，将其运载装置的新位置与局部RVA位置比较，如果差值位置比较，如果差值大于指定阈值，则网络会收到新的方向和位置的广播信息。大于指定阈值，则网络会收到新的方向和位置的广播信息。SIMNET获得巨大成功的主要原因是由于研制者遵循了一条严格的约束策略，称为获得巨大成功的主要原因是由于研制者遵循了一条严格的约束策略，称为“求解求解80”或有时或有时“求解求解60”。使用所有成熟的技术计算次优解，不做任何要。使用所有成熟的技术计算次优解，

43、不做任何要求苛刻的事。求苛刻的事。迄今为止，所有实时军事模拟器系统实际上都遵从共同的网络协议，称为分布式交互迄今为止，所有实时军事模拟器系统实际上都遵从共同的网络协议，称为分布式交互模拟模拟DIS，SIMNET也采用了这种协议，并已经证明它很有效。也采用了这种协议，并已经证明它很有效。客观上，客观上，SIMNET是个大型室内游戏，网络化是是个大型室内游戏，网络化是SIMNET的重要特征，它为几的重要特征，它为几百个人提供了同时玩电视游戏的协同性，它的成功在于适人化界面，而不单纯是百个人提供了同时玩电视游戏的协同性，它的成功在于适人化界面，而不单纯是技术方面的进步。技术方面的进步。第14页，本讲

44、稿共24页v虚拟环境用户界面系统菜单和窗口系统是虚拟环境系统中的主要用户界面形式。菜单和窗口系统是虚拟环境系统中的主要用户界面形式。用户界面系统的研究用户界面系统的研究信息空间的漫游信息空间的漫游有三种不同意义下的漫游：有三种不同意义下的漫游：以树状结构构成的菜单树中漫游以树状结构构成的菜单树中漫游存在的问题是如何快速地从一个结点转到另一个存在的问题是如何快速地从一个结点转到另一个结点而既不会迷路也不必回朔到最近的相同祖先结点再到达目的结点。结点而既不会迷路也不必回朔到最近的相同祖先结点再到达目的结点。很好组织的异种数据库中的漫游很好组织的异种数据库中的漫游根据对文字要求的理解，到多媒体数据库

45、根据对文字要求的理解，到多媒体数据库中将所有与主题有关的录象资料调出来，利用模式识别的方法找出要求的图象。中将所有与主题有关的录象资料调出来，利用模式识别的方法找出要求的图象。信息尚未被很好组织的信息尚未被很好组织的Internet上漫游上漫游由于由于Internet上信息是分布的和没有统一组织上信息是分布的和没有统一组织的，因而如何快速和尽可能完整地找到自己所需要的数据，就需要很好的漫游策略。的，因而如何快速和尽可能完整地找到自己所需要的数据，就需要很好的漫游策略。自娱性在人机界面的设计中是一个很重要的概念。自娱性在人机界面的设计中是一个很重要的概念。由用户规定目标和内容由用户规定目标和内容

46、的工具称为自娱工具，电话和交互电视就是典型的实例。的工具称为自娱工具，电话和交互电视就是典型的实例。非自娱工具是指目标与内容由权威来建立的工具，典型的是广播电视。通非自娱工具是指目标与内容由权威来建立的工具，典型的是广播电视。通过提供各种选择，有线电视事实上已偏离了广播电视的非自娱立场；录象机和过提供各种选择，有线电视事实上已偏离了广播电视的非自娱立场；录象机和VOD则使我们进一步接近自娱工具。则使我们进一步接近自娱工具。在真正的自娱的视频数据媒介中，用户可走到任意地方，看到他她想看到的任何事情，在真正的自娱的视频数据媒介中，用户可走到任意地方，看到他她想看到的任何事情，而不必考虑观众多少、成

47、本、商业潜力等，这是无限开放性的梦想，它把虚拟界面展现在我们眼而不必考虑观众多少、成本、商业潜力等，这是无限开放性的梦想，它把虚拟界面展现在我们眼前。前。第15页，本讲稿共24页设计科学的用户界面使人们可以有效地和自然地找到获取正确信息的方法。一设计科学的用户界面使人们可以有效地和自然地找到获取正确信息的方法。一般地，人们可接受的构造人机界面的方法是：般地，人们可接受的构造人机界面的方法是：使用日常关系及普通对象的符号使用日常关系及普通对象的符号严格维护应用程序间的一致性严格维护应用程序间的一致性 使用户感到他她是在同样的国家和文化背景中学习和使用户感到他她是在同样的国家和文化背景中学习和研究

48、开发。研究开发。构造一个简单、无二义性的命令，降低出错率。构造一个简单、无二义性的命令，降低出错率。在最高层提供尽可能多的自动化功能在最高层提供尽可能多的自动化功能 如提供候选表而不需要用户记住具体的如提供候选表而不需要用户记住具体的名字。名字。虚拟界面设计问题虚拟界面设计问题灵境系统的共享概念包括几个部分，它应该具有虚拟世界的三个特征：灵境系统的共享概念包括几个部分，它应该具有虚拟世界的三个特征：临场性临场性 用户对真实存在的信任感。它可通过控制观察点来获得，如在模拟中看用户对真实存在的信任感。它可通过控制观察点来获得，如在模拟中看到自己的手和身体图象等。临场感扩展了界面的友好性，从而使实验

49、者可以按日常事到自己的手和身体图象等。临场感扩展了界面的友好性，从而使实验者可以按日常事务方式处理图形界面。务方式处理图形界面。交互性交互性 用协调自然的方式改变世界特征的能力。这可通过使用自然的方式改变世界模型用协调自然的方式改变世界特征的能力。这可通过使用自然的方式改变世界模型的数据结构来获得。诸如物体体积与形状的保持、颜色及处理技术的持久性等许多特征也将支持的数据结构来获得。诸如物体体积与形状的保持、颜色及处理技术的持久性等许多特征也将支持自然的交互尽管三维物理世界的逻辑关系复杂，但用户更易接受简单且无二义性的逻辑结构。自然的交互尽管三维物理世界的逻辑关系复杂，但用户更易接受简单且无二义

50、性的逻辑结构。自主性自主性 物体本身固有的行为，当受到激励时能够自动地显示它们的行为，自主物体本身固有的行为，当受到激励时能够自动地显示它们的行为，自主性是很难获得的，但却非常重要。若被激励的世界能发挥作用，则用户就可被解脱出性是很难获得的，但却非常重要。若被激励的世界能发挥作用，则用户就可被解脱出来进行创造性的工作，包括改造世界的规律和测试结果。来进行创造性的工作，包括改造世界的规律和测试结果。第16页，本讲稿共24页一般用户界面的设计原则一般用户界面的设计原则关于人机界面设计的指导原则，虽然没有统一的意见，但大家所公认有：关于人机界面设计的指导原则，虽然没有统一的意见，但大家所公认有：应用