【精品】交互技术（可编辑.ppt

《【精品】交互技术（可编辑.ppt》由会员分享，可在线阅读，更多相关《【精品】交互技术（可编辑.ppt（80页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、交互技术2022/11/10【可编辑】内容摘要n人机交互输入模式n基本交互技术n图形交互技术n语音交互技术n笔交互技术4.1 人机交互输入模式n由于输入设备是多种多样的，而且对一个应用程序而言，可以有多个输入设备，同一个设备又可能为多个任务服务，这就要求对输入过程的处理要有合理的模式。请求模式(Request Mode)采样模式（Sample Mode）事件模式（Event Mode）4.1 人机交互输入模式n请求模式在请求模式下，输入设备的启动是在应用程序中设置的。应用程序执行过程中需要输入数据时，暂停程序的执行，直到从输入设备接受到请求的输入数据后，才继续执行程序。程序工作，输入设备等待程

2、序请求遇到请求指令输入设备工作，程序等待接收数据请求满足图4-1 请求模式的工作过程4.1 人机交互输入模式n采样模式优点：这种模式对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息。缺点：当应用程序的处理时间较长时，可能会失掉某些输入信息。程序工作数据采样数据生成数据缓存区输入设备工作图4-2 采样模式的工作过程4.1 人机交互输入模式n事件模式输入设备和程序并行工作。输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。应用程序随时可以检查这个事件队列，处理队列中的事件，或删除队列中的事件。4.1 人机交互输入模式应用程序事件检查事件调用过程模块

3、处理类型1事件的过程处理类型n事件的过程图形包图4-3 事件模式4.2 基本交互技术n定位n笔划n定值n选择n字符串定位n确定平面或空间的一个点的坐标，是交互中最基本的输入技术之一。n直接定位：用定位设备直接指定某个对象的位置，是一种精确定位方式。n间接定位：通过定位设备的运动控制屏幕上的映射光标进行定位，是一种非精确定位方式。其允许指定的点位于一个坐标范围内，一般用鼠标等指点设备配合光标来实现。3DS Max中的精确定位笔划n笔划输入用于输入一组顺序的坐标点。它相当于多次调用定位输入，输入的一组点常用于显示折线或作为曲线的控制点。定值n定值（或数值）输入用于设置物体旋转角度、缩放比例因子等选

4、择n选择是在某个选择集中选出一个元素，通过注视、指点或接触一个对象，使对象成为后续行为的焦点，是操作对象时不可缺少的一部分。键盘 Ctrl+A鼠标选择字符串n键盘是目前输入字符串最常用的方式，现在用写字板输入字符也已经很流行。4.3 图形交互技术n几何约束n引力场n拖动n橡皮筋技术n操作柄技术n三维交互技术 直接操作，三维Widgets，三视图输入几何约束可以用于对图形的方向、对齐方式等进行规定和校准。对定位的约束（网格吸附）4.3.1 4.3.1 几何约束几何约束 Adobe Photoshop 网格线n方向约束例如要绘的垂直或水平方向的线，当给定的起点和终点连线和水平线的交角小于45时，便

5、可绘出一条水平线，否则就绘垂直线。绘制印刷线路板、管网图或地籍图时非常有用。在Word绘图中，通过锁定纵横比，在拖动线段一个端点时，线段只是沿原来方向放缩几何约束引力场可以看作是一种定位约束，通过在特定图素（如直线段）周围假想有一个区域，当光标中心落在这个区域内时，就自动地被直线上最近的一个点所代替，好像一个质点进入了直线周围的引力场，被吸引到这条直线上去一样。4.3.2 4.3.2 引力场引力场n引力场的大小要适中，太小了不易进入引力区，太大了线和线的引力区相交，光标在进入引力区相交部分时可能会被吸引到不希望选的线段上去，增大误接的概率。4.3.2 引力场几何约束要把一个对象移动到一个新的位

6、置时，如果我们不是简单地用光标指定新位置的一个点，而是当光标移动时拖动着被移动的对象，这样会使用户感到更直观，并可使对象放置的位置更恰当。拖动有图形模式和图像模式4.3.3 4.3.3 拖动拖动橡皮筋技术（Rubber Band）是拖动的另一种形式不同的是被拖动对象的形状和位置随着光标位置的不同而变化。不断地进行画图擦除画图的过程4.3.4 4.3.4 橡皮筋技术橡皮筋技术4.3.4 橡皮筋技术操作柄技术可以用来对图形对象进行缩放、旋转、错切等几何变换。先选择要处理的图形对象，该图形对象的周围会出现操作柄移动或旋转操作柄就可以实现相应的变换。4.3.5 4.3.5 操作柄技术操作柄技术4.3.

7、5 操作柄技术三维交互技术采用六自由度输入设备。所谓六自由度，指沿三维空间X、Y、Z轴平移和绕X、Y、Z轴旋转而现在流行的用于桌面型图形界面的交互设备，如鼠标、轨迹球、触摸屏等只有两个自由度(沿平面X、Y轴平移)。4.3.6 4.3.6 三维交互技术三维交互技术存在的问题：n由于自由度的增加，使三维交互的复杂性大大提高n窗口、菜单、图符和传统的二维光标在三维交互环境中会破坏空间感，用户难以区分屏幕上光标选择到对象的深度值和其他显示对象的深度值，使交互过程非常不自然。4.3.6 三维交互技术1.直接操作n三维光标必须有深度感，即必须考虑光标与观察者距离，离观察者近的时候较大，离观察者远的时候较小

8、。n为保持三维用户界面的空间感，光标在遇到物体时不能进入到或穿过物体内部。n为了增加额外的深度线索，辅助三维对象的选择，可以采用半透明三维光标。n三维光标可以是人手的三维模型2.三维Widgetsn三维Widgets是从X-Window中的Widget（如菜单、按钮等）概念引申来的，即三维交互界面中的一些小工具n现有的一些三维Widgets包括：三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。2.三维Widgets1992年美国Brown大学计算机系提出三维Widget设计原则：n三维Widget的几何形状应能表示其用途（eg:一个用来扭曲物体的Widget，最好本身就是

9、一个扭曲的物体）；2.三维Widgetsn适当选择Widget控制的自由度-由于三维空间有六个自由度，有时会使三维交互操作变得过于复杂，因此在用户使用某种Widget时，可以固定或者自动计算某些自由度的值2.三维Widgetsn根据三维用户界面的用途确定Widget的功能。例如，用于艺术和娱乐的三维用户界面的Widget，只要能够完成使画面看起来像的操作就可以了，而用于工业设计和制造的用户界面，则必须保证交互操作参数的精确性。三视图n三视图是观测者从三个不同位置观察同一个空间几何体而画出的图形。n将人的视线规定为平行投影线，然后正对着物体看过去，将所见物体的轮廓用正投影法绘制出来该图形称为视图

10、。三视图n一个物体有六个视图：从物体的前面向后面投射所得的视图称主视图（正视图）能反映物体的前面形状，n从物体的上面向下面投射所得的视图称俯视图能反映物体的上面形状，n从物体的左面向右面投射所得的视图称左视图（侧视图）能反映物体的左面形状，三视图n还有其它三个视图不是很常用。n三视图就是主视图（正视图）、俯视图、左视图（侧视图）的总称。3.三视图输入n在不具备三维交互设备的情况下，可以借助三视图输入技术，用二维输入设备在一定程度上实现三维的输入。n如果输入一个三维点，只要在两个视图上把点的对应位置指定后便唯一确定了三维空间中的一个点；3.三视图输入n把直线段上两端点在三视图上输入后便可决定三维

11、空间的一条直线；n把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面；n如果把一个多面体上的各面均用上述方法输入，也就在三维空间中输入了一个多面体。4.4 语音交互技术n是以语音合成和语音识别两项技术为基础的语音交互技术，支持用户通过语音与计算机交流信息。n语音识别（Speech Recognition）是计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术，其所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等。4.4 语音交互技术一个完整的语音识别系统大致可分为n语音特征提取、n声学模型与模式匹配、n语言模型与语义理解三部分。语

12、音识别系统组成-语音特征提取n语音特征提取 从语音信号中提取语音的特征，既可以获得语音的本质特征,也起到数据压缩的作用。输入的模拟语音信号首先要进行预处理，包括预滤波、采样和量化、加窗（边频衰减慢，频谱泄漏）、端点检测、预加重等。语音识别系统组成-声学模型 n声学模型 声学模型对应于语音到音节概率的计算。在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。目前采用的最广泛的建模技术是隐马尔科夫模型HMM建模和上下文相关建模。n隐马尔科夫模型HMM建模马尔可夫模型是一个离散时域有限状态自动机，隐马尔可夫模型HMM是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个

13、时刻的输出值。语音识别系统的组成-声学模型 n隐马尔科夫模型（Hidden Markov Model-HMM）建模语音识别中使用HMM通常是用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模，一个音素就是一个三至五状态的HMM，一个词就是构成词的多个音素的HMM串行起来构成的HMM，而连续语音识别的整个模型就是词和静音组合起来的HMM。语音识别系统的组成-声学模型 n上下文相关建模上下文相关建模方法在建模时考虑了协同发音的影响。协同发音是指一个音受前后相邻音的影响而发生变化，从发声机理上看就是人的发声器官在一个音转向另一个音时只能逐渐变化，从而使得后一个音的频谱与其他条件下的频谱产生差异

14、。语音识别系统的组成-声学模型 n上下文相关建模上下文相关模型能更准确地描述语音，只考虑前一音的影响的称为Bi-Phone，考虑前一音和后一音的影响的称为Tri-Phone。英语的上下文相关建模通常以音素为基元，由于有些音素对其后音素的影响是相似的，因而可以通过音素解码状态的聚类进行模型参数的共享。语音识别系统的组成-声学模型 4.5 笔交互技术n笔式输入具有连续性、使用笔的连续线条绘制可以产生字符、手势或者图形等特点。n其优点是便于携带，输入带宽信息量大，输入延迟小；n其缺点是翻译困难，再现精度低（用笔很难画出两条完全一样的线条）。n笔的应用还停留在鼠标的层次上n必须将笔式输入上升到界面软件

15、的高度。4.5 笔交互技术n手写识别技术是笔交互中的一种基本技术，目前已经嵌入到各种设备中，得到广泛应用。n手写体识别的方法和识别率取决于对手写约束的层次，这些约束主要是手写的类型、写字者的数量、词汇量的大小以及空间的布局。显然，约束越宽识别越困难。4.5 笔交互技术n手写识别技术是笔交互中的一种基本技术。脱机（Off-line离线）识别 机器对已经写好或印刷好的静态的语言文 本图像的识别。联机识别（On-line在线）用户一边写，机器一边进行识别，可实时人机交互n数字墨水技术1.联机手写识别n联机手写文字的识别过程通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析n系统通过记录文字图像抬

16、笔、落笔、笔迹上各像素的空间位置，以及各笔段之间的时间关系等信息，对这些信息进行处理。1.联机手写识别n在处理过程中，系统以一定的规则提取信息特征，n再由识别模块将信息特征与识别库的特征进行比较，加以识别。n最后转化为计算机所使用的文字代码n笔输入的识别特征库是基于许多人习惯的书写笔顺的统计特征建立的1.联机手写识别n联机手写文字的识别过程通常分为四个阶段：预处理、特征抽取、特征匹配和判别分析n联机手写识别技术的优点是不需专门学习与训练、不必记忆编码规则、安装后即可手写输入汉字，是最简单方便的输入方式。同时符合人的书写习惯，可以一面思考、一面书写，不会打断思维的连续性，是最自然的输入方式。可及

17、时反馈，及时纠错汉字手写输入板预处理模式表达(特征提取)判别(分类或句法分析)字典(特征模板集合或句法规则集合)汉字代码2.脱机手写识别脱机手写识别n脱机手写识别比印刷体汉字识别、联机手写体识别都要困难。n脱机手写识别得到的描述则是点阵图像，要得到笔段的点阵通常需要细化运算。n细化会损失一些信息，并且不可能得到时间顺序信息。2.脱机手写识别脱机手写识别n脱机识别中，笔画与笔画之间经常粘连，很难拆分，而且笔段经过与另一笔段交叉分成两段后，也难以分清是否应该连起来。汉字识别的方法n结构识别 大量的联机手写识别系统n统计识别n神经网络方法汉字识别的方法n结构识别结构识别方法的出发点是汉字的组成结构。

18、汉字是由笔划(点、横、竖、撇、捺等)、偏旁、部首构成，通过把复杂的汉字模式分解为简单的子模式直至基本模式元素，对子模式的判定以及基于符号运算的匹配算法，实现对复杂模式的识别。结构识别法的优点是区分相似字的能力强，缺点是抗干扰能力差。汉字识别的方法n统计识别统计识别方法是将汉字看为一个整体，其所有的特征是从整体上经过大量的统计而得到的，然后按照一定准则所确定的决策函数进行分类判决。统计识别的特点是抗干扰性强，缺点是细分能力较弱。汉字识别的方法n神经网络神经网络具有学习能力和快速并行实现的特点，因此可以通过神经网络分类器的推广能力准则和特征提取器的有效特征提取准则，对手写字符进行识别。n识别率是手

19、写汉字识别研究中最重要的环节，影响识别率的因素也是手写识别技术研究中的难点。影响汉字识别率的因素 n笔顺问题 书写习惯影响笔划的书写顺序，单纯通过串匹配进行识别难以达到理想效果。对汉字进行描述时，仅仅采用一维串也就显得不够，必须利用一些二维方法来描述，但其会极大地增加匹配的难度。影响汉字识别率的因素 n连笔问题 对于结构识别而言，连笔一方面使笔划种类大大增加，甚至达到难以归纳的程度；另一方面，连笔又使得笔段抽取难度大增，连笔会增加一些冗余笔段，连笔造成的畸变又会使笔段方向严重离散。n相似字区分 汉字种类繁多，很多汉字彼此之间非常相似，例如“己、已、巳”三个字相差只在细微之间。手写汉字的变形十分

20、严重，怎样能使识别系统抓住微小的差别，是一个非常值得研究的问题。影响汉字识别率的因素 n对抗干扰能力的要求书写时候，笔划的畸变、丢失，多余笔段(如笔锋)的插入，字的倾斜，部件间相对位置、大小的变化，经常出现，会造成基元提取和识别的错误。影响汉字识别率的因素 4.5.2 数字墨水技术n数字墨水是一种新的人机界面技术，它借鉴手写识别技术的同时，克服了它的许多局限性。n数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式与图像和文本格式都不同。n这种存储方式使得数字墨水文件的大小很小，从而可以更有效地进行存储。数字墨水的处理 n数字墨水的表示n压缩和显示n智能的墨水分析技术n墨水标记

21、和注解技术n墨水的智能操作n墨水存储n墨水搜索数字墨水的解析n墨水解析技术是数字墨水技术中的亮点，它可以将笔输入的文字串解析成单字，从而将复杂的语句级手写识别化繁为简，分解成语句解析和单字识别两个部分。数字墨水的解析n可以对记录下来的数字墨水进行结构化和深度分析，n分析目的不是要去解决“写的是什么字”，n而是要解决“到底在写什么，以及是如何写的”。数字墨水的保存格式n数字墨水可以用墨水格式保存（ink文件），用户不再需要利用其他Windows应用程序来把手绘、手写的笔迹转换为别的格式来保存、发送和编辑。n同样，由于Windows平台将数字墨水定义为基本数据类型之一，如同文本得到操作系统级的支持

22、一样，数字墨水在不同应用软件之间的交换也变得非常容易。n如在word、PPT文档中添加注释数字墨水的保存格式n数字墨水的数据格式比图像数据格式所占的空间小得多，n而且数字墨水记录的是结构化的信息，可以进行全文搜索。数字墨水的使用n当前，微软已实现了数字墨水技术对英文、德文、法文、韩文、日文、简体和繁体中文等语言的支持。nWindows XP Tablet PC Edition拥有强大而简单的数字化墨水控件和API，方便软件开发商将笔墨功能扩展到其现有和即将推出的软件中，就如同集成目前的键盘和鼠标一样简单。数字墨水的价值n它结合了个人电脑强大的计算处理能力以及纸的易用性。n它“还墨水以本色”，人类不再需要扭曲自己最自然的写作方式，在机器所设置的“行”或“框”中按机器的要求书写，而是随心所欲、随意勾画。n将成为许多崭新应用的底层支持，这些应用将把人类传统的手写和手绘发挥得淋漓尽致。