多媒体技术及其新发展.ppt

《多媒体技术及其新发展.ppt》由会员分享，可在线阅读，更多相关《多媒体技术及其新发展.ppt（58页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多媒体技术及其新发展 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望报告提纲报告提纲什么是多媒体什么是多媒体什么是多媒体什么是多媒体 语音处理技术语音处理技术语音处理技术语音处理技术图像、视频处理技术图像、视频处理技术图像、视频处理技术图像、视频处理技术 多媒体人机交互技术多媒体人机交互技术多媒体人机交互技术多媒体人机交互技术多媒体信息检索多媒体信息检索多媒体信息检索多媒体信息检索多媒体传输（流媒体和多媒体传输（流媒体和多媒体传输（流媒体和多媒体传输（流媒体和P2

2、PP2P）未来的发展未来的发展未来的发展未来的发展1一什么是多媒体一什么是多媒体 2什么是多媒体什么是多媒体1 1人类生活发生的变化人类生活发生的变化人类生活发生的变化人类生活发生的变化什么是多媒体什么是多媒体视听视听视听视听电视、电影：形式、渠道电视、电影：形式、渠道电视、电影：形式、渠道电视、电影：形式、渠道音乐：音乐：音乐：音乐：WalkmanWalkman、CD PlayerCD Player、MP3MP3存储存储存储存储通信手段通信手段通信手段通信手段电话：固定电话、移动电话、网络电话：固定电话、移动电话、网络电话：固定电话、移动电话、网络电话：固定电话、移动电话、网络文字：电报、文

3、字：电报、文字：电报、文字：电报、EmailEmail内容：文字、话音、视频内容：文字、话音、视频内容：文字、话音、视频内容：文字、话音、视频 学习方式学习方式学习方式学习方式图书馆、教室图书馆、教室图书馆、教室图书馆、教室电视教学、远程教学电视教学、远程教学电视教学、远程教学电视教学、远程教学32 2什么改变了我们的生活什么改变了我们的生活什么改变了我们的生活什么改变了我们的生活什么是多媒体什么是多媒体网络网络网络网络33.6K Modem33.6K Modem、ISDNISDN、ADSLADSLATMATM、IPIP有线网络、无线网络有线网络、无线网络有线网络、无线网络有线网络、无线网络计

4、算机计算机计算机计算机无硬盘计算机、无硬盘计算机、无硬盘计算机、无硬盘计算机、386386、486486、586586单核处理器、多核处理器单核处理器、多核处理器单核处理器、多核处理器单核处理器、多核处理器CRTCRT显示器、液晶、等离子体显示器、液晶、等离子体显示器、液晶、等离子体显示器、液晶、等离子体多媒体技术多媒体技术多媒体技术多媒体技术42 2什么是多媒体什么是多媒体什么是多媒体什么是多媒体什么是多媒体什么是多媒体“多媒体多媒体多媒体多媒体”译自译自译自译自20202020世纪世纪世纪世纪80808080年代初产生的英文词年代初产生的英文词年代初产生的英文词年代初产生的英文词“mult

5、imedia”“multimedia”“multimedia”“multimedia”，最早出现于美国麻省理工学院，最早出现于美国麻省理工学院，最早出现于美国麻省理工学院，最早出现于美国麻省理工学院(MIT)(MIT)(MIT)(MIT)递交给国防部的一个项目计划报告中。递交给国防部的一个项目计划报告中。递交给国防部的一个项目计划报告中。递交给国防部的一个项目计划报告中。多媒体多媒体多媒体多媒体是指信息表示媒体的多样化，常见的多媒是指信息表示媒体的多样化，常见的多媒是指信息表示媒体的多样化，常见的多媒是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动体有文字、图形、

6、图像、声音、音乐、视频、动体有文字、图形、图像、声音、音乐、视频、动体有文字、图形、图像、声音、音乐、视频、动画等多种形式。画等多种形式。画等多种形式。画等多种形式。多媒体技术多媒体技术多媒体技术多媒体技术是利用计算机技术把文本、声音、视是利用计算机技术把文本、声音、视是利用计算机技术把文本、声音、视是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，频、动画、图形和图像等多种媒体进行综合处理，频、动画、图形和图像等多种媒体进行综合处理，频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整使多种信息之间建立逻辑连接，集成为一个完整使多种

7、信息之间建立逻辑连接，集成为一个完整使多种信息之间建立逻辑连接，集成为一个完整的系统。的系统。的系统。的系统。二语音处理技术二语音处理技术5语音处理技术语音处理技术语音处理技术包括语音识别、说话人的鉴别和确认、语音处理技术包括语音识别、说话人的鉴别和确认、语种的鉴别和确认、关键词检测和确认、语音合成、语种的鉴别和确认、关键词检测和确认、语音合成、语音编码等，其中最具有挑战性和最富有应用前景语音编码等，其中最具有挑战性和最富有应用前景的是语音识别技术。的是语音识别技术。1 1声音的特点声音的特点声音的特点声音的特点 声音是重要的信息表现手段，自然科学家们关于声音的研究清楚声音是重要的信息表现手段

8、，自然科学家们关于声音的研究清楚声音是重要的信息表现手段，自然科学家们关于声音的研究清楚声音是重要的信息表现手段，自然科学家们关于声音的研究清楚地表明：地表明：地表明：地表明：“声音是弹性媒质中的一种机械扰动、弹性媒质包括固体、声音是弹性媒质中的一种机械扰动、弹性媒质包括固体、声音是弹性媒质中的一种机械扰动、弹性媒质包括固体、声音是弹性媒质中的一种机械扰动、弹性媒质包括固体、液体和气体。机械扰动是指媒质的某种性质液体和气体。机械扰动是指媒质的某种性质液体和气体。机械扰动是指媒质的某种性质液体和气体。机械扰动是指媒质的某种性质(譬如压力、质点位移或譬如压力、质点位移或譬如压力、质点位移或譬如压力

9、、质点位移或密度密度密度密度)发生了可以用仪器检测出来或者可被人听到的交替变化。发生了可以用仪器检测出来或者可被人听到的交替变化。发生了可以用仪器检测出来或者可被人听到的交替变化。发生了可以用仪器检测出来或者可被人听到的交替变化。”6语音处理技术语音处理技术2 2声音处理技术声音处理技术声音处理技术声音处理技术音频压缩技术音频压缩技术三维音效技术三维音效技术语音识别技术语音识别技术语音合成技术语音合成技术声音的特点声音的特点声音的特点声音的特点 声音是一种弹性波，声音信号可以分成周期信号与非周期信号两类。声音的质量与声音的频率范围有关。人的听觉器官能感知的频率范围为2020000Hz,能感知的

10、声音幅度范围在0120dB之间，而人的发音器官能够发出的声音频率范围为803,400Hz。语音处理技术语音处理技术1分钟数字音频信号需要的存储空间语音处理技术语音处理技术音频压缩技术音频压缩技术音频压缩技术音频压缩技术 音频文件格式音频文件格式音频文件格式音频文件格式主要用在主要用在PCPC上的以上的以.wav.wav为扩展名的文件格式为扩展名的文件格式主要用在主要用在UnixUnix工作站上的以工作站上的以.au.au为扩展名的文件格式为扩展名的文件格式主要用在苹果机和美国视算科技有限公司的工作站上的主要用在苹果机和美国视算科技有限公司的工作站上的以以.aiff.aiff和和.snd.snd

11、为扩展名的文件格式为扩展名的文件格式目前流行的格式目前流行的格式.rm.rm、.mp3.mp3、.wma.wma 语音压缩标准语音压缩标准语音压缩标准语音压缩标准G.711G.711G.711G.711、G.723.1G.723.1G.723.1G.723.1、GSMGSMGSMGSM、MPEG Audio Layer 3MPEG Audio Layer 3MPEG Audio Layer 3MPEG Audio Layer 3（MP3MP3MP3MP3）语音压缩技术语音压缩技术语音压缩技术语音压缩技术语音处理技术语音处理技术音频压缩技术音频压缩技术音频压缩技术音频压缩技术音频压缩技术指的是对

12、原始数字音频信号流（音频压缩技术指的是对原始数字音频信号流（PCMPCM编码）编码）运用适当的数字信号处理技术，在不损失有用信息量，或运用适当的数字信号处理技术，在不损失有用信息量，或所引入损失可忽略的条件下，降低（压缩）其码率，也称所引入损失可忽略的条件下，降低（压缩）其码率，也称为压缩编码。它必须具有相应的逆变换，称为解压缩或解为压缩编码。它必须具有相应的逆变换，称为解压缩或解码。音频信号在通过一个编解码系统后可能引入大量的噪码。音频信号在通过一个编解码系统后可能引入大量的噪声和一定的失真。声和一定的失真。研究发现，直接采用研究发现，直接采用PCMPCM码流进行存储和传输存在非常大码流进行

13、存储和传输存在非常大的冗余度。事实上，在无损的条件下对声音至少可进行的冗余度。事实上，在无损的条件下对声音至少可进行4:14:1压缩，即只用压缩，即只用2525的数字量保留所有的信息的数字量保留所有的信息语音处理技术语音处理技术MP3MP3音频压缩编码音频压缩编码音频压缩编码音频压缩编码 MP3是一种音频压缩的国际技术标准。是一种音频压缩的国际技术标准。MP3格式开始于格式开始于二十世纪二十世纪80年代中期，是在德国夫朗和费研究所年代中期，是在德国夫朗和费研究所（Fraunhofer Institute）开始的，研究致力于高质量、低数）开始的，研究致力于高质量、低数据率的声音编码据率的声音编码

14、MP3格式是一个让音乐界产生巨大震动的一个声音格式。格式是一个让音乐界产生巨大震动的一个声音格式。MP3的全称是的全称是Moving Picture Experts Group,Audio Layer 3，它所使用的技术是在，它所使用的技术是在VCD（MPEG-1）的音频）的音频压缩技术上发展出的第三代，而不是压缩技术上发展出的第三代，而不是MPEG-3。MP3的压缩率则高达的压缩率则高达10:112:1，也就是说一分钟，也就是说一分钟CD音音质的音乐未经压缩需要质的音乐未经压缩需要10MB存储空间，而经过存储空间，而经过MP3压缩压缩编码后只有编码后只有1MB左右，同时其音质基本保持不失真。

15、左右，同时其音质基本保持不失真。语音处理技术语音处理技术三维音效三维音效三维音效三维音效日常生活中，我们用两只耳朵来听东西，从各处音源中获日常生活中，我们用两只耳朵来听东西，从各处音源中获得信息，再通过人脑的计算来定位声音。计算机模拟人脑得信息，再通过人脑的计算来定位声音。计算机模拟人脑的的3D（三维）音效计算，通过数字音源播放出来，让我（三维）音效计算，通过数字音源播放出来，让我们感到自己处身于虚拟的世界。们感到自己处身于虚拟的世界。既然在现实世界中，我们可以用一双耳朵分辨出既然在现实世界中，我们可以用一双耳朵分辨出3D音场，音场，那么仅靠贴近耳朵的两只耳机也能实现近似效果。用两只那么仅靠贴

16、近耳朵的两只耳机也能实现近似效果。用两只扬声器也可以吗？扬声器也可以吗？语音处理技术语音处理技术三维音效三维音效三维音效三维音效人耳的基本声音定位原理是人耳的基本声音定位原理是IID（两侧声音强度差别）和（两侧声音强度差别）和ITD（两侧声音时间延迟差别）。（两侧声音时间延迟差别）。耳廓（外耳）的作用是滤波器，根据声音的不同角度，加耳廓（外耳）的作用是滤波器，根据声音的不同角度，加强强/减弱音波能量，过滤之后传给大脑，让我们更准确地减弱音波能量，过滤之后传给大脑，让我们更准确地确定声源的位置。确定声源的位置。许多时候，我们听到的声音并不是直线进入耳朵，而是通许多时候，我们听到的声音并不是直线进

17、入耳朵，而是通过了几次反射才进入大脑。在音波行进的过程中，音波能过了几次反射才进入大脑。在音波行进的过程中，音波能量会减弱，再加上反射造成的消音和延迟作用，声音已经量会减弱，再加上反射造成的消音和延迟作用，声音已经有了变化，这种反射混合起来的效果称为交互混响。有了变化，这种反射混合起来的效果称为交互混响。模拟模拟3D音效需要还原以上定位效果：音效需要还原以上定位效果：IID、ITD、耳廓、耳廓、反射，并分析不同角度声音发生的变化，通过计算机模拟反射，并分析不同角度声音发生的变化，通过计算机模拟合成来建立一种虚拟声音系统合成来建立一种虚拟声音系统-数字化音场。数字化音场。语音处理技术语音处理技术

18、3D3D音效的分类音效的分类音效的分类音效的分类 扩展式立体声扩展式立体声它使用声音延迟技术对传统的立体声进行额外处理，扩宽了音场的位它使用声音延迟技术对传统的立体声进行额外处理，扩宽了音场的位置，使声音延展到音箱以外的空间，让我们感觉的置，使声音延展到音箱以外的空间，让我们感觉的3D3D世界更广阔。世界更广阔。环绕立体声环绕立体声它采用音频压缩技术它采用音频压缩技术(如：杜比如：杜比AC-3)AC-3)把多通道音源编码成一段程序，把多通道音源编码成一段程序，再以一组多扬声器系统来进行解码，实现多区域环绕效果。这也是一再以一组多扬声器系统来进行解码，实现多区域环绕效果。这也是一种被动播放音轨的

19、技术，最适合于电影播放。种被动播放音轨的技术，最适合于电影播放。交互式交互式3D3D音效音效交互式交互式3D3D尽量地复制了人耳在真实世界中听到的声音，并使用一定的尽量地复制了人耳在真实世界中听到的声音，并使用一定的算法来播放出来，让我们感到整个三维空间的所有地方都可能产生声算法来播放出来，让我们感到整个三维空间的所有地方都可能产生声音，并随听者的移动而做出相应改变。它是最接近实际生活的音，并随听者的移动而做出相应改变。它是最接近实际生活的3D3D音效，音效，通常应用于第一人称通常应用于第一人称3D3D游戏。游戏。语音处理技术语音处理技术语音识别语音识别“让计算机能和人类自由交流让计算机能和人

20、类自由交流让计算机能和人类自由交流让计算机能和人类自由交流”一直是人们的梦想，语言一直是人们的梦想，语言一直是人们的梦想，语言一直是人们的梦想，语言是描述人类思维的工具之一，因此将人类语言和计算机联是描述人类思维的工具之一，因此将人类语言和计算机联是描述人类思维的工具之一，因此将人类语言和计算机联是描述人类思维的工具之一，因此将人类语言和计算机联系起来，应当是实现这一梦想的重要一步。系起来，应当是实现这一梦想的重要一步。系起来，应当是实现这一梦想的重要一步。系起来，应当是实现这一梦想的重要一步。语音识别技术是语音处理技术中最具有挑战性和最富有应语音识别技术是语音处理技术中最具有挑战性和最富有应

21、语音识别技术是语音处理技术中最具有挑战性和最富有应语音识别技术是语音处理技术中最具有挑战性和最富有应用前景的技术。用前景的技术。用前景的技术。用前景的技术。语音识别是一个多学科交叉的领域，它与声学、语音学、语音识别是一个多学科交叉的领域，它与声学、语音学、语音识别是一个多学科交叉的领域，它与声学、语音学、语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多语言学、数字信号处理理论、信息论、计算机科学等众多语言学、数字信号处理理论、信息论、计算机科学等众多语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。学科紧密相连。学科紧密相连。学

22、科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只由于语音信号的多样性和复杂性，目前的语音识别系统只由于语音信号的多样性和复杂性，目前的语音识别系统只由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用能在一定的限制条件下获得满意的性能，或者说只能应用能在一定的限制条件下获得满意的性能，或者说只能应用能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。语音识别系统的性能大致取决于于某些特定的场合。语音识别系统的性能大致取决于于某些特定的场合。语音识别系统的性能大致取决于于某些特定的场合。语音识别系统的性能大致取决于4

23、4 4 4类类类类因素：因素：因素：因素：1.1.1.1.识别词汇表的大小和语音的复杂性；识别词汇表的大小和语音的复杂性；识别词汇表的大小和语音的复杂性；识别词汇表的大小和语音的复杂性；2.2.2.2.语音信语音信语音信语音信号的质量；号的质量；号的质量；号的质量；3.3.3.3.单个说话人还是多说话人；单个说话人还是多说话人；单个说话人还是多说话人；单个说话人还是多说话人；4.4.4.4.硬件。硬件。硬件。硬件。语音处理技术语音处理技术语音识别系统的原理框图语音识别系统的原理框图语音识别系统的原理框图语音识别系统的原理框图 语音处理技术语音处理技术IBMIBM语音识别输入系统语音识别输入系统

24、 ViaVoice Pro 9.1 ViaVoice Pro 9.1该系统可用于声控打字和语音导航。只要对着微机讲话，该系统可用于声控打字和语音导航。只要对着微机讲话，不用敲键盘即可打汉字，每分钟可输入不用敲键盘即可打汉字，每分钟可输入150150个汉字，是键个汉字，是键盘输入的两倍，是普通手写输入的六倍。该系统识别率可盘输入的两倍，是普通手写输入的六倍。该系统识别率可达达95%95%以上。以上。IBMIBM潜心研究潜心研究2626年，领导了世界的语音识别技术，其语音年，领导了世界的语音识别技术，其语音识别产品在全球销售已达一百万套以上。识别产品在全球销售已达一百万套以上。语音处理技术语音处理

25、技术自然语言理解自然语言理解自然语言理解自然语言理解 自然语言理解自然语言理解(NLU，Natural Language Understanding)就就是研究如何能让计算机理解并生成人们日常所使用的是研究如何能让计算机理解并生成人们日常所使用的(如如汉语、英语汉语、英语)语言，使得计算机懂得自然语言的含义，并语言，使得计算机懂得自然语言的含义，并对人给计算机提出的问题，通过对话的方式，用自然语言对人给计算机提出的问题，通过对话的方式，用自然语言进行回答。进行回答。自然语言处理的核心技术是语言分析技术，即将句子（数自然语言处理的核心技术是语言分析技术，即将句子（数量无限）变换成由词语（数量可控

26、）及其抽象形式（数量量无限）变换成由词语（数量可控）及其抽象形式（数量有限）构成的用某种数据结构（句法树、复杂特征集或语有限）构成的用某种数据结构（句法树、复杂特征集或语义网络）表示的内部形式（数量有限）。义网络）表示的内部形式（数量有限）。语言分析可以划分为词法析、句法分析、语义分析、篇章语言分析可以划分为词法析、句法分析、语义分析、篇章分析等步骤。现在，词法分析和句法分析相对成熟，语义分析等步骤。现在，词法分析和句法分析相对成熟，语义分析逐渐成为研究重点。分析逐渐成为研究重点。语音处理技术语音处理技术语音合成语音合成语音合成语音合成语音合成是以言语产生模型为基础语音合成是以言语产生模型为基

27、础,分析抽取激励源分析抽取激励源,声道声道的特征参数；再利用这些特征参数重新综合出语音信号的的特征参数；再利用这些特征参数重新综合出语音信号的过程。过程。语音合成是通过一个声学模块来具体实现的。早期的语音语音合成是通过一个声学模块来具体实现的。早期的语音合成技术的研究，往往集中在语音合成算法本身，其研究合成技术的研究，往往集中在语音合成算法本身，其研究的方法和手段与语音编码有很多相似之处。其声学模型的的方法和手段与语音编码有很多相似之处。其声学模型的构筑，也多通过模拟人的口腔的声道特性来产生。构筑，也多通过模拟人的口腔的声道特性来产生。进入进入20世纪世纪90年代以来，波形拼接年代以来，波形拼

28、接(PSOLA，Pitch Synchronous OverLap Add)算法，越来越被广泛地应用算法，越来越被广泛地应用在语音合成系统中。在语音合成系统中。近年来，一些新的方法，如人工神经网络、决策树、隐马近年来，一些新的方法，如人工神经网络、决策树、隐马尔可夫模型等被广泛地应用于语音合成技术。这些方法的尔可夫模型等被广泛地应用于语音合成技术。这些方法的运用，彻底改变了汉语语音合成研究的研究重点，使汉语运用，彻底改变了汉语语音合成研究的研究重点，使汉语语音合成的研究突破了早期重点对单纯算法的研究，而变语音合成的研究突破了早期重点对单纯算法的研究，而变成一个系统工程的研究。成一个系统工程的研

29、究。语音处理技术语音处理技术TTSTTSTTS即文本语音转换技术(Text To Speech)，它涉及声学、语言学、数学信号处理技术、多媒体技术等多个学科技术，是中文信息处理领域的一项前沿技术，实现把计算机中任意出现的文字转换成自然流畅的语音输出。语音处理技术语音处理技术视觉语音视觉语音视觉语音视觉语音视觉语音是指人们在用语言交流时所表达出的面部表情和动作，它能在一定程度上传达人们想要表达的意思，并能帮助人们加深对语言的理解。研究表明，在环境噪声较大或听者有听力障碍的情况下，如果在给出声音信息的同时能给出一个“讲话的头”（talking head），即表现说话者面部表情和嘴部、眼部等变化情况

30、，则会大大改善人们对声音的理解。语音处理技术语音处理技术三图像、视频处理技术三图像、视频处理技术三图像、视频处理技术三图像、视频处理技术 5图像、视频处理技术图像、视频处理技术图像处理图像处理图像处理图像处理图像处理根据处理的程度和目的，可以分为三个层次：图图像处理根据处理的程度和目的，可以分为三个层次：图像处理、图像分析识别和图像理解像处理、图像分析识别和图像理解 图像、视频处理技术图像、视频处理技术图像处理图像处理图像处理图像处理图像编码格式：GIF，JPEG，PNG图像编码标准：JPEG、JPEG2000图像、视频处理技术图像、视频处理技术数字视频处理数字视频处理数字视频处理数字视频处理

31、数字视频含有丰富的内容，结构复杂，不同于传统的字符数字视频含有丰富的内容，结构复杂，不同于传统的字符型数据，主要表现在以下几个方面：型数据，主要表现在以下几个方面：视频数据量大：视频数据量大：一幅中等分辨率的图像一幅中等分辨率的图像(640*480)(640*480)，颜色为，颜色为24bit/24bit/象素，数字视频图像的数据量大约为象素，数字视频图像的数据量大约为1MB1MB，如播放速度每，如播放速度每秒秒3030帧，则帧，则1 1秒的数据量约为秒的数据量约为30MB30MB，一个，一个600MB600MB的硬盘也只能存放的硬盘也只能存放20s20s的动态图像的动态图像。视频数据内容的多

32、样性视频数据内容的多样性 视频数据解释的多样性和模糊性视频数据解释的多样性和模糊性视频数据结构复杂：视频数据结构复杂：视频数据既有空间属性又有时间属性。视频数据既有空间属性又有时间属性。图像、视频处理技术图像、视频处理技术数字视频处理数字视频处理数字视频处理数字视频处理数字视频是视频数据库存储的对象，为了从视频数据库中数字视频是视频数据库存储的对象，为了从视频数据库中方便地检索视频对象，数字视频均应以一定的结构存储。方便地检索视频对象，数字视频均应以一定的结构存储。如果视频信息仅以帧图像和视频流这两级存储，对视频内如果视频信息仅以帧图像和视频流这两级存储，对视频内容的检索是十分不便的。因此，通

33、常用帧、镜头、场景和容的检索是十分不便的。因此，通常用帧、镜头、场景和幕等描述把视频序列分层表示。幕等描述把视频序列分层表示。图像、视频处理技术图像、视频处理技术数字视频处理数字视频处理数字视频处理数字视频处理数字视频处理的主要研究内容包括视频编码压缩、镜头检测与分割、运动对象检测与分割等等。数字视频处理常用的算法：傅里叶变换傅里叶变换 小波变换小波变换 分形变换分形变换人工神经网络人工神经网络 图像、视频处理技术图像、视频处理技术视频编码压缩标准视频编码压缩标准视频编码压缩标准视频编码压缩标准H系列标准：系列标准：H.261、H.263、H.264MPEG系列标准：系列标准：MPEG1、MP

34、EG2、MPEG4图像、视频处理技术图像、视频处理技术四多媒体人机交互四多媒体人机交互四多媒体人机交互四多媒体人机交互 7多媒体人机交互多媒体人机交互人机交互的意义人机交互的意义传统的信息处理环境一直是传统的信息处理环境一直是“人适应计算机人适应计算机”，而当今的，而当今的目标或理念是要逐步使目标或理念是要逐步使“计算机适应人计算机适应人”，人们要求通过，人们要求通过视觉、听觉、触觉、嗅觉，以及形体、手势或口令，参与视觉、听觉、触觉、嗅觉，以及形体、手势或口令，参与到信息处理的环境中去，从而取得身临其境的体验。这种到信息处理的环境中去，从而取得身临其境的体验。这种信息处理系统已不再是建立在单维

35、的数字化空间上，而是信息处理系统已不再是建立在单维的数字化空间上，而是建立在一个多维的信息空间中。建立在一个多维的信息空间中。计算机包括了三个主要部分：人机信息交互、信息处理和计算机包括了三个主要部分：人机信息交互、信息处理和存储以及信息显示，其中存储以及信息显示，其中“信息处理和存储信息处理和存储”和和“信息展信息展示示”技术更新和发展的速度相当快。但人机交互技术多年技术更新和发展的速度相当快。但人机交互技术多年来并未有重大技术突破。来并未有重大技术突破。8多媒体人机交互多媒体人机交互人机交互的意义人机交互的意义计算机缺乏仿生的眼睛和耳朵，也没有从外部世界收集信计算机缺乏仿生的眼睛和耳朵，也

36、没有从外部世界收集信息所需的触觉、味觉和嗅觉。计算机没有语言能力，没有息所需的触觉、味觉和嗅觉。计算机没有语言能力，没有四肢，没有建立各种各样信息表达形式的能力，这就限制四肢，没有建立各种各样信息表达形式的能力，这就限制了人和计算机之间的信息沟通。因为通过多种渠道来沟通了人和计算机之间的信息沟通。因为通过多种渠道来沟通信息将更有效，例如手势和其它的人体动作伴随着语音可信息将更有效，例如手势和其它的人体动作伴随着语音可增强对语音的理解增强对语音的理解,眼光的接触在人际信息沟通中带有意眼光的接触在人际信息沟通中带有意义。义。在计算机系统中使用音频、视频、图形和动画等不只是常在计算机系统中使用音频、

37、视频、图形和动画等不只是常规计算机的扩充，而是试图将计算机开发成一台规计算机的扩充，而是试图将计算机开发成一台“通用机通用机器器”，使它能完整地理解人的需要，并和人沟通信息，因，使它能完整地理解人的需要，并和人沟通信息，因此一个易于使用的、形象直观的用户接口将极大地改善此一个易于使用的、形象直观的用户接口将极大地改善系统的可用性。系统的可用性。多媒体人机交互多媒体人机交互人机界面人机界面人机界面(HCI,Human-computer Interface)又称用户界面、人机交互人机接口等是人与计算机之间传递交换信息的媒介，是用户使用计算机系统的综合操作环境人机界面的设计在计算机系统设计中占有重要

38、地位。三维用户界面三维用户界面三维用户界面三维用户界面多媒体和超媒体界面多媒体和超媒体界面多媒体和超媒体界面多媒体和超媒体界面多通道交互界面多通道交互界面多通道交互界面多通道交互界面虚拟现实技术虚拟现实技术虚拟现实技术虚拟现实技术 多媒体人机交互多媒体人机交互多通道用户界面多通道用户界面 多通道人机界面技术基于视线跟踪、语音识别、多通道人机界面技术基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交通道，以并行、非

39、精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性互，旨在提高人机交互的自然性和高效性它代表了人机交互的一种新范式，与传统的图形它代表了人机交互的一种新范式，与传统的图形用户界面相比，能将互补的通道进行整合来获取用户界面相比，能将互补的通道进行整合来获取增强的混合，通道之间可以相互补充，克服彼此增强的混合，通道之间可以相互补充，克服彼此的缺陷的缺陷 多媒体人机交互多媒体人机交互多通道用户界面的主要研究内容多通道用户界面的主要研究内容 认知心理学认知心理学界面模型及描述方法界面模型及描述方法软件结构软件结构多通道整合多通道整合多通道的错误纠正机制多通道的错误纠正机制多媒体人机交互多媒

40、体人机交互三维人机交互技术三维人机交互技术 三维人机交互技术与传统的三维人机交互技术与传统的WIMP（Window，Icon，Menu，Pointer，窗口、图标、菜单和指，窗口、图标、菜单和指点装置）图形交互技术不同点装置）图形交互技术不同,它采用六自由度输它采用六自由度输入设备。入设备。所谓六自由度，指所谓六自由度，指X、Y、Z轴平移和绕轴平移和绕X、Y、Z轴旋转，而现在流行的用于桌面型图形界面的交轴旋转，而现在流行的用于桌面型图形界面的交互设备，如鼠标、轨迹球、触摸屏等只有两个自互设备，如鼠标、轨迹球、触摸屏等只有两个自由度（沿平面由度（沿平面X、Y轴平移）。轴平移）。多媒体人机交互多媒

41、体人机交互三维交互设备三维交互设备 目前三维交互设备还处于摸索阶段，还没有一种目前三维交互设备还处于摸索阶段，还没有一种输入装置像二维图形界面中的鼠标那样处于主流输入装置像二维图形界面中的鼠标那样处于主流地位。现有的三维设备中被广泛应用的主要有以地位。现有的三维设备中被广泛应用的主要有以下几种：下几种：浮动鼠标（浮动鼠标（Flying Mouse）：浮动鼠标类似于标准的）：浮动鼠标类似于标准的计算机鼠标，但当离开桌面后就成为一个六自由度探计算机鼠标，但当离开桌面后就成为一个六自由度探测器，大多数浮动鼠标器内部装有电磁探测器。测器，大多数浮动鼠标器内部装有电磁探测器。数据手套数据手套手持式操作器

42、（手持式操作器（WandWand）：类似于浮动鼠标，但没有鼠）：类似于浮动鼠标，但没有鼠标球，因此不能在桌面上滚动。标球，因此不能在桌面上滚动。力矩球：安装在一个小型的固定平台上，可以扭转、力矩球：安装在一个小型的固定平台上，可以扭转、压下的拉出、来回摇摆等。力矩球通常使用发光二极压下的拉出、来回摇摆等。力矩球通常使用发光二极管和光接收器进行测量。管和光接收器进行测量。多媒体人机交互多媒体人机交互人机交互中的视线跟踪技术人机交互中的视线跟踪技术视线跟踪技术早期主要应用于心理学研究视线跟踪技术早期主要应用于心理学研究视线跟踪技术早期主要应用于心理学研究视线跟踪技术早期主要应用于心理学研究(如阅如

43、阅如阅如阅读研究读研究读研究读研究)、助残等领域，后来才被应用于图像压、助残等领域，后来才被应用于图像压、助残等领域，后来才被应用于图像压、助残等领域，后来才被应用于图像压缩及人机交互技术。缩及人机交互技术。缩及人机交互技术。缩及人机交互技术。从理论上说，由于几乎所有的人机交互形式都离从理论上说，由于几乎所有的人机交互形式都离从理论上说，由于几乎所有的人机交互形式都离从理论上说，由于几乎所有的人机交互形式都离不开视觉介入，因此，当用户凝视其感兴趣的目不开视觉介入，因此，当用户凝视其感兴趣的目不开视觉介入，因此，当用户凝视其感兴趣的目不开视觉介入，因此，当用户凝视其感兴趣的目标时，如果系统能标时

44、，如果系统能标时，如果系统能标时，如果系统能“自动自动自动自动”将光标置于其上或触将光标置于其上或触将光标置于其上或触将光标置于其上或触发必要的动作，则比利用鼠标器等间接指点设备发必要的动作，则比利用鼠标器等间接指点设备发必要的动作，则比利用鼠标器等间接指点设备发必要的动作，则比利用鼠标器等间接指点设备甚至触屏这样的直接指点设备更为直接。甚至触屏这样的直接指点设备更为直接。甚至触屏这样的直接指点设备更为直接。甚至触屏这样的直接指点设备更为直接。多媒体人机交互多媒体人机交互人机交互中的视线跟踪技术人机交互中的视线跟踪技术 伺服机构半反射镜瞳孔摄像机光源红外滤光镜一种远距离视线跟踪系统原理图多媒体

45、人机交互多媒体人机交互基于手势的人机交互技术基于手势的人机交互技术 手势是人手或者手和臂结合所产生的各种姿势和手势是人手或者手和臂结合所产生的各种姿势和动作，它包括静态手势动作，它包括静态手势(指姿态，单个手形指姿态，单个手形)和动和动态手势态手势(指动作，由一系列姿态组成指动作，由一系列姿态组成)。静态手势对应空间里的一个点，而动态手势对应静态手势对应空间里的一个点，而动态手势对应着模型参数空间里的一条轨迹，需要使用随时间着模型参数空间里的一条轨迹，需要使用随时间变化的空间特征来表述。变化的空间特征来表述。手势和姿势手势和姿势(Posture)的主要区别在于，姿势更的主要区别在于，姿势更为强

46、调手和身体的形态和状态，而手势更为强调为强调手和身体的形态和状态，而手势更为强调手的运动。手的运动。多媒体人机交互多媒体人机交互基于手势的人机交互技术基于手势的人机交互技术手势逐渐成为人机界面中一种新颖的交互手段，手势逐渐成为人机界面中一种新颖的交互手段，研究手势识别的主要目的就是把手势这种既自然研究手势识别的主要目的就是把手势这种既自然又直观的交流方式引入人机接口中，实现更符合又直观的交流方式引入人机接口中，实现更符合人类行为习惯的人机接口。人类行为习惯的人机接口。手势识别还可用于虚拟现实、三维设计、临场感、手势识别还可用于虚拟现实、三维设计、临场感、可视化、医学研究、手语理解等领域可视化、

47、医学研究、手语理解等领域手势识别问题的解决方法对于表情识别、唇读、手势识别问题的解决方法对于表情识别、唇读、步态识别、时空纹理分类、视觉导航、图像拼接步态识别、时空纹理分类、视觉导航、图像拼接和基于内容的视频检索等研究都有直接推广的意和基于内容的视频检索等研究都有直接推广的意义。义。多媒体人机交互多媒体人机交互基于手势的人机交互技术基于手势的人机交互技术多媒体人机交互多媒体人机交互五多媒体信息检索五多媒体信息检索五多媒体信息检索五多媒体信息检索10多媒体信息检索多媒体信息检索查询语言查询语言查询语言是数据库系统极其重要的特性之一，是查询语言是数据库系统极其重要的特性之一，是鉴别一个数据库管理系

48、统成功与否的重要依据鉴别一个数据库管理系统成功与否的重要依据关键字查询关键字查询可视化查询可视化查询语义查询语义查询 多媒体信息检索多媒体信息检索全文检索技术全文检索技术所谓全文检索技术就是给定一个字符串或字符串所谓全文检索技术就是给定一个字符串或字符串的逻辑表达式，在全文数据库中进行相应的检索，的逻辑表达式，在全文数据库中进行相应的检索，查出与指定表达式相匹配的出现，并将这些出现查出与指定表达式相匹配的出现，并将这些出现的原文件作为检索结果返回给用户。的原文件作为检索结果返回给用户。当数据库数据量巨大时，实现快速的全文检索包当数据库数据量巨大时，实现快速的全文检索包括以下几个方面的技术问题：

49、括以下几个方面的技术问题：检索的快速响应检索的快速响应如何建立索引库如何建立索引库如何压缩索引数据如何压缩索引数据提供完整、丰富的检索操作手段提供完整、丰富的检索操作手段超文本处理超文本处理分布式网络文档的检索处理分布式网络文档的检索处理 多媒体信息检索多媒体信息检索Web信息检索信息检索 目前许多搜索引擎一般都使用传统信息检索算法和技术。目前许多搜索引擎一般都使用传统信息检索算法和技术。传统的信息检索算法主要是从相对少量和同构的文献集合传统的信息检索算法主要是从相对少量和同构的文献集合(如新闻、书目等如新闻、书目等)发展过来的。然而，发展过来的。然而，WebWeb上的信息具有上的信息具有巨量

50、的、异构的、非结构或半结构的、动态的、分布的等巨量的、异构的、非结构或半结构的、动态的、分布的等特点，对传统的信息检索技术提出了挑战。特点，对传统的信息检索技术提出了挑战。典型的搜索引擎由以下几个部分组成：爬行器典型的搜索引擎由以下几个部分组成：爬行器(或称为机器或称为机器人、蜘蛛等人、蜘蛛等)、索引生成器、查询检索器等三大模块。、索引生成器、查询检索器等三大模块。11多媒体信息检索多媒体信息检索基于内容的图像检索基于内容的图像检索 在图像检索系统中，传统的方法是基于文字或数值的信息在图像检索系统中，传统的方法是基于文字或数值的信息检索技术。在检索之前，人们要对图像数据库中的每幅图检索技术。在