第一章 多媒体概述.ppt

什么是多媒体?文字、声音、图形、音像、动画、视频各种已知或未知的信息载体都可称为媒体，多媒体实际上就是“多”种媒体的集成。多媒体技术：把文字、声音、图形、音像、动画、视频等多媒体信息通过计算机技术进行数字化采集、获取、压缩/解压缩、编辑、存储等加工处理，再以单独或合成形式表示出来的一种技术多媒体技术的主要特征（1）多样性 （2）交互性 人机交互能力是多媒体技术的重要特征（3）集成性 多媒体技术不仅集成了多种媒体，而且集成了计算机、通信、电视和其他音像处理等多种技术。1-1-常见的媒体元素名称说明文本指各种文字，包括各种字体、尺寸、格式及色彩的文本。图形和图像图形是指从点、线、面到三维空间的黑白或彩色几何图；图像是由像素点阵组成的画面。视频是图像数据的一种，若干有联系的图像数据连续播放便形成了视频。音频音频包括音乐语音和各种音响效果。动画是利用了人眼的视觉暂留特性，快速播放一连串静态图像，在人的视觉上产生平滑流畅的动态效果就是动画。二维计算机动画按生成的方法可以分为逐帧动画、关键帧动画和造型动画等几大类。常见的媒体常见的媒体元素u文本媒体文本媒体&文本（text）是使用最早的计算机媒体信息，又可区分为英文文本和中文文本。&文本信息可采用不同的字处理软件来制作。u图形与图像图形与图像图形&通常指几何图，主要用于线型图和工程画，例如建筑工程图和机械结构图等。&有二维（2-dimention，2D）与三维（3-dimention，3D）之分。图像&以“像素”（pixel）作为构成图像的最小元素，用灰度或色彩来显示图像的黑白或颜色。图形图形图形图形矢量图形对象矢量图形对象 通过计算而描述的矢量图形通过计算而描述的矢量图形通过计算而描述的矢量图形通过计算而描述的矢量图形图像图像图像图像位图图像对象位图图像对象 用像素点描述的自然影像用像素点描述的自然影像用像素点描述的自然影像用像素点描述的自然影像u声音媒体声音媒体&声音（sound）包括音乐（music）与语音（voice/speech），具有烘托气氛的效果。&存储数字音频信息的常用文件有WAV、MIDI和MP3等多种格式。u动画与视频图像动画与视频图像动画要求的速率为20帧/秒；电视要求的速率为2530帧/秒。动画&人工创造的连续图形；&多用于“卡通”（Cartoon，即动画片）；&也有二维（2D）与三维（3D）之分。动画动画动画动画多画面帧动画多画面帧动画多画面帧动画多画面帧动画单画面矢量动画单画面矢量动画单画面矢量动画单画面矢量动画FRAMEFRAME 01 01 FRAME FRAME 02 02 FRAME FRAME 0303 FRAME FRAME 04 04 FRAME FRAME 0505 FRAME FRAME 06 06 FRAME FRAME 0707单画面矢量动画、多画面帧动画单画面矢量动画、多画面帧动画单画面矢量动画、多画面帧动画单画面矢量动画、多画面帧动画视频图像&大都记录生活中的真实场景；&有三种常用的格式：AVI、MPEG和ASF；&采用的压缩标准：JPEG（缩小每帧图像的容量）和MPEG（动态压缩标准，在相邻的图像帧中去掉冗余的信息）。音频音频音频音频视频视频视频视频音频音频音频音频 +视频视频视频视频Audio Audio VedioVedio Information Information视频对象视频对象视频对象视频对象 ENDEND视频数字信号视频数字信号视频数字信号视频数字信号AVIAVI、压缩视频信号、压缩视频信号、压缩视频信号、压缩视频信号MPGMPG1-1-4 多媒体能做什么 1广告2展示系统3计算机游戏4教学系统5办公自动化和会议系统6交互式电视与视频点播多媒体技术的应用多媒体技术的应用形象教学形象教学形象教学形象教学仿真工艺过程仿真工艺过程仿真工艺过程仿真工艺过程模拟交互过程模拟交互过程模拟交互过程模拟交互过程电子教案、教学电子教案、教学电子教案、教学电子教案、教学网络多媒体教学网络多媒体教学网络多媒体教学网络多媒体教学生物形态模拟生物形态模拟生物形态模拟生物形态模拟生物智能模拟生物智能模拟生物智能模拟生物智能模拟人类行为智能模拟人类行为智能模拟人类行为智能模拟人类行为智能模拟电视电视电视电视/电影电影电影电影/卡通混编特技卡通混编特技卡通混编特技卡通混编特技三维成像模拟特技三维成像模拟特技三维成像模拟特技三维成像模拟特技演艺界演艺界演艺界演艺界MTVMTV特技制作特技制作特技制作特技制作仿真游戏、赌博游戏仿真游戏、赌博游戏仿真游戏、赌博游戏仿真游戏、赌博游戏风光重现风光重现风光重现风光重现风土人情介绍风土人情介绍风土人情介绍风土人情介绍服务项目服务项目服务项目服务项目InternetInternet国际互联网国际互联网国际互联网国际互联网网络多媒体技术网络多媒体技术网络多媒体技术网络多媒体技术网络远程诊断网络远程诊断网络远程诊断网络远程诊断网络远程操作网络远程操作网络远程操作网络远程操作 (手术手术手术手术)影视商业广告影视商业广告影视商业广告影视商业广告公共招贴广告公共招贴广告公共招贴广告公共招贴广告大型显示屏广告大型显示屏广告大型显示屏广告大型显示屏广告平面印刷广告平面印刷广告平面印刷广告平面印刷广告商业广告商业广告商业广告商业广告（特技合成、大型演示）（特技合成、大型演示）（特技合成、大型演示）（特技合成、大型演示）教育教育教育教育（形象教学、模拟展示）（形象教学、模拟展示）（形象教学、模拟展示）（形象教学、模拟展示）医疗医疗医疗医疗（远程诊断、远程手术）（远程诊断、远程手术）（远程诊断、远程手术）（远程诊断、远程手术）人工智能模拟人工智能模拟人工智能模拟人工智能模拟（生物、人类智能模拟）（生物、人类智能模拟）（生物、人类智能模拟）（生物、人类智能模拟）旅游旅游旅游旅游（景点介绍）（景点介绍）（景点介绍）（景点介绍）影视娱乐业影视娱乐业影视娱乐业影视娱乐业（电影特技、变形效果）（电影特技、变形效果）（电影特技、变形效果）（电影特技、变形效果）多媒体技术的应用多媒体技术的应用教学进程教学进程教学进程教学进程1.2 多媒体制作的软硬件环境u多媒体系统多媒体终端设备，多媒体网络设备，多媒体服务系统，多媒体软件和有关的多媒体数据组成的有机整体uMPC多媒体个人计算机u多媒体软件系统三个层次：多媒体核心软件、多媒体工具软件和多媒体应用软件1-2-1多媒体计算机的硬件&多媒体计算机的主要硬件除了常规的硬件如主机、软盘驱动器、硬盘驱动器、显示器、网卡之外，还要有音频信息处理硬件、视频信息处理硬件及光盘驱动器等部分。什么是多媒体电脑 功能较齐全的多媒体电脑比一般电脑增添了一些设备，如：u音频部分：声卡、音箱、录音设备、麦克风、MIDI合成器、耳机等。u图像部分：扫描仪、数码相机等。u视频部分：录像机、电视、采集卡、u输出设备：大容量存储器、彩色打印机、刻录设备2.2.多媒体接口卡多媒体接口卡（1）声卡 也称音频卡（2）音箱（3 3）视频卡视频卡3 3 多媒体外部设备多媒体外部设备u视频、音频输入设备视频、音频输入设备 1 1）扫描仪）扫描仪 2 2）数码相机与数码摄像机）数码相机与数码摄像机 u数码相机和数码摄像机1-2-2多媒体计算机的软件 u1多媒体核心软件&包括多媒体操作系统和音视频支持系统，或音视频核心，或媒体设备驱动程序等。u2多媒体工具软件&包括多媒体数据处理软件、多媒体软件工作平台、多媒体软件开发工具和多媒体数据库系统等。u3多媒体应用软件&它是综合运用多媒体工具软件而编辑的实用性多媒体软件系统，是最终用户使用的多媒体产品。1-2-3多媒体制作常用软件工具 多媒体应用范围经典软件举例图像处理Photoshop CorelDraw FireWorks AutoCAD音频处理Sound Forge Cool Edit GoldWave视频处理Premiere Personal AVI Editor VideoStudio动画制作ImageReady Animator 3DS MAX文字处理Word Wps多媒体合成Authorware Director Dreamweaver Flash多媒体程序设计语言Visual Basic媒体集成所需软件 Macromedia Director:当前最有影响的多媒体软件,如“开天辟地”等就是用其完成Macromedia Authorware凭其强大的功能，及易于操作而成为开发多媒体教学软件的首选。方正奥思、洪图则是我国开发的多媒体工具软件。程序员也许会喜欢用VB等语言作多媒体。素材选取加工所需软件u文字处理：officewps等u图形图像处理：photoshopcoreldraw等u声音处理：cooleditsoundforge、超级音频解霸等u影像处理：premiere等u动画处理：flash3dsmaximageready、cool3d等1-3-1 多媒体制作流程 1创作脚本2流程图3素材选取与加工4媒体集成5产品发布1-3-2 人机交互界面设计与屏幕设计 1界面设计原则&（1）用户原则&（2）信息最小量原则&（3）帮助和提示原则&（4）媒体最佳组合原则2屏幕设计原则&布局：屏幕布局因功能不同考虑的侧重点不同。各功能区要重点突出，功能明显。平 衡 原 则。预 期 原 则。经 济 原 则。顺 序 原 则。规则化原则。文字与用语：文字和用语除作为正文显示媒体出现外，还在设计题头、标题、提示信息、控制命令，会话等功能时展现。用语简洁性。文字格式。信息内容。1-3-2 人机交互界面设计与屏幕设计u颜色的使用限制同时显示的颜色数。画面中活动对象颜色应鲜明，而非活动对象应暗淡。尽量避免不兼容的颜色放在一起，如黄与蓝，红与绿等，若用颜色表示某种信息或对象属性，尽量用常规准则表示。创作脚本流程图素材选取加工媒体集成产品发布多媒体产品制作流程 本课程学习的内容1.4 多媒体数据压缩技术各种媒体信息数据量非常大，超过计算机的存储和处理能力u数据压缩原因：存在冗余和相关性 u数据压缩方法：无损压缩和有损压缩1-4-1数据为何能被压缩 u首先，数据中间常存在一些多余成分，既冗余度。比如下面的字符串：KKKKKKAAAAVVVVAAAAAA上面的字符串可以被编码为下面的形式：6K4A4V6Au其次，数据中间尤其是相邻的数据之间，常存在着相关性。因此，有可能利用某些变换来尽可能地去掉这些相关性。行程编码行程编码(Run Length Coding)是最简单、最古老的压缩技术之一，主要技术是是最简单、最古老的压缩技术之一，主要技术是检测重复的比特或字符序列，并用它们的出现次数取检测重复的比特或字符序列，并用它们的出现次数取而代之。该方法有两大模式：一是消零而代之。该方法有两大模式：一是消零(消空白消空白)，二是，二是行行(游游)程程(run length)编码。编码。消零消零(或消空白或消空白)法法 将数字中连续的将数字中连续的“0”或文本中连续的空白用一个标或文本中连续的空白用一个标识符识符(或特殊字符或特殊字符)后跟数字后跟数字N(连续连续“0”的个数的个数)来代替。来代替。如数字序列：如数字序列：742300000000000000000055742300000000000000000055 编码为：编码为：74237423Z18Z185555数据冗余的种类数据冗余的种类l空间冗余：在同一幅图像中，规则物体和规则背景的表面空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结果在数字化物理特性具有相关性，这些相关性的光成像结果在数字化图像中就表现为数据冗余。图像中就表现为数据冗余。l时间冗余：时间冗余反映在图像序列中就是相邻帧图像之时间冗余：时间冗余反映在图像序列中就是相邻帧图像之间有较大的相关性，一帧图像中的某物体或场景可以由其间有较大的相关性，一帧图像中的某物体或场景可以由其它帧图像中的物体或场景重构出来。音频的前后样值之间它帧图像中的物体或场景重构出来。音频的前后样值之间也同样有时间冗余。也同样有时间冗余。u图像数据存在大量的统计特征的重复，这种重复包括静态单图像数据存在大量的统计特征的重复，这种重复包括静态单帧图像数据在空间上的冗余和音频、视频数据在时间上的冗帧图像数据在空间上的冗余和音频、视频数据在时间上的冗余。余。u在动态图像序列中，前后两帧图像之间具有较大的相关性，在动态图像序列中，前后两帧图像之间具有较大的相关性，表现出帧与帧之间的重复，因而存在时间冗余。表现出帧与帧之间的重复，因而存在时间冗余。视觉冗余 人类的视觉系统实际上人类的视觉系统实际上只在一定程度上对图像的变只在一定程度上对图像的变化产生敏感，即图像数据中化产生敏感，即图像数据中存在着大量人类视觉觉察不存在着大量人类视觉觉察不到的细节。事实上，人类视到的细节。事实上，人类视觉系统的一般分辨力为觉系统的一般分辨力为6464灰灰度级，而一般图像量化采用度级，而一般图像量化采用的是的是256256灰度级，这类冗余灰度级，这类冗余称为视觉冗余。称为视觉冗余。256色标准图像转换成的灰度图 24比特标准图像转换成的灰度图 结构冗余 有些图像从大面积上或整体上看存在着重复出现的相同或相近的纹理结构，例如布纹图像和草席图像，被称为结构冗余。知识冗余 有许多图像的理解与图像所表现内容的基础知识(背景知识)有相当大的相关性，从这种知识出发可以归纳出图像的某种规律性变化，这类冗余称为知识冗余。知识冗余的一个典型例子是对人像的理解，比如，鼻子上方有眼睛，鼻子又在嘴的上方等。1-4-2无损压缩和有损压缩 u无损压缩&无损压缩利用数据的统计冗余进行压缩，可完全恢复原始数据而不引入任何失真，但压缩率受到数据统计冗余度的理论限制，一般为2:1到5:1。这类方法广泛用于文本数据、程序和特殊应用场合的图像数据（如指纹图像、医学图像等）的压缩。&经常使用的无损压缩方法有Shannon-Fano编码、Huffman编码、游程（Run-length）编码、LZW编码（LempelZivWelch）和算术编码等。1-4-2无损压缩和有损压缩u有损压缩&有损压缩方法利用了人类视觉对图像中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息；虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像的影响较小，却换来了大得多的压缩比。有损压缩广泛应用于语音、图像和视频数据的压缩。u压缩编码指标：1.压缩比要高2.压缩和解压缩要快，算法简单，硬件容易实现3.解压缩图象质量要好1-4-3多媒体数据压缩标准 u目前已公布的数据压缩标准有：&用于静止图像压缩的JPEG标准；&用于视频和音频编码的MPEG系列标准；&用于视频和音频通信的H.261、H.263标准；&用于二值图像编码的JBIG标准等。1-5 多媒体技术的发展趋势 u智能化&多媒体有关图像信息处理技术的研究，已经不再是停留在信号特征这一级，而是发展到了对于图像内容的理解，这对于提高图像信息在网络上的传输速度和提高压缩效率非常重要。u三维化&如今多媒体技术的研究就是要将计算机视觉技术和图形学技术的内容结合起来，即所谓的增强现实技术。&这样做可以将诸如视频会议系统的现场图像和计算机生成的图像叠加在一起，使多媒体的应用效果产生极大的改观，应用范围也随之发生新的拓展。