2第一章 多媒体技术概述.ppt

第一章 多媒体技术概述【主要内容主要内容】1 11 1 基本概念基本概念1 12 2 多媒体系统的关键技术多媒体系统的关键技术1 13 3 多媒体计算机系统的组成多媒体计算机系统的组成 1 11 11 1 媒体、多媒体和多媒体技术媒体、多媒体和多媒体技术1 1、媒体、媒体 媒体媒体(Media)(Media)是指承载或传递信息的是指承载或传递信息的载体载体。报纸、书本、杂志报纸、书本、杂志 广播、电影、电视广播、电影、电视 其中有文字媒体，有声音媒体，有图像媒体，也其中有文字媒体，有声音媒体，有图像媒体，也有以文、图、声、像作为媒体有以文、图、声、像作为媒体(如电视如电视)。同样的信息，在不同领域中采用不同同样的信息，在不同领域中采用不同媒体形式媒体形式。1 11 1 基本概念基本概念 书刊书刊领域采用的媒体形式为文字、表格和图片领域采用的媒体形式为文字、表格和图片 绘画绘画领域采用的媒体形式是图形、文字或色彩领域采用的媒体形式是图形、文字或色彩 摄影摄影领域采用的媒体形式是静止图像、色彩领域采用的媒体形式是静止图像、色彩 电影电影、电视电视采用的是图像（静止或运动）、声音采用的是图像（静止或运动）、声音 计算机领域中采用的是数据、文本、图形和动计算机领域中采用的是数据、文本、图形和动画的媒体形式，这些媒体形式相当画的媒体形式，这些媒体形式相当“媒体语言媒体语言”的功能，每一种媒体语言都由各自的基本元素组的功能，每一种媒体语言都由各自的基本元素组成，遵循各自特有的规律。成，遵循各自特有的规律。以上所介绍的为传统媒体以上所介绍的为传统媒体2 2、多媒体、多媒体 多媒体一词译自英文多媒体一词译自英文Multi-mediaMulti-media。即即 “Multiple”Multiple”和和”Media”Media”，其核心词是，其核心词是媒体媒体。顾名思义，多媒体是多种媒体信息的载体，信顾名思义，多媒体是多种媒体信息的载体，信 息借助这些载体得以交流传播。息借助这些载体得以交流传播。在信息技术领域中，在信息技术领域中，多媒体多媒体是指文本、图形、是指文本、图形、图像、声音、影像等这些图像、声音、影像等这些“单一单一”媒体和计算机媒体和计算机程序融合在一起形成的信息媒体，其含义是指运程序融合在一起形成的信息媒体，其含义是指运用用存储存储与与存取存取技术得到的计算机中的数字信息。技术得到的计算机中的数字信息。介质：存储信息的实体，如磁盘、光盘、磁带、半导体存储器等。媒介：传递信息的载体，如数字、文字、声音、图形和图像等。媒体（medium）在计算机领域有两种含义：即介质和媒介。通常概念的“媒体”，可分为以下五种类型：（后叙）感觉媒体表示媒体显示媒体存储媒体传输媒体3 3、多媒体技术、多媒体技术 多媒体技术是与多媒体技术是与计算机技术计算机技术紧密联系的，由紧密联系的，由于计算机具有于计算机具有数字化数字化和和交互式处理交互式处理能力，可以把能力，可以把多媒体技术看成多媒体技术看成计算机技术计算机技术、通信技术通信技术融为一体融为一体的一种新技术。的一种新技术。多媒体多媒体技术就是将技术就是将文本文本、音频音频、图形图形、图像图像、动画动画和和视频视频等多种媒体信息通过等多种媒体信息通过计算机计算机进行进行数字数字化化采集、编码、存储、传输、处理和再现，综合采集、编码、存储、传输、处理和再现，综合处理多种媒体信息，组成具有交互性系统的技术。处理多种媒体信息，组成具有交互性系统的技术。多媒体计算机技术的定义：计算机综合处理多种媒体信息文本图形、图像、音频和视频，使多种信息建立逻辑连接，集成为一个系统并具有交互性。多媒体计算机技术的三个主要特性信息载体的多样性交互性集成性信息载体的多样性是相对于计算机而言的，即指信息媒体的多样性。多媒体就是要把计算机处理的信息多样化或多维化，从而改变计算机信息处理的单一模式，使人们能交互的处理多种信息。信息载体的多样性交互性多媒体的交互性是指用户可以与计算机的多种信息媒体进行交互操作从而为用户提供了更加有效地控制和使用信息的手段。集成性集成性是指以计算机为中心，综合处理多种信息媒体，它包括信息媒体的集成和处理这些媒体的设备的集成。信息媒体的集成包括信息的获取、多媒体信息的统一组织和存储、多媒体信息表现合成等方面。多媒体设备的集成包括硬件和软件两个方面。多媒体多媒体媒体元素媒体元素是指多媒体应用中可显示是指多媒体应用中可显示给用户的媒体给用户的媒体基本形式基本形式。音频动画视频文本图形图像1.1.2 1.1.2 常见媒体元素常见媒体元素1 1、文本文本(TextText)文本如文本如字母（汉字）、数字、符号字母（汉字）、数字、符号等，是计等，是计算机文字处理的基础。算机文字处理的基础。通过对文本显示方式的组织，多媒体应用系通过对文本显示方式的组织，多媒体应用系统可以使显示的信息更易于理解。统可以使显示的信息更易于理解。如如WordWord等编辑工具中所编辑的文本大都可被等编辑工具中所编辑的文本大都可被集成集成到多媒体应用设计之中，如制作图形的软件到多媒体应用设计之中，如制作图形的软件或多媒体编辑软件等。或多媒体编辑软件等。文本文件中，如果只有文本信息，没有其他任文本文件中，如果只有文本信息，没有其他任何有关格式的信息，则称为何有关格式的信息，则称为非格式化文本非格式化文本文件或文件或纯纯文本文本文件。文件。如如 “.TXT”文件文件 带有各种文本带有各种文本排版信息排版信息等等格式信息格式信息的文本文件的文本文件称为称为格式化文本格式化文本文件。文件。如如 “.DOC”文件文件 格式文本文件格式文本文件中带有段落格式、字体格式、中带有段落格式、字体格式、文章的编号、分栏、边框等格式信息。文章的编号、分栏、边框等格式信息。文本的文本的多样化多样化是指文字的是指文字的变化形态变化形态。即文本的即文本的 格式格式(Style)、定位定位(Align)字体字体(Font)、字的字的大小大小(Size)等等 2 2、图形、图形(GraphicGraphic)图形图形一般指计算机生成的各种一般指计算机生成的各种规则规则的的几何形状几何形状，如直线、圆、圆弧、矩形、任意曲线等几何图和如直线、圆、圆弧、矩形、任意曲线等几何图和统计图。统计图。图形的格式是一组描述点、线、面等几何图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置的指令集合。图形的大小、形状及其位置的指令集合。【例如例如】line(line(xlxl，y1y1，x2x2，y2y2，colorcolor)、Circle(xCircle(x，y,ry,r，color)color)分别是分别是绘制线段绘制线段 绘制圆绘制圆的指令。的指令。在图形文件中只记录生成图的算法和图上的在图形文件中只记录生成图的算法和图上的某些某些特征点特征点（轮廓轮廓），因此也称），因此也称矢量图矢量图。通过读取指令并将其转换为屏幕上所显示的形通过读取指令并将其转换为屏幕上所显示的形状和颜色而生成图形的软件通常称为状和颜色而生成图形的软件通常称为绘图软件绘图软件。在计算机还原输出时，相邻的在计算机还原输出时，相邻的特征点特征点之间用特之间用特定的诸多小段直线连接就形成曲线，若曲线是一定的诸多小段直线连接就形成曲线，若曲线是一条条封闭封闭的图形，也可用的图形，也可用着色算法着色算法来填充颜色。来填充颜色。【矢量矢量图形图形优点优点】可以分别控制处理图形中的各个可以分别控制处理图形中的各个组成元素组成元素。如在屏幕上移动、旋转、放大、缩小、扭曲而如在屏幕上移动、旋转、放大、缩小、扭曲而不失真（精度高）不失真（精度高），不同的物体还可在屏幕上，不同的物体还可在屏幕上重叠重叠并保持各自的特性，必要时仍可分开，因此，图形并保持各自的特性，必要时仍可分开，因此，图形主要用于表示线框型的图画、工程制图、美术字等。主要用于表示线框型的图画、工程制图、美术字等。绝大多数绝大多数CAD和三维造型软件都使用矢量图形和三维造型软件都使用矢量图形作为其基本的图形存储格式。作为其基本的图形存储格式。用于产生和编辑矢量图形的程序通常称为“draw ”程序。微机上常用的矢量图形文件有：“.3DS”（用于 3D 造型）、“.DXF”（用于CAD）、“.WMF”（用于桌面出版）等等。由于图形只保存算法和特征点，因此占用的存储空间很小。但显示时需经过重新计算，因而显示速度相对慢些。3 3、图像图像(I Image)mage)是指由输入设备捕捉的是指由输入设备捕捉的实际场景画面实际场景画面或以或以数字化形式存储的虚拟画面。数字化形式存储的虚拟画面。计算机可以处理的各种不规则的计算机可以处理的各种不规则的静态静态图片：图片：如：如：扫描仪扫描仪 数字照相机数字照相机 摄像机摄像机输入的彩色、黑白图片或照片输入的彩色、黑白图片或照片静止的图像是一个矩阵，阵列中的各项数字用来描述构成图像的各个点（称为像素点 pixel）的强度与颜色等信息。这种图像也称为位图（bit-mapped picture）。用于生成和编辑位图图像的软件通常称为“paint”程序。像文件在计算机中的存储格式有多种，如 BMP、PCX、TIF、TGA、GIF、JPG 等，一般数据量都较大。图像处理时要考虑三个因素：分辨率图像深度与显示深度图像文件大小分辨率屏幕分辨率：显示器屏幕上的最大显示 区域，即水平与垂直方向 的像素个数。图像分辨率：数字化图像的大小，即该 图像的水平与垂直方向的 像素个数。像素分辨率：像素的宽和高之比一般为 1:1。图像深度和显示深度图像深度（也称图像灰度、颜色深度）表示数字位图图像中每个像素上用于表示颜色的二进制数字位数。显示深度：表示显示器上每个点用于显示颜色的 2 进制数字位数。若显示器的显示深度小于数字图像的深度，就会使数字图像颜色的显示失真。颜色深度颜色总数图像名称12单色图像416索引16 色图像8256索引256 色图像1665536HIColor 图像2416672216True Color 图像颜色深度与显示的颜色数目图像文件大小一幅未经压缩的数字图像的数据量大小计算如下：图像数据量大小=像素总数图像色深8例如：一幅 640480 的 256 色图像为64048088=307200 字节 =300KBComparison:宽度：271高度：300颜色：2大小：9.9 KB宽度：271高度：300颜色：4大小：19.8 KBComparison:宽度：271高度：300颜色：256大小：79.4 KB宽度：271高度：300颜色：真彩色大小：238.2 KB 【图形图形与与图像图像的的区别区别】同样一幅图，例如一个圆同样一幅图，例如一个圆 若采用若采用图形图形媒体元素媒体元素，其数据记录的，其数据记录的信息信息是是:圆心坐标点圆心坐标点(x,y)(x,y)、半径半径r r颜色编码颜色编码 采用采用图像图像媒体元素媒体元素，其数据文件则记，其数据文件则记录录:所有所有像素点像素点在图像中的坐标值在图像中的坐标值每个像素点的颜色值每个像素点的颜色值 所以所以图形图形的的数据信息处理数据信息处理起来更起来更灵活灵活，而而图像图像数据则与数据则与实际场景实际场景更加接近。更加接近。【图形图形与与图像图像的的联系联系】在某种程度上，图形和图像可以在某种程度上，图形和图像可以互相转换互相转换。【例如例如】文字文字通过通过扫描仪扫描仪输入输入到计算机后，从图像到计算机后，从图像的角度来看，是的角度来看，是点阵图点阵图。在经过计算机自动识别（在经过计算机自动识别（OCROCR)文字或自动文字或自动跟踪出线条时，点阵图就可形成跟踪出线条时，点阵图就可形成矢量图矢量图。目前汉字手写的自动识别、图文混目前汉字手写的自动识别、图文混排的印刷自动识别、印鉴以及面部照片排的印刷自动识别、印鉴以及面部照片的自动识别等，也都是图像处理技术借的自动识别等，也都是图像处理技术借用了图形生成技术具体例子。用了图形生成技术具体例子。在计算机在计算机动画动画和和三维图形三维图形构造时又构造时又都采用了图像信息的描述方法，但其所都采用了图像信息的描述方法，但其所表示的是表示的是图形图形。4 4、音频音频(Audio)(Audio)多媒体信息中的音频信息增强了对其他类型多媒体信息中的音频信息增强了对其他类型媒体所表达的信息的理解。媒体所表达的信息的理解。音频音频常常作为常常作为音频信号音频信号或或声音声音的的同义词同义词，声，声音具有音具有音调音调、音强音强、音色音色三要素。三要素。音调音调与与频率频率有关，有关，音强音强与与幅度幅度有关，有关，音色音色由由混入混入基音基音的的泛音泛音所决定。所决定。声音主要分为声音主要分为波形波形声音、声音、语音语音和和音乐音乐。1 1）波形声音波形声音(.WAV)(.WAV)波形声音实际上包含了波形声音实际上包含了所有所有的声音形式。的声音形式。声音用一种声音用一种模拟模拟的连续波形表示。的连续波形表示。在计算机中，任何声音信号都要先对其进行在计算机中，任何声音信号都要先对其进行数字数字化化(可以把麦克风、磁带录音、无线电和电视广播、可以把麦克风、磁带录音、无线电和电视广播、激光唱盘等各种声源所产生的声音进行激光唱盘等各种声源所产生的声音进行数字化转换数字化转换)，计算机才能识别处理。，计算机才能识别处理。文件格式为文件格式为.WAV。2 2）语音语音(波形声音特殊形式）波形声音特殊形式）人说话声音常称为是一种特殊的媒体，但也是人说话声音常称为是一种特殊的媒体，但也是一种波形，这种波形还有内在的语言、语音学的一种波形，这种波形还有内在的语言、语音学的内涵，可以利用特殊的方法进行抽取，所以和波内涵，可以利用特殊的方法进行抽取，所以和波形声音的文件格式相同。形声音的文件格式相同。3 3）乐曲乐曲 音乐是音乐是符号化符号化了的声音，这种符号就是乐曲，了的声音，这种符号就是乐曲，乐谱是转化为符号媒体的声音。乐谱是转化为符号媒体的声音。MIDIMIDI是十分规范的是十分规范的音音乐设备的通的通讯协议，其常见的文件格式是，其常见的文件格式是.MID.MID或或.CMF.CMF文件。文件。【声音处理方式声音处理方式】声音的采集、数字化声音的采集、数字化 压缩解压缩压缩解压缩 编辑声音编辑声音 不同存储格式之间的转换不同存储格式之间的转换 5 5、动画动画(Animation)(Animation)动画是运动的图形或图像，实质是一幅幅静态动画是运动的图形或图像，实质是一幅幅静态图形或图像的连续播放。图形或图像的连续播放。【连续播放连续播放】既指既指时间时间上的连续，也指图像上的连续，也指图像内容内容上的连续，上的连续，即播放的相邻两幅图像之间内容相差不大。即播放的相邻两幅图像之间内容相差不大。【动画动画】人为制造（创作）的一组人为制造（创作）的一组“连续连续”的图形、图的图形、图象。象。【动画设计方法动画设计方法】造型动画造型动画 对每一个运动的物体分别进行设计，赋予对每一个运动的物体分别进行设计，赋予每个对象一些特征，如大小、形状、颜色等，每个对象一些特征，如大小、形状、颜色等，然后用这些对象构成完整的一帧画面。然后用这些对象构成完整的一帧画面。造型动画造型动画每帧由图形、声音、文字、调色板每帧由图形、声音、文字、调色板等造型元素组成，控制动画中每一帧中图元表等造型元素组成，控制动画中每一帧中图元表演和行为的是由制作表组成的演和行为的是由制作表组成的脚本脚本。帧动画帧动画 由一幅幅由一幅幅位图位图组成的连续的画面，就像电影胶组成的连续的画面，就像电影胶片或视频画面一样，要分别设计每个屏幕显示的片或视频画面一样，要分别设计每个屏幕显示的画面。画面。动画画面为动画画面为二维二维的的透视效果透视效果时，是二维动画；时，是二维动画；如果具有三维透视效果，就是三维动画。如果具有三维透视效果，就是三维动画。如果使三维动画具有真实的如果使三维动画具有真实的光照效果光照效果和和质感质感，就称为三维就称为三维真实感真实感动画。动画。6 6、视频视频(Video)(Video)若干有联系图像数据连续播放便形成了视若干有联系图像数据连续播放便形成了视频。频。视频图像视频图像一般指来自录像带、摄像机等一般指来自录像带、摄像机等视频信号源的影像，如录像带、影碟上的电视频信号源的影像，如录像带、影碟上的电影电视节目、摄像等。影电视节目、摄像等。视频标准主要有视频标准主要有NTSCNTSC制和制和PALPALNTSCNTSC 标准为标准为30fps30fps，每帧，每帧525525行行PAL PAL 标准为标准为25fps25fps，每帧，每帧625625行行 视频信号一般是标准的视频信号一般是标准的彩色全电视彩色全电视信号信号，要将其输入到计算机中，要进行：，要将其输入到计算机中，要进行：视频信号的视频信号的捕捉捕捉，将其实现由，将其实现由模拟模拟信号信号向向数字数字信号的信号的转换转换，压缩压缩和快速和快速解压缩解压缩及及播放播放的相应软硬件的相应软硬件处理设备配合。处理设备配合。根根据据国国际际电电信信联联盟盟电电信信标标准准局局ITU-TITU-T(原原国国际际电电报报电电话话咨咨询询委委员员会会CCITT)CCITT)建建议议的的定定义义，媒媒体体可可分分为下列五大类。为下列五大类。1 1、感觉媒体感觉媒体(Perception Medium)感觉媒体是指直接作用于人的感觉媒体是指直接作用于人的感官感官，使人能直，使人能直接产生感觉的一类媒体，如人们视觉、听觉、触接产生感觉的一类媒体，如人们视觉、听觉、触觉、嗅觉和味觉感觉到的各种客观存在。觉、嗅觉和味觉感觉到的各种客观存在。感觉媒体是计算机中处理的各种媒体的感觉媒体是计算机中处理的各种媒体的来源来源。11 13 3 媒体类型媒体类型 2 2、表示媒体表示媒体(Representation Medium)表表示示媒媒体体是是人人们们利利用用计计算算机机加加工工、处处理理和和传传输输感感觉觉媒媒体体而而人人为为构构造造出出来来的的一一种种媒媒体体，如如文文字字、音音频频、图图形形、图图像像、动动画画和和视视频频等等信信息息的的数字化编码数字化编码表示。表示。即即计算机中所描述的客观存在计算机中所描述的客观存在。借借助助于于表表示示媒媒体体，可可以以很很方方便便地地将将感感觉觉媒媒体从一个地方传输到另一个地方。体从一个地方传输到另一个地方。3 3、显示媒体显示媒体(Presentation Medium)显显示示媒媒体体是是指指表表示示媒媒体体传传输输中中的的电电信信号号与与感觉媒体之间转换所用的一类感觉媒体之间转换所用的一类硬件设备硬件设备。分为两种：分为两种：一一种种是是输输入入显显示示媒媒体体，如如键键盘盘、鼠鼠标标器器、话话筒和扫描仪等。筒和扫描仪等。另另一一种种是是输输出出显显示示媒媒体体，如如：显显示示器器、打打印印机、音箱和投影仪等。机、音箱和投影仪等。4 4、存储媒体存储媒体(Storage Medium)存存储储媒媒体体又又称称存存储储介介质质，用用来来存存放放表表示示媒媒体体，以以便便计计算算机机随随时时调调用用和和处处理理信信息息编编码码，如如磁磁盘盘、光盘和内存等。光盘和内存等。5 5、传输媒体传输媒体(Transmission Medium)传输媒体又称传输媒体又称传输介质传输介质，它是用来将媒体从，它是用来将媒体从一处传送到另一处的物理载体，一处传送到另一处的物理载体，如如双绞线、同双绞线、同轴电缆、光纤和无线传输介质等。轴电缆、光纤和无线传输介质等。1 1、多样性多样性 多多样样性性是是指指综综合合处处理理多多种种媒媒体体信信息息，包包括括文文本、音频、图形、图像、动画和视频等。本、音频、图形、图像、动画和视频等。2 2、集成性集成性 集集成成性性是是指指多多种种媒媒体体信信息息及及处处理理媒媒体体相相关关的设备的设备集成集成。3 3、交互性交互性 是是指指能能够够为为用用户户提提供供更更加加有有效效的的控控制制和和使使用信息的用信息的手段手段。11 14 4 多媒体技术基本特性多媒体技术基本特性【交互性交互性的的优点优点】增加用户对信息的注意和理解增加用户对信息的注意和理解 延长信息的保留时间延长信息的保留时间【交互层次交互层次】从数据库中从数据库中检索检索出多媒体资料，出多媒体资料，初级初级应用应用 用户用户介入介入到信息的处理过程中，到信息的处理过程中，中级中级阶段；阶段；用户用户决定决定所有媒体的组织、处理，所有媒体的组织、处理，高级高级阶段。阶段。4 4、实时性实时性 多多种种媒媒体体集集成成处处理理时时的的实实时时性性含含义义有有两两方面：方面：保证多种媒体的保证多种媒体的同步处理同步处理 保保证证处处理理过过程程在在规规定定时时间间的的范范围围内内完完成成 多多媒媒体体技技术术必必然然要要支支持持实实时时处处理理，如如视频会议系统和可视电话等。视频会议系统和可视电话等。本次课程小结：本次课程小结：媒体、多媒体和多媒体技术媒体、多媒体和多媒体技术媒体元素媒体元素（重点、难点）（重点、难点）媒体类型媒体类型（重点、难点）（重点、难点）多媒体技术基本特性多媒体技术基本特性1 12 21 1 多媒体数据压缩技术多媒体数据压缩技术 数数字字化化的的声声音音、图图像像和和视视频频的的数数据据量量是是非非常常巨巨大大的的。数数据据压压缩缩技技术术(包包括括算算法法及及实实现现视视频频及及音音频频压压缩缩、国国际际标标准准化化、专专用用芯芯片片等等)的的发发展展，使使得实时传输大容量的图像数据成为可能。得实时传输大容量的图像数据成为可能。【例子例子】一一幅幅静静态态640X480640X480分分辨辨率率RGB模模式式的的彩彩色色图图像像，数据量约为数据量约为7.37Mbit7.37Mbit。12 2 多媒体系统的关键技术多媒体系统的关键技术 640 X 480 X 3 X 8=7.3728Mbit 假假设设视视频频(运运动动图图像像)以以3030帧帧/秒秒的的速速度度播播放放，则则视视频频信信号号的的传传输输速速度度为为221.2Mbit/s221.2Mbit/s。如如果果存存放放于于650MB650MB光光盘盘中中，只只能能保保存存约约2323秒秒钟钟，由由此此可可见视频数字信号数据量大并且要求传输速度快。见视频数字信号数据量大并且要求传输速度快。总像素数 3基色/像素8bit/基色 PAL制式电视信号 25帧/秒NTSC制式电视信号 30帧/秒电影胶片 24帧/秒 对对于于音音频频信信号号，若若达达到到电电话话声声音音质质量量，采采样样速速率率8KHZ。若若达达到到高高保保真真(Hi-(Hi-FiFi)立立体体声声(即即CDCD音音质质)音音质质，则则每每秒秒采采样样速速率率为为44.1KHZ44.1KHZ，若若量量化化为为16bit16bit两两通通道道立立体体声声，则则650MB650MB光光盘盘只只能能存存放放1 1小小时时的的数数据据(44.1kHZ*l6bit/(44.1kHZ*l6bit/样样本本*2 2声声道道=1=14Mbit4Mbits)s)，其其传输速度为传输速度为1 14Mbit4Mbits s。视频视频和和音频音频信号数据量大，需要信号数据量大，需要较较大的存大的存储储空空间间，还还要求要求传输传输速度快速度快硬件技硬件技术术性能有限，成性能有限，成为计为计算机算机实时实时、有效、有效获获取和使用多媒体信息的瓶取和使用多媒体信息的瓶颈颈视频视频、音、音频频信号的信号的数据压缩数据压缩与与解压缩解压缩是多媒是多媒体的关体的关键键技技术术 多媒体网络通信要求能够多媒体网络通信要求能够综合综合的传输、交换各的传输、交换各种信息，而不同的信息类型又呈现出不同的需求种信息，而不同的信息类型又呈现出不同的需求特征。特征。如如语音语音和和视频视频有较强的有较强的实时性实时性要求，它允许出要求，它允许出现某些字节的现某些字节的错误错误，但，但不能容忍时间不能容忍时间上的上的延迟延迟；对于对于数据数据来说则可以来说则可以允许允许时间上的时间上的延迟延迟，却不允，却不允许出现任何内容的变化（许出现任何内容的变化（错误错误）。因为即便是一）。因为即便是一个字节出现错误都会改变数据的意义。个字节出现错误都会改变数据的意义。12 22 2多媒体网络通信技术多媒体网络通信技术 包括了包括了多媒体数据库技术多媒体数据库技术和和海量数据存储海量数据存储技术技术。多媒体数据库多媒体数据库的的特点特点是是数据类型复杂数据类型复杂、信信息量息量大。随着光盘存储技术的发展，极大的促进大。随着光盘存储技术的发展，极大的促进了大容量了大容量数据存储数据存储技术的进步。技术的进步。多媒体数据多媒体数据中的声音和视频图像，在很多中的声音和视频图像，在很多场合要求实时处理场合要求实时处理(压缩、传输、解压缩压缩、传输、解压缩)，同时，同时多媒体数据的查询、编辑、显示和演播都向多媒多媒体数据的查询、编辑、显示和演播都向多媒体数据库技术提出了更高的要求。体数据库技术提出了更高的要求。12 23 3 多媒体存储技术多媒体存储技术 专专用用芯芯片片不不仅仅集集成成度度高高，能能大大大大提提高高处处理理速速度，而且有利于产品的标准化。度，而且有利于产品的标准化。多多媒媒体体计计算算机机专专用用芯芯片片一一般般是是可可编编程程的的（DPS)DPS)，主主要要用用于于声声音音、图图像像数数据据的的压压缩缩处处理理，主主要要用用以以完完成成要要快快速速/实实时时地地完完成成视视频频和和音音频频信信息息的的压压缩缩和和解解压压缩缩，还还要要完完成成图图像像的的特特技技效效果果(如如淡淡入入淡淡出出、马马赛赛克克、改改变变比比例例等等)、图图像像处处理理(图图形形的的生生成成和和绘绘制制)、音音频频信信息息处处理理(滤滤波波和和抑抑制噪声制噪声)等各项功能。等各项功能。12 24 4 多媒体计算机专用芯片多媒体计算机专用芯片 多多媒媒体体输输入入/输输出出技技术术涉涉及及到到各各种种媒媒体体外外设设以以及及相关的接口技术，它包括相关的接口技术，它包括媒体转换媒体转换、识别识别等。等。1 1、媒体转换技术、媒体转换技术 是是指指改改变变媒媒体体的的表表现现形形式式，如如当当前前广广泛泛使使用用的的视频卡视频卡、音频卡音频卡都属于媒体转换设备。都属于媒体转换设备。2 2、媒体识别技术、媒体识别技术 是对信息进行一对一的是对信息进行一对一的映象过程映象过程。【例例如如】语语音音识识别别是是将将语语音音映映象象为为文文字字；触触摸摸屏是根据触摸屏上的位置识别用户操作要求。屏是根据触摸屏上的位置识别用户操作要求。12 25 5 多媒体输入输出技术多媒体输入输出技术 3 3、媒体理解技术、媒体理解技术 是是对对信信息息进进行行更更进进一一步步的的机机器器分分析析、处处理理，用用以以了了解解信信息息内内容容，如如自自然然语语言言理理解解、图图像像理理解、模式识别等（人工智能范畴）。解、模式识别等（人工智能范畴）。多媒体系统软件技术主要包括多媒体系统软件技术主要包括多媒体操多媒体操作系统作系统、多媒体数据库管理多媒体数据库管理技术。技术。当前微型计算机操作系统都包括了对多当前微型计算机操作系统都包括了对多媒体的支持，可以方便地利用媒体的支持，可以方便地利用媒体控制接口媒体控制接口(MCI)(MCI)和和底层应用程序接口底层应用程序接口(API)(API)进行应用开进行应用开发，开发者不必关心物理设备的结构和工作发，开发者不必关心物理设备的结构和工作原理。原理。12 26 6 多媒体系统软件技术多媒体系统软件技术 12 27 7 虚拟现实技术（虚拟现实技术（Virtual RealityVirtual Reality）虚拟现实的定义可归纳为：利用计算机技术生成的一个逼真的视觉、听觉触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。虚拟现实技术是在众多相关技术上发展起来的一个高度集成的技术，是计算机软硬件技术、传感技术、机器人技术、人工智能及心理学等飞速发展的结晶。多媒体计算机系统是一种复杂的硬件和软件有多媒体计算机系统是一种复杂的硬件和软件有机结合的综合系统。它把多媒体与计算机系统融机结合的综合系统。它把多媒体与计算机系统融合起来，并由计算机系统对各种媒体数据进行数合起来，并由计算机系统对各种媒体数据进行数字化处理。字化处理。由于目前开展多媒体应用的主流计算机是个人由于目前开展多媒体应用的主流计算机是个人计算机，所以多媒体计算机系统将围绕计算机，所以多媒体计算机系统将围绕多媒体个多媒体个人计算机人计算机，即，即MPCMPC(Multimedia Personal(Multimedia Personal Computer)Computer)展开讨论。展开讨论。13多媒体计算机系统的组成 1 1、MPCMPC系统体系结构系统体系结构 和和普普通通计计算算机机系系统统一一样样，多多媒媒体体计计算算机机系系统统也也是是由由多多媒媒体体硬硬件件系系统统和和多多媒媒体体软软件件系系统统两两大大部部分分组成。组成。13 31 1 MPC系统与技术标准系统与技术标准 1 1）硬件系统）硬件系统 多多媒媒体体个个人人计计算算机机工工作作环环境境的的硬硬件件系系统统组组成成是是由由计计算算机机主主机机、光光盘盘驱驱动动器器、输输入入输输出出设设备备、多媒体通信设备等组成。多媒体通信设备等组成。计算机主机计算机主机 输入设备输入设备 多多媒媒体体输输入入设设备备：如如话话筒筒、音音响响、语语音音输输入入等等声音输入设备；声音输入设备；图图像像输输入入设设备备：数数码码相相机机、图图像像扫扫描描仪仪、数数字字化仪、触摸屏等；化仪、触摸屏等；视频视频输入设备：影视录像、摄录机及光碟机等。输入设备：影视录像、摄录机及光碟机等。输出设备输出设备 多媒体输出设备还有投影仪、刻录机、音箱及多媒体输出设备还有投影仪、刻录机、音箱及 语言输出、绘图仪等。语言输出、绘图仪等。通信设备通信设备 随随着着网网络络技技术术和和多多媒媒体体通通信信技技术术的的发发展展，网网卡卡、ModemModem、传传真真机机、电电话话等等通通信信设设备备也也逐逐渐渐成成为为MPCMPC的多媒体配置。的多媒体配置。常用的常用的接口板卡接口板卡 为实现音、视频和图像信号的采集与处理，为实现音、视频和图像信号的采集与处理，音频卡、视频卡、等成为音频卡、视频卡、等成为MPC机必须的接口板机必须的接口板卡配置。卡配置。2）MPC的软件系统的软件系统 多媒体硬件和多媒体输入多媒体硬件和多媒体输入/输出设备是输出设备是MPC软件工作的基础，在此基础上软件工作的基础，在此基础上MPC软件软件支持环境可分为以下几个层次：支持环境可分为以下几个层次：多媒体系统软件多媒体系统软件 系系统统软软件件是是多多媒媒体体系系统统的的核核心心，它它不不仅仅具具有有综综合合使使用用各各种种媒媒体体、灵灵活活调调度度多多媒媒体体数数据据进进行行媒媒体体传传输输和和处处理理的的能能力力，而而且且能能控控制制各各种种媒媒体体硬硬件件设设备备协协调调地地工工作作，即即将将种种类类繁繁多多的的硬硬件件有有机机地地组组织织到到一一起起，使使用用户户能能灵灵活活控控制制多多媒媒体体硬硬件设备和组织、操作多媒体数据件设备和组织、操作多媒体数据。多媒体的各种软件要运行于多媒体操作系统平多媒体的各种软件要运行于多媒体操作系统平台台(如如Windows)Windows)上，故上，故操作系统平台操作系统平台是软件的核心。是软件的核心。多媒体系统软件除具有一般系统软件特点外，多媒体系统软件除具有一般系统软件特点外，还要反映多媒体技术的特点，如：还要反映多媒体技术的特点，如：数据压缩、媒数据压缩、媒体硬件接口的驱动与集成、新型的交互方式等体硬件接口的驱动与集成、新型的交互方式等。多媒体计算机系统主要的系统软件有：多媒体计算机系统主要的系统软件有：多媒体驱动程序多媒体驱动程序 多媒体驱动程序多媒体驱动程序(也称也称驱动模块驱动模块)是最底层硬是最底层硬件的软件支撑环境，直接与计算机硬件打交道，件的软件支撑环境，直接与计算机硬件打交道，完成设备初始化、各种设备操作、设备的打开和完成设备初始化、各种设备操作、设备的打开和关闭、基于硬件的压缩解压缩、图像快速变换关闭、基于硬件的压缩解压缩、图像快速变换及功能调用等。及功能调用等。通常驱动软件有视频子系统、音频子系统以通常驱动软件有视频子系统、音频子系统以及视频音频信号获取子系统等。一种多媒体硬及视频音频信号获取子系统等。一种多媒体硬件需要一个相应的驱动程序，驱动程序一般随硬件需要一个相应的驱动程序，驱动程序一般随硬件产品提供，它常驻内存。件产品提供，它常驻内存。驱动器接口程序驱动器接口程序 它是高层软件与驱动程序之间的接口软件，它是高层软件与驱动程序之间的接口软件，为高层软件建立虚拟设备。为高层软件建立虚拟设备。多媒体操作系统多媒体操作系统 实现多媒体环境下多任务的调度，保证音实现多媒体环境下多任务的调度，保证音频、视频同步控制及信息处理的实时性；提供频、视频同步控制及信息处理的实时性；提供多媒体信息的各种基本操作和管理；具有对设多媒体信息的各种基本操作和管理；具有对设备的相对独立性和可操作性。操作系统还应该备的相对独立性和可操作性。操作系统还应该具有独立于硬件设备和较强的可扩展能力。具有独立于硬件设备和较强的可扩展能力。媒体素材制作软件及多媒体库函数媒体素材制作软件及多媒体库函数 为多媒体应用程序进行数据准备的程序，为多媒体应用程序进行数据准备的程序，主要为主要为多媒体数据采集软件多媒体数据采集软件，其中包括数字化，其中包括数字化音频的录制和编辑软件、音频的录制和编辑软件、MIDIMIDI文件的录制和编文件的录制和编辑软件、图像扫描及预处理软件、全动态视频辑软件、图像扫描及预处理软件、全动态视频采集软件、动画生成和编辑软件等。采集软件、动画生成和编辑软件等。多媒体库函数多媒体库函数作为开发环境的工具库，可作为开发环境的工具库，可供设计者调用。供设计者调用。多媒体创作工具和开发环境多媒体创作工具和开发环境 多媒体创作工具和开发环境主要用于多媒体创作工具和开发环境主要用于编辑编辑生生成多媒体特定领域的应用软件，是多媒体设计成多媒体特定领域的应用软件，是多媒体设计人员在多媒体操作系统上进行开发的软件工具。人员在多媒体操作系统上进行开发的软件工具。多媒体创作工具能对多种媒体信息进行控多媒体创作工具能对多种媒体信息进行控制、管理和编辑，按用户要求生成多媒体应用制、管理和编辑，按用户要求生成多媒体应用程序。程序。多媒体应用软件多媒体应用软件（略）（略）多媒体应用软件是在多媒体创作平台上设计多媒体应用软件是在多媒体创作平台上设计开发的面向应用领域的软件系统，通常由应用领开发的面向应用领域的软件系统，通常由应用领域的专家和多媒体开发人员共同协作、配合完成。域的专家和多媒体开发人员共同协作、配合完成。开发人员利用开发平台、创作工具制作组织开发人员利用开发平台、创作工具制作组织各种多媒体素材，生成最终的多媒体应用程序，各种多媒体素材，生成最终的多媒体应用程序，并在应用中测试、完善，最终成为多媒体产品，并在应用中测试、完善，最终成为多媒体产品，例如各种多媒体教学系统、培训软件、声像俱全例如各种多媒体教学系统、培训软件、声像俱全的电子图书等。的电子图书等。2 2、MPCMPC系统技术标准系统技术标准（略）（略）19901990年年1111月月，在在MicrosoftMicrosoft公公司司的的主主持持下下，MicrosoftMicrosoft、IBMIBM、PhilipsPhilips、NECNEC等等1414家家著著名名厂厂商商和和较较大大的的多多媒媒体体计计算算机机公公司司成成立立了了“交交互互式式多多媒媒体体协协会会”IMA(Interactive IMA(Interactive Multimed