多媒体技术引论.pdf

第 1 章 引论 1 1 第1章 引论 随着科学技术的进步和人机界面技术的引入，计算机变得越来越友好和人性化。视听娱乐的普及、万维网的兴盛和计算机游戏的火爆，大大促进了多媒体技术的应用和发展。多媒体技术（multimedia technology）是利用计算机将文本、图形、图像、声音、动画、视频等多种媒体信息，进行处理和综合集成，以供人机交互使用的一个计算机应用分支。本章先引入多媒体技术的有关基本概念，然后介绍多媒体技术的意义与发展简史，最后讨论多媒体技术的主要内容与相关领域。1.1 基本概念 多媒体技术是多种媒体集成交互的一种技术：多媒体技术=多种+媒体+技术 下面分别从媒体、多样性和技术等层面来介绍多媒体的几个基本概念。1.1.1 媒体 媒体(medium，复数 media，中介、媒质)是信息的载体，国际电信联盟（ITU=International Telecommunication Union）1993 年定义了以下五种媒体：感觉媒体（Perception Medium）：人的感官能感觉到的东西，如声音、图像、质地、气味、温度、压力等；表示媒体（Representation Medium）：为了加工感觉媒体而构造出来的一种媒体，如各种编码：语音编码、图像编码等。即表示媒体是感觉媒体的数字化编码，是一种人造媒体，如各种媒体文件；展现媒体（Presentation Medium）：感觉媒体与通信电信号进行转换的一类媒体，它又可分为：输入展现媒体和输出展现媒体，即 I/O 工具与设备。如 In键盘、鼠标、话筒、数字照相机、数字摄像机、扫描仪等，Out显示器、喇叭、打印机、绘图仪等；存储媒体（Storage Medium）：用于存放表示媒体的物理实体，如：纸张、唱片、录音带、录像带、胶片，内存、磁盘、光盘、磁带等；传输媒体（Transmission Medium）：用来将表示媒体从一处传送到另一处的物理传输介质，如通信电缆、光纤、电磁空间、交通工具等。人们通常所说的媒体是指感觉媒体；但计算机所处理的媒体主要是表示媒体。我们这里不讨论广播电视、报刊杂志和新闻出版等社会媒体。多媒体技术与应用教程 2 2 1.1.2 多媒体 多媒体指多种媒体（文本、图形、图像、声音、动画、视频等）的综合集成与交互，也是多媒体技术的代名词。早期的计算机主要进行数字计算（这也是计算机这一名称的由来），只供极少数科学家使用；后来用于商业领域，开始处理字符和文字；随着微机、工作站和服务器的普及，计算机有了图形用户界面（GUI=Graphical User Interfaces）；而多媒体技术的发展，则使计算机日趋友好和人性化（参见图 1-1）。图 1-1 计算机技术的发展 操作系统：无 OS DOS/Unix MacOS/X-Window/Windows 编程语言：Fortran COBOL Basic/C C+/Java/C#处理数据：数字 字符 图形 多媒体 适用对象：专家 商用 通用 人性化 枯燥文字和数字并不适合于人的心理特点和欣赏习惯，人类主要通过眼睛和耳朵来接受外部的视觉与声音信息（参见表 1-1）。Ted Nelson（多媒体技术专家、HyperCard的创始人、超文本 HyperText 一词的提出者）曾说：“我们居身在媒体世界里就像鱼生活在水中”。表 1-1 人类接受外部信息的途径与所占的百分比 感觉（感官）百分比 视觉（眼）80%听觉（耳）10%嗅觉（鼻）、味觉（舌）、触觉（皮肤）10%（感觉）媒体的种类很多，由于技术和设备的限制，目前的计算机主要处理文本、图形、图像、声音、动画、视频等 6 种视觉和听觉媒体。气味（嗅觉）和压力（触觉）媒体也有少量应用（如仿真影院、游戏操纵杆、虚拟现实等），但不太普及；味觉媒体至今仍未见应用；所以本课程不予讨论。可以依据是否与时间相关，将媒体分成如下两类：静态媒体（离散媒体/非时基媒体）：与时间无关的媒体，如文本、图形、图像；流式媒体（连续媒体/时基媒体）：与时间有关的媒体，如声音、动画、视频。该类媒体有实时和同步等要求。1.1.3 多媒体技术 本小节先介绍多媒体所属的概念层次，然后讨论多媒体技术的特点，最后给出多媒体技术的定义。第 1 章 引论 3 3 1概念的抽象层次 可以把概念分成如下若干层次：图 1-2 概念的抽象层次 哲学/信念（社科）|科学/研究（理科）|工程/应用（工科）主义 思想 理论 方法 技术 工艺 产品 信仰 观念 体系 算法 应用 操作 生产 技术是方法的应用，理论性不够，但实用性很强。之所以将多媒体称为“多媒体技术”，而不是叫“多媒体学”或“多媒体论”，是因为多媒体处于技术层面，属于工程应用。目前，多媒体技术还没有形成自己的理论体系，只是各种相关方法的综合应用，属于计算机应用的一个分支。附：表 1-2 计算机的学科分类 类别 学科 理论 数值计算、离散数学、计算理论、程序理论 体系结构 计算机的分类与组织、系统结构、网络、RAS 技术、性能评价 软件 语言、软件方法学、软件工程、软件系统（操作系统/数据库系统/语言处理系统/分布式软件系统/人机交互系统）硬件 逻辑部件、集成电路、存储设备、I/O 设备、网络通信设备、电源、制造与维护 应用 中文信息处理、计算机图形学、数字图像处理、计算机辅助技术（CAD/CAM、CIMS/MRP、EDA、CAI 等）、多媒体技术、控制系统、信息系统、仿真 人工智能 知识工程、机器学习、模式识别、自然语言处理、机器人、神经计算 依据：计算机科学与技术百科全书，清华大学出版社，1998 年 8 月 2多媒体技术的主要特点 多媒体技术的主要特点为：(1)多样性：多种媒体、丰富感觉(2)集成性：多种媒体信息的综合集成与同步(3)交互性：人机交互、主动参与(4)实时性：对流式媒体，还要求有实时性在时间上连续且准时 例如：模拟电视合(1)(2)(4)，但不合(3)，所以不是多媒体系统；而数字电视符合所有 4 个要求，是多媒体系统。家庭影院是典型的多媒体系统；万维网和计算机游戏则是应用最广泛的多媒体技术。多媒体技术与应用教程 4 4 除了上面这些主要特点外，多媒体还有其它一些特点。例如：计算机处理的都是数字媒体，媒体（特别是流式媒体）的数据量巨大（所以数据压缩是多媒体的核心技术）。3多媒体技术的定义 多媒体技术至今无公认统一的严格定义，但可以从其特点来把握它。下面是作者将这些特点整合在一起所形成的一种定义，仅供大家参考。多媒体技术是一种能够综合处理多种媒体信息，建立起它们之间的逻辑联系，使其集成为一个具有人机交互性能力之系统的计算机应用技术。有时将多媒体技术简称为多媒体。1.2 意义与简史 可以从人类使用的三大资源、信息技术的四次飞跃和多媒体在现代信息环境中的地位、计算机技术的发展方向等方面，来认识多媒体技术的重要意义。多媒体是 GUI 的发展，多媒体技术以计算机为处理工具、以网络为应用中心、以压缩编码为技术核心，涉及声卡、光存储等相关技术。本节的第 2 小节将简单介绍这些方面的发展历史。1.2.1 多媒体技术的意义 多媒体技术目前已经得到了迅速普及和广泛应用，多媒体现在已经渗透到人们生活的方方面面，其重要性和使用价值是不言而喻的。我们可从如下几个方面来认识多媒体技术的意义：人类最重要的三大资源材料（物质）、能源（动力）、信息（数据）；信息技术的四次飞跃印刷术、广播电视、计算机、多媒体；多媒体与信息环境信息质能公式 E=mc2：信息环境 E=多媒体 m*计算机 c*通信 c Information Enviroment=multimedia*computer*comunication 计算机的发展方向：智能+多媒体+网络。例如，视频点播、网络游戏、虚拟现实、普适计算、穿戴电脑、智能家居、全能机器人等等；微软亚洲研究院的三个主要研究方向：人机界面、自然语言理解、多媒体技术，它们都与多媒体有关。1.2.2 多媒体技术的简史 下面从计算机、图形界面、光存储、多媒体系统、压缩编码标准、网络与标记语言等几个方面来介绍多媒体技术的发展简史：计算机：1944 年 Thomas Flowers 发明电子计算机 Colossus（巨人）；1974 年 Edward Roberts 组装第一台微机 Altair 牛郎星(Intel 8080)；1976 年 Steve Jobs&Steve Wozniak 推出 Apple 苹果电脑(Mostek 6502)；第 1 章 引论 5 5 1981 年 IBM 推出个人电脑 PC(Intel 8088)。图形界面：1950 年 MIT 的林肯实验室推出 CRT 显示器；1963 年 Douglas Engelbart 发明鼠标，1968 年他公开演示视窗与人机界面、超媒体和群件；1972 年 Alan Kay 设计出面向对象的 Smalltalk 语言，首创下拉式菜单，提出 GUI 概念；1973 年施乐 Xerox 公司的 PARC 研究中心推出具有图形用户界面（键盘+显示器/鼠标+位图）的原型机 Alto；1984 年 Apple 公司推出 Macintosh 计算机(Motorola 6800)，在微机中引入图形界面；1987 年 8 月 Apple 公司在 Mac 机中引入超级卡 HyperCard 系统，使其成为多媒体计算机；1985 年 MIT 推出 X-Window（Unix 的图形界面）；1985 年 11 月 Microsoft 推出 Windows 1.0（PC 机的图形界面），1990 年 5月 Windows 3.0 获得成功，1992 年 4 月推出多媒体操作系统(MOS)Windows 3.1，1995 年 8 月推出 32 位的 MOS Windows 95，1999 年推出具有流媒体功能的 MOS Windows 2000，2001 年推出功能强大的 MOS Windows XP，计划2007年初推出具有3D用户界面且以人为本的新操作系统Windows Vista（远景）。光存储：1981 年 Philips&Sony 推出 CD-DA；1985 年 Philips&Sony 推出 CD-ROM；1993 年 JVC、Philips、Matsushita、Sony 联合推出 VCD；1995 年 9 月 Sony&Philips/Toshiba&Time Warner 推出 DVD；1999 年 10 月中国开始研制高密度激光视盘系统 EVD，2005 年 2 月 23 日 EVD成为中国电子行业推荐性标准，EVD 采用 DVD-9 介质和新压缩算法，实现了高清晰度达 19201080i 的视频编码与重放；2002 年 2 月索尼等 9 个公司提出蓝光盘(Blu-ray Disc)，单层 25GB/双层50GB/四层 100GB/八层 200GB；2002年初以东芝和NEC为首的DVD论坛提出HD-DVD（High-Definition DVD，高密度 DVD），单层 15GB/双层 30GB/三层 45GB。网络与标记语言：1983 年因特网的前身 ARPANet 启用 TCP/IP 协议集；1989 年 Tim Berners-Lee 提出 HTML/HTTP，创立万维网；1994 年他又牵头成立万维网协会 W3C；1993 年初，Marc Anderressen 与 Eric Bina 合作开发出支持内嵌图像的网页浏览器马赛克（Mosaic），1994 年 10 月 Anderressen 等人创办的网景公司 Netscape 推出了 Navigator 浏览器；1995 年网景公司的 Brendan Eich发明了 JavaScript，为网页浏览器提供了脚本功能和动态能力；1995 年微软公司购得马赛克技术，并在此基础上开发出 IE（Internet Explorer 因特网探索者）浏览器，随 Windows 95 免费推出；1998 年 2 月 W3C 推出 XML；接着 W3C 又推出基于 XML 的系列应用标准，如SMIL(多媒体集成，1998 年 6 月)、XHTML（网页描述，2000 年 1 月）、SVG(二维矢量图与动画，2000 年 9 月)等等。多媒体系统与组织：多媒体技术与应用教程 6 6 1985 年 Commodore 公司推出世界上首套多媒体系统 Amiga；1986 年 4 月 Philips&Sony 推出多媒体系统 CD-I；1987 年 3 月 RCA 公司推出交互式数字视频 DVI 系统；1987 年由美国的 AdLib 公司为电子游戏软件设计了第一块微机使用的声卡；1989 年 11 月新加坡华人沈望傅的创新公司(Creative Lab.Inc.)开始推出声霸卡（Sound Blaster）系列，成为 PC 机的事实标准；1989 年 3月 Intel将购得DVI 技术商品化，推出 Action Media 750 系统（IBM PS/2 机）；1990 年 11 月 Philips、Sony、Microsoft 等 14 个公司成立多媒体市场协会；1991年11月Microsoft公布多媒体计算机MPC-I标准，1993年5月MPC-II，1995 年 6 月 MPC-III（MPC=传统 PC+声卡/喇叭+CD-ROM 光驱）；1993 年 8 月召开首届多媒体国际会议。压缩编码标准：1986 年 CCITT 与 ISO 成立 JPEG，1991 年公布静态图像压缩标准JPEG(ISO/IEC 10918)，2000 年 12 月公布 JPEG 2000(ISO/IEC 15444)；1988 年成立 MPEG，1992 年 11 月推出 MPEG-1(ISO/IEC 11172)，1994 年 11月推出MPEG-2(ISO/IEC 13818)，1998年10月推出MPEG-4(ISO/IEC 14496)，2001 年 9 月推出 MPEG-7(ISO/IEC 15938)，2001 年 12 月开始推出 MPEG-21(ISO/IEC 21000)；1996 年 10 月 W3C 推出静态图像编码标准 PNG。1.3 内容与相关学科 多媒体技术的内容十分广泛，涉及多种学科和领域。多媒体技术教材内容选取和编排也各不相同，主要分为两类：应用型简单介绍媒体的基本属性，重点讲解各种用户级的多媒体素材和著作工具软件的使用，如 Cool Edit、Cakewalk、Corel Draw、Photoshop、Flash、3DS、MediaStudio、Premiere、Frontpage、Dreamwave、Fireworks、PowerPoint、Director、Authorware 等；原理型也介绍各类媒体的基本属性和多媒体的主要应用，但重点放在压缩算法、编码标准、设备系统和编程开发上。本书属于原理型。1.3.1 多媒体技术的主要内容 原理型的多媒体技术书籍的取材也是千差万别，但基本内容大体一致，主要包括：表示 媒体（声、图形、图像、动画、视频）编码、压缩、标准 超文本与超媒体 存储（媒体文件、光存储）第 1 章 引论 7 7 系统 多媒体硬件 多媒体操作系统 多媒体数据库 多媒体网络传输 应用与开发 标记语言与网页设计 多媒体编程与开发 多媒体著作工具 多媒体应用 1.3.2 多媒体技术的相关学科 多媒体技术是多个学科和多种技术的综合与应用，涉及到许多其它学科。下面列出的是与多媒体技术相关的部分学科、领域与设备：计算机硬件与设备：CPU(MMX)、总线、DSP 芯片、显卡、声卡、接口、存储器 I/O 设备：显示器、鼠标、话筒、喇叭、绘图仪、扫描仪、数字相机、数字摄像机、触摸屏、手写笔、操纵杆、MIDI 键盘、数字眼镜、数字手套 计算机学科：体系结构、操作系统、程序设计、数据库、网络通信、图形学、图像处理、语音处理、计算机视觉、人机界面、Web 技术、人工智能、模式识别等 其他学科 数学：Fourie 变换、小波分析 物理：光学、声学 电子：无线电、通信、广播电视、信号处理、编码技术 心理学：视觉、听觉 标准：JPEG/MPEG、CD/VCD/DVD、RTP/RSVP、HTML/XML 其他：广播电视、新闻出版、音乐美术、图书管理、复习思考题 1.ITU 定义了哪五类媒体？通常所说的媒体是指其中的什么媒体？2.目前多媒体所能处理的有哪些具体媒体对象？它们被分为哪两类？3.多媒体技术的特点有哪些？为什么传统电视不是多媒体？举出几种常见的多媒体系统与设备。多媒体的发展涉及哪些关键技术与设备？4.2020年6月5日星期五17:22:20