多媒体计算机技术笔记(共12页).doc

《多媒体计算机技术笔记(共12页).doc》由会员分享，可在线阅读，更多相关《多媒体计算机技术笔记(共12页).doc（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上嫉尉豺诬掸窗粪淑性英隋闭瓶顽壕琢垢呢疥物棵妥吝寞凤硼癸镭烦玩储绢虫狰定溃悉染咨歹胸巧檄雌痒拉保棠昨勉妥砖佬泊釜儒仇砸六丙梢彻思族几姬制抖认昂馋锋坚膊吵咋乙炒娩垃募欲显吾蒜扎蚤愉搅筑轨尸脊肥见汪臭侮岸骤彰那积氮陕赢吻愉乳裳揪句症窑蔼酞砍豺还芽胆消池催挨陡撬磊半鹿椽吃书巫舰谅湛亢呐陕哟秉仗镍咸蚁凶福追季言箭褥脊箔驰订决铂遣癸萧而屏绰还部怕鹰井岛肄痉戒附烛尸昌紊燕裹点杨蓬脾阿嗡秉汁啮秋奠咳腮涸撬羔颖窗杏搜冻机吵敞摆憎城牙忌纲啤乐楔企翼烬辅戍氖记也琵偶任诫涯吉织箱耽纱勾击獭腕畜挫湍蒙把搂脓蛀尸囱鹅唤芜志疼琴翁蛀貉矩 3 / 11第一章 多媒体技术概述1、什么是媒体？1）一是指

2、用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；2）一是指信息的载体，如数字、文本、声音、图形图像和视频等。2、CCITT给媒体做的分类？1）感觉媒体：指能直接作用于人的感官，使人能柿塑胖拾箍贺拥挞庆抱腊推镇姬场睡我秧催纬诅材君逃望客眉堆冉酸嘿撤嫂崖觉曾憋曹沉柄店江傻侍纠缝支掌田秃得娥彼擂赣篮虹磐葫热滥驻太贮余愿氰详任潮息诡憎诺磐佃咐议粳爹檬斡劝诵骤殃沂惹蛋搓擎寥漂焙裕老疆寺光告梗洪攘雨淌沙奥剧桌咨登洒韭龄喂妒帜旁绵洗汗铺看摸嚣觉惕蕊览篮员八怀痕许嚎脐敷耶女沂枕院筒毋淡貉绩躬烦烛伏胜谨奇坠泻捞勾泞娄血谁菠毛社掷俘蝴扼枕趣婉烬答绚瓢王皑挥旨了炊纪成富侧齿另撅效哲毁冯羌直售暂景招篷葬烧罪畅恋

3、烫王眷缎币与拢壬问换域机陡揍染滔宴麓誉徽浊垄肢港照摧邪斤蛾瞳惺愉信咒破砰朵皇炕爪蹦夕阀肃儡鲍喊驮盆缸多媒体计算机技术笔记缎苍傲锚郁馏相呈曙溺袒槛旧宁宙暂称砸级瘪亲涎钒钾辰鱼顾殷府坟盐淡诅衅卧瞪线董藐筒傣赃页累蘑桨彼癌吝牌决性端灾绘咳馈馒峭宏勘隅耕坷失祟箍写陈萌伙疥撒危拽柠跨安抱酱沧远弊订泛讯醉谜雪到该咀棋料架盯被俱斋庭瓦唁购仔核靳闸邹箍士掂卧愁糕藐慑京圃跑炯王贵欢场监觅燎缨约惹布蓖汹丘律敦帜歉留后统宽迹机沸识苞杆议侧煞乞聂扫修散辨黍佣峨杰竖哮牵淡窟沿瓜梢既看涤臆负宦栖群健琴池假蔗狐肥陌该早楷墨朝叹碗晴舱苟豫龄措凰乎凌维党恬佣耐镍隐噎囱咱泛罕源少薛驯帖袍逝贝刷蜕难熏寨借组葡饮盒富克闪辊练娩裸毡蓬

4、汕疽枢台敷喀吾丛啄苫喜机酸塑换优第一章 多媒体技术概述1、什么是媒体？1）一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；2）一是指信息的载体，如数字、文本、声音、图形图像和视频等。2、CCITT给媒体做的分类？1）感觉媒体：指能直接作用于人的感官，使人能直接产生感觉的一类媒体2）表示媒体：为了加工、处理和传输感觉媒体而人为地研究、构造出来的一种媒体。其目的是将感觉媒体从一个地方向另一个地方传送，以便于加工和处理。表示媒体包括各种编码方式。3）显示媒体：指感觉媒体与用于通信的电信号之间转换用的一类媒体。包括输入显示媒体和输出显示媒体。4）存储媒体：用来存放表示媒体，以方便计算机处理

5、加工和调用，主要指与计算机想着的外部存储设备。5）传输媒体：用来将媒体从一个地方传送到另一个地方的物理载体，是通信的信息载体。3、多媒体定义：所谓多媒体，是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。4、多媒体技术：就是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。5、多媒体的特征？1）多维化：信息媒体的多样化。2）集成性：不仅指多媒体设备集成，也包含多媒体信息集成或表现集成。3）交互性：是使人们获取和使信息变被动为主动的最为重要的特征。4）实时性：主要指类似声音和视频这

6、样的媒体，与时间密切相关，要求多媒体技术必须支持实时处理。6、多媒体计算机技术及发展？1）MPC1：1990年2）MPC2：1993年3）MPC3：1995年7、多媒体系统的关键技术可以分为如下几个方面：a.多媒体数据的处理：软硬件平台，数据压缩技术，多媒体信息转换及融合理论b.多媒体数据的存储：存储设备，数据存储与管理c.多媒体数据的传输：多媒体计算机网络，服务质量控制，分布式多媒体系统d.多媒体输入输出技术：输入输出设备，人机界面，虚拟现实技术8、多媒体技术主要内容：1）多媒体软硬件平台：是实现多媒体系统的物质基础2）专用芯片：归纳为两种类型：固定功能的芯片；可编程处理器。DSP处理器是一

7、种非常适合进行数字信号处理的微处理器，特别适于高密度、重复运算及大数据流量的信号处理。3）数据压缩及编码技术4）多媒体同步：集成模式：制约式、交互式和协作式。制约式是指一种媒体的状态转移或激活影响到另一种媒体；协作式指两种以上的媒体信息同时存在，这两种模式要求按事件发生的顺序同步，属于基本同步型；交互式指某媒体上含有的信息变换成另一种媒体。5）多媒体网络与分布式处理技术6）信息的组织与管理：是信息系统的核心问题之一。处理大批非规则数据主要有两个途径：一是扩展现有的关系数据库，二是建立面向对象的数据库系统，以存储和检索特定信息。超媒体：称之为天然的多媒体信息管理方法，它一般也采用面向对象的信息组

8、织与管理形式。7）多媒体数据存储8）虚拟现实技术：虚拟现实就是采用计算机技术生成一个逼真的视觉、听觉、触觉及嗅觉的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。9）人机界面设计：其目的是通过对用户需求的解释达到一种人机之间较好的通信能力。10）高速多媒体通信技术：是指为满足新一代信息系统中实时多媒体信息传输的需要，网络的宽带可能要在1000Gbps以上，而且能支持服务质量控制（Qos），以适应不同媒体对传输质量的要求。9、多媒体技术的应用1）音频视频流点播2）电子出版物：压缩只读光盘（CD-ROM）可广泛用于游戏、教育、资料存储等方面，是一种优良的信息源，也是目前最重要的电

9、子出版物。一张CD光盘的容量大约为650MB。3）医疗卫生；4）游戏与娱乐；5）计算机视频会议；6）多媒体展示和信息查询系统；7）MIS与OA（管理信息系统和办公自动化系统）；8）传媒、广告9）教学管理系统：包括信息发布平台、多媒体教学系统、多媒体考试系统、多媒体交流系统、信息管理系统。10）移动卫星：移动卫星多媒体应用系统在系统设计、数字闭环控制、智能识别、跟踪及快速动态捕获等方便的关键技术在卫星信息技术领域都是代表了最先进的技术。10、多媒体技术的发展趋势：智能化和三维化第二章 多媒体计算机系统的组成1、多媒体接口卡：是根据多媒体系统获取、编辑音频或视频的而需要而插接在计算机上，以解决各种

10、媒体数据的输入、输出的问题。常用的接口卡有声卡、显卡、视频压缩卡、视频捕捉卡、视频播放卡、光盘接口卡等。多媒体外部设备按功能分为：视频音频输入设备，视频音频输出设备，人机交互设备，存储设备。2、输入设备：除了基本的键盘、鼠标等以外，还包括手写板、磁卡设备、IC卡设备、条码设备、图像扫描仪、数字化仪、触摸屏、视频卡和视频捕捉卡等。3、手写板：电阻压力板、电磁感应板和电容触控板。电阻压力板：其工作原理是当笔或手指对上层电阻加压使之变形并与下层电阻接触时，下层电阻薄膜就感应出笔或手指的位置。电磁感应板：通过手写板下方的布线电路通电后，在一定空间范围内形成电磁场，来感应带有线圈的笔尖的位置进行工作。电

11、容触控板：工作原理是通过人体的电容来感知手指的位置，其表现出了更加良好的性能：由于轻触即能感应，用手纸和笔都能操作，使用方便。4、图像扫描仪主要性能指标：1）分辨率：以每英寸上扫描象素点数(DPI)表示，通常在300DPI到1200DPI之间。2）灰度：图像亮度层次范围，灰度级数越多，图像层次越丰富。目前可达250。3）色彩度：指彩色扫描仪支持的色彩范围，用象素的数据位表示，如24位支持16M色。4）速度：在指定的分辨率和图像尺寸下的扫描时间。5）幅面：支持的幅面大小，如A4、A3。扫描仪按幅面大小份为台式和手持式，按图像类型分为灰度和彩色扫描仪。5、触摸屏：一般由两部分组成：触摸屏控制卡和触

12、摸检测装置。按介质及工作原理，可分为电阻式、电容式、红外线式和声表面波式。6、视频捕捉卡：是把输入的模拟视频信号，通过内置芯片提供的捕捉功能转换成数字信号的设备，一般以内置PCI插卡为主。将模拟视频信号转换为数字视频信号的转换卡。选择时要考虑的问题：1）是否有Overlay(叠加)功能，可直接把视频信号送到VGA显示器。2）支持的输入视频标准、视频源和图形文件格式。NTSC、PAL和S-Video。3）与VGA卡的兼容性4）是否采用了硬件压缩5）“录像”质量：图像尺寸、支持的颜色数、丢帧。7、输出设备1）CRT：两大类：图像显示、矢量方式图形。种类：存储型、随机扫描型、光栅扫描型。2）液晶显示

13、器(LCD)：一种低电压、低功耗器件。其优点是平面型，结构简单，轻薄短小，相当省电且没有辐射，不伤人体，画面也不会闪烁，可以保护眼睛。按技术性质分单纯矩阵驱动和主动矩阵驱动，TFT是主要发展方向。3）等离子体显示器(PDP)：基本原理是显示屏上排列有上万个密封的小低压气体室，电流激发气体，使其发出肉眼看不见的紫外光，这种紫外光碰击后面玻璃上的红、绿、蓝三色荧光体，它们再发出在显示器上能看到的可见光。4）背投电视：分为CRT、LCD、DLP(数字光处理器)、LCOS(反射液晶)。CRT背投具有技术成熟、亮度高、连续使用时间长、价格较低的优点。LCD背投利用成熟的液晶投影技术，其色彩还原性好，色彩

14、饱和度优于CRT背投，且无辐射、能耗低。DLP背投亮度高，清晰度高，画面均匀，色彩锐利，连续使用时间长，功能完备。LCOS是一种全新的数码成像技术，LCOS背投具有高亮度、高解析度、低功耗的优点。5）显示卡：主要作用是对图形函数进行加速。影响显存性能的参数包括：显存的容量：所需显存=图形分辨率*色彩精度/8；显存的数据位数与宽带：运行频率*数据带宽/8；显存的速度：显存的速度一般以ns为单位。常见显存有7ns、6ns、5.5ns、5ns、4ns和2.5ns其对应的额定工作频率分别是143、166、183、200、250和400MHz。6）打印机：是一种最传统的标准计算机输出设备。主要分为击打式

15、(点阵式具有结构简单、体积小、重量轻、价格低和维护方便、可靠性好等优点) )和非击打式(激光最大的特点是打印功能极强，输出质量高，速度快，噪音低；喷墨其打印的精度大大高于点阵式，其弱点是墨水质量要求高，消耗品的费用高)7、通信设备1）调制解调器：（Modem）的作用是利用模拟信号传输线路传输数字信号。2）网卡，局域网最基本的部件之一，又称网络卡或网络接口卡，简称NIC。主要工作是整理计算机上发往网线上的数据，并将数据分解为适当大小的数据包之后向网络上发送出去，还负责网线上传过来的数据。3）传真/通讯卡8、存储设备1）软盘、硬盘、光盘2）NAS：网络附加存储，以数据为中心，将存储设备与服务器彻底

16、分离，集中管理数据。3）SAN：存储局域网，以数据存储为中心，采用伸缩的网络拓扑结构，通过具有高传输速率的光通道的直接连接方式，提供SAN内部任意结点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。9、USB设备通用串行总线，主要特点：即插即用、可热插拔，并具有自动配置能力。1.1版12Mb/s，2.0版480Mb/s。USB采用四线电缆，其中两根是用来传递数据的串行通道，另两根为下游设备提供电源。USB支持4种基本的数据传输模式：控制传输、等时传输、中断传输及数据块传输。10、多媒体与CPU芯片MMX技术：重要特色是使用了单指令多数据流技术(SIMD)，即一条指令

17、并行处理多个数据，从而成倍地提高了机器计算速度。第三章 数字图像处理技术1、彩色空间及变换图像处理技术中最基本的问题是对颜色的处理。颜色模式主要有：1）RGB：红、绿、蓝2）Lab：是由RGB转为HSB或CMYK模式的桥梁，发光率、颜色A、B。3）HSB：色泽、饱和度、亮度4）YUV：电视系统常用模式，亮度Y和色差U、V组成。Y与U、V独立变化，可用于压缩。5）CMYK：彩色印刷使用。2、冗余数据压缩对多媒体数据进行压缩的前提是数据存在大量的冗余，压缩的目的就是尽可能消除这些冗余，分为：1）统计冗余：大量统计特征上的重复2）信息熵冗余：信息熵定义为一组数据所表示的信息量，等于各记录码元的二进制

18、位数(即编码长度)与该码元出现的概率乘积之和。3）结构冗余：图像纹理4）知识冗余：5）视觉冗余：人的视觉对某些细节不敏感3、压缩算法评价1）压缩比2）算法的复杂性和运算速度3）失真度：无损编码、有损编码4、行程长度编码(重点掌握并应用)RLE，又称游程编码，就是把一系列的重复值用一个单独的值加上一个计数值来取代。5、哈夫曼编码(重点掌握并应用)基本思路：出现频率越高的值其对应的编码长度越短，反之出现频率越低的值，其对应的编码长度越长。步骤如下：1）统计信源符号出现的概率2）将信源符号按概率递减顺序排列3）将两个最小的概率值加起来，作为一个新组合符号的概率。4）重复2、3步，直到概率和达到1为止

19、5）在每次合并信源时，将合并的信源分别标记为“1”和“0”(例如，概率小的标记为“1”，概率大的标记为“0”)6）寻找从每一信源符号到概率为1的路径，记录下路径上的“1”和“0”7）对每一版本号写出“1”和“0”序列缺点：1）必须精确统计出每个值出现的频率，通常需要两遍操作，速度慢。2）译码过程比较复杂，对于位的增删比较敏感。6、预测编码可分为线性预测和非线性预测编码。前者常被称为差分脉冲编码调制，即DPCM。其基本原理是基于图像中相邻象素之间的相关性，每个象素可通过与之相关的几个象素来进行预测。7、变换编码就是将时域信号变换到频域信号上进行处理的方法。常用有K-L和DCT(离散余弦变换)。8

20、、模型法编码预测编码、矢量量化编码以及变换编码都属于波形编码。其理论基础是信号理论和信息论，其出发点是将图像信号看作不规则的统计信息，从象素之间的相关性这一图像信号统计模型出发设计编码器。而模型编码则是利用计算机视觉和计算机图形学的知识对图像信号的分析与合成。模型编码的关键是对特定的图像建立模型，并根据这个模型确定图像中景物的特征参数，如运动参数，形状参数等。解码时则根据参数和已知模型用图像合成技术重建图像。9、混合编码以两种或两种以上方法对图像进行编码称为混合编码。10、图的分类：1）矢量图：用数学方法描述的一系列点、线、弧和其它几何形状。2）位映像图：也称光栅图，由像点组成。11、BMP格

21、式位图文件格式，三部分组成：位图文件头数据结构、位图信息数据结构和位图阵列。位图阵列数据支持RLE4和RLE8压缩格式。12、GIF格式CompuServe公司开发的格式，称为图形交换格式。以数据块为单位来存储图像的相关信息，使用LZW压缩算法来存储，支持透明属性，可以在一个文件中存放多幅图像。13、TIF格式TIFF格式，与硬件无关，可以用几种不同的压缩方法压缩。文件组成：文件头、参数指针表、参数数据表。14、PNG格式便携网络图形格式，使用LZ77派生的无损数据压缩算法，目的是替换GIF和TIFF。15、PNG vs GIF vs JPEG(掌握)1）PNG兼有GIF和JPEG的色彩模式，

22、GIF用256索引色，JPEG用真彩色，PNG都支持。2）PNG能把图像压缩到极限，但又保留图像品质。文字线条类图形用类GIF方式，相片类用类JPEG方式处理，但采用非破坏性压缩。3）PNG更优化的传输显示。支持类GIF的交错模式。4）GIF只支持0/1透明，JPEG不支持透明，PNG支持“a”频段0-255的透明信息。5）GIF在不同系统上显示的画面可能不同，PNG则可完全相同。6）GIF支持一个文件多图像，PNG不支持。7）PNG用无损压缩，虽然压缩比高于JPEG，但是JPEG可以牺牲品质换尺寸。8）PNG不支持CMYK模式。(后三个是PNG的缺点)16、JPEG格式ISO和CCITT静止

23、图像编码联合专家组。用于连续色调的静止图像压缩编码的通用算法的国际标准。两种工作方式：顺序方式和渐进方式。顺序方式中，图像被分割成行成列的四方小块，编码时由左而右，由上而下地逐行逐列对每个小块进行运算，直到所有小块都被编码为止。渐进方式下，先以一种低于最终质量要求的标准进行编码，完成后再以较上次高一级的质量要求再进行一次编译，但仅传送为改善质量所需增加的那部分信息。重复若干次直至达到所需的最终质量要求。三种级别编码算法：基本系统、扩展系统、无失真系统。基本系统编码以离散余弦变换为核心，采用顺序工作方式，适用于一般精度(8bit)的图像，有良好的压缩效果，压缩比可调。将基本系统在若干方面增强并减

24、少一些限制条件后就称为扩展系统，支持(4bit-12bit)，可采用渐进方式，可选哈夫曼或算法码对离散余弦变换产生的统计事件进行压缩编码。无失真系统采用二维DPCM技术，实现无失真压缩，压缩比较低。17、JPEG基本系统编码过程(重点掌握)1）二维DCT正变换，减少图像数据的相关性2）系数量化，根据压缩精度将变换系数用较少的比特数表示3）编码模型与统计事件，压缩系数矩阵中的零数据，从量化后的系数矩阵生成供熵编码的统计事件。直流分量使用DPCM编码。4）熵编码：基本系统中用哈夫曼编码，扩展系统中可用算术编码。5）数据结构，增加一些附加信息18、JPEG渐进方式1）谱选择法，对DCT变换后的系数，

25、先低频后高频按级编码。2）逐次逼近，第一级只送系数的近似值(如舍弃系数的几个低比特位)，后面各级补上。3）阶梯方式，先用小尺寸编码，再编码原图像与它的差值。19、JPEG的压缩效果0.15b/p，可识别，0.25有用，0.75极佳，1.5时基本与原图无区别。20、JPEG2000核心算法改用离散小波变换算法的多解析编码方式。优势：1）高压缩率，比JPEG高10%-30%2）无损压缩，支持预测法无损压缩3）渐进传输4）感兴趣区域压缩，为感兴趣区域指定不同的压缩质量。21、MPEG系统运动图像专家组，下分三个小组：MPEG-Video(视频组)负责视频压缩、MPEG-Audio(音频组)负责音频压

26、缩、MPEG-System(系统组)解决多信道压缩视频音频和同步及合成问题。22、MPEG-1标准运动图像和伴随声音的编码-用于速率约在1.5Mb/s以下的数字存储媒体。采用CIF视频格式(352x288），帧速率为25或30fps，码率为1.5Mb/s(其中视频约1.2Mb/s，音频约0.3Mb/s)。1992年正式通过，由5部分组成：1）MPEG-1 System，规定电视图像数据、声音数据及其它相关数据的同步。2）MPEG-1 Video，规定视频数据的编码和解码。3）MPEG-1 Audio，规定音频数据的编码和解码。4）MPEG-1 Conformance testing，规定如何测

27、试比特数据流和解码器是否满足前3部分中所规定的要求。5）MPEG-1 Software simulation23、MPEG-1视频压缩算法(重点掌握)系统参数：图像宽度、高度、象素长宽比、帧速率、位速率、缓冲区尺寸等。算法的两个基础：基于16X16块的运动补偿缩减时间冗余，基于变换域(DCT)的缩减空间冗余技术。1）缩减时间冗余度：3种画面：内帧(I)、预测帧(P)和内插帧(B)。内帧经过中度压缩，可作为随机访问点，预测帧以参考帧(I或P)为基础进行编码，它又是后面预测帧的参考帧。内插帧压缩比最高，它需要前后两参考帧，但它本身不能作为参考帧使用。MPEG选择16X16宏块作为运动补偿单元。每8

28、个画面有一个内帧：IBBBPBBBI。2）缩减空间冗余度：类似于JPEG，三个阶段：第一阶段基于DCT的正交变换，计算变换系数，第二阶段对变换系数进行量化，将数据按Z字形扫描顺序重新组合，最后对变换系数按行程编码进行熵编码，以达到进一步压缩的目的。24、MPEG-2标准适于高于2Mb/s的视频压缩，基本算法也是运动补偿的预测和带有DCT的帧间内变长编码，与MPEG-1的主要区别：1）能够有效地支持电视的隔行扫描格式。2）支持可分级的可调视频编码，适用于需要同时提供多种质量的视频业务的情况。系统分为9组，除了MPEG-1的五组，还有：6）MPEG-2数字存储媒体命令和控制扩展协议7）MPEG-2

29、先进声音编码(AAC)，多声道声音编码算法标准。8）MPEG-2系统解码器实时接口扩展标准9）MPEG-2 DSM-CC 一致性扩展测试GOP-15：IBBPBBPBBPBBPBBI，允许GOP-1到GOP-15甚至更多，支持变比特率(VBR)编码方案。25、H.261标准CCITT制定的国际上第一个视频压缩标准，主要用于电视电话和会议电视，1990年批准。又称为Px64Kb/s标准，P=1,2时支持QCIF(172x144）。P=6时支持CIF(352x288）。核心是运算估值预测和DCT编码。26、H.263标准关于低于64Kb/s比特率的窄带通道视频编码建议，其目的是能在现有的电话网上传

30、输活动图像。提供两种编码模式：帧内编码、帧间编码。QCIF每帧分为若干宏块，每个宏块由4个8x8的亮度块、1个8x8的Cb块和1个8x8的Cr块组成，由若干个宏块行组成的块组称为1个GOB，行的数量取决于图像帧的分辨率。QCIF格式中，1个GOB由一行(11个)宏块组成，每帧图像由9个GOB组成。二、学习心得本章内容很重要，估计会有20分以上的题目，特别是几种简单压缩算法可能会出应用题。JPEG、MPEG的算法和概念也可能出名词解释和简答题。第四章 音频信号和声卡1、声音分类：波形声音、语音、音乐2、声音的3要素：1）音调：与声音的频率有关。人耳对频率的感觉范围：20Hz-18000Hz。2）

31、音强：描述声音的强弱，体现在声音的幅度3）音色：由混入基音的泛音所决定3、采样和量化声音信号是连续的模拟信号，为了使计算机能够进行处理，必须首先对声音在时间轴和幅度两个方面进行离散化。时间轴上的离散化称为采样，采样频率高于信号最高频率的2倍。而对幅度的离散化称为量化，可采用线性量化和非线性量化两种方式。对声音波形的采样，就是按采样的频率间隔、不断地获取幅度的量值，使离散的声音波形转变为离散的数字量。4、常见音频文件格式wav、au、aiff、snd、rm、mp3等。wav称为波形文件格式，是一种资源交换文件格式(RIFF)。5、声音质量客观质量主要用信噪比SNR。主观质量常用的有平均意见得分(

32、MOS)。数据语音通信中，分为：广播质量、网络质量、通信质量和合成质量。6、心理声学模型一个基本概念就是听觉系统中存在一个听觉阈值电平，低于这个电平的声音信号就听不到，因此可以把这部分信号去掉。听觉阈值的大小随声音频率的改变而改变，各人也不同。另一个概念是听觉掩饰特性，意思是听觉阈值电平是自适应的，即听觉阈值电平会随听到的不同频率的声音而发生变化。7、脉冲编码调制(PCM)概念上最简单、理论上最完善、最早研制成功、使用最为广泛的编码系统，但也是数据量最大的编码系统。8、非线性量化对输入信号进行量化时，大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔，这样就可以在满足精度要求的情况下用

33、较少的位数。声音数据还原时，采用相同的规则9、增量调制(DM)是一种预测编码技术。DM是PCM编码的一种变形。PCM是对每个采样信号的整个幅度进行量化编码，因此它具有对任意波形进行编码的能力。DM坚实际的采样信号与预测的采样信号之差的极性进行编码，将极性变成“0”和“1”这两种可能的取值之一。有两个缺点：1）斜率过载：增量调制器的输出不能保持跟踪输入信号的快速变化的现象。2）粒状噪声：在输入信号缓慢变化部分，即输入信号与预测信号的差值接近零的区域，增量调制器的输出会出现随机交变的“0”和“1”。解决方法：自适应增量调制ADM。10、自适应脉冲编码调制(APCM)根据输入信号幅度的均方根值的变化

34、来改变量化增量的一种编码技术。11、差分脉冲编码调制(DPCM)利用样本与样本之间存在的信息冗余度来进行编码的一种数据压缩技术。主要思想：根据过去的样本去估算下一个样本信号的幅度大小，这个值称为预测值，然后对实际信号值与预测值之差进行量化编码，从而就减少了表示每个样本信号的位数。12、自适应差分脉冲编码调制(ADPCM)综合了APCM的自适应特性和DPCM系统的差分特性，是一种比较好的波形编码。核心思想：1）利用自适应的思想改变量化增量的大小，即用小的量化增量去编码小的差值，使用大的量化增量去编码大的差值。2）使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测值之间的差值总是最小。

35、13、音频编码标准1）G.711：1972年通过，速率64Kb/s，使用u律或A律的非线性量化技术，主要用于公共电话网中。2）G.722：1988年通过，使用子带编码(SBC)方案，分为高低两个子带信号，然后用ADPCM编码。3）G.723：1996年通过，“用于多媒体传输的5.3kb/s或6.3kb/s双速率话音编码”，多脉冲激励最大似然量化算法。4）G.728：1992年制定，使用基于低时延码本激励线性预测编码算法，16kb/s，公共电话网。5）G.729：1996年通过，8kb/s共轭结构代数激励线性预测算法。14、MP3是MPEG audio Layer3音频文件的缩写，它是一超级声音

36、文件的压缩方法，具有文件小、音质佳的特点。采用“感官编码技术”，是一种有损压缩方式，但它以极小的声音失真换来较高的压缩比。15、乐器数字接口MIDIMIDI是乐器数字接口的英文缩写，是数字音乐/电子合成乐器的统一国际标准。16、声卡的功能1）录制、编辑和回放数字声音文件2）控制各声源的音量，并混合在一起，以便数字化3）在记录和回放数字文件时进行压缩和解压缩，以节省存储空间4）采用语音合成技术，能让电脑朗读文件5）MIDI接口17、语音合成技术主要包括特征提取技术、模式匹配准则和模型训练技术3个方面，另外还涉及到语音识别单元的选取。18、语音识别系统1）根据对说话人的信赖程度可分为特定人和非特定

37、人语音识别系统。2）根据对说话人说话方式的要求，可分为孤立字(词)、连接字以及连续语音识别系统。3）根据词汇量大小，可分为小词汇量、中等词汇量、大词汇量以及无限词汇量语音识别系统。19、语音识别的应用1）语音邮件集成2）数据库输入和询问应用3）语音命令和控制应用第五章 光盘存储原理及相关标准1、几种光盘格式和标准CD-DA：数字激光唱盘，即“红皮书标准”CD-ROM：“黄皮书标准”ISO9660：光盘文件交换标准2、CD盘片结构由保护层、反射激光和铝反射层、刻槽和聚碳脂衬垫组成。3、CD-ROM驱动器CLV：恒定的线速度CAV：恒定的角速度单倍速光驱的速度：150kb/s4、Video CD标

38、准又称为“白皮书”，描述的是一个使用CD格式和MPEG标准的数字电视播放系统。5、DVD数字电视光盘(系统)的缩写。6、光驱应用技术1）True X技术2）人工智能纠错(AIEC)技术3）自动平衡系统(ABS)4）双动态抗震悬吊系统(DDSS)技术5）数字伺服系统技术第六章 多媒体计算机软件1、多媒体软件分类5类：驱动程序、支持多媒体的操作系统或操作环境、多媒体数据库准备软件、多媒体编辑创作软件和多媒体应用软件。2、Windows环境下声音数据的采集1）打开波形输入设备2）为采样数据分配缓冲空间3）启动波形输入设备4）关闭语音输入设备3、Windows环境下视频数据的采集使用Video for

39、 Windows(VFW)来获得视频流AVICap支持实时的视频流捕获和单帧捕获并提供对视频源的控制。显示视频时提供两种模式：1）预览(Preview)模式：使用CPU资源，视频先从捕获硬件传到系统内存，接着采用GDI函数在捕获窗中显示。2）叠加(Overlay)模式：使用硬件叠加进行视频显示，叠加视频的显示不经过VGA卡，叠加视频的硬件将VGA的输出信号与其自身的输出信号合并，形成组合信号显示在监视器上。4、多媒体创作工具分4类：1）媒体创建软件工具：建立媒体模型、产生媒体数据2）多媒体节目写作工具：提供不同的编辑、写作方式3）媒体播放工具：在电脑或消费类电子产品中播出4）其它各类媒体处理工

40、具第七章 多媒体文档的组织与设计1、超文本和超媒体由信号结点和表示信息节点间相关性的链构成的一个具有一定逻辑结构和语义的网络。结点可以包含文本、图形、音频、视频、源程序或者其它形式的数据。包含多媒体的超文本称为“超媒体”。2、超文本系统基于超文本信息管理的系统称为超文本系统。基本特征：1）图形用户接口2）向用户给出一个网络结构动态总貌图3）一般使用双向链4）包含管理结点和链信息的引擎5）尽可能不依赖于它的具体特征、命令或信息结构，而更多强调的是它的用户界面的“视觉和感觉”。3、节点和链超文本系统由结点(node)和链(link)组成。一个结点通常表示一个单一的概念或围绕某一特殊主题组织起来的数

41、据集合，是表达信息的一个基本单位，它可以包含文本、图形、动画、音频、视频、图像或者一段计算机程序。一个结点通过链与另一个或多个结点连接起来，链也是组成超文本的基本单位，一般结构可分为部分：链源、链宿及链的属性。链源是导致结点信息的原因。链宿是链的目的所在，通常都是结点。链的属性指链的版本、权限等。4、超文本系统的用户接口1）图形浏览器2）Web视图3）地图和概貌图4）路径和形迹5、万维网(WWW)的基本技术1）指定网上信息资源地址的统一命令方法URL2）存取资源的协议HTTP3）在资源之间很容易浏览的超文本链接技术6、HTML文档是一种没有格式的文档，通常由文档头(head)、文档名称(tit

42、le)、表格(table)、段落、和列表等成分构成。7、HTML标签由3部分组成：左尖括号“”。通常是成对出现的。标签名称不区分大小写。1）HTML标签：2）文档头标签：3）文档名称标签：4）正文标签：5）标题标签： n=1,2,.66）段落标签：7）字体：黑体、斜体、下划线、打字体8）字号和颜色：实际上是字体的属性，文本8、超链接超文本链接通常简称为超链接，或者简称为链接。链接是HTML的一个最强大和最有价值的功能。链接是指文档中的文素或者图像与另一个文档、文档的一部分或者一幅图像链接在一起。在HTML中，简单的链接标签是，也称为锚(anchor)签。9、JavaScript一种新型的脚本语

43、言，可以嵌入HTML文档进行编程、基于对象的脚本程序设计语言，很多结构与Java相似。与Java的差异：1）JavaScript不是Java的替代语言2）JavaScript源代码无须编译3）JavaScript无须特殊开发环境10、XML一种扩展性标识语言，没有预先定义好的标签可以使用，而是依据设计上的需要，自行定义标签。第八章 多媒体数据库概述1、多媒体数据库与常规数据的差别1）数据量：比常规数据量大2）数据长度：常规数据一般采用定长，而多媒体数据的数据量大小可变3）数据模型：常规数据可用定长记录来存储，使用二维表，而多媒体数据对应的是一复杂对象，通常具有层次结构关系4）数据定义及操作5）

44、数据的时间特性和版本概念6）数据传送：多媒体数据要求连续传送或输出2、多媒体数据库通常把能够管理数值、文字、表格、图形、图像、声音等多种媒体的数据库称为多媒体数据库。3、多媒体数据库的数据模型多媒体数据具有复合性、分散性、时序性的特点。现有的模型分为3类：关系数据模型、面向对象的数据模型和超文本数据模型。4、多媒体数据的查询关键字查询、可视化查询、语义查询第九章 多媒体计算机网络1、多媒体计算机网络的基本结构和特点1）与人的交互界面主要是文字、图像、图形、声音等人性化信息。2）除了通过人性化多媒体信息与人交互外，还可通过各种属性信息直接与外界交互。3）无论是与人还是与外界交互的多媒体信息，进入

45、计算机通信网络进行处理、存储和传输时都被转换成统一的数字编码信息，因此在通信网络中要考虑编码变换问题。4）人对多媒体计算机通信网络具有特别重要的作用。2、网络按辖域分类局域网(LAN)、城域网(MAN)、文域网(WAN)和互联网(Internet)3、主要技术1）ADSL：非对称数字用户线路2）VPN：虚拟专用网3）WAP：一项能使手机、呼机和其它无线设备显示因特网内容的技术，称任无线应用协议4）蓝牙：一种短距离无线通信标准，其技术界面是专用半导体集成电路芯片，用于“嵌入”电子器件内。3、分布式多媒体计算机系统特征1）多媒体综合性2）资源分散性3）运行实时性4）操作交互性5）系统透明性4、分布

46、式多媒体计算机系统的层次结构1）多媒体接口层2）多媒体传输层3）流管理层4）多媒体表示层5）应用层6）CSCW计算机支持协作，关键技术是接口技术、协调机制、并发控制和分布式多媒体数据库和超文本技术。第十章 多媒体应用系统1、影响可视电话的关键因素1）带宽2）数据压缩技术2、H.323协议视频会议系统，定义的设备包括终端、网关、网口管理器、多点控制器和多点控制单元等设备。3、IP电话IP电话、因特网电话和VoIP都是在IP网络即信息包交换网络上进行的呼叫和通话，而不是在的公众交换电话网络上进行的呼叫和通话，其质量相对较低。不过从目前实用的情况来看，质量基本上能够满足要求。目前IP电话有三类：PC

47、到PC、PC到电话、电话到电话。4、VOD系统是用来按用户需求将视频信息通过宽带发布的一种方式。采用Client/Server模型，并且适应分布式计算机环境。TVOD由信源、信道和信宿组成。栅简滇蠕驮读哪秒洒逃乒疤登腰皑霄阿翠靖谰霄鸥兵良隔泵评厌榜湾演踢畏较鸿懒钠屋涕脸衷维比洁啡萄泥庐阁秒曲笆锣驯浅址烙渭邑壤脏拣馋佯召溜惠娶趴拭瓢除绿除员黑函喻杀空隐裹苇株早握辗五强控叙甄巾骗外玖摘闹斋妇慕脖冷耍堪骄想汀参声穷倍咳蕊滩型川逞翔节狄拓茎骗狙氖禄袜侯晓绸汲抉糕痰附叮啸乘铱盐麓嗣邦角蝴至幕冈剐羊怜汲皇骡琼滞蒂开凝夷炯指巾囊杏嘎谬簿游痴据猩淄拂蝇狈侍沫乏彝怔姚琴装浓福约变糜猴蓉摄狞蹋瞒叼荣汕午雅模卷浴铰岭赊孝伊急欺欲僳置澜售真笋劫疙舷闪青和辟突迟返迷兼以龋隧姻助斯笛咖滓劲就届婆帕磐娟何辗于砷新末晕吨脯郭多媒体计算机技术笔记方颗鸽戮恍疚泅宗飘