2023年多媒体技术基础及应用期末复习指导新版.doc
《2023年多媒体技术基础及应用期末复习指导新版.doc》由会员分享,可在线阅读,更多相关《2023年多媒体技术基础及应用期末复习指导新版.doc(24页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、多媒体技术基础及应用期末复习指导(本科) 多媒体技术基础及应用是中央电大计算机科学与技术专业的限定性选修课程。4学分,开设一学期。该课程使用的教材为多媒体技术基础及应用和多媒体技术基础及应用辅导与实验,钟玉琢、冼伟铨、沈洪编著,清华大学出版社出版。 本课程综合讲述了多媒体计算机的基本原理、关键技术及其开发和应用。规定学生掌握的重要内容有:多媒体计算机的定义及其关键技术;视频音频信息的获取与解决;多媒体数据压缩编码技术;多媒体计算机硬件及软件系统结构、超文本和超媒体、多媒体计算机的应用技术。通过学习这些内容,为此后开展多媒体领域的研究和开发工作打下良好的基础。为了电大的同学更好地复习和掌握这门课
2、程的知识,下面按照教学大纲规定,对各章的复习要点进行归纳总结,并给出相应的练习题及解答,供大家复习时参考。一、 复习的重要内容 第一章 多媒体计算机概述1. 多媒体计算机的定义和分类 多媒体计算机的定义是:计算机综合解决多媒体信息(文本、图形、图像、音频和视频)使多种信息建立逻辑连接、集成为一个系统并具有交互性的技术。 简朴地说:计算机综合解决声、文、图信息;具有集成性和交互性。 多媒体计算机的分类,从开发和生产厂商以及应用的角度出发可以分为两大类: 一类是家电制造厂商研制的电视计算机(Teleputer),是把CPU放到家电中通过编程控制管理电视机、音响。有人称它为“机灵”电视-Smart
3、TV; 另一类是计算机制造厂商研制的计算机电视(Compuvision),采用微解决器(80X86,68XXX)作为CPU,其它设备尚有VGA卡,CD-ROM,音响设备以及扩展的多媒体家电系统,有人说它的发展方向是TV-Killer。2. 多媒体计算机要解决的关键技术(1)视频音频信息的获取技术;(2)多媒体数据压缩编码和解码技术;(3)视频音频数据的实时解决和特技;(4)视频音频数据的输出技术。3. 多媒体技术促进了通信娱乐和计算机的融合 (1) 多媒体技术是解决数字化及HDTV的可行方案 应用多媒体技术制造高清楚度电视(HDTV)它可以支持任意分辨率的输出,并且输入输出分辨率可以独立,输出
4、分辨率也可以任意地改变。可以用任意的窗口尺寸输出,同时还具有许多新的功能,如图形功能、视频音频特技以及交互功能。 高清楚度数字电视技术及交互式电视技术由于采用了数字式视频数字式音频及MPEG压缩编码算法以便于数据传输、存储及计算机控制和管理。国际标准MPEG-,提供了四种工具:空间可扩展性、时间可扩充性、信噪比可扩充性及数据分块等。 (2)运用多媒体技术制作VCD、DVD及影视音响 应用多媒体计算机技术可制作VCD、DVD、影视音响卡拉OK机等。VCD播放系统重要有两种,一种是MPEG播放卡,另一种是VCD播放机。MPEG卡由Mediamatics公司研制的,这种卡由三块重要的芯片:MX501
5、、4Mbit-DRAM和40MHz OSC。它由视频音频解码加速器、PCI总线/主机寄存器组成。 (3) 个人信息通信中心(PIC) 多媒体计算机由于具有录音机、电话(可视电话)、图文传真机、立体声音设备、电视机和录音像机等多种功能。通过联网在网上传输多种信息,因此,有人称它为个人信息通信中心(PIC)。 第二章 音频信息的获取与解决 1 . 数字音频的基本概念 ()模拟音频与数字音频技术 声音是一种机械振动,振动越强,声音就越大。例如话筒把机械振动转换成电信号,这是一种模拟的音频,它是以模拟电压的幅度表达声音的强弱。 数字音频技术是把表达声音强弱的模拟电压用数字表达,如0.5V电压用数字20
6、表达,2V电压用80表达。模拟电压的幅度,即使在某电平范围内,也可以取无穷多个,如1.2V、1.21V、1.215V。而用数字来表达音频幅度时,只能把无穷多个电压幅度用有限个数字表达。把某一幅度范围的电压用一个数字表达,这叫做量化。 数字音频是通过采样量化把模拟量表达的音频信号转换成许多二制数1和0组成数字音频文献。 ()数字音频的文献格式与转换 多媒体技术中常用的声音文献格式有: WAV文献 WAV是Microsoft公司的音频文献格式。Microsoft sound system软件Sound Finder 可以转换AIF,SND和VOC文献到WAV格式。其中AIF是Apple计算机的音频
7、文献格式;SND是另一种计算机的波形音频文献格式; VOC文献 VOC文献是Creative公司波形音频文献格式。 运用声霸卡提供的软件可实现VOC和WAV文献的转换。程序VOC2WAV转换Creative的VOC文献到Microsoft的WAV文献。程序WAV2VOC转换Microsoft的WAV文献到Creative的VOC文献。 MIDI文献 MIDI文献是(Musical Instrument Digital Interface)乐器数字接口的缩写。 RMI是Microsoft公司的MIDI文献格式。2. 音频卡的功能及工作原理 ()音频卡的功能 音频卡的功能有以下几个重要方面:音频录
8、放、编辑、音乐合成、文语转换、CD-ROM接口、MIDI接口、游戏接口等。l 音频录放 数字化音频采样频率范围:5kHz44.1kHz;量化位:8位16位;通道数:立体声单声道。 编码与压缩:基本编码方法有PCM(脉冲编码调制); 压缩编码方法有ADPCM (8:4;8:3;8:2;16:4); CCITT A律(13:8) CCITT m律(14:8) 实时硬件压缩软件压缩。 音频录放的自动动态滤波。 录音声源:麦克风、立体声线路输入、CD。l 编辑与音乐合成编辑与合成就像一部数字音频编辑器,它可以对声音文献进行各种特殊的解决:如倒播、增长回音效果、静噪音、往返放音、互换声道等。 音乐合成功
9、能和性能重要是依赖于合成芯片。 ()音频卡的工作原理 音频卡的工作原理框图重要由以下几个部分组成:l 声音的合成与解决 这是音频卡的核心部分,它由数字声音解决器、调频(FM)音乐合成器及乐器数字接口(MIDI)控制器组成。这部分的重要任务是完毕声波信号的模数(AD)和数模(DA)转换,运用调频技术控制声音的音调、音色和幅度等。l 混合信号解决器 混合信号解决器内置数字模拟混音器,混音器的声源由以下几种信号如MIDI信号、CD音频、线路输入、麦克风等。可以选择一个声源或几个不同的声源进行混合录音。l 功率放大器 由于混合信号解决器输出的信号功率还不够大不能推动扬声器或音箱,所以一般都有一个功率放
10、大器作为功率放大使得输出的音频信号有足够的功率。l 总线接口和控制器 总线接口有多种,初期的音频卡为ISA总线接口,现在的音频卡一般是PCI总线接口。 总线接口和控制器是由数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑及直接存储器访问(DMA)控制逻辑组成。第三章 视频信息的获取与解决1 . 彩色空间表达及其转换 RGB彩色空间 在多媒体计算机中常用红、绿、蓝(RGB)彩色空间表达,由于计算机彩色监视器的输入需要红、绿、蓝(RGB)三个彩色分量,通过RGB三个分量的不同比例的组合,在显示器屏幕上可得到任意的颜色。在多媒体系统中不管采用什么形式的彩色空间表达,但最后规定输出的是转换成RGB彩
11、色空间表达。 YUV和YIQ彩色空间现代的彩色电视系统中,一般采用摄像机把摄到的彩色图像信号,通过度色棱镜提成R0、G0、B0三个分量的信号,通过放大和校正后得到RGB信号,再通过矩阵变换电路得到亮度信号Y和色差信号R-Y、B-Y,最后发送端将Y、R-Y及B-Y三个信号进行编码,用同一信道通过高频功率放大,通过天线发送出去。这种信号就是常用的YUV彩色空间表达。由于这种彩色空间的亮度信号Y解决了彩色电视与黑白电视的兼容问题,并且实验表白人眼对彩色图像细节的分辨能力比对黑白低得多,因此可以对色度信号U、V采用“大面积着色原理”用亮度信号Y传送细节而用色差信号U、V进行大面积涂色。 采用YIQ彩色
12、空间表达的好处是人眼的彩色视觉特性表白,人眼分辨红、黄之间颜色变化的能力最强,而分辨蓝与紫之间颜色变化的能力最弱。 (3) RGB与YUV和YIQ之间的转换 彩色摄像机得到的信号是通过g校正的RGB信号。考虑到和黑白电视机兼容及压缩编码,在传送过程中包含亮度信号和色差信号,则亮度方程可简化为:Y0.3R0.59G0.11B。从这个公式可看到,采用三基色显示彩色时,各基色组成亮度Y的比例关系是不变的,这些比例系数也叫做“可见度系数”它们的和为1。这表达当基色信号电压ER、EG 、EB 各为1V时,构成的亮度信号Eg也为1V。 在三个色差信号中B-Y、R-Y、G-Y,其中有两个是独立的,最后一个可
13、用亮度方程和两个色差信号通过运算得到。考虑到彩色与黑白的兼容问题和减少幅度失真问题,则必须对彩色信号进行压缩,具体方法是让色差信号乘上一个小于1的压缩系数。通过运算整理得YUV与RGB之间的关系表达式。2黑白全电视信号和彩色全电视信号 (1)黑白全电视信号全电视信号重要由图像信号、复合消隐信号(涉及行消隐信号、场消隐信号)和复协议步信号(涉及行同步信号、场同步信号)三部分组成。 (2) 彩色全电视信号 彩色全电视信号与黑白电视的兼容问题 在彩色电视系统中,通常用Y、U、V彩色空间或Y、I、Q彩色空间,Y为亮度信号,它可以和黑白全电视信号兼容。为了实现兼容,彩色电视信号必须满足以下几个规定:(a
14、)保存黑白电视信号原有的各项标准。如:每帧625行、隔行扫描、帧频为25Hz、场频为50Hz、行频为15625Hz、以及同步方式、频带宽度等。(b)彩色电视信号中应包具有一个代表图像的亮度信号(称为亮度信号),这个信号中彩色接受机和黑白接受机中均能重现黑白图像。(c)彩色电视图像信号中还应包具有代表图像颜色的信号(称为色度信号)和色同步信号。 彩色全电视信号的组成 彩色全电视信号是由色度信号F、亮度信号Y(或用B表达)、复合消隐信号A(涉及行消隐和场消隐信号)、复协议步信号S(涉及行同步和场同步信号)等迭加在一起组成的,通常可用符号FBAS来表达。在我国消隐电平规定为零电平,因此,在彩色全电视
15、信号中事实上并没有迭加特定的消隐信号。此外,为了接受机解调色度信号的需要,在彩色全电视信号中还应涉及色同步信号,这是由位于行同步后肩,具有十个周期左右的副载波组成。(3)视频信息和获取技术 运用计算机产生彩色图形,静态图像和动态图像。 运用彩色扫描仪,扫描输入彩色图形和静态图像。 运用视频信号数字化仪,将彩色全电视信号经数字化解决后,输入到多媒体计算机中,获得静态和动态图像。 3. 视频采集卡的组成 模数(AD)变换和数字解码 窗口控制器 帧存储器系统 数模(DA)转换和矩阵变换 视频信号和VGA信号的叠加 数字式多制式视频信号编码 4. 视频卡的工作原理 视频卡的工作原理(参考教材上视频卡的
16、工作原理框图)可概述为:视频信号源、摄像机、录像机或激光视盘的信号一方面通过模数(AD)变换,送到多制式数字解码器进行解码得到Y、U、V信号,然后由视频窗口控制器对其进行剪裁,改变比例后存入帧存储器。帧存储器的内容在窗口控制下,与VGA同步信号或视频编码器的同步信号同步,再送到数模(DA)变换器模拟彩色空间变换矩阵,同时送到数字式视频编辑器进行视频编码,最后输出到VGA监视器及电视机或录像机。第四章 多媒体数据压缩编码技术1、多媒体数据压缩的重要性和分类(1) 为什么要进行数据压缩多媒体信息涉及了文本、数据、声音、动画、图形、图像以及视频等多种媒体信息。虽然通过数字化解决后其数据量是非常大的,
17、假如不进行数据压缩解决,计算机系统就无法对它进行存储和互换。另一个因素是图像、音频和视频这些媒体具有很大的压缩潜力。由于在多媒体数据中,存在着空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、图像区域的相同性冗余、纹理的记录冗余等。它们为数据压缩技术的应用提供了也许的条件。因此在多媒体系统中必须采用数据压缩技术,它是多媒体技术中一项十分关键的技术。(2) 数据压缩方法的分类 常用的压缩编码方法可以分为两大类,一类是无损压缩法;另一类是有损压缩法。常用的数据压缩方法按其原理分类也可分为:预测编码、变换编码、量化与矢量量化编码、信息熵编码、分频带编码、结构编码和基于知识的编码。2. 量化的基本原理
18、(1) 量化的概念和原理 量化的作用是在图像质量或声音质量达成一定保真度的前提下,舍弃那些对视觉或听觉影响不大的信息。量化的过程是模拟信号到数字信号的映射。模拟量是连续量,而数字量是离散量,因此量化操作实质上是用有限的离散量代替无限的连续模拟量的多对一的映射操作。 量化概念重要来自于从模拟量到数字量的转换,即A/D转换,也就是通过采样把连续的模拟量离散化。量化过程预先设立一组判决电平和一组重建电平,各个判决电平覆盖一定的区间,所有判决电平将覆盖整个有效取值区间。量化时将模拟量的取样值同这些电平比较,若采样值幅度落在覆盖区间之上,则取这个量化级的代表值,称为码字。一个量化器只能取有限多个量化级,
19、因此量化过程不可避免地存在量化误差。3. 常用的压缩编码(1)记录编码 (2) 预测编码(3)变换编码 4多媒体数据压缩编码的国际标准(1) 静态图像压缩编码标准JPEG 1986年CCITT和ISO两个国际标准化组织联合成立了一个联合图像专家组JPEG(Joint Photographic Experts Group),致力于建立适合彩色和单色灰度级的连续色调静止图像的压缩标准。(2)运动图像压缩编码标准MPEG MPEG标准是ISO/IEC委员会的第11172号标准,是针对全活动视频的压缩标准。该标准涉及MPEG视频、MPEG音频和MPEG系统三大部分。MPEG视频是面向位速率约1.5Mb
20、it/s全屏幕运动图像的数据压缩;MPEG音频是面向每通道数率为64,128和192kbit/s的数字音频信号的压缩。 MPGE输入图像亮度信号的分辨率为360240,色度信号的分辨率为180120,每29.97帧,采用双向运动补偿。MPEG把输入的视频信号提成组,用三种图像格式标出:帧内图像、预测图像和差补图像。每组中的第一帧用帧内图像格式编码,第1M、2M、3M帧(M一般选为3)用预测图像格式编码,其它各帧使用差补图像格式编码。差补图像不仅运用过去的帧内图像或预测图像,也运用未来的帧内图像或预测图像进行运动补偿,因此可以达成更高的图像压缩率。l MPEG-I标准 MPEG-I标准是运动图像
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2023 多媒体技术 基础 应用 期末 复习 指导 新版
限制150内