2022年多媒体总复习教案.docx

精选学习资料 - - - - - - - - - 学习必备欢迎下载medium,复今日是“ 多媒体通信” 第三次网上课程,课程时间 第一章 多媒体通信技术概述 多媒体通信的基本概念2 小时；1媒体“ 媒体” 是指信息传递和储备的最基本的技术和手段,即信息的载体；数是 media；依据原 CCITT 的定义,媒体可划分为 5 大类：“ 媒体” 的英文是1 感觉媒体（ perception medium）2 表示媒体（ representation medium）3 显示媒体（ presentation medium）：是指进行信息输入和输出的媒体；4 储备媒体（ storage medium）5 传输媒体（ transmission medium）2多媒体（ Multimedia ）所谓多媒体技术就是运算机交互式综合处理多媒体媒体信息文本、图形、图像和声音,使多种信息建立规律连接,集成为一个系统并具有交互性；简而言之,多媒体技术就是运算机综合处理声、文、图信息的技术,具有集成性、实时性和交互性的特点；PCM MPEG同步性 一般来说, 同时具有以下三个特点的通信系统方可称为多媒体通信系统：3多媒体通信 声音信号 时间/频率映射 量化和编码 按帧打包 1 集成性； 2 交互性；音频码流3 1.2 多媒体通信中的关键技术其次代图像通信压缩编码方法充分考虑了人眼的视觉特性；多媒体信息化后的数据量特别庞大,特别是视频信号,数据量更大；其次章 音频技术基础2.1 声学基础学问2.1.1 在多媒体技术中,讨论人员常用声波频率、声压、声强等参数来描述声音；音频信号特性 心理声学人耳所能感受到的声音的频率范畴在 声波频率是常用的描述声音的参量；20 Hz 20kHz 范畴内；低于 人耳对声波频率的感觉是有界限的；模型 20 Hz 和高于 20kHz 的声音,人耳 从人耳的听觉特性我们知道,是听不到的；声压及声压级2.1.2 人耳听觉特性 SPL（Sound Pressure Level）也是常用的声音描述参量；a 编码器1、人耳对声音强弱的感觉特性 MPEG PCM2、响度、响度级 音频码流 声音信号 4 3、人耳听觉的掩蔽效应一个频率声音的听阈由于另一个声音的存在而上升的现象称为掩蔽；、声音质量评判 按帧窗拆 重 建 频率/ 时间映射 b 解码器2.2 音频信息编码分类图2-12 MPEG 音频编解码器基本框图从第一个音频编码显现到现在,显现了很多压缩编码方法；可以将它们分为三类：波形编码、参数编码和混和编码； 2.3 常用压缩编码方法 2.3.1 差值脉冲编码调制 DPCM和自适应差值脉冲编码调制 ADPCM 2.3.4 子带编码 2.3.5 感知编码感知编码的理论基础是基于人耳的闻域、临界频段和掩蔽效应；下图是感知编码的 MPEG通用音频编码系统的结构框架：2.4 音频信息压缩编码标准2.4.3 MPEG 音频编码标准1 MPEG-1声音标准MPEG-1音频编码的信号频带是 20 20kHz,取样频率使用的是 32kHz、44.1kHz 和 48kHz,采纳的编码算法是感知子带编码；Laer-1 的编码器最为简洁,主要用于小型数字盒式磁带；Layer-2 编码器的复杂程度是中等,主要用于数字广播音频、数字音乐、只读光盘交互系统和视盘；Layer-3 的编码器最为复杂,主要用于 ISDN上的声音传输；MPEG音频编码采纳了子带编码,共分为每帧包含 32× 12 384 个样本数据, Layer-1Layer-1 的 3 倍；（ 1）Layer-1 的编码32 个子带； MPEG编码的音频数据是按帧支配的；Layer-1 的和 Layer-3 每帧包含有 32× 3× 12 1152 个样本数据,是名师归纳总结 Layer-1 的子带划分采纳等带宽划分,分为频域掩蔽特性；32 个子带,每个子带有12 个样本,心理声学模型只使用第 1 页,共 8 页- - - - - - -精选学习资料 - - - - - - - - - （ 2）Layer-2编码学习必备欢迎下载 Layer-2 编码在 Layer-1 的基础上作了改进；32 个子带的划分是不等划分,其划分依据是临界频段；每个子带分为 3 个 12 样本组,这样每帧共有 1152 个样本；在掩蔽特性方面除保留原有的频域掩蔽外仍增加了时域掩蔽；另外在低频、中频和高频段对位安排作了重新支配,低频段使用 4 位,中频段使用 3 位,高频段使用 2 位；3 Layer-3 编码（ MP3）Layer-3 仍旧使用不等长子带划分；心理声学模型在使用频域掩蔽和时域掩蔽特性之外又考虑到了立体声信息数据的冗余,仍增加了霍夫曼编码器；滤波器组在原有的基础上增加了改进离散余弦 MDCT特性,可以部分排除由多相滤波器组引入的混叠效应；2、MPEG-2 BC声音压缩标准MPEG-2 BC声音标准是在 MPEG-1的基础上进展来的,是 MPEG为多声道声音开发的低码率编码方案,并与 MPEG-1的声音标准保持后向兼容；与 MPEG-1相比主要增加了下面几个方面的内容：*.支持 5.1 多路围绕立体声 个低频成效增强声道,称为.扩展了编码器的输出范畴,从：可以供应 5 个全带宽声道,分为左、右、中、和两个围绕声道,另加一 5.1 声道；32384kb/s 扩展到 8640kb/s ；.增加了更低的取样频率和低码率：在保持 MPEG-1原有的取样频率的基础上, 又增加了三种取样频率,新增的取样频率为 16kHz、22.05kHz 和 24kHz,是将原有 MPEG-1的取样频率降低了一半,以便提高 码率低于 64kb/s 时的每个声道的声音质量；MPEG-2对多声道的扩展方式是通过可分级的方式来实现的；第三章 图像技术基础3.1 视觉特性 一、视觉灵敏度 人眼对不同波长的光所出现的视觉感知是不同的,而且因人而异；二、光度测量参数 三、彩色视觉和立体视觉 1、彩色的概念 在自然界中,当阳光照耀到不同的景物上时,所出现的颜色不同,这是由于不同的景物在太阳光的照 射下,反射（或透射）了可见光谱中的不同成分而吸取了其余部分,从而引起人眼的不同彩色视觉；三基色原理：2、彩色视觉 从视觉的角度描述彩色的过程中会用到亮度、色度和饱和度三个术语；亮度表示光的强弱；色度是指 彩色的类别,如黄色、绿色、蓝色等；饱和度就代表颜色的深浅程度,如浅紫色、粉红色；人眼视网膜是由大量的光敏细胞组成的,按其外形可分为杆状细胞和锥状细胞；杆状细胞能够起 到感光作用,只是杆状细胞对弱光的灵敏度要比锥状细胞高；而且锥状细胞也只能在正常光照条件才 能产生视觉和色感；3、立体视觉 四、人眼的辨论力与空间频率 人们通常称这种辨论景物细节的才能为人眼的辨论力；1、空间频率 空间频率就是某物理量（如亮度、发光强度）在单位空间距离内周期性变化的次数,单位为周 /米；2、人眼的空间频率响应 人眼对彩色细节的辨论才能远比对亮度细节的辨论才能低；五、人眼的对比度特性 1、图像的对比度与灰度 2、人眼的对比度灵敏度特性 六、视觉惰性与闪耀的概念1、视觉惰性 2、闪耀3.3 图像信号数字化 3.3.1 图像信号的表述 一、 图像信号的时域分析名师归纳总结 P=fx,y,z,L,H,S,R,t ； L, H, S 分别代表像素的亮度、色度和饱和度；二、 图像信号的频谱 3.3.2 取样和二维取样定理 一、 二维取样定理 二、亚取样 当取样频率小于奈奎斯特取样频率时,通常称其为亚抽样；第 2 页,共 8 页3.3.4 取样、量化对图像质量的影响 一、 实际取样脉冲宽度的影响二、量化误差的影响3.4 电视技术基础- - - - - - -精选学习资料 - - - - - - - - - 学习必备欢迎下载和3.4.1 电视系统的组成电视是利用光电和电光转换原理,将光学图像转换为电信号进行远距离传输,然后再仍原为光图像的一门技术； 其系统结构如图 3-11 所示；目前国际上逐步形成了三大模拟彩色电视制式：PAL 、NTSC 和 SECAM ；3.4.2 彩色电视信号的形成与传送原理（1）电视信号的形成在有用电视系统中是采纳扫描的方式来完成图像的分解与变换,即用时间的一维函数来代表像素信息的物理量,完成扫描功能的设备就是摄像机；（2） 电视系统 的亮度方程彩色电视系统是依据三基色的原理而设计的,三基色原理告知我们任何一种彩色都可以由另外的三种彩色按不同的比例混合而成；在彩色电视系统中由 3 种基色重量 R、G、B 构成的亮度信号的比例关系为：Y 0 . 299 R 0 . 587 G 0 . 114 B（3-16）上式就是电视系统的亮度方程；另外仍有 2 个色差信号 U 和 V ,U 表示所传输的蓝基色重量与亮度分量的差值信号,而 V 表示所传送的红基色重量与亮度重量的差值信号,它们存在下述关系：U k 1 B Y V k 2 R Y 其中 k1,k2 为加权系数,系统中所挑选的加权系数不同,那么在相同亮度信号下,所得到的色差信号也不同；假如系统是彩色电视系统,除了亮度之外,图像的色调和饱和度都是表示图像质量的重要参数,它们与 U、V 的关系如下：图像的色调 = U2 2图像的饱和度 = V U V从数据压缩的角度来看,通过 R、 G、 B 变换到 Y 、U、 V 可以排除肯定的相关性,这就是人们希望传送 Y 、U、 V 而不是 R、G、 B 的缘由；3扫描 空间频率与时间频率的转换（ 4）电视信号的频谱特点与频道安排策略静止图像 和活动图像频谱频谱交叉原理 和平稳正交调制a. 频谱交叉原理b. 平稳正交调制彩 色 电 视 系 统 中 经 抑 制 载 波 后 的 色 差 信 号 平 衡 调 制 波 的 表 达 式 是 ：V cos 2 f sc t；Usin2fsc t3.4.3 视频信息的数字化（1）重量电视信号的数字化在的 ITU-R BT 601 建议,建议采纳重量编码,亮度和色差信号的取样频率 f Y 和 f C 分别为 : f Y 858 f HNTSC 864 f HPAL 13 . 5 MHz表 3-4 ITU-R BT 601 在表 3-4 种列出了 ITU-R BT 601 建议的主要参数；f C2 f Y 6 . 75建议的主要参数（亮度、色度取样频率为 MHz4： 2：2）第四章 视频信息压缩与处理4.1 图像的统计特性依据信息论的基本学问,4.1.1 图像的信息量 M 从图像信息源 X 发出符号 Si 的概率为 p iS ,而且 p iS 将满意以下条件：0 p iS 1（p iS 1）（4-1）这样符号 Si所携带的信息量 i 1 ISi可以用下式表示：I S i log 2 1 / p S i log 2 p S i （4-2）4.1.2 离散信源4.1.3 图像的信息熵对于无记忆的图像信息源而言,我们无法准确地知道信息源在下一时刻发出的符号是符号集X S 1 , S 2 , S n 中的哪一个符号,因此信息源所发出的符号 Si 本身就是一个随机变量,而其信息量I 又是 Si的函数；由此可知,I 也是一个随机变量,这样我们就可以求出图像信息源 X 发出符号集 Sn 中各符号的信息量的统计平均（即求其数学期望）,从而得到符号集 Sn 中每个符号的 平均信息量 ；在信息论中称 H X i 1 HX 为 图像信息源 p S i I S i X 的“ 熵” ,其单位为 bit/符号； 在符号显现之前, 它表示符号集中的 i 1 p S i log 2 p S i （4-5）符号显现的平均不确定性,而在符号显现之后,就表示所接收到的一个符号的平均信息量；1、 无记忆信源的概率分布与熵的关系匀称分布的图像信息源假如图像信息源的概率分布出现匀称分布,即各符号显现的概率相等,那么其数学模型可写为：1p S i =常数 4-6 就由式（ 4-5）可求出该图像信息源的熵 n Hx 为可以证明,当图像信息源中各符号显现的概率相等时,信源的信息熵最大；H X log 2 n 4-7 正态分布的图像信息源4.2 信息压缩方法及其分类4.2.1 图像信息中存在的冗余类型4.2.2 图像编码的基本过程4.2.3 压缩编码方法及其分类4.2.4 数据压缩技术的性能指标衡量数据压缩技术的性能往往可以从以下几个方面进行考虑；1、压缩比压缩性能通常用压缩比来定义,它是指压缩过程中输入数据量与输出数据量之比；设原图像的平均码名师归纳总结 - - - - - - -第 3 页,共 8 页精选学习资料 - - - - - - - - - 学习必备 欢迎下载长为 L,压缩后图像的平均码长为 L L c, 就压缩比为C其中 HX 为信源熵；压缩比越大,说明数据压缩的程度越高；除压缩比之外,冗余度和编码效率也是衡量信源特性以及编解码设备性能的重要指标,定义如下：冗余度编码效率 S2 0.19 S1 0.20RH H X LL X 11 =0 11 1R C 1 0.3912、重现质量4.3 无失真图像压缩编码方法常用的无失真图像压缩编码有很多种,如哈夫曼编码 Huffman 、游程编码和算术编码；就用较长的码来表示；可见这是一种变长编码,而且哈夫曼编码又称为最优码,或者说对于给定的符号集 哈夫曼编码的主要编码思路是对显现概率较大的符号用较短的码来表示,而对于显现概率较小的符号 *4.3.1 哈夫曼编码 S3 0.181 0.35 1合概率模型没有任何其它整数码（每个符号所对应的码字的位数均为整数）比哈夫曼编码有更短的码长；下面介绍详细编码过程1、排序：按符号显现的概率从大到小进行排列；2、赋值：对最终的两个符号进行赋值,概率大的赋“S4 0.17：0 11” ,概率小的赋“0 0” （反之也成立） ；容,直至最终只剩下两个概率为止；4、重新排序：将合成后的概率与其它符号概率一起进行重新排序（从大到小）5、码字安排：从最终一步开头反向进行码字安排,对最终两个概率中较大的赋“3、合并：将上述最终的两个符号显现概率相加合成一个概率；S5 0.15 10 0.61；然后重复步骤1” ；对较小的赋“2 的内0”（与其次过程中的规定相同）例 4-2 S6 0.11X= 假设某符号集 S 1 S 2 X 中包含 6 个符号： S1,S2, S6,各自显现的概率为；从而形成一个码字；如下图中虚线所示的方向；S 3 0 S 4 S 0.265 S 6试求其哈夫曼编码及其编码效率；0 2. 0 . 19 0 . 18 0 . 17 0 . 15 0 . 11解： 1、哈夫曼编码在图 4-6 中给出了哈夫曼编码过程,其中设两个符号中较大的为” 1”,较小的为 ” 0” .编码结果如表 4-1所示；图46 例42 解题过程名师归纳总结 原始符号表 41 例 42 的哈夫曼编码 各符号显现概率 pi组成的二进制码 01 00 111 110 101 100 码长 2 2 3 3 3 3 第 4 页,共 8 页S1 S2 S3 S4 S5 S6 0.2 0.19 0.18 0.17 0.15 0.11 2、编码效率依据式（ 4-5）可求出信源熵：H x p S i log 2 S ii 1= .0 2 log 2 0 . 2 .0 19 log 2 .0 19 0 . 18 log 2 0 . 18 0 . 17 log 2 0 . 170 . 15 log 2 0 . 15 .0 11 log 2 0 . 11） =2.56 利用式（ 4-17）可求出平均码长：哈夫曼编码的编码效率 Li 1 l i p S i =0.2× 2+0.19× 2+0.18× 3+0.17× 3+0.15× 3+0.11× 3=2.61 H x 2 . 56=98.08% L 2 . 614.4 限失真图像压缩编码方法4.4.1 率失真函数4.4.2 猜测编码和变换编码1、猜测编码猜测编码是通过减小图像信息在时间上和空间上的相关性来达到数据压缩的目的；下面第一介绍帧内猜测；（1） 帧内猜测帧内猜测编码是针对一幅图像以削减其空间上的相关性来实现数据压缩的；（2）帧间猜测帧间猜测是指由前一帧或前 n 帧图像来猜测当前图像；与帧内猜测相同, 只需对误差信号进行量化编码；在采纳运动补偿技术后,帧间猜测的精确度相当高；下面我们第一介绍运动估值与运动补偿的概念；运动估值与运动补偿像素递归法块匹配法（3）具有运动补偿的帧间猜测*2、 变换编码 变换编码中的关键技术在于正交变换；与猜测编码一样,正交变换是通过排除信源序列中的相关性来达到数据压缩的；它们之间的区分在于猜测编码是在空间域（或时间域）内进行的,而变换编码就是在变换域（或频率域）内进行的；*（ 1）变换编码的工作原理 结合 DCT 来看；在图 4-16 中给出了变换编码的原理框图；从图中可以看出,变换编码是利用正交变换来实现图像信号的压缩编码的； 详细地说就是将原空间域中的图像信号 fj,k 变换到另外一个正交矢量空间域（变换域）F , 中,而当需要进行图像复原时,只需进行上述过程的逆变换,即把变换域中所描述的图像信号再转换到 原先的空间域；（2）子块划分- - - - - - -精选学习资料 - - - - - - - - - 学习必备 欢迎下载在变换编码系统中,其性能与所选用的正交变换类型、图像类型、变换块的大小、压缩方式和压缩程 度等因素有关,但在变换方式确定之后,变换块的大小挑选就显得尤为重要,这是由于大量的图像统计结 果显示,大多数图像仅在约 20 个相邻像素间有较大的相关性,而且一般当子图像尺寸 n>16（像素）时,其性能已经改善不大；同时子图像块过大,其中所包含的像素数就越多,变换时所需的运算量也越大,因 此一般子图像块的大小选为 8× 8 或 16× 16；（3）正交变换 正交变换的类型 离散余弦变换（DCT ）（4）系数挑选 DCT 变换 人们通过大量的统计试验发觉,大多数图像信号在空间域中像素的相关性很大；当它们经过 后,变换系数之间的相关性大大下降,并且信号能量主要集中在低频部分,为了进一步压缩编码速率,因 此忽视那些能量很小的高频重量,不予以传输,而只对少数能量集中的方差大的变换系数进行量化编码；挑选变换系数的方法有两种：区域取样和门限取样；区域取样 区域取样是指对设定区域内的变换系数进行量化编码,而舍弃区域外的变换系数；详细区域的大小和 外形的挑选与很多因素有关,而且直接影响压缩程度；门限取样 门限取样的方法是把变换系数的方差与某个门限值进行比较,对于大于该门限值的系数进行编码,否 就忽视；扫描路径 由于 DCT 变换后, 变换域系数矩阵中能量集中于直流和低频区,该区位于矩阵的左上角部分；另外目 前通常使用行程法,此时不直接对系数位置进行编码,而是按图 4-17 中所示的“ 之” 字形扫描路径将二维 系数绽开成一维序列输出；（5）量化与编码名师归纳总结 4.7 图像压缩技术标准4.7.1 图像种类与编码标准一、视频图像的种类二、编码标准从 1986 年开头 ITU 、ISO、IEC 等国际组织先后制定了适用于不同场合中的不同图像压缩标准,如 JBIG标准、 JPEG 标准、 H 系列标准和 MPEG 系列标准,其中 H 系列标准和 MPEG 标准为活动图像压缩标准,而 JBIG 和 JPEG 标准为静止图像压缩标准；这些标准大多数已得到广泛的应用；第 5 页,共 8 页4.7.2 静止图像压缩编码标准4.7.3 H.261 与 H.263 JPEG *一、 H.261 1、视频数据格式建议规定采纳 CIF（通用中间格式）和 QCIF 格式（ 1/4CIF ）作为视频输入格式,如表 4-10 所示；需要说明的是全部支持 H.261 协议的编 /解码器都可支持 QCIF 格式,但也可以挑选 CIF 格式；格式挑选由信道容量打算,例如 ISDN 信道（ P× 64kbit/s, P=1,2, 30）；假如 P=1,2,就挑选 QCIF 格式,由此构成的数据流适用于桌面视频应用系统中；对于 P6,就挑选 CIF 格式；2、视 频编码系统 H.261 是 ITU-T 制定的视频压缩编码标准,也是世界上第一个得到广泛承认的、针对动态图像的视频 压缩标准,而且其后显现的 JPEG 标准、 MPEG 系列标准、 H.262 以及 H.263 等数字视频压缩标准的核心都 是 H.261 ；3、视频编码器原理（1）采纳帧内编码（2）采纳帧间猜测编码（3）工作状态的确定4、H.261 标准的数据结构在 H.261 标准中采纳层次化的数据结构,它包括图像层（P）、块组层（ GOB ）、宏块层（ MB ）和像素块（ B）四层；如图 4-50 所示；H.261 数据结构为：· 图像层是由帧首和 12 个块组层构成；· 块组层是由 GOB 首和 33 个宏块构成；· 宏块层是由宏块首和其后面的 6 个数据块构成；· 块层是由 DCT 系数（ TCOEFT ）和块终止符（EOB）组成；每块包含 8× 8 个数据；二、 H.263 （1） H.263 与 H.261 的区分H.263 标准是一种甚低码率通信的视频编码方案；所谓甚低码率视频编码技术是指压缩编码后的码率低于 64kbit/s 的各种压缩编码方案 .它是以 H.261 为基础,其编码原理和数据结构都与 H.261 相像,但存在以下区分：H.263 能够支持更多图像格式H.263 建议的两种运动估值采纳半精度像素的猜测值和高效的编码提高数据压缩效率4.7.4 MPEG 系列1、MPEG-1 MPEG-1 标准是由三个部分构成,第一部分是系统部分；它描述了几种伴音和图像压缩数据的复用以及加入同步信号后的整个系统；其次部分为视频部分,主要规定了图像压缩编码方法；第三部分为音频部分,主要规定了数字伴音压缩编码；可见 MPEG-1 标准的基本任务就是将视频与其伴音统一起来进行数据压缩,使其码率可以压缩到 1.5Mbit/s 左右,（ 1）系统部分（ 2）视频部分与 H.261 标准相像, MPEG-1 标准也采纳带运动补偿的帧间猜测 DCT 变换和 VLC 技术相结合的混合编码方式；但 MPEG-1 在 H.261 的基础上进行的重大的改进,详细如下：输入视频格式- - - - - - -精选学习资料 - - - - - - - - - 学习必备 欢迎下载MPEG-1 视频编码器要求其输入视频信号应为逐行扫描的 SIF 格式,如表 4-6 所示；假如输入视频信号采纳其他格式,如 ITU-R BT601 ,就必需转换成 SIF 格式才能作为 MPEG-1 的输入；猜测与运动补偿与 H.261 标准相同, MPEG-1 也采纳帧间猜测和帧内猜测相结合的压缩编码方案,以此来满意高压缩比和随机存取的要求；为此在 MPEG-1 标准中定义了三种类型的帧：分别是 I 图像帧、 P 帧和 B 帧；·I 图像帧是一种帧内编码图像帧；它是利用一帧图像中的像素信息,通过去除其空间冗余度而达到数据压缩的；·P 图像帧是一种猜测编码图像帧；它是利用过去一个 I 图像帧或 P 图像帧,采纳带运动补偿的帧间猜测的方法进行编码；该图像帧可以为后续的 P 帧或 B 帧进行图像编码时供应参考；·B 图像帧是一种双向猜测编码图像帧；它是利用其前后的图像帧（I 帧或 P 帧）进行带运动补偿的双向猜测编码而得到的,如图 4-55 所示；它本身不作为参考使用,所以不需要进行传送,但需传送运动补偿信息；视频码流的分层结构MPEG-1 数据码流也同样采纳层次结构,其结构如图 4-56 所示；可见其最基本单元是块；· 块：一个块是由 8× 8 像素构成的；亮度信号、色差信号都采纳这种结构；它是 DCT 变换的最基本单元；· 宏块：一个宏块是由附加数据与 4 个 8× 8 亮度块和 2 个 8× 8 色差块组成；宏块是进行运动补偿运算的基本单元；· 图像条：一个图像条是由附加数据与如干个宏块组成；· 图像：一幅图像是由数据头和如干片构成的；· 图像组：一个图像组是由数据头和如干图像构成；图像组中每一幅图像既可以是 I 帧,也可以是 P 帧或 B 帧；但需说明的是 GOP 中的第一幅图像必需是 I 帧,这样可以便于供应图像接入点；· 图像序列是由数据头和如干图像组构成的；MPEG-1 视频编 /解码原理a.帧内编码b.帧间编码2、MPEG-2 （1）系统部分MPEG-2 系统部分的基本功能是能将一个或多个视频、音频及其它数据的基本流组合成一个或多个可供储备和传输的码流,因此其中应供应用于多个码流解码时的同步、交叉与掌握等信息； MPEG-2 系统结构节目流与传送流（2）视频部分MPEG-2 的视频标准是在 MPEG-1 的基础上进行了重大的改进和扩充；3、MPEG-4 MPEG-4 是一种其次代视音频编码技术；它是一种适用于各种多媒体应用的“ 视音频对象编码”标准；在此我们第一从 MPEG-4 与 MPEG-1 、MPEG-2 的区分开头介绍；（1） MPEG-4 与 MPEG-1、 MPEG-2 标准的根本区分MPEG-4 是基于内容的压缩编码方法引入视频对象 VOViedo Object 和视频对象平面 VOPVideo Object Plane 概念；（2） MPEG-4 系统组成4.7.5 H.264 第五章 多媒体通信系统中的关键技术5.1 多媒体信息输入、输出及储备技术5.1.1 视频信息输入输出技术1、 视频卡的基本工作原理（简要说明）2、常用视频卡3、摄像头4、投影仪5.1.2 音频信息的输入输出技术声卡的核心器件是数字音频处理芯片和音乐合成器；声卡的性能优劣就是由它们打算的；声卡的主要作用是对声音信息进行录制和回放,声音的质量是由采集过程中使用的采样频率和编码位数来打算的；5.1.5 多媒体储备技术1、概述2、光盘库3、 储备区域网络 SNA SAN的概念是在 1988 年提出来的；储备区域网络 SAN的显现使服务器和储备设备之间的连接方式产生了根本的变化；SAN 是一种可以使服务器与大型储备设备（磁盘阵列或磁带库）之间进行任意连接通信的储备网络系统,它通过一个单独专用的网络将储备设备和服务器连接在一起；由于在 SAN中,服务器可以和网络中的任何储备设备连接,所以数据存放在何处,服务器都可以直接存取所需要的数据；SAN 中的各种设备是分散在网络中的；5.2 超媒体技术超媒体技术是在超文本技术基础之上结合多媒体技术而进展起来的信息治理与检索技术；名师归纳总结 5.2.1 超文本技术超文本是一种按信息之间的关系非线性的储备、组织、治理和浏览信息的运算机技术；超文本技术与传统运算机技术的区分在于,它不仅注意所要治理的信息更注意信息间关系的建立和表示；5.2.2 超媒体的组成5.2.3 超媒体系统结构第 6 页,共 8 页系统结构图：一个超媒体系统一般是由创作子系统（作者子系统）、读者子系统（浏览器）和支持子系统组成；在超媒体的三个组成部分中,支持子系统是超媒体系统的核心层,它能够识别超链的成分,并引到转 向相应的目标节点而完成特定的操作；在支持子系统中最为重要的是超媒体服务器（也称 Web服务器）的- - - - - - -精选学习资料 - - - - - - - - - 学习必备欢迎下载爱护各种建立和爱护；5.3 多媒体同步技术 5.3.1 多媒体同步概述1、多媒体同步概述 2、多媒体同步分类 多媒体同步就是保持和爱护各种媒体对象之间以及各种媒体对象内部所存在的时态关系,媒体序列来达到某种特定任务的目的；从类型上来划分,多媒体的同步类型分为上层同步、中层同步和底层同步；5 32 多媒体数据 1、多媒体数据 2、多媒体数据约束关系 多媒体数据的约束关系有三种：基于内容的约束关系、空域约束关系和时域约束关系；基于内容的约束关系描述的是不同媒体对像是同一数据内容的不同表现形式而在媒体之间所具有的一 种约束关系；空域约束关系也称为布局关系,它定义了多媒体数据显示中某个时刻,不同媒体对像在出现媒体上的 空间位置关系；时域约束关系是多媒体数据对像的时域特点,它定义了媒体对像在时间上的相互依靠关系；在这三种约束关系中,时域约束关系最为重要；5 33 多媒体时域特点表示名师归纳总结 5.3.4 多媒体同步的四层参考模型：四层模型由规范层、对象层、流层和媒体层构成；四层参考模型的意义在于它规定了同步机制所对应的层次以及各个层所应完成的任务；（1）、媒体层（2）流层：流层处于同步机制的中间层,流层的处理对象是连续码流或者连续码流组；（3）对象层第六章 多媒体通信网络技术第 7 页,共 8 页6.1 多媒体通信对传输网络的要求 6.1.1 多媒体通信对传输网络的要求 6.1.2 性能指标 1、吞吐量（ throughout）（1）视频对网络带宽的要求（2）声音对网络带宽的要求 2、延时 3、延时抖动 4、错误率 第七章 多媒体数据的分布式处理7.1 分布式多媒体系统（DMS ）7.2.3 分布式多媒体系统的终端设备1、多媒体终端硬件形式（1）多媒体运算机终端（2）机顶盒2、多媒体终端外部设备接口（1） USB （2） IEEE-1394 接口 7.3 流媒体技术 7.3.1 流媒体概述 1、流媒体的概念 与传统媒体的媒体技术相比,流媒体具有如下特点：1 流媒体是实时的, 当用户下载媒体文件时,不需要像传统的播放技术那样将整个文件都下载下来之后再播放,而是边下载边播放,从而不仅节约了用户端的缓冲区容量,仍大大削减了用户的等待时间；2 流媒体数据在播放后即被丢弃,不会储备在用户的运算机上,便于流媒体文件的版权爱护；3 流媒体的服务器支持用户端对流媒体进行 VCR（录像机）操作掌握,即用户可以像使用家用录 像机一样对流媒体进行播放、暂停、快进、快退、停止等操作；2、流媒体的播放方式：单播、组播、点播和广播；组播是一种流媒体的播放方式；3、流媒体的传输过程 流媒体系统应至少包括以下三个组件：（1）编码器（ Encoder）：它是用于将原始音视频转换成流媒体格式的软件或硬件；（2）媒体服务器（Media Server）：它是用于向客户发布流媒体的软件；（3）播放器（ Player）：它是客户端用来收看（听）流媒体的软件；7.3.2 流媒体开发平台简介 目前市场上主流的流媒体技术有三种：RealNetworks 公司的 RealMedia,Microsoft 公司的 Windows Media 和 Apple 公司的 QuickTime ；第八章 视频会议系统8.1 概述 8.2 多媒体视频会议系统 8.2.1 多媒体视频会议系统进展概述 按使用的信息流分为音频图形会议、视频会议、数据会议、多媒体会议和虚拟会议；8.2.2 多媒体视频会议系统的组成方式 1、多点视频会议系统的结构 一个典型的多媒体会议系统是由终端设备、通信网络、多点掌握单元 组成的；MCU 和相应的系统运行软件2、 MCU 的基本功能（1）时钟同步和通信掌握（2）码流掌握- - - - - - -精选学习资料 - - - - - - - - - 学习必备 欢迎下载（3） MCU 的端口连接 8.2.3 多点会议掌握方式 8.2.4 多媒体会议系统标准 8.2.5 互联网环境下的多媒体会议系统 8.3 视频点播（ VOD ）系统 8.4 网络电视（ IPTV ）8.4.1 概述 8.4.2 IPTV 业务需求说明