第4章多媒体硬件基础优秀PPT.ppt
《第4章多媒体硬件基础优秀PPT.ppt》由会员分享,可在线阅读,更多相关《第4章多媒体硬件基础优秀PPT.ppt(79页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第4章多媒体硬件基础现在学习的是第1页,共79页回顾与补充:回顾与补充:音频信号的数字化及压缩音频信号的数字化及压缩技术技术现在学习的是第2页,共79页4.0.1 4.0.1 模拟音频的数字化过程模拟音频的数字化过程 数字化的声音易于用数字化的声音易于用计计算机算机软软件件处处理,理,现现在几乎所有的在几乎所有的专业专业化声化声音音录录制、制、编辑编辑器都是数字方式。器都是数字方式。对对模模拟拟音音频频数字化数字化过过程涉及到程涉及到音音频频的的采采样样、量化量化和和编码编码。采采样样和量化的和量化的过过程可由程可由A/DA/D转换转换器器实现实现。A/DA/D转换器以固定的频率去转换器以固定
2、的频率去采样,即每个周期测量和量化信号一次。经采样和量化后声音信号经采样,即每个周期测量和量化信号一次。经采样和量化后声音信号经编码后就成为数字音频信号,可以将其以文件形式保存在计算机的存编码后就成为数字音频信号,可以将其以文件形式保存在计算机的存储介质中,这样的文件一般称为数字声波文件。储介质中,这样的文件一般称为数字声波文件。现在学习的是第3页,共79页 信息论的奠基者香农(信息论的奠基者香农(ShannonShannon)指出:)指出:在一定条件下,用离散的在一定条件下,用离散的序列可以完全代表一个连续函数序列可以完全代表一个连续函数,这是采样定理的基本内容。,这是采样定理的基本内容。为
3、实现为实现A/DA/D转换,需要转换,需要把模拟音频信号波形进行分割,这种方法称为把模拟音频信号波形进行分割,这种方法称为采样采样(Sampling)(Sampling)。采样的过程是每隔一个时间间隔在模拟声音的波形上取。采样的过程是每隔一个时间间隔在模拟声音的波形上取一个幅度值一个幅度值,把时间上的连续信号变成时间上的离散信号。该时间间隔称,把时间上的连续信号变成时间上的离散信号。该时间间隔称为采样周期,其倒数为采样频率。采样频率是指计算机每秒钟采集多少个为采样周期,其倒数为采样频率。采样频率是指计算机每秒钟采集多少个声音样本。声音样本。1.1.采样采样 采样频率与声音频率之间有一定的关系,
4、根据奈奎斯特采样频率与声音频率之间有一定的关系,根据奈奎斯特(NyquistNyquist)理论,)理论,只有采样频率高于声音信号最高频率的两倍只有采样频率高于声音信号最高频率的两倍时,才能把数字信号表示的声音还原成为原来的声音。时,才能把数字信号表示的声音还原成为原来的声音。现在学习的是第4页,共79页 采样只解决了音频波形信号在采样只解决了音频波形信号在时间坐标时间坐标(即横轴即横轴)上把一个波形切成上把一个波形切成若干个等分的数字化问题,但是还需要用某种数字化的方法来反映某一瞬间若干个等分的数字化问题,但是还需要用某种数字化的方法来反映某一瞬间声波幅度的电压值大小。该值的大小影响音量的高
5、低。我们把声波幅度的电压值大小。该值的大小影响音量的高低。我们把对声波波形对声波波形幅度的数字化表示称之为幅度的数字化表示称之为“量化量化”。量化的过程是先将采样后的信号按整个声波的幅度划分成有限个量化的过程是先将采样后的信号按整个声波的幅度划分成有限个区段的集合,把落入某个区段内的样值归为一类,并赋于相同的量化区段的集合,把落入某个区段内的样值归为一类,并赋于相同的量化值。如何分割采样信号的幅度呢值。如何分割采样信号的幅度呢?我们还是采取二进制的方式,以位我们还是采取二进制的方式,以位(bit)或或16位位(bit)的方式来划分纵轴。也就是说在一个以的方式来划分纵轴。也就是说在一个以8位为记
6、录模式的位为记录模式的音效中,其纵轴将会被划分为音效中,其纵轴将会被划分为8个量化等级,用以记录其幅度大小。个量化等级,用以记录其幅度大小。2.量化量化现在学习的是第5页,共79页 以下图所示的原始模拟波形为例进行采样和量化。假设采样频率为以下图所示的原始模拟波形为例进行采样和量化。假设采样频率为1000次次/秒,即每秒,即每1/1000秒秒A/D转换器采样一次,其幅度被划分成转换器采样一次,其幅度被划分成0到到9共共10个量化等级,并将其采样的幅度值取最接近个量化等级,并将其采样的幅度值取最接近0 9之间的一个数来表示,之间的一个数来表示,如下图所示。图中每个正方形表示一次采样。如下图所示。
7、图中每个正方形表示一次采样。现在学习的是第6页,共79页 D/A转换器从上图得到的数值中重构原来信号时,得到下图中转换器从上图得到的数值中重构原来信号时,得到下图中蓝色蓝色(直线段直线段)线段所示的波形。从图中可以看出,蓝色线与原波形线段所示的波形。从图中可以看出,蓝色线与原波形(红红色线色线)相比,其波形的细节部分丢失了很多。这意味着重构后的相比,其波形的细节部分丢失了很多。这意味着重构后的信号波形有较大的失真。信号波形有较大的失真。现在学习的是第7页,共79页 失真在采样过程中是不可避免的,如何减少失真呢?可以直观地看出,我失真在采样过程中是不可避免的,如何减少失真呢?可以直观地看出,我们
8、可以把上图中的波形划分成更为细小的区间,即采用更高的采样频率。同时,们可以把上图中的波形划分成更为细小的区间,即采用更高的采样频率。同时,增加量化精度,以得到更高的量化等级,即可减少失真的程度。在下图(左)增加量化精度,以得到更高的量化等级,即可减少失真的程度。在下图(左)中,采样率和量化等级均提高了一倍,分别为中,采样率和量化等级均提高了一倍,分别为2000次次/秒和秒和20个量化等级。在个量化等级。在下图(右)中,采样率和量化等级再提高了一倍,分别达到下图(右)中,采样率和量化等级再提高了一倍,分别达到4000次次/秒和秒和40个个量化等级。从图中可以看出,当用量化等级。从图中可以看出,当
9、用D/A转换器重构原来信号时(图中的轮转换器重构原来信号时(图中的轮廓线),信号的失真明显减少,信号质量得到了提高。廓线),信号的失真明显减少,信号质量得到了提高。现在学习的是第8页,共79页3.3.编码编码 模拟信号量经过采样和量化以后,形成一系列的离散信号模拟信号量经过采样和量化以后,形成一系列的离散信号脉冲脉冲数字信号。这种脉冲数字信号可以已一定的方式进行编码,形成计数字信号。这种脉冲数字信号可以已一定的方式进行编码,形成计算机内部运行的数据。所谓算机内部运行的数据。所谓编码,就是按照一定的格式把经过采样和编码,就是按照一定的格式把经过采样和量化得到的离散数据记录下来,并在有用的数据中加
10、入一些用于纠错、量化得到的离散数据记录下来,并在有用的数据中加入一些用于纠错、同步和控制的数据同步和控制的数据。在数据回放时,可以根据所记录的纠错数据判别读出。在数据回放时,可以根据所记录的纠错数据判别读出的声音数据是否有错,如在一定范围内有错,可加以纠正。的声音数据是否有错,如在一定范围内有错,可加以纠正。编码的形式比较多,常用的编码方式是编码的形式比较多,常用的编码方式是PCM脉冲调制。脉冲调制。脉冲脉冲编码调制(编码调制(PCM)是把模拟信号变换为数字信号的一种调制方式,即)是把模拟信号变换为数字信号的一种调制方式,即把连续输入的模拟信号变换为在时域和振幅上都离散的量,然后将其转把连续输
11、入的模拟信号变换为在时域和振幅上都离散的量,然后将其转化为代码形式传输或存储。化为代码形式传输或存储。现在学习的是第9页,共79页4.0.2 音频信号压缩技术音频信号压缩技术 音频信号压缩编码的主要依据是人耳的听觉特性,主要有两点:音频信号压缩编码的主要依据是人耳的听觉特性,主要有两点:1.人的听觉系统中存在一个听觉阈值电平,低于这个电平的人的听觉系统中存在一个听觉阈值电平,低于这个电平的声音信号人耳听不到声音信号人耳听不到.2.人的听觉存在屏蔽效应。当几个强弱不同的声音同时存人的听觉存在屏蔽效应。当几个强弱不同的声音同时存在时,强声使弱声难以听到,并且两者之间的关系与其在时,强声使弱声难以听
12、到,并且两者之间的关系与其相对频率的大小有关相对频率的大小有关.声音编码算法就是通过这些特性来去掉更多的冗余数据,声音编码算法就是通过这些特性来去掉更多的冗余数据,来达到压缩数据的目的。来达到压缩数据的目的。现在学习的是第10页,共79页(一)(一)脉冲编码调制脉冲编码调制 1编码的原理编码的原理 它的原理框图下图所示它的原理框图下图所示 现在学习的是第11页,共79页模拟信号数字化一般有三个步骤:模拟信号数字化一般有三个步骤:第一步是采样第一步是采样,就,就是每隔一段时间间隔读一次声音的幅度;是每隔一段时间间隔读一次声音的幅度;第二步是量化第二步是量化,就是把采样得到的声音信号幅度转换成数字
13、值。但那时就是把采样得到的声音信号幅度转换成数字值。但那时并没有涉及如何进行量化。量化有好几种方法,但可归并没有涉及如何进行量化。量化有好几种方法,但可归纳成两类:一类称为纳成两类:一类称为均匀量化均匀量化,另一类称为,另一类称为非均匀量化非均匀量化。采用的量化方法不同,量化后的数据量也就不同。因此,采用的量化方法不同,量化后的数据量也就不同。因此,可以说量化也是一种压缩数据的方法;可以说量化也是一种压缩数据的方法;第三步是编码第三步是编码,就是按一定格式记录采样和量化后的数据。就是按一定格式记录采样和量化后的数据。现在学习的是第12页,共79页2均匀量化均匀量化 采用相同的采用相同的“等分尺
14、等分尺”来度量采样得到的幅度,也称为线性量来度量采样得到的幅度,也称为线性量化,如图化,如图3-43-4所示。量化后的样本值所示。量化后的样本值Y Y和原始值和原始值X X的差的差 E=Y-XE=Y-X称为量化误差或量化噪声。称为量化误差或量化噪声。现在学习的是第13页,共79页3非均匀量化非均匀量化 对输入信号进行量化时,大的输入信号采用大的量化间隔,小对输入信号进行量化时,大的输入信号采用大的量化间隔,小的输入信号采用小的量化间隔,如图的输入信号采用小的量化间隔,如图3-5所示。现在学习的是第14页,共79页一个一个CDDADA采用脉冲编码调制采用脉冲编码调制PCM编码的实例编码的实例 现
15、在学习的是第15页,共79页首先用一组脉冲采样时钟信号与输入的模拟音频信号首先用一组脉冲采样时钟信号与输入的模拟音频信号相乘,相乘的结果即输入信号在时间轴上的数字化。相乘,相乘的结果即输入信号在时间轴上的数字化。然后对采样以后的信号幅值进行量化。最简单的量然后对采样以后的信号幅值进行量化。最简单的量化方法是均衡量化,这个量化的过程由量化器来完化方法是均衡量化,这个量化的过程由量化器来完成。对经量化器成。对经量化器A/DA/D变换后的信号再进行编码,即把量化变换后的信号再进行编码,即把量化的信号电平转换成二进制码组,就得到了离散的二进制输的信号电平转换成二进制码组,就得到了离散的二进制输出数据序
16、列出数据序列x(n)x(n),n n表示量化的时间序列,表示量化的时间序列,x(n)x(n)的值就是的值就是n n时刻量化后的幅值,以二进制的形式表示和记录。时刻量化后的幅值,以二进制的形式表示和记录。现在学习的是第16页,共79页(二)(二)增量调制(增量调制(DMDM调制)调制)它是一种预测编码技术,是它是一种预测编码技术,是PCMPCM编码的一种变形。编码的一种变形。DMDM是对实际是对实际的采样信号与预测的采样信号之差的极性进行编码,将极性变成的采样信号与预测的采样信号之差的极性进行编码,将极性变成“0 0”和和“1 1”这两种可能的取值之一。如果实际的采样信号与预测这两种可能的取值之
17、一。如果实际的采样信号与预测的采样信号之差的极性为的采样信号之差的极性为“正正”,则用,则用“1 1”表示;相反则用表示;相反则用“0 0”表示,或者相反。表示,或者相反。图3-7 DM波形示意图现在学习的是第17页,共79页从上图中可以看到,在开始阶段增量调制器的输出不能保从上图中可以看到,在开始阶段增量调制器的输出不能保持跟踪输入信号的快速变化,这种现象称为增量调制器的持跟踪输入信号的快速变化,这种现象称为增量调制器的“斜率过载斜率过载”(slope overload)(slope overload)。在输入信号缓慢变化部分,即输入信号与预测信号的在输入信号缓慢变化部分,即输入信号与预测信
18、号的差值接近零的区域,增量调制器的输出出现随机交变差值接近零的区域,增量调制器的输出出现随机交变的的“0”和和“1”。这种现象称为增量调制器的粒状噪声。这种现象称为增量调制器的粒状噪声(granular noise),这种噪声是不可能消除的。,这种噪声是不可能消除的。在输入信号变化快的区域,斜率过载是关心的焦点,在输入信号变化快的区域,斜率过载是关心的焦点,而在输入信号变化慢的区域,关心的焦点是粒状噪声。而在输入信号变化慢的区域,关心的焦点是粒状噪声。现在学习的是第18页,共79页第第4章章 多媒体硬件基础多媒体硬件基础本章内容本章内容数字音频处理接口数字音频处理接口数字视频处理接口数字视频处
19、理接口多媒体输入多媒体输入/输出设备输出设备多媒体存储技术多媒体存储技术现在学习的是第19页,共79页4.1 数字音频处理接口数字音频处理接口一、声卡的功能与工作原理(一、声卡的功能与工作原理(P68)1.声卡的功能声卡的功能(数字化声音数字化声音,合成音乐合成音乐,CD音频音频)(1)播放数字音乐)播放数字音乐(2)录音)录音(3)语音通信)语音通信(全双工全双工)(4)实时的效果器)实时的效果器(5)接口卡)接口卡(SB1394)(6)音频解码)音频解码(7)合成器)合成器(波表波表)现在学习的是第20页,共79页2.声卡的基本原理声卡的基本原理(1)结构)结构模模/数转换电路数转换电路数
20、数/模转换电路模转换电路(2)组成)组成MIDI输入输入/输出电路输出电路MIDI合成器芯片合成器芯片模模/数转换器数转换器压缩芯片压缩芯片语音合成器语音合成器语音识别电路语音识别电路输出电路输出电路现在学习的是第21页,共79页3.声卡的类型声卡的类型(1)板卡式)板卡式(2)集成式)集成式(3)外置式声卡)外置式声卡现在学习的是第22页,共79页二、音乐合成和二、音乐合成和MIDI接口规范接口规范(P70)1.音乐合成与音乐合成与MIDI目前,声卡的音乐合成主要有两种方法:目前,声卡的音乐合成主要有两种方法:一种是常用的调频(一种是常用的调频(FM)合成法;另一种就)合成法;另一种就是波表
21、(是波表(Wave Table)合成法。)合成法。衡量声卡的音乐合成器性能好坏的参数:衡量声卡的音乐合成器性能好坏的参数:(1)音色数目)音色数目(2)发音数)发音数(3)音乐的兼容性)音乐的兼容性现在学习的是第23页,共79页2.MIDI术语(见表术语(见表4.1)3.MIDI接口接口(1)MIDI In(输入口)(输入口)(2)MIDI Out(输出口)(输出口)(3)MIDI Thru(转发口)(转发口)4.MIDI技术规范技术规范MIDI规定合成器、音序器、微机和鼓乐规定合成器、音序器、微机和鼓乐等能通过一个标准的接口连接。等能通过一个标准的接口连接。二、音乐合成和二、音乐合成和MID
22、I接口规范接口规范现在学习的是第24页,共79页三、语音合成语音合成(P73)1.概述概述计算机话语输出按其实现功能可分为:计算机话语输出按其实现功能可分为:1)有限词汇的计算机语音输出有限词汇的计算机语音输出(报时、报站报时、报站)2)基于语音合成技术的文字基于语音合成技术的文字语音转换语音转换(TTS)2.合成方法合成方法1)发音器官参数语音合成发音器官参数语音合成2)声道模型参数语音合成声道模型参数语音合成3)波形编辑语音合成技术波形编辑语音合成技术现在学习的是第25页,共79页PSOLA(基音同步叠加基音同步叠加)算法(P74)(1)对原始波形进行分析,产生非参)对原始波形进行分析,产
23、生非参数的中间表示;数的中间表示;(2)对中间表示进行修改;)对中间表示进行修改;(3)将修改过的中间表示重新合成为)将修改过的中间表示重新合成为语音信号。语音信号。现在学习的是第26页,共79页3.语音基元数据库的构建语音基元数据库的构建(1)基元的选择)基元的选择选择音节选择音节选择双音素和三音素选择双音素和三音素(2)语音数据的存储形式)语音数据的存储形式波形存储方式存储波形存储方式存储参数存储方式存储参数存储方式存储现在学习的是第27页,共79页4.韵律模拟韵律模拟1)自然语言中的韵律特征自然语言中的韵律特征2)韵律合成及方法)韵律合成及方法3)韵律模拟的问题)韵律模拟的问题现在学习的
24、是第28页,共79页4.1.4 音频编码标准音频编码标准(一)(一)CCITT G系列声音压缩标准系列声音压缩标准CCITTCCITT和和ISOISO先先后后提提出出了了一一系系列列有有关关语语音音数数据据编编译译码码标标准准,下面简要介绍几种音频编码技术标准。下面简要介绍几种音频编码技术标准。1电话质量的音频压缩编码技术标准电话质量的音频压缩编码技术标准信号频率规定在信号频率规定在300Hz300Hz3.4kHz3.4kHz,采用标准的脉冲编码调,采用标准的脉冲编码调制制(PCM)(PCM),当采样频率为,当采样频率为8kHz8kHz,进行,进行8bit8bit量化时,所得量化时,所得数据速
25、率为数据速率为64kb/s64kb/s,即一个数字电话。,即一个数字电话。1972年年CCITT为为电话质量和语音压缩制定了电话质量和语音压缩制定了PCM标准标准G.711,其速率,其速率为为64Kbs,使用非线性量化技术,主要用于公共电话网,使用非线性量化技术,主要用于公共电话网中。中。现在学习的是第29页,共79页2 2调幅广播质量的音频压缩编码技术标准调幅广播质量的音频压缩编码技术标准 频率在频率在50Hz50Hz一一7kHz7kHz范围。范围。G.722G.722标标准是采用准是采用16kHz16kHz采采样样,14bit14bit量化,信号数据速率量化,信号数据速率为为224kbit
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体 硬件 基础 优秀 PPT
限制150内