数字声音及MIDI简介剖析优秀PPT.ppt

《数字声音及MIDI简介剖析优秀PPT.ppt》由会员分享，可在线阅读，更多相关《数字声音及MIDI简介剖析优秀PPT.ppt（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、MMTMMTYANGZHOUDAXUEYANGZHOUDAXUE物理科学与技术学院物理科学与技术学院其次讲其次讲 数字声音及数字声音及MIDIMIDI简介简介 声音是携带信息的极其重要的媒体(20%)，是多媒体技术探讨中的一个重要内容。声音的种类繁多，如人的话音、乐器声、动物发出的声音、机器产生的声音以及自然界的声音等。这些声音有很多共同的特性，也有它们各自的特性。在用计算机处理这些声音时，既要考虑它们的共性，又要利用它们的各自的特性。我们将探讨声音的基础学问，驾驭声音数字化的两个最基本的概念；了解基本的音频信号编码技术。第第1 1节节 声音声音 声音是通过空气传播的一种连续的波，叫声波。反射

2、(reflection)、折射(refraction)和衍射(diffraction)声音信号是由很多频率不同的重量信号组成的复合信号。复合信号的频率范围称为带宽。声音的本质声音的本质声音的本质声音的本质 带宽为20Hz20kHz的信号称为音频（audio）信号，可以被人的耳朵感知。话音信号带宽在80Hz3400Hz。频率确定音调。响度（音量）表示的是声音能量的强弱程度，主要取决于声波振幅的大小。用声压(达因平方厘米，牛顿平方米)或声强(瓦特平方厘米)来计量。声压的单位为帕(Pa)。人耳对lkHz、10-16W/cm2的纯音刚能听到。声强级表示响度的相对量，它定义为某响度与10-16W/cm2

3、比值的对数值乘以10，单位为dB。正常人听觉的强度范围为0dB120dB。声音与听觉声音与听觉声音与听觉声音与听觉乐音乐音乐音乐音n n以小提琴为例，当它的以小提琴为例，当它的A A弦振动时，并不仅仅是整根弦在振弦振动时，并不仅仅是整根弦在振动，这根弦的二分之一、三分之一、四分之一、五分之一动，这根弦的二分之一、三分之一、四分之一、五分之一处都在振动着。于是，整根弦的振动产生了最主要的处都在振动着。于是，整根弦的振动产生了最主要的频率，我们称之为基音，而弦长的二分之一、三分之一、频率，我们称之为基音，而弦长的二分之一、三分之一、四分之一等处的振动则产生了一些次要的频率，我们称之四分之一等处的振

4、动则产生了一些次要的频率，我们称之为泛音。为泛音。n n假如一个物体振动所发出的泛音为基音的整数倍，这个音假如一个物体振动所发出的泛音为基音的整数倍，这个音就会具有清晰可辨的音高，我们称之为乐音，如钢琴，小就会具有清晰可辨的音高，我们称之为乐音，如钢琴，小提琴等发出的都是乐音；假如泛音是基音的非整数倍，这提琴等发出的都是乐音；假如泛音是基音的非整数倍，这个音就不具备清晰可辨的音高，我们称之为噪音，如汽车个音就不具备清晰可辨的音高，我们称之为噪音，如汽车发动机、计算机风扇等发出的都是噪音。发动机、计算机风扇等发出的都是噪音。基音和混入基音的泛音确定音色。声音的三要素声音的三要素声音的三要素声音的

5、三要素n n音调、音强、音色为声音的三要素。音调、音强、音色为声音的三要素。n n音强（响度）取决于声音的幅度。音强（响度）取决于声音的幅度。n n音调取决于声音的频率。音调取决于声音的频率。n n音色是由混入基音的泛音所确定的。音色是由混入基音的泛音所确定的。声音的听觉特性声音的听觉特性声音的听觉特性声音的听觉特性n n声音的方向性声音的方向性n n人的耳朵对声音强度和频率的反应成人的耳朵对声音强度和频率的反应成对数形式对数形式对数形式对数形式n n声音的声音的掩蔽特性掩蔽特性（时域掩蔽、频域掩蔽（时域掩蔽、频域掩蔽）声音质量的度量声音质量的度量声音质量的度量声音质量的度量n n声音的质量与

6、声音的带宽有关，一般来说频率范围越宽，声音的质量与声音的带宽有关，一般来说频率范围越宽，声音质量也就越高。声音质量也就越高。声音类型声音类型带带 宽宽电话语音电话语音200200HzHz3.4kHz3.4kHz调幅广播调幅广播(AM)(AM)5050HzHz7kHz7kHz调频广播调频广播(FM)(FM)2020HzHz15kHz15kHzCDCD10Hz10Hz20kHz20kHz信噪比（信噪比（SNRSNR）度量度量指试听者要把语音编码器的输出按质量分为：优（指试听者要把语音编码器的输出按质量分为：优（5 5分）、良分）、良（4 4分）、中（分）、中（3 3分）、差（分）、差（2 2分）、

7、劣（分）、劣（1 1分）分）或分类为：察觉不到（或分类为：察觉不到（5 5分），稍稍察觉到但无不适感（分），稍稍察觉到但无不适感（4 4分），分），能察觉且有不适感（能察觉且有不适感（3 3分），有不适感但还能忍受（分），有不适感但还能忍受（2 2分），很不分），很不适且无法忍受（适且无法忍受（1 1分）分）主观平均判分法（MOS，Mean Opinion ScoreMean Opinion Score）第2节 声音信号数字化n n声音信号是典型的连续信号，不仅在时间上是连续的，声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。而且在幅度上也是连续的。n n声音进入计算机

8、的第一步就是数字化，数字化过程中最声音进入计算机的第一步就是数字化，数字化过程中最重要的步骤就是重要的步骤就是采样采样采样采样和和量化量化量化量化。n n采样（采样（采样（采样（samplingsampling）：将声音信号在时间上离散将声音信号在时间上离散化，即每隔相等的一段时间抽取一个信号样本。化，即每隔相等的一段时间抽取一个信号样本。n n量化（量化（量化（量化（quantizationquantization）：将连续的信号幅度离散）：将连续的信号幅度离散）：将连续的信号幅度离散）：将连续的信号幅度离散化。假如幅度的划分是等间隔的，称为线性量化。假如幅度的划分是等间隔的，称为线性量化。

9、假如幅度的划分是等间隔的，称为线性量化。假如幅度的划分是等间隔的，称为线性量化，否则为非线性量化。一般紧跟编码过程。化，否则为非线性量化。一般紧跟编码过程。化，否则为非线性量化。一般紧跟编码过程。化，否则为非线性量化。一般紧跟编码过程。电压范围电压范围 量化步长量化步长 量化结果量化结果 编码编码 逆量化结果逆量化结果 5 7 2 3 011 6 3 5 2 2 010 4 1 3 2 1 001 2 -1 1 2 0 000 0-3-1 2 -1 111 -2-5-3 2 -2 110 -4-7-5 2 -3 101 -6-9-7 2 -4 100 -8多媒体数据的量化一般通过除以量化步长量

10、化为整数。多媒体数据的量化一般通过除以量化步长量化为整数。逆量化就是乘以量化步长。逆量化就是乘以量化步长。量化步长越长，压缩字节越多，但是误差越大。量化步长越长，压缩字节越多，但是误差越大。量化步长越短，压缩字节越少，但是误差越小。量化步长越短，压缩字节越少，但是误差越小。量化除了有使幅度离散的作用外，同时：量化除了有使幅度离散的作用外，同时：（1 1）压缩字节）压缩字节（2 2）产生量化误差（）产生量化误差（量化误差量化误差：逆量化的结果和原始：逆量化的结果和原始信号幅值之差，也称为信号幅值之差，也称为量化噪声量化噪声。）n n采样频率采样频率 奈奎斯特理论指出：奈奎斯特理论指出：采样频率不

11、应低于声音信号采样频率不应低于声音信号最高频率的两倍最高频率的两倍，这样就能把以数字表达的声音，这样就能把以数字表达的声音还原成原来的声音，称为无损数字化。还原成原来的声音，称为无损数字化。f fs s =2f 2fmaxmax 例如例如话音信号话音信号最高频率约为最高频率约为3.43.4kHzkHz，所以采样频所以采样频率取为率取为8 8kHzkHz。n n采样精度采样精度n n 每个声音样本的数字化位数。反映声音波形每个声音样本的数字化位数。反映声音波形幅度的采样精度。也干脆确定数据率的大小。幅度的采样精度。也干脆确定数据率的大小。质量质量采样频率采样频率（kHzkHz）样本精度样本精度（

12、bitbit）单道声单道声/立体声立体声数据率数据率（kb/skb/s）电话电话8 88 8单道声单道声6464AMAM11.02511.0258 8单道声单道声8888.2.2FMFM22.05022.0501616立体声立体声705.6705.6CDCD44.144.11616立体声立体声1411.21411.2人机通信，计算机接收音频信号。获得、语音识别与理解。人机通信，计算机接收音频信号。获得、语音识别与理解。机人通信，计算机输出音频。音频合成；声音重构、模拟。机人通信，计算机输出音频。音频合成；声音重构、模拟。产生真实感声音。产生真实感声音。人机人通信，人通过网络进行语音通信，须要的

13、处理包人机人通信，人通过网络进行语音通信，须要的处理包括：语音采集、编码解码、传输、检索，识别。括：语音采集、编码解码、传输、检索，识别。音频信号处理的内容第3节 音频处理技术关于音频信号的几个问题n n奈奎斯特（奈奎斯特（Nyquist）理论与混迭效应）理论与混迭效应n n量化量化n n信号的时域与频率特征信号的时域与频率特征n n人耳对音频信号的理解人耳对音频信号的理解n n信号的表示和编码信号的表示和编码n n信号的重构信号的重构音频信号处理的流程原始声音信 号声电信号转 换低 通滤 波模拟数字转 换数字信号处 理传 输存 储声 音合 成功 率放 大数字模拟转 换电声信号转换音频信号处理

14、的重要硬件就是音频卡。音频卡结构音频卡结构第4节 WAVE音效和MIDI音乐n nWaveWave音效合成与音效合成与MIDIMIDI音乐合成是声卡最主要的功音乐合成是声卡最主要的功能。能。n nWAVEWAVE音效合成是由声卡的音效合成是由声卡的ADAD模数转换器和模数转换器和DADA数数模转换器来完成的。模拟音频信号经模转换器来完成的。模拟音频信号经ADAD转换后为转换后为数字音频后，以文件形式将数据干脆存放在磁盘数字音频后，以文件形式将数据干脆存放在磁盘等介质上，成为声音文件。这类文件我们称之为等介质上，成为声音文件。这类文件我们称之为wave formwave form文件，通常以文件

15、，通常以.wav.wav为扩展名，因此也称为扩展名，因此也称为为wavwav文件。文件。n n缺点：缺点：wavwav文件须要占用很大的贮存空间。文件须要占用很大的贮存空间。n n为了节约存贮空间，人们运用各种算法对为了节约存贮空间，人们运用各种算法对wavwav文件进文件进行压缩，时下极为流行的行压缩，时下极为流行的MP3MP3就是一种高压缩比低失就是一种高压缩比低失真的压缩算法。真的压缩算法。WAVEWAVEWAVEWAVE文件格式文件格式文件格式文件格式偏移偏移地址地址字节字节数数数据类型数据类型内内 容容文文件件头头4 42 2字字节节00H00H4 4charcharRIFFRIFF

16、标志标志04H04H4 4longintlongint文件长度文件长度-8-8字节字节08H08H4 4charcharWAVEWAVE标志标志0CH0CH4 4charcharfmtfmt标志标志10H10H4 4过渡字节（不定）过渡字节（不定）14H14H2 2intint格式类别（格式类别（01H01H为为PCMPCM形式的声音数据形式的声音数据)16H16H2 2intint通道数，单声道为通道数，单声道为1 1，双声道为，双声道为2 218H18H2 2intint采样率（每秒样本数），表示每个通道的播放速度，采样率（每秒样本数），表示每个通道的播放速度，1CH1CH4 4longi

17、ntlongint波形音频数据传送速率，其值为通道数波形音频数据传送速率，其值为通道数 每秒数据位数每秒数据位数 每样本的数每样本的数据位数据位数8 8。播放软件利用此值可以估计缓冲区的大小。播放软件利用此值可以估计缓冲区的大小。20H20H2 2intint数据块的调整数（按字节算的），其值为通道数数据块的调整数（按字节算的），其值为通道数 每样本的数据位值每样本的数据位值8 8。播放软件需要一次处理多个该值大小的字节数据，以便将其值。播放软件需要一次处理多个该值大小的字节数据，以便将其值用于缓冲区的调整。用于缓冲区的调整。22H22H2 2每样本的数据位数，表示每个声道中各个样本的数据位数

18、。如果有每样本的数据位数，表示每个声道中各个样本的数据位数。如果有多个声道，对每个声道而言，样本大小都一样。多个声道，对每个声道而言，样本大小都一样。24H24H4 4charchar数据标记符数据标记符datadata28H28H4 4longintlongint语音数据的长度语音数据的长度8 8位位单单声道声道0 0声道声道 0 0声道声道0 0声道声道 0 0声道声道8 8位立体声位立体声0 0（左）声道（左）声道1 1（右）声道（右）声道0 0（左）声道（左）声道1 1（右）声道（右）声道1616位单声道位单声道0 0声道低字节声道低字节0 0声道高字节声道高字节0 0声道低字节声道低

19、字节0 0声道高字节声道高字节1616位立体声位立体声0 0声道低字声道低字节节0 0声道高字声道高字节节1 1声道低字声道低字节节1 1声道高字声道高字节节PCM数据（WAV文件音频数据）的存放方式 PCM波形样本的数据格式 样样本大小本大小数据格式数据格式最大最大值值最小最小值值8 8位位PCMPCMunsignedintunsignedint2552550 01616位位PCMPCMintint3276732767-32767-32767（MIDI）Musical instrument digital interfacen nMIDIMIDI，即乐器数字化接口，是一种用于计算机与电子乐，

20、即乐器数字化接口，是一种用于计算机与电子乐器之间进行数据交换的通信标准。器之间进行数据交换的通信标准。MIDIMIDI文件（以文件（以.mid.mid为为文件扩展名）记录了用于合成文件扩展名）记录了用于合成MIDIMIDI音乐的各种限制指令，音乐的各种限制指令，包括发声乐器、所用通道、音量大小等。由于包括发声乐器、所用通道、音量大小等。由于MIDIMIDI文件文件本身不包含任何数字音频信号，因而所占的贮存空间比本身不包含任何数字音频信号，因而所占的贮存空间比wavwav文件要小得多。文件要小得多。n n从从8080年头初问世至今，年头初问世至今，MIDIMIDI经验了长时间的发展，现已经验了长

21、时间的发展，现已成为电脑音乐的代名词。成为电脑音乐的代名词。n nMIDIMIDI的发展与电子音乐合成密不行分。的发展与电子音乐合成密不行分。电子音乐合成电子音乐合成电子音乐合成电子音乐合成n n运用电子元器件（计算机）生成音乐的技术称为电子运用电子元器件（计算机）生成音乐的技术称为电子音乐合成。音乐合成。n n电子音乐合成方法分为两类：电子音乐合成方法分为两类：FM频率调制合成音乐样本合成频率调制（频率调制（频率调制（频率调制（FMFM）合成法合成法合成法合成法n n数字式频率调制合成法，简称为数字式频率调制合成法，简称为FMFM合成法。合成法。n nFMFM电子合成器先由震荡器产生一个载波

22、作为基音，然后再产生若电子合成器先由震荡器产生一个载波作为基音，然后再产生若干个调制波带着很多泛音加在载波之上，可以对这个组合加以随干个调制波带着很多泛音加在载波之上，可以对这个组合加以随意调整，然后加上典型的声音包络线（意调整，然后加上典型的声音包络线（ADSRADSR），再通过数控滤波），再通过数控滤波器和数控放大器送往数字器和数控放大器送往数字/模拟转换器，从而形成最终的声音。模拟转换器，从而形成最终的声音。n n由于一个物体不行能总是一成不变的振动，所以它的频率和振幅由于一个物体不行能总是一成不变的振动，所以它的频率和振幅都会随着时间的变更而变更，并最终趋于静止。我们把一声音的都会随着

23、时间的变更而变更，并最终趋于静止。我们把一声音的发展过程分为四个阶段，分别是触发、衰减、保持和消逝。这四发展过程分为四个阶段，分别是触发、衰减、保持和消逝。这四个阶段我们统称为个阶段我们统称为“包络包络”。包络的发生时间，也确定了一个。包络的发生时间，也确定了一个乐音的时值。乐音的时值。由以下五部分组成：数字载波器调制器声音包络发生器数字运算器模数转换器频率调制（频率调制（频率调制（频率调制（FMFMFMFM）合成法合成法合成法合成法FM声音合成器的工作原理声音合成器的工作原理从理论上讲，从理论上讲，FM合成方法可以产生任何乐音，但是，合成出来的声音不够真实。合成方法可以产生任何乐音，但是，合

24、成出来的声音不够真实。FMFM合成法的独创人：合成法的独创人：John ChowningJohn Chowning 20 20世纪世纪6060年头，在斯坦福高校和他的同事探讨年头，在斯坦福高校和他的同事探讨FMFM理论和合成技术，理论和合成技术，19661966年探讨成功，成为运用年探讨成功，成为运用FMFM制作并录音的第一人。制作并录音的第一人。之后之后John ChowningJohn Chowning通过斯坦福高校找寻美国的通过斯坦福高校找寻美国的制造商。制造商。被被YAMAHAYAMAHA接受。接受。乐音样本合成法乐音样本合成法乐音样本合成法乐音样本合成法n n乐音样本合成法是把真实乐

25、器发出的声音以数乐音样本合成法是把真实乐器发出的声音以数字的形式记录下来，播放时再加以调整、修饰字的形式记录下来，播放时再加以调整、修饰和放大，生成各种音阶的音符。和放大，生成各种音阶的音符。n n乐音样本通常放在乐音样本通常放在ROMROM芯片上，播放时以查表芯片上，播放时以查表的方式给出，所以这种合成器又叫做的方式给出，所以这种合成器又叫做波表波表（wave tablewave table）合成器。合成器。Wavetable合成器的工作原理 Wavetable合成器所须要的输入限制参数比较少，可控的数字音效也不多，大多数接受这种合成方法的声音设备都可以限制声音包络的ADSR参数，产生的声音

26、质量比FM合成方法产生的声音质量要高。乐音样本合成法乐音样本合成法乐音样本合成法乐音样本合成法n nMIDIMIDI实质上是由实质上是由MIDIMIDI限制器（或限制器（或MIDIMIDI文件）产生的指文件）产生的指示电子音乐合成器要做什么、怎么做（如演奏某个音示电子音乐合成器要做什么、怎么做（如演奏某个音符、加大音量、生成音响效果）的一套标准指令。符、加大音量、生成音响效果）的一套标准指令。MIDIMIDI不是声音信号，在不是声音信号，在MIDIMIDI电缆上传送的不是声音，电缆上传送的不是声音，而是动作指令（而是动作指令（MIDIMIDI文件）。文件）。MIDI设备的简单联接MIDIMID

27、I硬件硬件硬件硬件 各个MIDI设备通过专用的串行电缆(MIDI线)连接，并以 31.25 kb/s（每字节10位）的速度传送着数字音乐信息。MIDIThru Out InMIDIMIDI的物理接口标准的物理接口标准的物理接口标准的物理接口标准MIDIMIDI通道的概念通道的概念通道的概念通道的概念单个物理MIDI通道分为16个逻辑通道，每个逻辑通道可指定一种乐器。MIDI键盘可设置在这16个通道中的任何一个，MIDI合成器可以被设置在指定的通道上接收MIDI指令。MIDIMIDI设备的困难连接设备的困难连接设备的困难连接设备的困难连接 把MIDI理解成一种局域网，网络各个部分通过专用的串行电

28、缆(MIDI线)连接。指定各声音模块播放某一个通道。音序器规定发声依次。输入设备，音序器，音源（声音模块）是MIDI系统重要的三个部分。MIDIMIDIMIDIMIDI指令举例指令举例指令举例指令举例 演奏员按下MIDI键盘中间的一个“C”键时，MIDI键盘就会发送一个三字节组成的消息，用16进制表示为：90 3C 40。其中90是状态字节，它表示一个字符起先，且向0号声道传送；3C表示击键位置（共007F共128键）；40表示击键的速度（共分成007F共128种不同速度）。松开键后，MIDI键盘马上又发出一个三字节消息：90 3C 00。前两个字节含义与前面相同，第三个字节“00”表示速度为

29、0，即这个键已中止。当合成器收到第一个消息时即起先以指定的乐器声音发出规定的音符声，而当合成器收到其次个消息时，合成器马上停止发声。MIDIMIDIMIDIMIDI小结小结小结小结n n是一种在计算机和音乐合成器之间交换音乐信息的标准协是一种在计算机和音乐合成器之间交换音乐信息的标准协议。议。MIDI MIDI不是声音信号，在不是声音信号，在MIDIMIDI电缆上传递的是指令。电缆上传递的是指令。n n由于由于MIDIMIDI只是记录音乐信息的数字代码，所以生成的文件只是记录音乐信息的数字代码，所以生成的文件比较小，便于传播，也便于编辑修改。比较小，便于传播，也便于编辑修改。n n与与Mp3M

30、p3、WavWav等音频格式不同的是等音频格式不同的是MIDIMIDI的播放质量很大程度的播放质量很大程度上取决于硬件或软件的音源环境，也就是说同样的上取决于硬件或软件的音源环境，也就是说同样的MIDIMIDI文文件在不同的电脑上可能有特别明显的效果差别，缘由是因件在不同的电脑上可能有特别明显的效果差别，缘由是因为它们调用的波表音色库不一样。为它们调用的波表音色库不一样。n n波表是重要的波表是重要的MIDIMIDI音乐生成方式。音乐生成方式。n nMIDIMIDI音乐常用作游戏音乐或背景音乐，典型应用就是手机音乐常用作游戏音乐或背景音乐，典型应用就是手机音乐。音乐。小结小结n n自然界数据进入计算机包含两个过程，转换成电信自然界数据进入计算机包含两个过程，转换成电信号和转换成数字信号。号和转换成数字信号。n n采样和量化是数字化过程中的基本过程。采样和量化是数字化过程中的基本过程。n n声音的基本特性包括声强，音频，不同类别的声音声音的基本特性包括声强，音频，不同类别的声音具有不同的频率范围，具有不同的处理方法。具有不同的频率范围，具有不同的处理方法。n n计算机可以处理的声音包括计算机可以处理的声音包括wavewave音效和音效和MIDIMIDI音效。音效。