多媒体音频技术优秀课件.ppt

《多媒体音频技术优秀课件.ppt》由会员分享，可在线阅读，更多相关《多媒体音频技术优秀课件.ppt（67页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多媒体音频技术第1页，本讲稿共67页第二章声音信号数字化声音的基本概念通过空气传播的一种连续的机械波。强弱:声压，音调:频率声音信号的两大参数振幅频率第2页，本讲稿共67页分贝是声压级单位，记为dB。分貝表示声音的強度或响度，也就是音量。零分貝的設定，是根据听力正常的年轻人所能听到的最小声音所得到的。1分贝大约是人刚刚能感觉到的声音。适宜的生活环境不应超过45分贝，不应低于15分贝。按普通人的听觉020分贝很静、几乎感觉不到。2040分贝安静、犹如轻声絮语。4060分贝一般、普通室内谈话6070分贝吵闹、有损神经7090分贝很吵、神经细胞受到破坏90100分贝吵闹加剧、听力受损100120分贝

2、难以忍受、呆一分钟即暂时致聋。第3页，本讲稿共67页一般的耳語大約是20分貝超靜音冷氣機的音量是33分貝極安靜的住宅區40分貝一般公共場所50分貝交談約60分貝(所以若兩耳的聽力皆超過60分貝，交談便會產生困難，會出現說話像吵架的情形)交通繁忙地區85分貝飛機場跑道120分貝。第4页，本讲稿共67页（2）频率（音频周期）20khz超声波(ultrasonic)各种音频的带宽人的发音：80hz3.4khz人的说话：300hz3khz人的听觉：20hz20khz第5页，本讲稿共67页从模拟过渡到数字音频信号的产生与还原模拟处理方法音源机电转换滤波放大存储电磁（光）转换（磁带、唱盘等）滤波放大电机转

3、换声音数字处理方法音源-信号转换（电信号）-模数转换-压缩、编码-存储介质（磁盘、光盘等）-数模转换电机转换声音模拟域处理的特点：速度快、受环境变化影响大、成本高。数字域处理的特点：容易实现、精确处理、不受时间和环境变化的影响、可编程成本低、可智能化。第6页，本讲稿共67页模拟信号与数字信号话音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。在时间上“连续”是指在一个指定的时间范围里声音信号的幅值有无穷多个，在幅度上“连续”是指幅度的数值有无穷多个。我们把在时间和幅度上都是连续的信号称为模拟信号。第7页，本讲稿共67页模拟信号与数字信号我们把时间和幅度都用离散的数字表示的信

4、号就称为数字信号。采样在某些特定的时刻对这种模拟信号进行测量叫做采样(sampling)，由这些特定时刻采样得到的信号称为离散时间信号。量化采样得到的幅值是无穷多个实数值中的一个，因此幅度还是连续的。如果把信号幅度取值的数目加以限定，这种由有限个数值组成的信号就称为离散幅度信号。第8页，本讲稿共67页声音信号数字化声音进入计算机的第一步就是数字化，数字化实际上就是采样和量化。如前所述，连续时间的离散化通过采样来实现，就是每隔相等的一小段时间采样一次，这种采样称为均匀采样(uniformsampling)；连续幅度的离散化通过量化(quantization)来实现，就是把信号的强度划分成一小段一

5、小段，如果幅度的划分是等间隔的，就称为线性量化，否则就称为非线性量化。第9页，本讲稿共67页声音信号数字化音频数字化（时间上的离散：采样；幅度上的离散：量化）第10页，本讲稿共67页声音信号数字化声音数字化需要回答两个问题：每秒钟需要采集多少个声音样本，也就是采样频率(fs)是多少，每个声音样本的位数(bitpersample，bps)应该是多少，也就是量化精度。第11页，本讲稿共67页采样频率的高低是根据奈奎斯特理论(Nyquisttheory)和声音信号本身的最高频率决定的。奈奎斯特理论指出，采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字

6、化(losslessdigitization)。采样定律用公式表示为fs=2fmax 或者 Ts=T/2其中f max为被采样信号的最高频率。采样频率第12页，本讲稿共67页采样频率可以这样来理解奈奎斯特理论：声音信号可以看成由许许多多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为fmax,采样频率最低要选择2fmax。例如，电话话音的信号频率约为3.4kHz，采样频率就选为8kHz。第13页，本讲稿共67页采样精度样本大小是用每个声音样本的位数bit/sample表示的，它反映度量声音波形幅度的精度。例如，每个声音样本用16位(2字节)

7、表示，测得的声音样本值是在065536的范围里，它的精度就是输入信号的1/65536。样本位数的大小影响到声音的质量，位数越多，声音的质量越高，而需要的存储空间也越多；位数越少，声音的质量越低，需要的存储空间越少。第14页，本讲稿共67页采样精度采样精度的另一种表示方法是信号噪声比，简称为信噪比(signal-to-noiseratio，SNR)，并用下式计算：SNR10log(Vsignal)2/(Vnoise)220log(Vsignal/Vnoise)其中，Vsignal表示信号电压，Vnoise表示噪声电压；SNR的单位为分贝(db)例1：假设Vnoise1，采样精度为1位表示Vsig

8、nal21，它的信噪比SNR6分贝。例2：假设Vnoise1，采样精度为16位表示Vsignal216，它的信噪比SNR96分贝。第15页，本讲稿共67页声音质量与数据率根据声音的频带，通常把声音的质量分成5个等级，由低到高分别是电话(telephone)、调幅(amplitudemodulation，AM)广播、调频(frequencymodulation，FM)广播、激光唱盘(CD-Audio)和数字录音带(digitalaudiotape，DAT)的声音。在这5个等级中，使用的采样频率、样本精度、通道数和数据率列于表201。第16页，本讲稿共67页声音质量与数据率第17页，本讲稿共67页

9、非线性量化均匀量化：线性，按比例得量化值非均匀量化它们的优缺点对数式压缩A率压扩（P73）U率压扩（P75）第18页，本讲稿共67页第19页，本讲稿共67页率压扩原理第20页，本讲稿共67页率压扩原理第21页，本讲稿共67页A率压扩原理第22页，本讲稿共67页多媒体音频技术音频信号的频谱分析（P65图）基频、取样频率的确定取样频率过高或过低的缺点第23页，本讲稿共67页2.3声音文件的存储格式第24页，本讲稿共67页音频文件的格式如同存储文本文件一样，存储声音数据也需要有存储格式。在因特网上和各种机器上运行的声音文件格式很多，但目前比较流行的有以.wav(waveform)，.au(audio

10、)，.aiff(AudioInterchangeableFileFormat)和.snd(sound)为扩展名的文件格式。.wav格式主要用在PC上，.au主要用在Unix工作站上，.aiff和snd主要用在苹果机和美国视算科技有限公司(SiliconGraphics，Inc.，SGI)的工作站上。第25页，本讲稿共67页2.4 声音工具声音工具声音工具(audiotools)用来录放、编辑和分析声音文件。声音工具使用得相当普遍，但它们的功能相差很大。下面列出了比较常见的几种工具。Soundrecordwavestudiocooledit示例（编辑处理）第26页，本讲稿共67页2.5声音质量的

11、度量声音质量的评价是一个很困难的问题，目前还在继续研究的课题。前面介绍了用声音信号的带宽来衡量声音的质量，等级由高到低依次是DAT，CD，FM，AM和数字电话。是客观质量度量，客观标准：5个等级及参数、信噪比SNR。另一种是主观质量度量。第27页，本讲稿共67页2.5主观声音质量的度量声音客观质量的度量主要用信噪比(signaltonioseratio，SNR)，详细计算可参看23。与用SNR客观质量度量相比较，应该可以说人的感觉(如听觉、视觉等)更具有决定意义，感觉上的、主观上的测试应该成为评价声音质量和图像质量不可缺少的部分。而有的学者则认为，在语音和图像信号编码中使用主观质量度量比使用客

12、观质量度量更加恰当，更有意义。可是一般来说，可靠的主观度量值也是比较 难 获 得 的，所 获 得 的 值 也 是 一 个 相 对 值。第28页，本讲稿共67页2.5声音质量的度量主观度量声音质量的方法类似于电视节目中的歌手比赛，由评委对每个歌手的表现进行评分，然后求出平均值。对声音质量的度量也可以使用类似的方法，召集若干实验者，由他们对声音质量的好坏进行评分，求出平均值作为对声音质量的评价。这种方法称为主观平均判分法，所得的分数称为主观平均(meanopinionscore，MOS)分。对声音主观质量度量比较通用的标准是5分制。第29页，本讲稿共67页主观标准MOS(meanopinionsc

13、ore)一般再现语音频率若达7kHz以上，MOS可评5分第30页，本讲稿共67页2.乐音音质乐音音质的优劣取决于多种因素，如声源特性（声压、频率、频谱等）、音响器材的信号特性（如失真度、频响、动态范围、信噪比、瞬态特性、立体声分离度等）、声场特性（如直达声、前期反射声、混响声、两耳间互相关系数、基准振动、吸声率等）、听觉特性（如响度曲线、可听范围、各种听感）等。所以，对音响设备再现音质的评价难度较大。通常用下列两种方法：一是使用仪器测试技术指标；二是凭主观聆听各种音效。由于乐音音质属性复杂，主观评价的个人色彩较浓，而现有的音响测试技术又只能从某些侧面反映其保真度。所以，迄今为止，还没有一个能真

14、正定量反映乐音音质保真度的国际公认的评价标准。但也有报道，国际电信联盟（ITU-T）近期已批准一种客观评价音质的被称之为电子耳的新型测量方法，可对任何音响器材的音质进行客观听音评价，也可用于检测电话通讯语音编码系统的缺陷。第31页，本讲稿共67页2.6电子乐器数字接口(MIDI)系统lMIDI是MusicalInstrumentDigitalInterface的首写字母组合词，可译成“电子乐器数字接口”。用于在音乐合成器(musicsynthesizers)、乐器(musicalinstruments)和计算机之间交换音乐信息的一种标准协议。从20世纪80年代初期开始，MIDI已经逐步被音乐家

15、和作曲家广泛接受和使用。lMIDI是乐器和计算机使用的标准语言，是一套指令(即命令的约定)，它指示乐器即MIDI设备要做什么，怎么做，如演奏音符、加大音量、生成音响效果等。MIDI不是声音信号，而是发给MIDI设备或其它装置让它产生声音或执行某个动作的指令。l特点：文件小、易于编辑、可以与其它媒体同时播放。RobertMoog第32页，本讲稿共67页MIDI标准之所以受到欢迎，主要是它有下列几个优点：生成的文件比较小，因为MIDI文件存储的是命令，而不是声音波形；容易编辑，因为编辑命令比编辑声音波形要容易得多；可以作背景音乐，因为MIDI音乐可以和其它的媒体，如数字电视、图形、动画、话音等一起

16、播放，这样可以加强演示效果。第33页，本讲稿共67页产生MIDI乐音的方法很多，现在用得较多的方法有两种：频率调制(frequencymodulation，FM)合成法乐音样本合成法，也称为波形表(Wavetable)合成法。这两种方法目前主要用来生成音乐。第34页，本讲稿共67页FM合成声音FM合成声音音乐合成器的先驱Robert Moog采用了模拟电子器件生成了复杂的乐音。20世纪80年代初，美国斯坦福大学的John Chowning 研究生发明了一种产生乐音的新方法，这种方法称为数字式频率调制合成法，简称为FM合成器。他把几种乐音的波形用数字来表达，并且用数字计算机而不是用模拟电子器件把

17、它们组合起来，通过数模转换器来生成乐音。斯坦福大学得到了发明专利，并且把专利权授给Yamaha公司，该公司把这种技术做在集成电路芯片里，成了世界市场上的热门产品。FM合成法的发明使合成音乐工业发生了一次革命。第35页，本讲稿共67页FM合成器生成乐音的基本原理FM合成器生由5个基本模块组成：数字载波器、调制器、声音包络发生器、数字运算器和模数转换器。数字载波器用了3个参数：音调(pitch)、音量(volume)和各种波形(wave)；调制器用了6个参数：频率(frequency)、调制深度(depth)、波形的类型(type)、反馈量(feedback)、颤音(vibrato)和音效(eff

18、ect)；乐器声音除了有它自己的波形参数外，还有它自己的比较典型的声音包络线，声音包络发生器用来调制声音的电平，这个过程也称为幅度调制(amplitudemodulation)，并且作为数字式音量控制旋钮，它的4个参数写成ADSR，这条包络线也称为音量升降维持静音包络线(Attack，decay，sustain，release，ADSR)包络线。第36页，本讲稿共67页第37页，本讲稿共67页在乐音合成器中，数字载波波形和调制波形有很多种，不同型号的FM合成器所选用的波形也不同。图是YamahaOPL-III数字式FM合成器采用的波形。各种不同乐音的产生是通过组合各种波形和各种波形参数并采用各

19、种不同的方法实现的。用什么样的波形作为数字载波波形、用什么样的波形作为调制波形、用什么样的波形参数去组合才能产生所希望的乐音，这就是FM合成器的算法。第38页，本讲稿共67页通过改变图中所示的参数，可以生成不同的乐音，例如：改变数字载波频率可以改变乐音的音调，改变它的幅度可以改变它的音量。改变波形的类型，如用正弦波、半正弦波或其它波形，会影响基本音调的完整性。快速改变调制波形的频率(即音调周期)可以改变颤音的特性。改变反馈量，就会改变正常的音调，产生刺耳的声音。选择的算法不同，载波器和调制器的相互作用也不同，生成的音色也不同。在多媒体计算机中，图2-07中的13个声音参数和算法共14个控制参数

20、以字节的形式存储在声音卡的ROM中。播放某种乐音时，计算机就发送一个信号，这个信号被转换成ROM的地址，从该地址中取出的数据就是用于产生乐音的数据。FM合成器利用这些数据产生的乐音是否真实，它的真实程度有多高，这就取决于可用的波形源的数目、算法和波形的类型。第39页，本讲稿共67页2.6.3乐音样本合成声音使用FM合成法来产生各种逼真的乐音是相当困难的，有些乐音几乎不能产生，因此很自然地就转向乐音样本合成法。这种方法就是把真实乐器发出的声音以数字的形式记录下来，播放时改变播放速度，从而改变音调周期，生成各种音阶的音符。乐音样本的采集相对比较直观。音乐家在真实乐器上演奏不同的音符，选择44.1k

21、Hz的采样频率、16位的乐音样本，这相当于CD-DA的质量，把不同音符的真实声音记录下来，这就完成了乐音样本的采集。第40页，本讲稿共67页使用乐音样本合成器的原理框图第41页，本讲稿共67页乐音样本合成器所需要的输入控制参数比较少，可控的数字音效也不多，大多数采用这种合成方法的声音设备都可以控制声音包络的ADSR参数，产生的声音质量比FM合成方法产生的声音质量要高。第42页，本讲稿共67页电子乐器数字接口(MIDI)系统MIDI协议提供了一种标准的和有效的方法，用来把演奏信息转换成电子数据。MIDI信息是以“MIDImessages”传输的，它可以被认为是告诉音乐合成器(musicsynth

22、esizer)如何演奏一小段音乐的一种指令，而合成器把接收到的MIDI数据转换成声音。国际MIDI协会(InternationalMIDIAssociation)出版的MIDI1.0规范对MIDI协议作了完整的说明。第43页，本讲稿共67页MIDI数据流是单向异步的数据位流(bitstream)，其速率为31.25kbps，每个字节为10位(1位开始位，8位数据位和1位停止位)。MIDI乐器上的MIDI接口通常包含3种不同的MIDI连接器，用IN(输入),OUT(输出)和THRU(穿越)。MIDI数据流通常由MIDI控制器(MIDIcontroller)产生，如乐器键盘(musicalinst

23、rumentkeyboard)，或者由MIDI音序器(MIDIsequencer)产生。MIDI控制器是当作乐器使用的一种设备，在播放时把演奏转换成实时的MIDI数据流，MIDI音序器是一种装置，允许MIDI数据被捕获、存储、编辑、组合和重奏。来自MIDI控制器或者音序器的MIDI数据输出通过该装置的MIDIOUT连接器传输。第44页，本讲稿共67页通常，MIDI数据流的接收设备是MIDI声音发生器(MIDIsoundgenerator)或者MIDI声音模块(MIDIsoundmodule)，它们在MIDIIN端口接收MIDI信息(MIDImessages)，然后播放声音。图2-10表示的是一

24、个简单的MIDI系统，它由一个MIDI键盘控制器和一个MIDI声音模块组成。许多MIDI键盘乐器在其内部既包含键盘控制器，又包含MIDI声音模块功能。在这些单元中，键盘控制器和声音模块之间已经有内部链接，这个链接可以通过该设备中的控制功能(localcontrol)对链接打开(ON)或者关闭(OFF)。第45页，本讲稿共67页单个物理MIDI通道(MIDIchannel)分成16个逻辑通道，每个逻辑通道可指定一种乐器，如图2-11所示。在MIDI信息(MIDImessages)中，用4个二进制位来表示这16个逻辑通道。音乐键盘可设置在这16个通道之中的任何一个，而MIDI声源或者声音模块可被设

25、置在指定的MIDI通道上接收。第46页，本讲稿共67页第47页，本讲稿共67页在一个MIDI设备上的MIDIIN连接器接收到的信息可通过MIDITHRU连接器输出到另一个MIDI设备，并可以菊花链的方式连接多个MIDI设备，这样就组成了一个复杂的MIDI系统，如图所示。在这个例子中，MIDI键盘控制器对MIDI音序器(MIDIsequencer)来说是一个输入设备，而音序器的MIDIOUT端口连接了几个声音模块。作曲家可使用这样的系统来创作几种不同乐音组成的曲子，每次在键盘上演奏单独的曲子。这些单独曲子由音序器记录下来，然后音序器通过几个声音模块一起播放。每一曲子在不同的MIDI通道上播放，而

26、声音模块可分别设置成接收不同的曲子。例如，声音模块1可设置成播放钢琴声并在通道1接收信息，模块2设置成播放低音并在通道5接收信息，而模块2设置成播放鼓乐器并在通道10上接收消息等。在图2-12中使用了多个声音模块同时分别播放不同的声音信息。这些模块也可以做在一起构成一个叫做多音色(multitimbral)的声音模块，它同样可以起到同时接收和播放多种声音的作用。第48页，本讲稿共67页复杂MIDI系统第49页，本讲稿共67页图2-13是用PC机构造的MIDI系统，该系统使用的声音模块就是这样一种单独的多音色声音模块。在这个系统中，PC机使用内置的MIDI接口卡，用来把MIDI数据发送到外部的多

27、音色MIDI合成器模块。像多媒体演示程序、教育软件或者游戏等应用软件，它们把信息通过PC总线发送到MIDI接口卡。MIDI接口卡把信息转换成MIDI消息，然后送到多音色声音模块同时播放出许多不同的乐音，例如钢琴声、低音和鼓声。使用安装在PC机上的高级的MIDI音序器软件，用户可把MIDI键盘控制器MIDI接口卡的MIDIIN端口，也可以有相同的音乐创作功能。第50页，本讲稿共67页使用PC机构成的MIDI系统第51页，本讲稿共67页MPC(MultimediaPC)规格需要声音卡的合成器是多音色(muti-timbral)和多音调(polyphonic)的合成器。多音色是指合成器能够同时播放几

28、种不同乐器的声音，在英文文献里常看到用voices和patches来表示，音色就是把一个人说话(或一种乐器)的声音与另一个人说话(或另一种乐器)的声音区分开来的音品；多音调是指合成器一次能够播放的音符(note)数。MPC规格定义了两种音乐合成器：基本合成器(Base-levelsynthesizer)和扩展合成器(Extendedsynthesizer)，基本合成器和扩展合成器之间的差别如表01所示。第52页，本讲稿共67页基本合成器必须具有同时播放3种旋律音色和3种打击音色(鼓乐)的能力，而且还必须具有同时播放6个旋律音符和3个打击音符的能力，因此，基本合成器具有9种音调；扩展合成器要能够

29、同时播放9种旋律音色和8种打击音色。第53页，本讲稿共67页第54页，本讲稿共67页2.6.5MIDI消息MIDI设备使用的一系列MIDI音符，可被认为是告诉音乐合成器如何播放一小段音乐的指令。因为MIDI数据是一套音乐符号的定义，而不是实际的音乐声音，因此MIDI文件的内容被称为MIDI消息(MIDImessages)。一个MIDI消息由1个8位的状态字节并通常跟着2个数据字节组成。在状态字节中，最高有效位设置成“1”，低4位用来表示这个MIDI消息是属于哪个通道，4位可表示16个可能的通道，其余3位的设置表示这个MIDI消息是什么类型的消息。MIDI消息可分成通道消息(ChannelMes

30、sages)和系统消息(SystemMessages)两大类，第55页，本讲稿共67页MIDI通道消息可分成通道声源消息(VoiceMessages)携带的演奏数据通道方式消息(ModeMessages)表示合成器响应MIDI数据的方式；MIDI系统消息分成公共消息(CommonMessages)标识在系统中的所有接收器实时消息(RealTimeMessages)用于MIDI部件之间的同步独占消息(ExclusiveMessages)厂商的标识代码。第56页，本讲稿共67页第57页，本讲稿共67页第58页，本讲稿共67页第59页，本讲稿共67页第60页，本讲稿共67页2.6.6MIDI音序器和

31、标准MIDI文件MIDI合成器实时接收和处理MIDI消息(MIDImessages)。当合成器接收到一个“noteon(乐音开)”MIDI消息时就演奏相应的声音，当接收到一个“noteoff(乐音关)”MIDI消息时就停止演奏。如果MIDI数据源是乐器键盘，“noteon”消息就实时产生，在像这样的实时应用中，就无需与MIDI消息一起发送一个定时信息。如果MIDI数据存储成数据文件，或者使用音序器编辑的数据文件，MIDI消息就需要某种形式的定时标记(time-stamping)。MIDIEDIT,MIDIMAKER.DUOTE第61页，本讲稿共67页国际MIDI协会出版了标准MIDI文件规范，

32、该标准说明了处理定时标记MIDI数据的一种标准化方法。这种方法适合各种应用软件共享MIDI数据文件，这些软件包括音序器、乐谱软件包和多媒体演示软件。标准MIDI文件规范定义了3种MIDI文件格式，MIDI音序器能够管理文件标准规定的多个MIDI数据流，即声轨(tracks)。MIDI文件格式0(Format0)规定所有MIDI音序数据(MIDIsequencedata)必须存储在单个声轨上，它仅用于简单的单声轨设备；MIDI文件格式1(Format1)规定数据以一个声轨集的方式存储；MIDI文件格式2(Format2)可用几个独立模式存储数据。第62页，本讲稿共67页2.6.7合成器的多音调和

33、多音色合成器或者声音发生器的多音调(polyphony)是一次演奏多个音符(note)的能力。大多数早期的音乐合成器是单音调的，即一次仅演奏一个音符。如果在装配有单音调合成器(monophonicsynthesizer)的键盘上同时按下5个键，只能听到一个音符的声音；如果在装配有能支持4个音调的合成器的键盘上同时按下5个键，可产生4个音符的声音。许多现代的声音模块有16，24或者32个音符的复调音第63页，本讲稿共67页如果一个合成器或者声音发生器能够同时产生2个或者2个以上的不同乐音，就说这个合成器或者声音发生器是多音色(multi-timbral)的。例如，如果一个合成器能够同时演奏5个音

34、调(notes)，就说它是多音调的(polyphonic)；如果一个合成器也能够同时产生钢琴声(pianosound)和低音(basssound)，就说它是一个多音色(multi-timbral)合成器。第64页，本讲稿共67页2.6.8通用MIDI(GM)通用MIDI规范(GeneralMIDISpecification)是由国际MIDI协会颁布的，用于通用MIDI乐器。该规范包括通用MIDI声音集即配音映射(patchmap)、通用MIDI打击乐音集(GeneralMIDIPercussionSet)即打击乐音与音符号之间的映射、以及一套通用MIDI演奏(GeneralMIDIPerformance)能力，包括声音数目和MIDI消息类型等。通用MIDI系统规定MIDI通道19和1116用于旋律乐器声，而通道10用于以键盘为基础的打击乐器声。第65页，本讲稿共67页http:/