音频信息的获取和处理课件.ppt

《音频信息的获取和处理课件.ppt》由会员分享，可在线阅读，更多相关《音频信息的获取和处理课件.ppt（79页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、音频信息的获取和处理第1页，此课件共79页哦2.1声音与听觉（1）o声音：声音：通过空气传播的一种连续的波，又称声波。由空气振动引起耳膜的振动，由人耳所感知。o声音的度量：声音的度量：频率与幅度（声波压力的大小）n频率用音高表示，幅度用声强表示n与看得见的水波类似第2页，此课件共79页哦2.1声音与听觉（2）o声音被分为无规则的噪音和有规则的音频信号；有规则音频信号是一种连续变化、周期性的模拟信号，可用一条连续的曲线来表示，称为声波。o声音分类声音分类n语音：人的说话声虽是一种特殊的媒体，但也是一种波形，所以和波形声音的文件格式相同。n音乐：规范的符号化了的声音，乐谱可转变为符号媒体形式。n音

2、效：指人类熟悉的其他声音，如动物发声、机器产生的声音、自然界的风雨雷电等。第3页，此课件共79页哦2.1声音与听觉（3）o带宽与听觉带宽与听觉 音频是指人类听觉所感知范围内的频率，也称声频。n次声波(subsonic)：频率低于20Hz的信号。n超声波(ultrasonic)：频率高于20KHz的信号。n音频(Audio):频率范围是20Hz20KHz的声音信号。是人耳能听到的声音信号，次声波和超声波之间的音。n音频为可听声波，即属于多媒体音频信息范畴。第4页，此课件共79页哦2.1声音与听觉（4）10 20 50 200 3.4k 7k 15k 20kCD-DAFM广播广播AM广播广播电话电

3、话f(Hz)频带频带第5页，此课件共79页哦2.1声音与听觉（5）o模拟声音信号：模拟声音信号：可分解成一系列正弦波的线性叠加。n最低频的音波称为基音，频率为基频n其余的为泛音（或称谐音），频率是基频的整数倍o声音三要素：音高、音色、音强声音三要素：音高、音色、音强n音调：由基频决定，基频取对数后与人的音调感觉成线形关系，基频的频率高则音调高，频率低则音调低。音调高时声音尖锐，俗称高音；音调低时声音沉闷，俗称低音。n音色：与波形相关，取决于声波的频谱，即由混入基音中的泛音决定，一个声波上的谐波越丰富，音色越好。n音强：即声音的响亮程度，与声音信号的幅度成正比。用声音信号的幅度取对数后再乘20所

4、得值来描述声强，以分贝（dB）为单位，此时称为音量，振幅高时音强强，振幅低时音强弱。第6页，此课件共79页哦2.1声音与听觉（6）第7页，此课件共79页哦o听觉特性听觉特性n1 1、等响曲线、等响曲线 响度与频率和强度有关，同一响度的声音可以在频率上和强度上有响度与频率和强度有关，同一响度的声音可以在频率上和强度上有很大的差别。很大的差别。先设一个音为标准音，给予固定的频率、强度和持续时间，例如先设一个音为标准音，给予固定的频率、强度和持续时间，例如1000Hz、40分贝、持续分贝、持续0.5秒；再给一个音也持续秒；再给一个音也持续0.5秒，但频率不同，通过调整秒，但频率不同，通过调整使其响度

5、听起来一样，得到的这样一组曲线称之为等响曲线。使其响度听起来一样，得到的这样一组曲线称之为等响曲线。意义：多媒体系统的声音再现意义：多媒体系统的声音再现频率强度2.12.1声音与听觉声音与听觉声音与听觉声音与听觉（7 7）第8页，此课件共79页哦n2 2、掩蔽、掩蔽 声音的响度同时也受到其他同时出现的声音的影响，声音的响度同时也受到其他同时出现的声音的影响，各种声音可能相互掩蔽。如：开会场景。各种声音可能相互掩蔽。如：开会场景。各种声音可以互相掩蔽，也就是说一种声音的出现可能使得各种声音可以互相掩蔽，也就是说一种声音的出现可能使得另一种声音难于听清。例如，本来是多种频率的声音的复合，另一种声音

6、难于听清。例如，本来是多种频率的声音的复合，但听众以为是另一种声音。但听众以为是另一种声音。声音的掩蔽效果可以欺骗人的听觉，可用于声音的压缩。声音的掩蔽效果可以欺骗人的听觉，可用于声音的压缩。2.12.1声音与听觉声音与听觉声音与听觉声音与听觉（8 8）第9页，此课件共79页哦n3 3、相位、相位 声音的加强与抵消（同相和反相）从声音的波形来看，声音的起点和方向也要反映声音从声音的波形来看，声音的起点和方向也要反映声音的特性，这就是声音的相位。的特性，这就是声音的相位。当两个声音相同相位完全相反时，它们将相互抵消；当两个声音相同相位完全相反时，它们将相互抵消；当两个声音相同而且相位也相同时，声

7、音就会得到加强。当两个声音相同而且相位也相同时，声音就会得到加强。声音的波形相位对于多声道系统的设计非常重要，应用于回声的消除、会议系统的声音设计等。2.12.1声音与听觉声音与听觉声音与听觉声音与听觉（9 9）第10页，此课件共79页哦声音的心理模拟声音的心理模拟 通过人工真实的方法，可以对视觉空间的景物进行再造或虚构，通过人工真实的方法，可以对视觉空间的景物进行再造或虚构，同样也可以对听觉空间的声音进行心理的模拟，这就是所谓的可听化同样也可以对听觉空间的声音进行心理的模拟，这就是所谓的可听化（audiolization）。用声音可以表达出一些声音的效果。）。用声音可以表达出一些声音的效果。

8、2.12.1声音与听觉（声音与听觉（声音与听觉（声音与听觉（1010）第11页，此课件共79页哦2.2声音信号数字化（1）1.从模拟信号到数字信号从模拟信号到数字信号n模拟信号：在时间与幅度上都连续，记为x(t).n离散信号：按一定的时间间隔T采样，得到的x(nT).oT为抽样周期，1/T抽样频率o此过程成为声音信号的采样n数字信号：把抽样序列x(nT)量化成一个有限个幅度的集合X(nT)，此过程为模拟信号的量化过程。将量化后的离散信号的进行二进制编码，即以二进制编码来表示离散值的幅度，这种二进制编码信号叫做数字信号，第12页，此课件共79页哦2.2声音信号数字化（2）图图 模拟信号、离散信号

9、及数字信号模拟信号、离散信号及数字信号1、用连续变化的曲线表示模拟信号；、用连续变化的曲线表示模拟信号；2、用圆点表示以相等时间间隔取值而得到的离散信号；、用圆点表示以相等时间间隔取值而得到的离散信号；3、纵坐标上标的是幅度的二进制编码值。、纵坐标上标的是幅度的二进制编码值。第13页，此课件共79页哦2.2声音信号数字化（3）第14页，此课件共79页哦2.2声音信号数字化（4）2.声音数字化：声音数字化：nSampling,Quantization,Codingn采样频率与量化精度第15页，此课件共79页哦2.2声音信号数字化（5）n数字声音波形质量的主要技术参数数字声音波形质量的主要技术参数

10、o采样频率采样频率n等于波形被等分的份数，份数越多，质量越好等于波形被等分的份数，份数越多，质量越好11.025KHZ、22.05KHZ、44.1KHZo采样精度采样精度n每次采样信息量每次采样信息量8位、位、16位位o声道数声道数n声音产生的波形数，声音产生的波形数，如多种语言音频混存时，需要多声道如多种语言音频混存时，需要多声道n单声道、立体声道、单声道、立体声道、5.1声道声道数据量计算：(采样频率采样精度通道数 时间)/8 字节第16页，此课件共79页哦2.2声音信号数字化（6）3.采样频率采样频率n n奈奎斯特理论奈奎斯特理论奈奎斯特理论奈奎斯特理论(Nyquist)定理（1928年

11、提出原理，仙侬形成定理并应用，1933年卡切尼科夫用公式表述）：采样频率2f这里f为被采样信号的最高频率。根根据据该该定定理理，只只要要采采样样频频率率高高于于信信号号中中最最高高频频率率的的两两倍倍，就就可可以以从从采采样样中中完完全全恢恢复复原原始始信信号号的的波波形形。因因为为人人耳耳所所能能听听到到的的频频率率范范围围为为20Hz到到20KHz，所所以以实实际际的的采采样样过过程程中中，为为了了达达到到好好的的效效果果，就就采采用用44.1KHz作作为为高高质质量量声声音音的的采采样样频频率率。如如果果达达不不到到这这么么高高的的频频率率，声声音音恢恢复复的的效效果果就就会会差差一一些

12、些，例例如如电电话话声声音音的的质质量量等等。一般来说，声音恢复和采样频率、信道带宽都有关。一般来说，声音恢复和采样频率、信道带宽都有关。第17页，此课件共79页哦2.2声音信号数字化（7）p采采样样频频率率与与声声音音的的质质量量关关系系最最为为紧紧密密。采采样样频频率率越越高高，声声音音质质量量越越接接近近原原始始声声音音，所所需需的的存存储储量量便便越越多多。标标准准的的采采样样频频率有三个：率有三个：44.1KHz，22.05kHz，和，和11.025kHz。第18页，此课件共79页哦2.2声音信号数字化（8）4.量化精度量化精度n存放一个采样点所需的比特数。一般的采样位数为存放一个采

13、样点所需的比特数。一般的采样位数为8位或位或16位，即把位，即把声音采集为声音采集为256等份或等份或65536等分。等分。n量化：量化：取样值（取样值（-,+）有限个数（量化值近似）有限个数（量化值近似）n若量化值有若量化值有J个，若用二进制表示，需要个，若用二进制表示，需要R=log(J)位位n量化误差：用有限的离散值表示无限多的连续值，必量化误差：用有限的离散值表示无限多的连续值，必然存在误差然存在误差.该误差又称为量化噪声（与一般的噪声该误差又称为量化噪声（与一般的噪声不同）。不同）。第19页，此课件共79页哦2.2声音信号数字化（9）采样精度可用信噪比表示:R为编码位数第20页，此课

14、件共79页哦2.2声音信号数字化（10）5.音频数据率音频数据率未经压缩的数字音频数据率（未经压缩的数字音频数据率（bit/s）采样频率（采样频率（Hz）量化位数量化位数（bit）声道数声道数音频数据量（音频数据量（Byte）数据率（）数据率（bit/s）持持续时间（续时间（s）/8第21页，此课件共79页哦2.2声音信号数字化（11）例：例：采样率11.025KHz、量化位8位、单声道，采集1分则：音频数据率11.025（KHz）8(bit)88.2(Kbit/s)音频数据量11.025（KHz）8(bit)60（s）/8 0.66(MByte)第22页，此课件共79页哦2.2声音信号数字化

15、（12）6.声道数声道数 声道数指的是一次同时产生的声波组数。n（1）单声道 缺乏位置感n（2）立体声o声音在录制过程中被分配到两个独立的声道，但所占空间比单声道多一倍。o这种技术在音乐欣赏中尤为有用o依然是许多产品遵循的技术标准第23页，此课件共79页哦2.2声音信号数字化（13）n（3）四声道环绕规定了4个发音点：前左、前右，后左、后右，同时建议增加一个低音音箱，以加强对低频信号的回放处理（4.1声道音箱系统广泛流行的原因)。第24页，此课件共79页哦2.2声音信号数字化（14）o（4）5.1声道n运用于各类传统影院和家庭影院中，一些知名的声音录制压缩格式，都以5.1声音系统为技术蓝本的。

16、增加了“.1”声道，一个中置单元,负责传送低于80Hz的声音信号。n采用左(L)、中(C)、右(R)、左后(LS)、右后(RS)五个方向输出声音，使人产生犹如身临音乐厅的感觉。五个声道相互独立，中央声道大部份时间负责重放人物对白的部份；前置左/右声道则用来弥补在屏幕中央以外或不能从屏幕看到的动作及其它声音；后置环绕音效则是负责外围及整个背景音乐，让人感觉置身于整个场景的正中央，万马奔腾的震撼、喷射机从头顶呼啸而过的效果，就是拜它所赐；而马达达声、轰炸机的声音或是大鼓等震人心弦的重低音，则是由重低音喇叭一手包办第25页，此课件共79页哦第26页，此课件共79页哦2.2声音信号数字化（15）o7.

17、音频信号的获取和处理音频信号的获取和处理n从人与计算机从人与计算机交互的角度交互的角度看，音频信号的处理包括下述看，音频信号的处理包括下述3点：点：n人与计算机人与计算机通信，也就是计算机接收音频信号。包括音频获取、通信，也就是计算机接收音频信号。包括音频获取、语音的识别和理解。语音的识别和理解。n计算机与人通信计算机与人通信，也就是计算机输出音频。包括音乐合成、语音合，也就是计算机输出音频。包括音乐合成、语音合成、声音的定位以及音频视频的同步。成、声音的定位以及音频视频的同步。n人人-计算机计算机-人通信人通信。人通过网络与异地的人进行语音通信，相。人通过网络与异地的人进行语音通信，相关的音

18、频处理有语音采集、音频的编码和解码、音频的存储、关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输、基于内容的检索等。音频的传输、基于内容的检索等。第27页，此课件共79页哦2.2声音信号数字化（16）n音频信号的获取音频信号的获取图图 音频信号获取框图音频信号获取框图压缩压缩第28页，此课件共79页哦2.2声音信号数字化（17）o音频信号的处理音频信号的处理 不不管管多多媒媒体体信信息息是是音音频频信信号号还还是是视视频频信信号号，其其数数据据量量都都是是十十分分巨巨大大的的。如如果果像像上上图图的的那那样样，经经A/D转转换换的的数数字字化化音音频频信信号号直直接接进进入入计

19、计算算机机进进行行存存储储(记记录录)或或进进行行传传送送，是是不不可可取取的的。应应该该先先对对音音频频信信号号进进行行压压缩缩，然然后后进进行行存存储储和和传传输输。数数据据压压缩缩可可以以由由专专用用芯芯片片来来完完成成也也可可以以由由软软件件来来实现。实现。o音频信号的回放音频信号的回放 经经压压缩缩的的音音频频信信号号以以一一定定的的格格式式记记录录在在有有关关的的媒媒体体上上，例例如如，磁磁带带、磁盘及光盘等，或者以一定的格式传送到接收端。磁盘及光盘等，或者以一定的格式传送到接收端。在在音音频频信信号号接接收收端端或或由由媒媒体体回回放放音音频频信信号号时时，首首先先由由专专用用的

20、的硬硬件件或或软软件件对对压压缩缩数数据据进进行行解解压压缩缩，恢恢复复音音频频数数字字信信号号，然然后后，经经由由下下图图所所示的电路框图对音频信号进行放音。示的电路框图对音频信号进行放音。第29页，此课件共79页哦2.2声音信号数字化（18）图图 音频信号的回放框图音频信号的回放框图解压缩解压缩第30页，此课件共79页哦2.3声音质量的度量（1）1.声音信号的带宽:复合信号的频率范围称为频带宽度。2.客观质量度量 SNR=有用信号的平均功率/噪声的平均功率3.主观质量度量:人的感觉MOS:mean opinion score.在语音评价过程中，主观的质量评价比较客观的质量评价更为恰当。第3

21、1页，此课件共79页哦2.3声音质量的度量（2）第32页，此课件共79页哦2.3声音质量的度量（3）o通常把声音的质量分为5个等级，由低到高分别是：电话、调幅广电话、调幅广播（播（AM）、调频广播）、调频广播(FM)、光盘、光盘(CD)、数字录音带、数字录音带(digital audio tape,DAT),它们使用的采样频率、样本精度、通道数和数据率如下表：第33页，此课件共79页哦2.4声音信号的编码（4）根据编码器的实现机理，根据编码器的实现机理，分成三大类分成三大类波形编码波形编码参数编码参数编码混合编码混合编码p语音编码分类语音编码分类第34页，此课件共79页哦2.4声音信号的编码（

22、5）o波形编码（或非参数编码）波形编码（或非参数编码）语音编码系统早期用的语音编码系统早期用的是波形编码方法。是波形编码方法。目的：目的：力图使重建的语音波形保持原语音信号的力图使重建的语音波形保持原语音信号的波形形状波形形状。这种编。这种编码器是把语音信号当成一般的波形信号来处理，而并未考虑语音信号的冗码器是把语音信号当成一般的波形信号来处理，而并未考虑语音信号的冗佘度。佘度。特点：特点：优点是具有较强的适应能力，有较好的合成语音质量，优点是具有较强的适应能力，有较好的合成语音质量，然而编码速率高（然而编码速率高（64Kbits），编码效率极低。），编码效率极低。o脉冲编码调制（脉冲编码调制

23、（PCM）、自适应增量调制（）、自适应增量调制（ADM）、自适应差分编）、自适应差分编码（码（ADPCM）、自适应编码（）、自适应编码（APC）等都是属于波形编码（非参数编码）等都是属于波形编码（非参数编码）。第35页，此课件共79页哦o参数编码参数编码 提取语音的一些特征信息进行编码，在收端利用这些提取语音的一些特征信息进行编码，在收端利用这些特征参数合成语音。特征参数合成语音。20世纪世纪30年代末年代末脉冲编码调制（脉冲编码调制（PCM，Pulse Code Modulation）原理和声码器）原理和声码器（Vocoder）概念被）概念被提出后，语音数字编码便一直沿着这两个方向发展。提出

24、后，语音数字编码便一直沿着这两个方向发展。2.42.4声音信号的编码声音信号的编码声音信号的编码声音信号的编码（6 6）第36页，此课件共79页哦2.4 声音信号的编码声音信号的编码（7）p p声码器又称参数编码声码器又称参数编码声码器又称参数编码声码器又称参数编码（或模型编码），它主要是对提取的语音信号特征参（或模型编码），它主要是对提取的语音信号特征参（或模型编码），它主要是对提取的语音信号特征参（或模型编码），它主要是对提取的语音信号特征参数进行编码。数进行编码。数进行编码。数进行编码。目的目的目的目的主要是使重建的语音信号具有尽可能高的主要是使重建的语音信号具有尽可能高的主要是使重建的

25、语音信号具有尽可能高的主要是使重建的语音信号具有尽可能高的可懂度可懂度可懂度可懂度，而不是要求重建波形，而不是要求重建波形，而不是要求重建波形，而不是要求重建波形保持原语音波形的形状。因此，可能出现的情况是即使重建语音的可懂保持原语音波形的形状。因此，可能出现的情况是即使重建语音的可懂保持原语音波形的形状。因此，可能出现的情况是即使重建语音的可懂保持原语音波形的形状。因此，可能出现的情况是即使重建语音的可懂度高，但其时域波形与原语音的时域波形有较大的差别。度高，但其时域波形与原语音的时域波形有较大的差别。度高，但其时域波形与原语音的时域波形有较大的差别。度高，但其时域波形与原语音的时域波形有较

26、大的差别。优点优点优点优点是可达到极低的编码速率而语音依然可懂，编码速率可达到是可达到极低的编码速率而语音依然可懂，编码速率可达到是可达到极低的编码速率而语音依然可懂，编码速率可达到是可达到极低的编码速率而语音依然可懂，编码速率可达到8Kbit8Kbits s、4 48Kbit8Kbits s甚至更低。甚至更低。甚至更低。甚至更低。缺点缺点缺点缺点是重建语音自然度低，韵律感差，合成语音质量差。声码器的典型代表是是重建语音自然度低，韵律感差，合成语音质量差。声码器的典型代表是是重建语音自然度低，韵律感差，合成语音质量差。声码器的典型代表是是重建语音自然度低，韵律感差，合成语音质量差。声码器的典型

27、代表是通道声码器、共峰声码器及线性预测声码器等。通道声码器、共峰声码器及线性预测声码器等。通道声码器、共峰声码器及线性预测声码器等。通道声码器、共峰声码器及线性预测声码器等。第37页，此课件共79页哦 20世纪世纪80年代至今，不仅声码器和波形编码器得到了很大发展，并且还有年代至今，不仅声码器和波形编码器得到了很大发展，并且还有一种全新的革命性编码方法被普遍推广，这类编码器叫一种全新的革命性编码方法被普遍推广，这类编码器叫混合编码器混合编码器。这种编码器在传送器中对给定编码结构的所有可能性进行综合，找出输人语这种编码器在传送器中对给定编码结构的所有可能性进行综合，找出输人语音的最好编码形式，并

28、从这些可能性中发现输入语音的最优主观匹配，然后用数码音的最好编码形式，并从这些可能性中发现输入语音的最优主观匹配，然后用数码表示这种主观匹配并发送到接收器。表示这种主观匹配并发送到接收器。利用线性预测、利用线性预测、VQ、ABS、感觉加权、后滤波等技术得到的多脉冲、感觉加权、后滤波等技术得到的多脉冲激励线性预测（激励线性预测（MPELP，Multi Pulse Enspirit LinePrognosticate），），规则脉冲激励线性预测（规则脉冲激励线性预测（RPELP，Rule Pulse Enspirit Line Prognosticate），），码本激励线性预测（码本激励线性预测（

29、CELP，Code Enspirit Line Prognosticate）编码速率编码速率达到达到816Kbits甚至更底，甚至更底，其话音质量高、编码速率低，但算法复杂。其话音质量高、编码速率低，但算法复杂。2.42.4声音信号的编码声音信号的编码声音信号的编码声音信号的编码（8 8）第38页，此课件共79页哦2.5电子乐器数字接口MIDI（1）p声音的符号化声音的符号化 波形声音可以把音乐、语音都进行数据波形声音可以把音乐、语音都进行数据化并且表示出来，但是并没有把它看成音乐化并且表示出来，但是并没有把它看成音乐和语音。和语音。对于声音的符号化（也可以称为抽象化对于声音的符号化（也可以称

30、为抽象化）表示包括两种类型：一种是音乐，一种是）表示包括两种类型：一种是音乐，一种是语音。语音。第39页，此课件共79页哦2.5电子乐器数字接口MIDI（2）1）音乐的符号化）音乐的符号化MIDI MIDI(Music Instrument Digital Interface)是指乐器数字接口的国际标是指乐器数字接口的国际标准。准。MIDI的的关键关键是作为媒体能够记录这些音乐的符号，相应的设备能够是作为媒体能够记录这些音乐的符号，相应的设备能够产生和解释这些符号。它给出了一种得到音乐声音的方法。产生和解释这些符号。它给出了一种得到音乐声音的方法。MIDI规定了数字乐器接口的国际标准，它定义了

31、不同厂家的乐器连接到计规定了数字乐器接口的国际标准，它定义了不同厂家的乐器连接到计算机的电缆和算机的电缆和硬件的规范硬件的规范，它定义了从一个设备向另一个设备传送数据的，它定义了从一个设备向另一个设备传送数据的通通信接口信接口。任何电子乐器，只要有处理任何电子乐器，只要有处理MIDI消息的微处理器和合适的硬件接口，消息的微处理器和合适的硬件接口，就构成了一个就构成了一个MIDI设备。当一组设备。当一组MIDI消息通过音乐合成芯片处理时，合消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音乐。成器能解释这些符号并且产生音乐。第40页，此课件共79页哦2.5电子乐器数字接口MIDI（3）p

32、MIDI术语术语nMIDI消息消息：指乐谱的数字描述，实际上是一段对：指乐谱的数字描述，实际上是一段对音乐的符号描述。音乐的符号描述。nMIDI设备设备：任何电子乐器，只要有处理任何电子乐器，只要有处理MIDI消息的微处理器消息的微处理器和合适的硬件接口，就构成了一个和合适的硬件接口，就构成了一个MIDI设备。当一组设备。当一组MIDI消息消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音通过音乐合成芯片处理时，合成器能解释这些符号并且产生音乐。乐。复音复音：是指一个合成器每次可支持的最多音符个数。：是指一个合成器每次可支持的最多音符个数。音色音色：音色就是音质，指与某特定的乐器相关联

33、的特有的声音。：音色就是音质，指与某特定的乐器相关联的特有的声音。第41页，此课件共79页哦2.5电子乐器数字接口MIDI（4）oMIDI文件文件：记录：记录MIDI信息的标准文件格式。信息的标准文件格式。MIDI文件中文件中包含音符、定时和多达包含音符、定时和多达16个通道的乐器定义。文件中含有个通道的乐器定义。文件中含有每个音符的信息，包括键、通道号、持续时间、音量和力每个音符的信息，包括键、通道号、持续时间、音量和力度等。度等。MIDI文件中包含了一连串的文件中包含了一连串的MIDI信息，信息，MIDI信息由信息由若干个字节组成。下表为若干个字节组成。下表为MIDI信息标准。信息标准。第

34、42页，此课件共79页哦第43页，此课件共79页哦2.5电子乐器数字接口MIDI（5）通常第一个字节为状态字节，其高位为通常第一个字节为状态字节，其高位为1，数据字节高位为，数据字节高位为0。例如信息：。例如信息：9nkkvv，9表示音乐起始，表示音乐起始，n表示通道号（表示通道号（015），），kk表示键编号（表示键编号（0127），），vv表示速度（表示速度（0127）。）。第44页，此课件共79页哦2.5电子乐器数字接口MIDI（6）oMIDI的通道概念 单个物理MIDI通道分为16个逻辑通道，每个逻辑通道可指定一种乐器。MIDI键盘可设置在这16个通道中的任何一个，MIDI合成器可以被

35、设置在指定的通道上接受。通道的编码为015，0通道为基本通道。第45页，此课件共79页哦2.5电子乐器数字接口MIDI（7）oMIDI的物理接口标准 各个MIDI设备通过专用的串行电缆(MIDI线)连接，并以 31.25 kbps（每字节10位）的速度传送着数字音乐信息。Thru Out In第46页，此课件共79页哦oMPC的声卡上包含一个内部合成器和标准的三类的声卡上包含一个内部合成器和标准的三类MIDI接口：接口：n从从MIDI设备接收信息的设备接收信息的MIDI输入，输入，n向向MIDI设备发送信息的设备发送信息的MIDI输出，输出，n从从MIDI设备输入并转到其他设备输入并转到其他M

36、IDI设备的设备的MIDIthru。2.52.5电子乐器数字接口电子乐器数字接口电子乐器数字接口电子乐器数字接口MIDI MIDI（8 8）第47页，此课件共79页哦2.5电子乐器数字接口MIDI（9）oo最常用的最常用的最常用的最常用的MIDIMIDIMIDIMIDI设备连接方法，设备连接方法，设备连接方法，设备连接方法，是用一根是用一根MIDIMIDI电缆将电缆将演奏控制演奏控制器器的的MIDI OUTMIDI OUT端口与端口与计算机计算机(内有音序器内有音序器)的的MIDI INMIDI IN端口相连接，端口相连接，同时用另一根同时用另一根MIDIMIDI电缆将计算机的电缆将计算机的M

37、IDI OUTMIDI OUT端口与端口与音源音源MIDI INMIDI IN端口相连接，这样由演奏控制器发出的演奏信息便可被计算机端口相连接，这样由演奏控制器发出的演奏信息便可被计算机接收和存储，经过处理后送到音源去演奏。接收和存储，经过处理后送到音源去演奏。第48页，此课件共79页哦pMIDI声音与波形数字音频的比较声音与波形数字音频的比较文件内容不同文件内容不同：弹奏指令声音波形本身弹奏指令声音波形本身存储容量不同：存储容量不同：半小时半小时16位立体声音，位立体声音，MIDI数据为数据为200KB，无压缩的波形，无压缩的波形音频为音频为300MB，相差，相差1500倍之多。倍之多。可处

38、理声音不同：可处理声音不同：波形音频可处理各类声音，包括语音、自然声音、音乐等，波形音频可处理各类声音，包括语音、自然声音、音乐等，而而MIDI只适合于电子合成乐只适合于电子合成乐可编辑性不同：可编辑性不同：在音序器的帮助下，可灵活编辑在音序器的帮助下，可灵活编辑MIDI，自由改变音调、音色等，自由改变音调、音色等，而波形较困难。而波形较困难。使用方式不同：使用方式不同：MIDI可用于长时间的音乐、伴乐、背景音效等。可用于长时间的音乐、伴乐、背景音效等。波形音频常用于语音表现，文语转换等（波形音频常用于语音表现，文语转换等（TTS）。）。2.52.5电子乐器数字接口电子乐器数字接口电子乐器数字

39、接口电子乐器数字接口MIDI MIDI（1010）第49页，此课件共79页哦pMIDI音乐合成音乐合成使用电子元器件（计算机）生成音乐的技术称为电子使用电子元器件（计算机）生成音乐的技术称为电子音乐合成。音乐合成。MIDI文件文件音序器音序器合成器合成器扬声器扬声器2.52.5电子乐器数字接口电子乐器数字接口电子乐器数字接口电子乐器数字接口MIDI MIDI（1111）第50页，此课件共79页哦2.5电子乐器数字接口MIDI（12）oMIDI文件：记录存储文件：记录存储MIDI信息的标准文件格式信息的标准文件格式MIDI信息：一段音乐的描述，乐谱的数字描述，弹奏指令信息：一段音乐的描述，乐谱的

40、数字描述，弹奏指令（音符的信息包括按键、通道号、持续时间、音量和力度等）（音符的信息包括按键、通道号、持续时间、音量和力度等）o音序器（音序器（Sequencer）:用于记录、编辑、播放用于记录、编辑、播放 MIDI文件，输入并输出文件，输入并输出MIDI信息，分为软件音序器与硬件音序器。信息，分为软件音序器与硬件音序器。o合成器：接收数字音频，生成模拟信号波形合成器：接收数字音频，生成模拟信号波形FM调频合成波表合成（调频合成波表合成（Wave Table）音乐合成器有许多不同的类型和芯片集。音乐合成器有许多不同的类型和芯片集。第51页，此课件共79页哦2.5电子乐器数字接口MIDI（13）

41、MIDI的特点：的特点：o与波形声音相比，与波形声音相比，MIDI不是声音数据而是指令，所以数据不是声音数据而是指令，所以数据量要少得多。量要少得多。30分钟的音乐，分钟的音乐，用用MIDI文件记录只需文件记录只需200KB，用，用16位位CD品质的未压缩品质的未压缩WAV文件记录需文件记录需317MBo MIDI可以与其他波形声音配合使用，形成伴乐的效果。而两可以与其他波形声音配合使用，形成伴乐的效果。而两个波形声音一般是不能同时使用的个波形声音一般是不能同时使用的o对对MIDI的编辑也很灵活，用户可以自由地改变音调、音色等属性，的编辑也很灵活，用户可以自由地改变音调、音色等属性，直到自己想

42、要的效果直到自己想要的效果o MIDI在音质上还不能与真正的乐器完全相似。无法模拟自然界中在音质上还不能与真正的乐器完全相似。无法模拟自然界中其它非乐曲类声音其它非乐曲类声音第52页，此课件共79页哦2.5电子乐器数字接口MIDI（14）2）语音的符号化）语音的符号化 语音与文字是对应的。波形声音可以记录表示语音，语音与文字是对应的。波形声音可以记录表示语音，它是不是语音取决于听者对声音的理解。对语音的符号它是不是语音取决于听者对声音的理解。对语音的符号化实际上就是对语音的识别，将语音转变为字符，反之化实际上就是对语音的识别，将语音转变为字符，反之也可以将文字合成语音。也可以将文字合成语音。语

43、音指构成人类语音信号的各种声音。在采集和存语音指构成人类语音信号的各种声音。在采集和存储上可以与波形声音一样，但由于语音是由一连串的音储上可以与波形声音一样，但由于语音是由一连串的音素组成。素组成。“一句话一句话”中包含许多音节以及上下文过渡中包含许多音节以及上下文过渡过程的连接体等特殊的信息，并且语音本身与语言有过程的连接体等特殊的信息，并且语音本身与语言有关，所以要把它作为一个独立的媒体来看待。关，所以要把它作为一个独立的媒体来看待。第53页，此课件共79页哦2.6音频媒体的三维化处理（1）1三维虚拟声空间三维虚拟声空间 虚虚拟拟听听觉觉空空间间就就是是在在虚虚拟拟环环境境中中加加入入与与

44、视视觉觉并并行行的的三三维维虚虚拟拟声声音音，使使收收听听者者在在模模拟拟环环境境中中收收听听到到的的声声信信号号逼近在真实环境声场中收听到的声信号。逼近在真实环境声场中收听到的声信号。三三维维虚虚拟拟声声空空间间（Three Dimensional Virtual Acoustic，3DVA），是是指指用用一一定定的的声声音音设设备备人人为为地地产产生生出出来来的的具具有有空空间位的、声音空间。间位的、声音空间。第54页，此课件共79页哦2.6音频媒体的三维化处理（2）三三维维听听觉觉的的使使用用明明显显地地依依赖赖于于用用户户对对听听觉觉空空间间中中各各种种信信息息源源的定位能力。一般说来

45、，三维虚拟声空间要达到以下的一些目标：的定位能力。一般说来，三维虚拟声空间要达到以下的一些目标：n在可听的范围内重现在可听的范围内重现频率分辨度和动态范围频率分辨度和动态范围；n在三维空间中精确地呈现在三维空间中精确地呈现声音的位置信息声音的位置信息；n能表达能表达多个静止和移动的声源多个静止和移动的声源；n能和能和头部的动作头部的动作具有一定的关联；具有一定的关联；n能够支持一定程度的能够支持一定程度的交互交互。第55页，此课件共79页哦2.6音频媒体的三维化处理（3）23DVA的基本理论的基本理论 人类感知声源位置的最基本的理论是双工理论，该理论基于两人类感知声源位置的最基本的理论是双工理

46、论，该理论基于两种因素：种因素：o两耳间声音的到达时间差两耳间声音的到达时间差ITD（Interaural Time Differences）o两耳间声音的强度差两耳间声音的强度差IID（Interaural Intensity Differences）时间差时间差是由于距离的原因造成的，当声音从正面传来时，距离相等，所以没有是由于距离的原因造成的，当声音从正面传来时，距离相等，所以没有时间差；但若偏右时间差；但若偏右3o，则到达右耳的时间就要比左耳约早，则到达右耳的时间就要比左耳约早30ms，而正是这，而正是这30ms，使我们辨别出了声源的位置。，使我们辨别出了声源的位置。强度差强度差是由于

47、信号衰减造成的，信号的衰减是因为距离产生的，是由于信号衰减造成的，信号的衰减是因为距离产生的，在很多情况下是因为人的头部遮挡，使声音衰减，产生了强度的差别，在很多情况下是因为人的头部遮挡，使声音衰减，产生了强度的差别，使靠近声源一侧的耳朵听到的声音强度要大于另一耳。使靠近声源一侧的耳朵听到的声音强度要大于另一耳。第56页，此课件共79页哦双工理论双工理论(Duplex Theory)-人类感知声源位置的最基本的理论人类感知声源位置的最基本的理论 两耳间的时间差(ITD,Interaural Time Differences)：nITD（3*头部的半径*100/声音速度）*Sin(方位角)f 4

48、kHz 方位角是人头部相对声源的角度。Example:方位角45，高频，头部半径9cm，声音速度343m/s。则：ITD0.037107s（模拟）把给右耳送声音之后隔37.1ms再给左耳 送声音。ITD2.62.6音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理（4 4）第57页，此课件共79页哦双工理论双工理论两耳间的强度差(Interaural Intensity Differences)IID1.0(f/1000)0.8*Sin(方位角)其中f是频率。理想条件：无反射、无折射、单频率理想条件：无反射、无折射、单频率实际情况：复杂、双工理论无法区分前后、垂直

49、平面实际情况：复杂、双工理论无法区分前后、垂直平面ITD信号的衰减造成3DVA理论较形象地说明：人耳对声音定位的特性，通过大脑的综理论较形象地说明：人耳对声音定位的特性，通过大脑的综合作用后，对有差别的声音信号进行了相对于空间位置的定位。合作用后，对有差别的声音信号进行了相对于空间位置的定位。2.62.6音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理（5 5）第58页，此课件共79页哦3.HRTF（Head-Related Transfer Function）方法）方法生理学与心理学的研究表明：人耳对声源方位的判定起决定作用的是耳廓声音信号的两个重要信息：空间

50、真实感与环境真实感 美国NASAAmes研究中心音响实验室：在人的头部和耳廓的作用下，声波的时域与频域，对两耳都不同实现空间真实感的实现空间真实感的关键是：关键是：建立耳廓模型，建立耳廓模型，“双耳相双耳相关函数法关函数法”，利用，利用HRTF算法来实现三维虚拟声音算法来实现三维虚拟声音HRTF：与头部有关的转移函数。：与头部有关的转移函数。HRTF是一种声音定位的处理技术，由于声音会从耳廓、或肩膀反射到人耳内部，所以其算法与处理的原理非常复杂。2.62.6音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理音频媒体的三维化处理（6 6）第59页，此课件共79页哦HRTF是从测量声音强