声音及其处理幻灯片.ppt
《声音及其处理幻灯片.ppt》由会员分享,可在线阅读,更多相关《声音及其处理幻灯片.ppt(102页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、声音及其处理声音及其处理第1页,共102页,编辑于2022年,星期五声音处理技术声音处理技术1 声音概念声音概念2 音频编码与文件类型音频编码与文件类型3 音频获取技术音频获取技术4 音频编辑软件音频编辑软件5 MIDI原理与应用原理与应用第2页,共102页,编辑于2022年,星期五1 声音概念声音概念1.1 声音信号声音信号1.2 听觉感知特征听觉感知特征1.3 多声道声音多声道声音第3页,共102页,编辑于2022年,星期五1.1 声音信号声音信号声声音音是是压压力力发发生生快快速速变变化化的的现现象象,空空气气的的大大气气压压力力保保持持着着恒恒定定不不变变的的某某种种状状态态时时就就没
2、没有有声声音音了了。压压力力变变化化传传播播到到我我们们的的耳耳朵朵时,我们就听到了声音。时,我们就听到了声音。当当空空气气压压力力发发生生百百万万分分之之一一的的变变换换时时人人的的耳耳朵朵就就能能听听到到声声音音,空空气气的的震震荡荡快快于于每每秒秒2020次次、且且慢慢于于每每秒秒2 2万万次次时时,人人耳耳可可以以感感知知其其振动,听到声音。振动,听到声音。第4页,共102页,编辑于2022年,星期五1.1 声音信号声音信号空气的振动引发声波,声波进入人耳,到达鼓膜,使鼓膜发生振动。空气的振动引发声波,声波进入人耳,到达鼓膜,使鼓膜发生振动。鼓膜的振动通过耳小骨和淋巴液传递到鼓膜的振动
3、通过耳小骨和淋巴液传递到“基底膜基底膜”,最终引起有毛,最终引起有毛细胞的纤毛振动,变成神经细胞信号。这种信号传递到大脑,我们细胞的纤毛振动,变成神经细胞信号。这种信号传递到大脑,我们便感知到了声音信号。大脑对声音信号进行解读,人就获得了听觉便感知到了声音信号。大脑对声音信号进行解读,人就获得了听觉信息。信息。第5页,共102页,编辑于2022年,星期五人耳的结构 第6页,共102页,编辑于2022年,星期五1.1 声音信号声音信号空气的振动引发声波,声波进入人耳,到达鼓膜,使鼓膜发生振空气的振动引发声波,声波进入人耳,到达鼓膜,使鼓膜发生振动。鼓膜的振动通过耳小骨和淋巴液传递到动。鼓膜的振动
4、通过耳小骨和淋巴液传递到“基底膜基底膜”,最终引,最终引起有毛细胞的纤毛振动,变成神经细胞信号。这种信号传递到大脑,起有毛细胞的纤毛振动,变成神经细胞信号。这种信号传递到大脑,我们便感知到了声音信号。大脑对声音信号进行解读,人就获得了我们便感知到了声音信号。大脑对声音信号进行解读,人就获得了听觉信息。听觉信息。第7页,共102页,编辑于2022年,星期五1.1 声音信号声音信号正在发声的物体叫声源,声源产生声波。正在发声的物体叫声源,声源产生声波。声波是纵波。声波是纵波。只含有一种震荡频率的波产生的声音叫单音。只含有一种震荡频率的波产生的声音叫单音。更更过过情情况况下下,许许多多不不同同频频率
5、率、不不同同幅幅度度的的声声波波同同时时存存在在,发发生叠加,这样的声波产生的声音是复合音。生叠加,这样的声波产生的声音是复合音。第8页,共102页,编辑于2022年,星期五声音的波形 1.1 声音信号声音信号第9页,共102页,编辑于2022年,星期五1.1 声音信号声音信号声声波波具具有有普普通通波波的的物物理理特特征征,可可以以发发生生折折射射、反反射射、衍衍射射等等物理过程。物理过程。声波具有连续性,是模拟信号。声波具有连续性,是模拟信号。第10页,共102页,编辑于2022年,星期五1.1 声音信号声音信号声音的基本听觉特征有三:声音的基本听觉特征有三:响度(loudness)音调(
6、pitch)音色(music quality)第11页,共102页,编辑于2022年,星期五1.1 声音信号声音信号响响度度是是人人主主观观上上感感觉觉声声音音的的大大小小,由由声声波波的的振振幅幅决决定定,振振幅幅越越大大响度越大。响度的单位是分贝响度越大。响度的单位是分贝(dB)(dB)。当当声声音音弱弱到到人人耳耳刚刚刚刚能能听听到到时时的的声声音音响响度度为为“听听阈阈”,听听阈阈是是随随频频率率而而改改变变的的,不不同同频频率率的的听听阈阈值值不不同同。另另一一种种极极端端的的情情况况是是声声音音太太响,使人耳感到疼痛。响,使人耳感到疼痛。当当声声音音的的频频率率为为3-5KHz3-
7、5KHz时时,听听阈阈数数值值最最小小。此此时时人人耳耳对对声声音音非非常常敏感。敏感。第12页,共102页,编辑于2022年,星期五1.1 声音信号声音信号人耳可听最小响度曲线 第13页,共102页,编辑于2022年,星期五1.1 声音信号声音信号音音调调是是声声音音的的高高低低,由由频频率率决决定定同同时时也也与与声声音音强强度度有有关关。人人耳耳听听觉范围是觉范围是202020000 Hz20000 Hz,人的发声频率约为,人的发声频率约为858511000Hz11000Hz。对一定强度的纯音,音调随频率的升降而升降;对一定强度的纯音,音调随频率的升降而升降;对对一一定定频频率率的的纯纯
8、音音、低低频频纯纯音音,音音调调随随声声强强增增加加而而下下降降,高高频频纯纯音音的音调随强度增加而上升。的音调随强度增加而上升。第14页,共102页,编辑于2022年,星期五1.1 声音信号声音信号低低于于2000Hz2000Hz纯纯音音的的音音调调随随强强度度的的增增加加而而下下降降,高高于于3000Hz3000Hz纯纯音音的音调随强度的增加而上升。的音调随强度的增加而上升。音调的单位是美音调的单位是美(mel)(mel)。取取频频率率1000Hz1000Hz、声声压压级级为为4040分分贝贝的的纯纯音音的的音音调调作作标标准准,称称为为10001000美美。另另由由一一个个纯纯音音,听听
9、起起来来音音调调高高一一倍倍,称称为为20002000美美,调调子子低低一一倍倍的的称称为为500500美美,由由此此可可建建立立起起整整个个可可听听频频率率内内的的音音调调标度。标度。第15页,共102页,编辑于2022年,星期五1.1 声音信号声音信号音调还与声音持续时间长短有关。音调还与声音持续时间长短有关。非非常常短短促促(毫毫秒秒级级或或更更短短)的的纯纯音音,只只能能听听到到像像打打击击或或弹弹指指那那样样的的“喀嚓喀嚓”一响,感觉不出音调。一响,感觉不出音调。持持续续时时间间10-5010-50毫毫秒秒时时,听听起起来来觉觉得得音音调调是是由由低低到到高高连连续续变变化化的。的。
10、超过超过5050毫秒时,音调就稳定不变了。毫秒时,音调就稳定不变了。乐乐音音(复复音音)的的音音调调更更复复杂杂些些,一一般般可可认认为为主主要要由由基基音音的的频频率率来来决决定。定。第16页,共102页,编辑于2022年,星期五1.1 声音信号声音信号音音调调控控制制就就是是人人为为地地改改变变信信号号里里高高、低低频频成成分分的的比比重重,以以满满足足听听者者的的爱爱好好、渲渲染染某某种种气气氛氛、达达到到某某种种效效果果、补补偿偿扬扬声器系统及放音场所的音响不足等目标。声器系统及放音场所的音响不足等目标。第17页,共102页,编辑于2022年,星期五1.1 声音信号声音信号音音色色:发
11、发音音体体振振动动的的基基本本频频率率称称基基音音,此此外外还还伴伴随随有有许许多多更高频率的、振幅较小的声音谐波,称泛音。更高频率的、振幅较小的声音谐波,称泛音。泛音的多寡及泛音之间的相对强度决定了特定的音色。泛音的多寡及泛音之间的相对强度决定了特定的音色。音色是音乐中极为吸引人、能直接触动感官的重要表现手段。音色是音乐中极为吸引人、能直接触动感官的重要表现手段。人耳具有很好的区分音色的能力。人耳具有很好的区分音色的能力。第18页,共102页,编辑于2022年,星期五1.1 声音信号声音信号音音色色不不同同,即即使使在在同同一一音音高高和和同同一一声声音音强强度度的的情情况况下下,也也能区分
12、出是不同的声音。能区分出是不同的声音。可可以以认认为为声声音音包包含含乐乐音音和和噪噪音音,乐乐音音由由源源音音和和节节拍拍构构成成,源源音音的的特特征征有有音音调调、响响度度和和音音色色,音音色色由由纯纯音音、变变换换和和混混合合方方式式决决定。定。第19页,共102页,编辑于2022年,星期五1.1 声音信号声音信号波波形形和和音音色色密密切切相相关关,确确定定的的波波形形具具有有确确定定的的音音色色。而而同同一一种种音色可能有多种波形。音色可能有多种波形。两两个个截截然然不不同同的的波波形形,但但频频谱谱却却是是一一样样的的,因因为为频频谱谱关关系系不不表表示示波波形的相位。形的相位。人
13、人的的听听觉觉对对相相位位没没有有感感觉觉,所所以以这这两两种种不不同同波波形形声声音音听听上上去去可可能能是一样的。是一样的。第20页,共102页,编辑于2022年,星期五1.1 声音信号声音信号声音质量的评价是一个很困难的问题。声音质量两种基本的度量声音质量的评价是一个很困难的问题。声音质量两种基本的度量方法:客观质量度量和主观质量度量。方法:客观质量度量和主观质量度量。声音客观质量主要用信噪比(声音客观质量主要用信噪比(Signal to Noise RatioSignal to Noise Ratio,SNRSNR)来度量。)来度量。主观质量评价最常用的方法是主观质量评价最常用的方法是
14、MOSMOS(Mean Opinion ScoreMean Opinion Score,平均意,平均意见得分)。见得分)。第21页,共102页,编辑于2022年,星期五1.2听觉感知特征听觉感知特征人的听觉系统非常复杂人的听觉系统非常复杂人耳听觉感知还受到心理因素的很大影响。人耳听觉感知还受到心理因素的很大影响。人耳对响度、音高的感知特征和掩蔽效应可以直接应用于声人耳对响度、音高的感知特征和掩蔽效应可以直接应用于声音数据的压缩编码过程。音数据的压缩编码过程。第22页,共102页,编辑于2022年,星期五1.2听觉感知特征听觉感知特征1 1对响度的感知对响度的感知声音的响度就是声音的强弱。声音的
15、响度就是声音的强弱。在物理上,声音的响度使用达因在物理上,声音的响度使用达因/平方厘米平方厘米(声压声压)或瓦特或瓦特/平方厘平方厘米米(声强声强)的单位进行客观测量。的单位进行客观测量。心理上主观感觉声音强弱使用响度级心理上主观感觉声音强弱使用响度级“phon”phon”或或“sone”sone”来度量。来度量。以上这两种感知声音强弱的测量概念完全不同,但又有一定的以上这两种感知声音强弱的测量概念完全不同,但又有一定的联系。联系。听阈:当声音弱到人的耳朵刚刚可闻时的声音强度。听阈:当声音弱到人的耳朵刚刚可闻时的声音强度。痛阈:声音强到使人耳感到疼痛。痛阈:声音强到使人耳感到疼痛。在在“听阈听
16、阈频率频率”曲线和曲线和“痛阈痛阈频率频率”曲线之间的区域是人耳的曲线之间的区域是人耳的听觉范围。听觉范围。第23页,共102页,编辑于2022年,星期五“听阈听阈频率频率”曲线曲线第24页,共102页,编辑于2022年,星期五1.2听觉感知特征听觉感知特征2.2.对音高的感知对音高的感知客观上用频率来表示声音的音高,其单位是客观上用频率来表示声音的音高,其单位是HzHz。主观感觉的音高单。主观感觉的音高单位则是位则是“Mel”Mel”。测量音高时以测量音高时以40dB40dB声强为基准,并由主观感觉来确定。声强为基准,并由主观感觉来确定。测量主观音高时,让实验者听两个声强级为测量主观音高时,
17、让实验者听两个声强级为40dB40dB的纯音,固的纯音,固定其中一个纯音的频率,调节另一个纯音的频率,直到他感到后定其中一个纯音的频率,调节另一个纯音的频率,直到他感到后者的音高为前者的两倍,就标定这两个声音的音高差为两倍。者的音高为前者的两倍,就标定这两个声音的音高差为两倍。第25页,共102页,编辑于2022年,星期五“音高音高频率频率”曲线曲线第26页,共102页,编辑于2022年,星期五1.2听觉感知特征听觉感知特征3 3声音的掩蔽效应声音的掩蔽效应(1 1)频域掩蔽)频域掩蔽对于频率相近的声音,响度高的阻碍另一个响度较低声音的听对于频率相近的声音,响度高的阻碍另一个响度较低声音的听觉
18、感知的现象,称为频域掩蔽效应。觉感知的现象,称为频域掩蔽效应。(2 2)时域掩蔽)时域掩蔽当声音与其回声之间时间差很小时,回声是听不到的。这说明,在当声音与其回声之间时间差很小时,回声是听不到的。这说明,在时间上相邻的声音之间有掩蔽现象,称为时域掩蔽。时间上相邻的声音之间有掩蔽现象,称为时域掩蔽。第27页,共102页,编辑于2022年,星期五频域隐蔽频域隐蔽第28页,共102页,编辑于2022年,星期五时域掩蔽时域掩蔽第29页,共102页,编辑于2022年,星期五1.2听觉感知特征听觉感知特征(3 3)声音感知特性与)声音感知特性与MPEGMPEG声音编码声音编码MPEGMPEG声音编码指声音
19、编码指MPEG-1 AudioMPEG-1 Audio、MPEG-2 AudioMPEG-2 Audio和和MPEG-2 AACMPEG-2 AAC声音声音编码。编码。MPEGMPEG声音编码进行数据压缩编码的主要依据是人耳朵的听觉特声音编码进行数据压缩编码的主要依据是人耳朵的听觉特性,据此建立性,据此建立“心理声学模型心理声学模型”。心理声学模型的一个基本依据是听觉系统中存在一个听觉阈值电心理声学模型的一个基本依据是听觉系统中存在一个听觉阈值电平,低于这个电平的声音信号听不见平,低于这个电平的声音信号听不见(即响度太小的声音听不见即响度太小的声音听不见),因此就可以把这部分声音信号去掉。,因
20、此就可以把这部分声音信号去掉。心理声学模型的另一个基本依据是听觉掩饰特性,据此对听觉心理声学模型的另一个基本依据是听觉掩饰特性,据此对听觉阈值电平进行自适应调节。声音压缩算法确立这种特性的模型,阈值电平进行自适应调节。声音压缩算法确立这种特性的模型,用以消除声音数据的冗余,实现数据压缩。用以消除声音数据的冗余,实现数据压缩。第30页,共102页,编辑于2022年,星期五1.3 多声道声音多声道声音人类的耳朵能够判别出声波到达左右耳的相对时差和音强,能人类的耳朵能够判别出声波到达左右耳的相对时差和音强,能够判别声音的来源。够判别声音的来源。对于多声道声音,不仅能产生更多的声音细节,还能感知到音源
21、对于多声道声音,不仅能产生更多的声音细节,还能感知到音源的位置、位置移动、变化、音源距离等情况,有关声音在声场空的位置、位置移动、变化、音源距离等情况,有关声音在声场空间中产生的效果,也称为三维音效。间中产生的效果,也称为三维音效。多声道系统之所以能够产生如此的听音效果是由人耳听音特征和耳多声道系统之所以能够产生如此的听音效果是由人耳听音特征和耳轮结构所决定的。轮结构所决定的。人的双耳在听到声音的同时,还能识别出某个声源与人的左右耳距人的双耳在听到声音的同时,还能识别出某个声源与人的左右耳距离的差异造成的时间差异,识别出声音到达左右耳时的强度差别。离的差异造成的时间差异,识别出声音到达左右耳时
22、的强度差别。第31页,共102页,编辑于2022年,星期五1.3 多声道声音多声道声音耳间时间差和耳间强度差是人耳声音定位的主要线索。耳间时间差和耳间强度差是人耳声音定位的主要线索。三维音效产生过程中耳廓也起到了重要作用。三维音效产生过程中耳廓也起到了重要作用。实际应用中,常见的多声道音频系统是实际应用中,常见的多声道音频系统是5.15.1声道和声道和7.17.1声道系统。声道系统。第32页,共102页,编辑于2022年,星期五1.3 多声道声音多声道声音5.1声道系统声道系统第33页,共102页,编辑于2022年,星期五1.3 多声道声音多声道声音7.1声道系统声道系统第34页,共102页,
23、编辑于2022年,星期五1.3 多声道声音多声道声音3 3环绕音效环绕音效环绕音效使聆听者感到声音是来自四面八方的,聆听者获得环绕音效使聆听者感到声音是来自四面八方的,聆听者获得被四面八方的声音包围的感觉。被四面八方的声音包围的感觉。环绕音效大多都是用于观赏电影之用。环绕音效大多都是用于观赏电影之用。DVDDVD需要需要5.15.1声道系统要将影片中的音场效果表现出来。声道系统要将影片中的音场效果表现出来。电子游戏中使用电子游戏中使用5.15.1声道系统产生音效来实现定位等声道系统产生音效来实现定位等3 3维音效。维音效。Dolby Digital 5.1Dolby Digital 5.1,即
24、杜比数码是美国杜比实验室开发的环绕,即杜比数码是美国杜比实验室开发的环绕音效技术。音效技术。第35页,共102页,编辑于2022年,星期五1.3 多声道声音多声道声音DTS(Digital Theater System)DTS(Digital Theater System)数字剧院系统也是广为应用的多声道数字剧院系统也是广为应用的多声道音效技术。音效技术。THXTHX是美国导演乔治是美国导演乔治.卢卡斯提出的电影院声音播放技术标准。卢卡斯提出的电影院声音播放技术标准。第36页,共102页,编辑于2022年,星期五1.3 多声道声音多声道声音Hi-FiHi-Fi高保真系统高保真系统Hi-Fi(H
25、igh-Fidelity)Hi-Fi(High-Fidelity)高保真是指高保真是指“与原来的声音高度相似地重与原来的声音高度相似地重放声音放声音”,目前尚没有严格定义。,目前尚没有严格定义。Hi-FiHi-Fi无止境。无止境。第37页,共102页,编辑于2022年,星期五2 音频编码与文件类型音频编码与文件类型2.1 音频编码音频编码2.2 常见音频文件格式常见音频文件格式第38页,共102页,编辑于2022年,星期五2.1 音频编码音频编码1.MPEG-11.MPEG-1音频编码音频编码MPEG-1MPEG-1音频编码依靠心理声学模型进行数据压缩编码音频编码依靠心理声学模型进行数据压缩编
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 声音 及其 处理 幻灯片
限制150内