【教学课件】第二章声音和语音编码.ppt
《【教学课件】第二章声音和语音编码.ppt》由会员分享,可在线阅读,更多相关《【教学课件】第二章声音和语音编码.ppt(98页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第二章第二章 声音和语音编码声音和语音编码1本章主要内容本章主要内容1.声音概述2.声音的数字化3.电子合成音乐4.语音编码5.脉冲编码调制(PCM)6.PCM应用7.其它编码方法22.1 声音概述声音概述1.声音声音是一种连续的波,具有普通波的一切特性:反射、折射、衍射等。n声音信号是由许多频率不同的信号组成2.声波的分类(按频率频率)n次声波次声波 (0 (0 20 Hz )20 Hz )n声波声波 (20(20 20 KHz)20 KHz)人类听觉范围人类听觉范围n超声波超声波 (20KHz)(20KHz)强的方向性强的方向性n n应用:应用:B B超、探测仪、主动声纳超、探测仪、主动声
2、纳32.1 声音概述(续)声音概述(续)3.声音的幅度1.1.人类能够感知的范围是:人类能够感知的范围是:0 0120dB120dB之间之间2.2.超出超出120dB120dB人耳可能会感动疼痛人耳可能会感动疼痛1.补充:什么是什么是dB(分贝)数?(分贝)数?4什么是dB(分贝)数?n n一种相对量单位,在专业音响设备的调节刻度上经常会遇一种相对量单位,在专业音响设备的调节刻度上经常会遇到,例如增益大小、衰减量、提升量、电平量等。到,例如增益大小、衰减量、提升量、电平量等。n n其定义是:其定义是:dBdB数数=20lgA/B=20lgA/Bn n但在功率级、声强级及能量级中,其定义是:但在
3、功率级、声强级及能量级中,其定义是:dBdB数数=10lgA/B=10lgA/Bn n式中,式中,A A是被比较的绝对量,例如电压、电流等;是被比较的绝对量,例如电压、电流等;B B为比较为比较的标准量。的标准量。n n采用采用dBdB数表示量值的优点是缩小了数值大小,使量值表示数表示量值的优点是缩小了数值大小,使量值表示更简单更具体,使运算简化。同时,对一些变化范围很宽更简单更具体,使运算简化。同时,对一些变化范围很宽的物理量作图表示或刻度与非常方便,一目了然。的物理量作图表示或刻度与非常方便,一目了然。52.1 声音概述(续)声音概述(续)n音宽与频带:频带宽度或称为带宽,它是描述组成复合
4、信号的频率范围。图图2.1 2.1 声音的频带声音的频带62.1.1 音频信号的指标 一.频带宽度:音频信号的频带越宽,所包含的音频信号分量越丰富,音质越好。图图2.2 2.2 声音的频带宽度声音的频带宽度72.1.1 音频信号的指标(续)二动态范围:动态范围越大,信号强度的相对变化范围越大,音响效果越好。音质效果音质效果音质效果音质效果 AMAM广播广播广播广播FMFM广播广播广播广播数字电话数字电话数字电话数字电话 CDCDCDCDDA DA DA DA 动态范围动态范围(dBdB)404060605050100100动态范围20log(信号的最大强度/信号的最小强度)单位:(dB)表2.
5、1 声音的动态范围82.1.1 音频信号的指标(续)三信噪比:信噪比SNR(Signal to Noise Ratio)是有用信号与噪声之比的简称。噪音可分为环境噪音和设备噪音。信噪比越大,声音质量越好 9本章主要内容本章主要内容1.声音概述2.声音的数字化3.电子合成音乐4.语音编码5.脉冲编码调制(PCM)6.PCM应用7.其它编码方法102.2 声音的数字化声音的数字化1.模拟信号与数字信号2.声音信号的数字化3.采样频率4.采样精度5.声音质量与数据率112.2.1 模拟信号与数字信号模拟信号与数字信号n模拟信号时间上、幅度上均连续的 信号。n采样 在某一时刻对模拟信号的幅度进行测量,
6、将其时间上时间上离散化n量化 将采样得到的信号幅度的取值离散化。如采样得到的幅度为0,255,一种离散化的方法是取值0,1,2,255n采样采样和量化量化后得到的信号就是数字信号122.2.1 模拟信号到数字信号模拟信号到数字信号n为什么要从模拟信号过渡到数字信号?1.以前声音长途传输用电信号来模拟声波,对电以前声音长途传输用电信号来模拟声波,对电信号的处理,采用模拟电气元件,受环境影响信号的处理,采用模拟电气元件,受环境影响很大(温度、电磁场干扰),难以纠错。很大(温度、电磁场干扰),难以纠错。2.采用数字信号,采用数字信号处理器(采用数字信号,采用数字信号处理器(DSPDSP)进行数学运算
7、,受环境影响较小,可以实现容进行数学运算,受环境影响较小,可以实现容错处理。错处理。132.2.1 数字信号处理的优点数字信号处理的优点1.数字信号计算是一种精确的计算方法,不受时间和环境变化的影响;2.用数学运算来实现(模拟)原来的物理部件的功能相对比较容易3.可以通过改变数学运算的方法,实现不同的功能,而不需更换物理部件(DSP)。即只需对DSP编程。142.2.2 声音信号的数字化声音信号的数字化n声音信号的数字化步骤:1.1.采样采样 得到一个个时间上离散的幅度值得到一个个时间上离散的幅度值2.2.量化量化 得到一个个离散的幅度值得到一个个离散的幅度值n连续时间的离散化通过采样,一般采
8、用均均匀采样匀采样(uniform sampling)n连续幅度的离散化通过量化,可采用线性线性量化量化,或非线性量化非线性量化 152.2.2 声音信号的数字化声音信号的数字化(图图)图2.3 声音信号的数字化16采样和量化采样和量化示例示例n如有一声音信号,对其进行采样和量化。如有一声音信号,对其进行采样和量化。n量化表用量化表用 1 1,2 2,3 3,4 4,5 5,6 6,7 7,8 8,四舍,四舍五入方法。五入方法。结果如下表结果如下表2.22.2采样序列采样序列1.531.532.202.20 3.613.614.834.83量化序列量化序列2 22 24 45 517声音信号的
9、数字化声音信号的数字化n目前应用较为广泛的采样方式:1.奈奎斯特(Nyquist)采样2.正交采样3.带通采样4.Sigma-Delta()采样等182.2.2 声音信号的数字化声音信号的数字化n需要解决的两个问题:1.采样频率采样频率应该是多少?2.量化的精度精度?bps(bit per sample)192.2.3 采样频率采样频率n采样频率是指一秒钟内采样的次数。n奈奎斯特采样定理(Nyquist theory):n如果对某一模拟信号进行采样,则采样后可还如果对某一模拟信号进行采样,则采样后可还原的最高信号频率只有采样频率的一半;原的最高信号频率只有采样频率的一半;n或者说只要采样频率高
10、于输入信号最高频率的或者说只要采样频率高于输入信号最高频率的两倍,就能从采样信号系列重构原始信号。两倍,就能从采样信号系列重构原始信号。202.2.3 采样频率采样频率奈奎斯特采样定理:nf fs s=2 f=2 fmaxmax f fs s为采样频率,为采样频率,f fmaxmax为信号最高频率为信号最高频率n对声音信号而言,对声音信号而言,f fmaxmax为声音信号的最高频率。为声音信号的最高频率。v在实际应用中,为了使前级抗混叠滤波器易于在实际应用中,为了使前级抗混叠滤波器易于实现,提高输入信号的信噪比,一般实现,提高输入信号的信噪比,一般f fs s取取f fmaxmax的的2.52
11、.5倍以上。倍以上。212.2.3 采样频率采样频率n根据斯特采样定理,CD 激光唱盘采样频率为44KHz,可记录的最高音频为22KHz,这样的音质与原始声音相差无几,也就是我们常说的超级高保真音质。n声音采样的三个标准频率分别为:n44.1KHz44.1KHzn22.05KHz 22.05KHz n11.025KHz11.025KHz。222.2.3 采样频率采样频率n人耳听觉上限是20KHz,根据奈奎斯特的理论,数码音频的取样频率应当是40 KHz,可可为何定了为何定了44.1 KHz这么一个特殊的标准?这么一个特殊的标准?1.对模拟声音信号进行处理时,对模拟声音信号进行处理时,20KHz
12、20KHz处有比较明处有比较明显的衰减,因此把信号截止频率提高到显的衰减,因此把信号截止频率提高到22 KHz 22 KHz 2.为使交流电纹波的负面影响降到最低,需要取一为使交流电纹波的负面影响降到最低,需要取一个既大于个既大于44 KHz,44 KHz,又为又为50Hz50Hz和和60Hz(60Hz(国际通行的两国际通行的两种交流电频率种交流电频率)公倍数的数据。公倍数的数据。232.2.4 量化精度量化精度 量化位数量化位数n量化位数是对模拟音频信号的幅度轴进行数字化,它决定了模拟信号数字化以后的动态动态范围范围。n由于计算机按字节运算,一般的量化位数为8位和16位。量化位越高,信号的动
13、态范围越大,数字化后的音频信号就越可能接近原始信号,但所需要的存贮空间也越大。242.2.4 量化精度量化精度 量化位数量化位数n 例如用8位表示一个声音采样的样本,则样本值是0到255之间的256个整数值,此时采样精度就是1/256.n量化精度量化精度、存储空间存储空间、声音质量声音质量、处理处理速度速度之间的矛盾。(理解)252.2.4 量化精度量化精度 信噪比表示信噪比表示n信噪比SNR(signal-to-noise ratio)公式:SNR=10 log(Vsignal)2/(Vnoise)2 =20 log(Vsignal/Vnoise)n说明:nV Vsignalsignal表示
14、信号电压表示信号电压nV Vnoisenoise表示噪声电压表示噪声电压nSNRSNR的单位为分贝的单位为分贝(dB)(dB)n如何理解信噪比公式如何理解信噪比公式如何理解信噪比公式如何理解信噪比公式 (思考题思考题思考题思考题)262.2.4 量化精度量化精度 信噪比计算信噪比计算n举例:假设Vnoise=1;1.采样精度为1bit时,Vsignal21,此时它的信噪比:2.SNR=20 log(Vsignal/Vnoise)3.=20 log(21/1)4.=20 log 2 =20*0.35.=6 dB272.2.4 量化精度量化精度 信噪比计算信噪比计算n举例:假设Vnoise=1;2
15、.采样精度为8bit时,Vsignal28,此时它的信噪比:SNR=20 log(Vsignal/Vnoise)=20 log(28/1)=20*8*log 2 =20*8*0.3 =48 dB282.2.4 采样精度采样精度(表)(表)表表2-3 2-3 采样位数与信噪比对照表采样位数与信噪比对照表量化位量化位量化位量化位 等份等份等份等份 信噪比信噪比(dB)(dB)应应应应 用用用用 1 12 26 68 82562564848数字电话数字电话161665536655369696CD-DACD-DA292.2.5 声音质量与数据率声音质量与数据率n声道数:有单声道和双声道之分。双声道又称
16、为立体声,在硬件中要占两条线路,音质、音色好,但立体声数字化后所占空间比单声道多一倍。n数据率:为每秒每秒bitbit数,(bps).数据率是计算机处理时要掌握的基本技术参数。n声音质量与数据率的对应 参见教材表2-1 p1130本章主要内容本章主要内容1.声音概述2.声音的数字化3.电子合成音乐电子合成音乐4.语音编码5.脉冲编码调制6.PCM应用7.其它编码方法312.3 电子合成音乐电子合成音乐 MIDIn乐器数字接口乐器数字接口MIDIMIDI(Musical Instrument Digital Musical Instrument Digital InterfaceInterfac
17、e),泛指数字音乐的国际标准,它是音乐),泛指数字音乐的国际标准,它是音乐与计算机结合的产物。与计算机结合的产物。nMIDIMIDI不是把音乐的波形进行数字化采样和编码,而不是把音乐的波形进行数字化采样和编码,而是将数字式电子乐器的是将数字式电子乐器的弹奏过程记录下来弹奏过程记录下来弹奏过程记录下来弹奏过程记录下来,如按了,如按了哪一个键、力度多大、时间多长等等。当需要播放哪一个键、力度多大、时间多长等等。当需要播放这首乐曲时,根据记录的乐谱指令,通过音乐合成这首乐曲时,根据记录的乐谱指令,通过音乐合成器生成音乐声波,经放大后由扬声器播出。器生成音乐声波,经放大后由扬声器播出。322.3.1
18、MIDI术语术语一、音乐合成器音乐合成器(Musical Synthesizer):用来产生并修改正弦波形的叠加,然后通过声音产生器和扬声器发出特定的声音。泛音的合成决定声音音质。二、复调声音复调声音:简称为复音(Polyphony),指合成器同时演奏若干音符时发出的声音。它着重于同时演奏的音符数。332.3.1 MIDI术语术语三、多音色(Timbre):指同时演奏几种不同乐器时发出的声音。它着重于同时演奏的乐器数。四、MIDI标准1、MIDI电子乐器:能产生特定声音的合成器,其数据传送符合MIDI通信约定。342.3.1 MIDI术语术语2、MIDI消息(message)或指令:乐谱的一种
19、记录格式,相当于乐谱语言。3、MIDI接口(interface):MIDI硬件通信协议4、MIDI通道(channel):共16个通道,每种通道对应一种逻辑的合成器352.3.1 MIDI术语术语 5、MIDI文件:由控制数据和乐谱信息数据构成6、音序器(Sequencer):用来记录、编辑和播放MIDI文件的软件。362.3.2 2.3.2 计算机上计算机上MIDIMIDI的产生过程的产生过程 nMIDIMIDI电子乐器通过电子乐器通过MIDIMIDI接口与计算机相连。接口与计算机相连。n计算机可通过音序器软件来采集计算机可通过音序器软件来采集MIDIMIDI电子乐器发出电子乐器发出的一系列
20、指令。的一系列指令。n这一系列指令可记录到这一系列指令可记录到MIDIMIDI文件中。文件中。n在计算机上音序器可对在计算机上音序器可对MIDIMIDI文件进行编辑和修改。文件进行编辑和修改。n最后,将最后,将MIDIMIDI指令送往音乐合成器,由合成器将指令送往音乐合成器,由合成器将MIDIMIDI指令符号进行解释并产生波形,然后通过声音指令符号进行解释并产生波形,然后通过声音发生器送往扬声器播放出来。发生器送往扬声器播放出来。372.3.2 2.3.2 计算机上计算机上MIDIMIDI的产生过程的产生过程图图2.4 MIDI的产生过程的产生过程382.3.3 MIDI2.3.3 MIDI合
21、成的产生方式合成的产生方式1 1、频率调制合成频率调制合成频率调制合成频率调制合成(Frequency Modulation)(Frequency Modulation)通过硬件产生正弦信号,再经处理合成音乐。合通过硬件产生正弦信号,再经处理合成音乐。合成的方式是将波形组合在一起,理论上可以有无限成的方式是将波形组合在一起,理论上可以有无限多组波形,但实际上做不到。其泛音的合成与模拟多组波形,但实际上做不到。其泛音的合成与模拟比较困难,实际的质量不高。比较困难,实际的质量不高。2 2、波形表(波形表(波形表(波形表(WavetableWavetable)合成)合成)合成)合成 其原理是在其原理
22、是在ROMROM中已存储各种实际乐器的声音样中已存储各种实际乐器的声音样本,需要时,调用相应样本来合成该乐器的乐音。本,需要时,调用相应样本来合成该乐器的乐音。ROMROM的容量越大,合成效果越好,价格也越贵。的容量越大,合成效果越好,价格也越贵。392.3.4 两种音频文件的比较 表表2-4 MIDI2-4 MIDI和和WAVEWAVE文件的比较文件的比较MIDIMIDIWAVEWAVE文件内容文件内容 MIDI MIDI指令指令数字音频数据数字音频数据音源音源 MIDI MIDI乐器乐器Mic,Mic,磁带磁带,CD,CD唱盘唱盘,音响音响容量容量 小小与音质成正比与音质成正比 效果效果与
23、声卡质量有关与声卡质量有关 与编码指标有关与编码指标有关 适用性适用性 易编辑易编辑 声源受限声源受限 数据量很小数据量很小 不易编辑不易编辑声源不限声源不限 数据量大数据量大 40本章主要内容本章主要内容1.声音概述2.声音的数字化3.电子合成音乐4.语音编码语音编码 (教材第三章教材第三章)5.脉冲编码调制6.PCM 应用7.其它编码方法412.4 语音编码语音编码实现方法n波形编码波形编码将波形直接变换成数字码流。将波形直接变换成数字码流。n n特特点点:比比特特率率较较高高、解解码码后后质质量量较较高高、延延时时较较小小。可可以分为:以分为:n n时域波形编码,如时域波形编码,如PCM
24、PCM、ADPCMADPCM、MM等;等;n n频域波形编码,如子带编码(频域波形编码,如子带编码(SBCSBC)、)、自适应变换编码等。自适应变换编码等。n参数编码参数编码 从从信信源源信信号号的的某某个个域域中中提提取取特特征征参参数数,并并变变换换成成数字码流。数字码流。n n特特点点:比比特特率率较较低低、解解码码后后质质量量较较低低、延延时时较较大大。如如:各种声码器。各种声码器。线性预测编码线性预测编码(LPC)(LPC)422.4 语音编码语音编码实现方法n混合编码将以上二种方法混合,将以上二种方法混合,l l特特点点:以以较较低低的的比比特特率率获获得得较较高高的的质质量量,延
25、延时时适适中中,复杂。复杂。l l如:如:GSMGSM的语音编码。的语音编码。43语音编码历史:数字电话(语音编码历史:数字电话(1)波形编码波形编码 PCMPCM原理(原理(3737年,法年,法Alec ReeresAlec Reeres)1.1.电子管电子管PCMPCM(4646年,年,BellBell实验室)实验室)2.2.晶体管晶体管PCMPCM(6262年,市话扩容,年,市话扩容,64kb/s64kb/s)3.3.单片单片IC PCMIC PCM(7070年代,微波、卫星、光纤)年代,微波、卫星、光纤)增量编码原理(增量编码原理(4646年,法年,法De LoraineDe Lora
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 教学课件 教学 课件 第二 声音 语音 编码
限制150内