多媒体音频信息处理技术.ppt

《多媒体音频信息处理技术.ppt》由会员分享，可在线阅读，更多相关《多媒体音频信息处理技术.ppt（86页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多媒体音频信息处理技术多媒体音频信息处理技术现在学习的是第1页，共86页4.1 认识声音认识声音4.1.1 声音处理技术的历史回顾声音处理技术的历史回顾4.1.2 声音信号的形式与特征声音信号的形式与特征4.1.3 声音质量的评价声音质量的评价现在学习的是第2页，共86页4.1.1 声音处理技术的历史回顾声音处理技术的历史回顾v1.自古以来自古以来人类很早就开始研究声音，并利用当时已掌握的人类很早就开始研究声音，并利用当时已掌握的声音的某些规律来制造乐器、进行建筑设计或传声音的某些规律来制造乐器、进行建筑设计或传声装置设计等，使声音更悦耳动听或传得更远。声装置设计等，使声音更悦耳动听或传得更远

2、。请举出古代利用声音的例子请举出古代利用声音的例子v天坛的回音壁、三音石，古代乐器，等天坛的回音壁、三音石，古代乐器，等v铁路工人用铁锤敲击铁轨、医生的听诊器、行军打仗铁路工人用铁锤敲击铁轨、医生的听诊器、行军打仗的号角鼓声的号角鼓声这个时期，声音处理技术的特征这个时期，声音处理技术的特征：v凭耳朵辨别声音，不能记录和存储声音凭耳朵辨别声音，不能记录和存储声音现在学习的是第3页，共86页4.1.1 声音处理技术的历史回顾声音处理技术的历史回顾v2.机械方法记录和播放机械方法记录和播放19世纪爱迪生发明世纪爱迪生发明留声机留声机v启发现象启发现象电话传话器里的膜板随着说话声会引起震动的现象电话传

3、话器里的膜板随着说话声会引起震动的现象v是一种播放声音的机械装置，预先按声音波形特征刻是一种播放声音的机械装置，预先按声音波形特征刻制在唱片表面制在唱片表面(弧形凹槽弧形凹槽)，播放时引起探针的不同幅度，播放时引起探针的不同幅度的振动并传递发声。的振动并传递发声。现在学习的是第4页，共86页4.1.1 声音处理技术的历史回顾声音处理技术的历史回顾v3.电声技术电声技术依靠电信号来记录并播放声音依靠电信号来记录并播放声音v通过电压产生模拟声波变化的电流信号，灌录成早期通过电压产生模拟声波变化的电流信号，灌录成早期的唱片或磁带，这种电流信号称为模拟信号。的唱片或磁带，这种电流信号称为模拟信号。v磁

4、带上的磁极变化或唱片音槽内的纹路起伏变化都是磁带上的磁极变化或唱片音槽内的纹路起伏变化都是声音信号的变化对应成正比的。声音信号的变化对应成正比的。现在学习的是第5页，共86页4.1.1 声音处理技术的历史回顾声音处理技术的历史回顾v4.数字化声音处理技术数字化声音处理技术依靠数字信号来记录并播放声音依靠数字信号来记录并播放声音核心技术核心技术是对声音的采样。是对声音的采样。现在学习的是第6页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征v1.什么是声音？什么是声音？(声音的形式声音的形式)声音是一种振动波声音是一种振动波，是机械振动或气流扰动引起，是机械振动或气流扰动引起周围的

5、弹性介质发生波动的现象。周围的弹性介质发生波动的现象。v许多声音的波形混合在一起可能构成交响乐、交谈声，许多声音的波形混合在一起可能构成交响乐、交谈声，也可能完全是噪声。也可能完全是噪声。在物理上，声音可用一条连线的曲线来表示，它在物理上，声音可用一条连线的曲线来表示，它是在时间和幅度上都连续变化的量，所以称为模是在时间和幅度上都连续变化的量，所以称为模拟量拟量。现在学习的是第7页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征v2.声音的物理特征声音的物理特征(1)频率频率：即声波振动的快慢，单位：即声波振动的快慢，单位Hz。v根据频率，声音可分为根据频率，声音可分为A.次声波

6、：低于次声波：低于20HzB.正常声音：正常声音：20Hz20KHz（语音：（语音：300Hz3KHz）C.超声波：高于超声波：高于20KHzv频率的倒数为频率的倒数为周期周期周期周期具有周期性的声音通常会更悦耳动听。具有周期性的声音通常会更悦耳动听。现在学习的是第8页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征也可用声音的也可用声音的波长波长来描述声音来描述声音vv波长波长波长波长：沿声音传播方向，振动一个周期所传播的距离；或在：沿声音传播方向，振动一个周期所传播的距离；或在波形上相位相同的两个相邻点间的距离，单位波形上相位相同的两个相邻点间的距离，单位m.声音的频率也反映

7、了声音的声音的频率也反映了声音的速度速度速度速度vv声速声速声速声速：单位时间内声音传播的距离，单位：单位时间内声音传播的距离，单位m/s.声速、周期、波长的关系为声速、周期、波长的关系为现在学习的是第9页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征vv(2)幅度幅度：是指信号的基线到当前波峰的距离，：是指信号的基线到当前波峰的距离，即声波振动的强弱，决定了信号音量的强弱即声波振动的强弱，决定了信号音量的强弱程度。程度。A.在物理上，通常用在物理上，通常用声压和声压级声压和声压级来衡量声音的来衡量声音的强弱程度。强弱程度。vv声压声压声压声压：指在声场中某处由声波引起的压强的

8、变化值，：指在声场中某处由声波引起的压强的变化值，单位为单位为“帕斯卡帕斯卡(Pa)”。正常人刚刚能听到的最微弱声音的声压为正常人刚刚能听到的最微弱声音的声压为2X10-5Pa，这个声，这个声压值称为人耳的压值称为人耳的“听阈听阈听阈听阈”。使人耳产生剧烈疼痛感觉的声音的声压约为使人耳产生剧烈疼痛感觉的声音的声压约为20Pa，这个声压，这个声压值称为人耳的值称为人耳的“痛阈痛阈痛阈痛阈”。现在学习的是第10页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征经研究发现：人耳对声音强弱的感觉大体上与声压的经研究发现：人耳对声音强弱的感觉大体上与声压的对数成正比，称为对数成正比，称为声

9、压级，声压级，声压级，声压级，单位为单位为分贝分贝分贝分贝(dB)v分贝数的计算公式为分贝数的计算公式为其中其中P0为基准声压值，取为基准声压值，取P0=2X10-5Pa现在学习的是第11页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征B.在物理上，也可用在物理上，也可用声功率和声强声功率和声强声功率和声强声功率和声强来衡量声音的强弱来衡量声音的强弱程度。程度。vv声功率声功率声功率声功率：是指单位时间内，声波通过垂直于传播方向某指定面积：是指单位时间内，声波通过垂直于传播方向某指定面积的声能量，单位为的声能量，单位为W。vv声强声强声强声强：是指单位时间内，声波通过垂直于传播

10、方向的单位：是指单位时间内，声波通过垂直于传播方向的单位面积的声能量，单位为面积的声能量，单位为W/S2。v声压与声强的关系为声压与声强的关系为现在学习的是第12页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征v也可用声功率或声强计算声音分贝数，分别称为也可用声功率或声强计算声音分贝数，分别称为声功率级声功率级声功率级声功率级L LWW和和和和声强级声强级声强级声强级L LI I，其公式为，其公式为v声强级与声压级的关系为声强级与声压级的关系为其中其中W0=10-12w，I0=10-12w/s2 b与媒介的声特性阻抗有关，因此与空气的温与媒介的声特性阻抗有关，因此与空气的温度度

11、t和压强和压强p有关有关,可查表。可查表。现在学习的是第13页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征v(3)声音的相加和相减声音的相加和相减即两个以上独立声源作用于某一点叠加形成的声即两个以上独立声源作用于某一点叠加形成的声音。音。声音的能量声音的能量(声功率声功率W,声强声强I)是可以代数相加的，是可以代数相加的，但声压但声压(声压声压P,声压级声压级L)不能直接相加不能直接相加。一些主要结论：一些主要结论：v两个声音相加，总声压级不会比其中一个大两个声音相加，总声压级不会比其中一个大3dB以上以上v两个声音的声压级相差两个声音的声压级相差10dB以上时，叠加增量可以

12、忽以上时，叠加增量可以忽略不计。略不计。现在学习的是第14页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征v2.声音的听觉特征（主观感受）声音的听觉特征（主观感受）(1)音调音调：v即声音频率的主观反映，也称即声音频率的主观反映，也称音高音高音高音高。v一般地，音调的高低与频率的高低是一致的。当频率一般地，音调的高低与频率的高低是一致的。当频率不变时，强度的变化对音调稍有影响（强度增大时，不变时，强度的变化对音调稍有影响（强度增大时，低频率音调显得更低，高频率音调显得更高）。低频率音调显得更低，高频率音调显得更高）。(2)音色音色：v日常生活中通常是复合音，包括基音和谐音成分。

13、日常生活中通常是复合音，包括基音和谐音成分。v人耳对复合音中各种谐音成分总和起来的主观印象，人耳对复合音中各种谐音成分总和起来的主观印象，称为音色。称为音色。现在学习的是第15页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征谐音的频率和振幅决谐音的频率和振幅决定音色定音色任何复杂的周期性振动都可分解为许多谐波，称为任何复杂的周期性振动都可分解为许多谐波，称为傅里叶定律；把复杂的振动分解成各种频率成分的傅里叶定律；把复杂的振动分解成各种频率成分的过程称为过程称为傅里叶分析傅里叶分析傅里叶分析傅里叶分析，也称，也称频谱分析频谱分析频谱分析频谱分析；分析结果称；分析结果称为谱图。为谱

14、图。现在学习的是第16页，共86页4.1.2 声音信号的形式与特征声音信号的形式与特征v例如：例如：基音为基音为100Hz的钢琴声约有的钢琴声约有15个振幅不同的谐音个振幅不同的谐音基音为基音为100Hz的黑管声约有的黑管声约有9个振幅不同的谐音个振幅不同的谐音.语音：特殊的复合音，包括元音和辅音。语音：特殊的复合音，包括元音和辅音。(3)音响音响：v即声音的响度，是声音振幅的主观属性。即声音的响度，是声音振幅的主观属性。v振幅越大，响度越大，但它们也不是线性关系。振幅越大，响度越大，但它们也不是线性关系。音乐中的音乐中的音阶音阶：v就是按频率的对数取等分来确定的。就是按频率的对数取等分来确定

15、的。v每八度的声音，其频率就升高或降低一倍。每八度的声音，其频率就升高或降低一倍。现在学习的是第17页，共86页4.1.3 声音质量的评价声音质量的评价v声音质量的评价是很困难的，也是一个值得声音质量的评价是很困难的，也是一个值得研究的课题。研究的课题。v目前，主要有两种度量方法目前，主要有两种度量方法1.声音质量的客观度量声音质量的客观度量2.声音质量的主观度量声音质量的主观度量现在学习的是第18页，共86页1.声音质量的声音质量的客观度量客观度量法法v即用仪器对声波进行测量和分析即用仪器对声波进行测量和分析v常用仪器：常用仪器：声级计声级计是一种能对声音做出类似人耳反应的仪器，它能进行客观

16、是一种能对声音做出类似人耳反应的仪器，它能进行客观且可重复的声压测量和声级测量。且可重复的声压测量和声级测量。v主要指标：主要指标：信噪比信噪比SNR即有用信号与噪声之比，单位为分贝。即有用信号与噪声之比，单位为分贝。一般用信号的功率计算，也可用信号的电压计算。一般用信号的功率计算，也可用信号的电压计算。信噪比数值越高，噪声越小。信噪比数值越高，噪声越小。一般地，一般地，HiFi音响要求音响要求SNR达到达到70dB70dB以上，以上，CD机要求机要求SNR达到达到90dB90dB以上。以上。现在学习的是第19页，共86页2.声音质量的主观度量声音质量的主观度量v(1)评分标准评分标准5 优优

17、 不能察觉失真不能察觉失真4 良良 刚能察觉，但不讨厌刚能察觉，但不讨厌3 中中 察觉失真，稍微讨厌察觉失真，稍微讨厌2 差差 讨厌，但不令人反感讨厌，但不令人反感1 劣劣 极其讨厌，令人反感极其讨厌，令人反感v目前这种评分标准和方法广泛应用于多媒体技术和通信中，目前这种评分标准和方法广泛应用于多媒体技术和通信中，如可视电话、电视会议、语音信箱、语音电子邮件，等。如可视电话、电视会议、语音信箱、语音电子邮件，等。现在学习的是第20页，共86页2.声音质量的主观度量声音质量的主观度量v(2)评价方法评价方法主要根据音质的三要素（音调主要根据音质的三要素（音调/音色音色/音响）的变化和组音响）的变

18、化和组合来主观评定音质的一些特性。合来主观评定音质的一些特性。例如：例如：v低频响亮低频响亮声音丰满，高频响亮声音丰满，高频响亮声音明亮声音明亮低频微弱低频微弱声音平滑，高频微弱声音平滑，高频微弱声音清澄声音清澄v(3)评价音质的常用听感评价音质的常用听感空间感空间感(环绕感环绕感)、定位感、定位感(方向感方向感)、层次感、层次感(厚度感厚度感)力度感、亮度感、软硬感、松紧感、宽窄感，等力度感、亮度感、软硬感、松紧感、宽窄感，等现在学习的是第21页，共86页3.声音质量的分级与带宽声音质量的分级与带宽从频带宽度的角度上，频带越宽，信号强度的相对变从频带宽度的角度上，频带越宽，信号强度的相对变化

19、范围就越大，音响效果就越好。化范围就越大，音响效果就越好。现在学习的是第22页，共86页4.2 声音的数字化方法声音的数字化方法4.2.1 数字化声音的优点数字化声音的优点4.2.2 声音的数字化过程声音的数字化过程4.2.3 声音数据的编码方法与标准声音数据的编码方法与标准现在学习的是第23页，共86页4.2.1 数字化声音的优点数字化声音的优点v1.动态范围大动态范围大若采用若采用8bit量化，音频信号幅度可分为量化，音频信号幅度可分为256个量个量化级，动态范围达化级，动态范围达96 dB。v2.信息易处理信息易处理可以通过计算机对音频、视频信号进行各种特技可以通过计算机对音频、视频信号

20、进行各种特技及非线性编辑。及非线性编辑。v3.媒体易保存媒体易保存使用时间长，采用数字化的光盘，重放时不存在使用时间长，采用数字化的光盘，重放时不存在机械磨损，使用寿命长。机械磨损，使用寿命长。现在学习的是第24页，共86页4.2.1 数字化声音的优点数字化声音的优点v4.成本低成本低数字化信息便于大规模集成电路的存储和处理，数字化信息便于大规模集成电路的存储和处理，可降低成本。可降低成本。v5.可靠性高可靠性高数字信号只要求脉冲的有无，而不依赖信号的幅数字信号只要求脉冲的有无，而不依赖信号的幅值大小，对硬件一致性和稳定性要求下降了许多，值大小，对硬件一致性和稳定性要求下降了许多，从而提高了可

21、靠性。从而提高了可靠性。现在学习的是第25页，共86页4.2.2 声音的数字化过程声音的数字化过程v声音的数字化过程可分为三步声音的数字化过程可分为三步1.采样采样2.量化量化3.编码编码现在学习的是第26页，共86页1.声音的采样声音的采样(Sampling)v(1)什么是什么是采样采样?对给定的模拟声音波形信号，以适当的时间间隔对给定的模拟声音波形信号，以适当的时间间隔采取样本值采取样本值(波形的幅度值波形的幅度值)的过程。的过程。常用器件：常用器件：A/D转换器转换器v(2)采样频率采样频率即单位时间内采集样本点的个数。即单位时间内采集样本点的个数。一般地，采样频率越高，样本点就越多，声

22、音信一般地，采样频率越高，样本点就越多，声音信号的还原效果越好。号的还原效果越好。根据采样频率可分为均匀采样和非均匀采样。根据采样频率可分为均匀采样和非均匀采样。现在学习的是第27页，共86页1.声音的采样声音的采样(Sampling)v采样示例采样示例现在学习的是第28页，共86页1.声音的采样声音的采样(Sampling)v(3)奈奎斯特奈奎斯特(Nyquist)定理定理只有采样频率高于声音信号最高频率的只有采样频率高于声音信号最高频率的2倍时，倍时，才能把数字信号表示的声音还原为原来的声音。才能把数字信号表示的声音还原为原来的声音。反之，建议：反之，建议：v采样频率通常应高于原信号频率的

23、采样频率通常应高于原信号频率的2倍。倍。v(4)常用采样频率常用采样频率8,11.025,22.05,44.1(KHz)现在学习的是第29页，共86页2.声音的量化声音的量化(Quantifying)v(1)什么是什么是量化量化?将整个模拟声音波形信号的幅度划分成有限个区将整个模拟声音波形信号的幅度划分成有限个区段的集合，把落入某个区段的样本值归为一类，段的集合，把落入某个区段的样本值归为一类，并赋予相同的值，这种过程称为量化。并赋予相同的值，这种过程称为量化。可分为可分为均匀量化均匀量化和和非均匀量化非均匀量化。v(2)量化级数量化级数整个声音波形信号的幅度被划分出来的区段数，整个声音波形信

24、号的幅度被划分出来的区段数，称为量化级数，例如：称为量化级数，例如：256级，级，65536级，等级，等.一般地，考虑到二进制数的表示和存储特性，量一般地，考虑到二进制数的表示和存储特性，量化级数取化级数取2n。现在学习的是第30页，共86页2.声音的量化声音的量化(Quantifying)v(3)量化位数量化位数与量化级数与量化级数2n对应的二进制位数对应的二进制位数n，即用多少位，即用多少位二进制数来表示每一个样本值。二进制数来表示每一个样本值。量化位数越高，声音的质量越好。量化位数越高，声音的质量越好。v(4)量化示例量化示例现在学习的是第31页，共86页2.声音的量化声音的量化(Qua

25、ntifying)v(5)量化误差量化误差在量化过程中由于四舍五入所造成的样本值与量在量化过程中由于四舍五入所造成的样本值与量化值之差。化值之差。设量化级差为设量化级差为“”，则量化误差不会超过，则量化误差不会超过“/2”.v例如：设有例如：设有10级量化，级次分别为级量化，级次分别为0,1,2,9 则则 级差级差=1，任意样本值的量化误差必，任意样本值的量化误差必1/2.v(6)量化噪声与信噪比量化噪声与信噪比由于量化误差而引起的声音失真，称为量化噪声，由于量化误差而引起的声音失真，称为量化噪声，也可用信噪比来衡量。也可用信噪比来衡量。一般地，量化位数一般地，量化位数每增加每增加1位位，信噪

26、比，信噪比增大增大6dB.现在学习的是第32页，共86页声音的采样与量化示例声音的采样与量化示例1采样频率为采样频率为1000Hz，10个量化等级的波形个量化等级的波形现在学习的是第33页，共86页示例示例1-还原的波形图还原的波形图直线段波形有较大失真直线段波形有较大失真现在学习的是第34页，共86页声音的采样与量化示例声音的采样与量化示例2采样频率为采样频率为2000Hz，20个量化等级的波形个量化等级的波形现在学习的是第35页，共86页声音的采样与量化示例声音的采样与量化示例3采样频率为采样频率为4000Hz，40个量化等级的波形个量化等级的波形现在学习的是第36页，共86页3.声音的编

27、码声音的编码(Encoding)v(1)什么是什么是编码编码?将量化得到的二进制数按一定格式组装成可存储将量化得到的二进制数按一定格式组装成可存储或传输的二进制格式，这个过程称为编码。或传输的二进制格式，这个过程称为编码。v(2)为什么要编码为什么要编码?原因原因1：存储存储v需要为声音定义一种文件存储或传输格式，量化得到需要为声音定义一种文件存储或传输格式，量化得到的二进制数不一定刚好符合这样的文件格式，因此需的二进制数不一定刚好符合这样的文件格式，因此需要重新组装。要重新组装。原因原因2：压缩压缩v不压缩的数字化声音，数据量较大。不压缩的数字化声音，数据量较大。现在学习的是第37页，共86

28、页3.声音的编码声音的编码(Encoding)v(3)声音数据能否压缩声音数据能否压缩?客观上，数据之间存在客观上，数据之间存在冗余性冗余性和和相关性相关性v数据之间存在许多冗余性数据之间存在许多冗余性v数据之间存在很强的相关性数据之间存在很强的相关性利用一定的数学方法可去除这些冗余，达到压缩目的；反之，利用一定的数学方法可去除这些冗余，达到压缩目的；反之，可利用相应方法恢复冗余数据，以再现原始声音。可利用相应方法恢复冗余数据，以再现原始声音。主观上，人的听觉器官具有某些主观上，人的听觉器官具有某些不敏感性不敏感性。v如果去掉不敏感的数据也不会影响或较小影响人的听如果去掉不敏感的数据也不会影响

29、或较小影响人的听觉感受。觉感受。v例如：人耳的例如：人耳的“掩蔽效应掩蔽效应”强音抑制弱音的现象。强音抑制弱音的现象。现在学习的是第38页，共86页4.2.3 声音数据的编码方法声音数据的编码方法v声音数据编码方法的分类声音数据编码方法的分类1.基于声音数据的基于声音数据的统计特性统计特性的编码的编码v典型技术是波形编码，包括典型技术是波形编码，包括PCM,DPCM,ADPCM等等v适应性强，还原音质好，但压缩比不大，数据率高。适应性强，还原音质好，但压缩比不大，数据率高。2.基于声音的基于声音的声学特性声学特性的参数编码的参数编码v常用声学特性参数：共振峰、线性预测系数、滤波器常用声学特性参

30、数：共振峰、线性预测系数、滤波器v数据率低，还原音质较差；但保密性好。数据率低，还原音质较差；但保密性好。3.基于统计特性和声学特性的基于统计特性和声学特性的混合编码混合编码v例如：例如：CELP,MPLPC等。等。4.基于人的基于人的听觉特性听觉特性的编码的编码v利用掩蔽效应，设计心理声学模型，如：杜比利用掩蔽效应，设计心理声学模型，如：杜比AC-3.现在学习的是第39页，共86页1.声音的波形编码方法声音的波形编码方法v(1)脉冲编码调制脉冲编码调制-PCM即把声音经即把声音经A/D(采样采样)转换得到的样本值简单直转换得到的样本值简单直接地量化为计算机二进制数（如二进制补码）的接地量化为

31、计算机二进制数（如二进制补码）的方法，称为方法，称为PCM。如：如：Win系统的系统的“录音机录音机”即采用该编码方法即采用该编码方法现在学习的是第40页，共86页1.声音的波形编码方法声音的波形编码方法v(2)律和律和A律律PCM编码编码主要思路：主要思路：v在在PCM基础上，设法让量化阶距随信号的概率密度的基础上，设法让量化阶距随信号的概率密度的减小而增大减小而增大(把大的量化误差留给出现概率小的样本值把大的量化误差留给出现概率小的样本值)。具体方法：具体方法：v引入引入 和和A A参数，量化时用参数，量化时用对数函数对数函数对数函数对数函数将幅度将幅度(样本值样本值)压压缩，解码时再用缩

32、，解码时再用指数函数指数函数指数函数指数函数进行幅度还原。进行幅度还原。已形成语音国际标准：已形成语音国际标准：G.711v广泛用于数字电话、可视电话、电视会议等。广泛用于数字电话、可视电话、电视会议等。现在学习的是第41页，共86页1.声音的波形编码方法声音的波形编码方法v(3)自适应脉冲编码调制自适应脉冲编码调制-APCM有两种思路：有两种思路：vA.使量化的阶距使量化的阶距(n)随输入信号的方差而增减随输入信号的方差而增减vB.在固定阶距在固定阶距(n)基础上基础上+增益量增益量在两种方法中随需要随时估计输入信号的时变幅度，以修正在两种方法中随需要随时估计输入信号的时变幅度，以修正阶距或

33、增益值。（都称为自适应量化编码方法）阶距或增益值。（都称为自适应量化编码方法）具体方法具体方法(根据估计方法的不同分两类根据估计方法的不同分两类)：vA.前馈自适应量化：由输入信号本身来估计前馈自适应量化：由输入信号本身来估计vB.反馈自适应量化：由输出信号来估计反馈自适应量化：由输出信号来估计现在学习的是第42页，共86页1.声音的波形编码方法声音的波形编码方法v(4)差值量化差值量化-DM研究表明，相邻声音样本值之间存在很大的相关研究表明，相邻声音样本值之间存在很大的相关性，因此样本值之差的方差比信号本身的方差要性，因此样本值之差的方差比信号本身的方差要小。小。根据上述原理形成的编码方法称

34、为增量调制根据上述原理形成的编码方法称为增量调制(DM)v(5)自适应差值量化编码自适应差值量化编码-ADPCM综合采用自适应量化和自适应预测的综合采用自适应量化和自适应预测的PCM编码方编码方法。法。现在学习的是第43页，共86页2.声音的参数编码声音的参数编码v是基于话音波形信号中提取生成话音的参数，是基于话音波形信号中提取生成话音的参数，使用这些参数通过话音生成模型重构出话音。使用这些参数通过话音生成模型重构出话音。v常用的音频参数有共振峰、线性预测系数和常用的音频参数有共振峰、线性预测系数和滤波器组等。滤波器组等。v其优点是数据率低，但还原信号的质量较差，其优点是数据率低，但还原信号的

35、质量较差，自然度低，而且由于受到话音生成模型的限自然度低，而且由于受到话音生成模型的限制，增加数据率对提高合成话音的质量无济制，增加数据率对提高合成话音的质量无济于事。但是保密性好，因此常用于军事领域。于事。但是保密性好，因此常用于军事领域。现在学习的是第44页，共86页3.声音的混合编码声音的混合编码v综合运用声音的统计特性和声学特性进行编综合运用声音的统计特性和声学特性进行编码。码。现在学习的是第45页，共86页4.声音的感知编码声音的感知编码v基于人的感知特性进行编码基于人的感知特性进行编码v常见的感知特性：常见的感知特性：可听范围可听范围时差效应时差效应双耳效应双耳效应俺蔽效应俺蔽效应

36、现在学习的是第46页，共86页5.常用音频编码算法和标准常用音频编码算法和标准类别类别算法算法名称名称数据率数据率标准标准应用应用质量质量波形编码波形编码PCM均匀量化均匀量化公共网公共网ISDN配音配音4-4.5(A)(A)64G.711APCM,DPCM(自适应自适应,差值差值)量化量化ADPCM自适应差值量化自适应差值量化32G.721SB-ADPCM子带子带-自适应差值量自适应差值量化化64G.7226.3G.723参数编码参数编码LPC线性预测编码线性预测编码2.4保密话声保密话声2-3混合编码混合编码CELPC码激励码激励LPC4.8移动通信移动通信3-4VSELP矢量和激励矢量和

37、激励LPC8语音邮件语音邮件RPE-LTP长时预测规则码激励长时预测规则码激励13.2LD-CELP低延时码激励低延时码激励LPC16G.728/9MPEG多子带多子带,感知编码感知编码128CD5AC-3感知编码感知编码音响音响5现在学习的是第47页，共86页4.3 声音的声音的MIDI技术技术4.3.1 MIDI技术的产生技术的产生4.3.2 MIDI系统及其工件过程系统及其工件过程4.3.3 MIDI消息与文件消息与文件现在学习的是第48页，共86页4.3.1 MIDI技术的产生技术的产生v1.如何使计算机输出优美的音乐如何使计算机输出优美的音乐?(1)早期技术早期技术-录音录音/重放重

38、放方式方式v利用模利用模/数数(A/D)转换部件采集和存储转换部件采集和存储-录音录音v利用数利用数/模模(D/A)转换部件播放转换部件播放-重放重放(2)后期技术后期技术-音乐合成音乐合成技术技术v从硬件上，增加一个独立的从硬件上，增加一个独立的“音乐合成音乐合成”部件部件v从软件上，通过编程控制该部件将一些基本的音符波从软件上，通过编程控制该部件将一些基本的音符波形合成为一首音乐所需要的波形数据。形合成为一首音乐所需要的波形数据。(3)两类主要的合成技术：两类主要的合成技术：vA.调频调频调频调频(FM)(FM)技术技术 B.波表波表波表波表(WaveTable)(WaveTable)技术

39、技术现在学习的是第49页，共86页4.3.1 MIDI技术的产生技术的产生v2.音乐合成技术带来的影响音乐合成技术带来的影响音乐的音乐的“合成合成”意味着在计算机硬件和软件的帮意味着在计算机硬件和软件的帮助下，计算机不再是简单地对音乐的记录和重放。助下，计算机不再是简单地对音乐的记录和重放。音乐音乐“合成合成”技术促使技术促使计算机声卡不断升级计算机声卡不断升级以获以获得更好的音质效果，也促使计算机得更好的音质效果，也促使计算机音乐创作软件音乐创作软件的不断丰富和发展的不断丰富和发展。现在学习的是第50页，共86页4.3.1 MIDI技术的产生技术的产生vv3.调频调频(FM)合成技术合成技术

40、(1)基本方法基本方法v在正弦波或余弦波基础上，根据需要产生的音符的波在正弦波或余弦波基础上，根据需要产生的音符的波形特征，通过调节基础波形的频率或振幅来达到近似形特征，通过调节基础波形的频率或振幅来达到近似(称为调制称为调制)，从而产生不同的乐音。，从而产生不同的乐音。(2)声音效果声音效果v可以达到广播级声音质量可以达到广播级声音质量v但音乐的频域范围比较广，有部分声音无法表达但音乐的频域范围比较广，有部分声音无法表达现在学习的是第51页，共86页4.3.1 MIDI技术的产生技术的产生vv4.波表波表(WaveTable)合成技术合成技术(1)基本方法基本方法v首先，对音乐中常用音符的波

41、形数据进行采样和存储首先，对音乐中常用音符的波形数据进行采样和存储(称为称为波表库或音源库波表库或音源库波表库或音源库波表库或音源库)。v其次，当需要播放音乐时，在硬件和软件帮助下从波其次，当需要播放音乐时，在硬件和软件帮助下从波表库中表库中查表并叠加音符的波形数据查表并叠加音符的波形数据查表并叠加音符的波形数据查表并叠加音符的波形数据。v最后，通过数最后，通过数/模模(D/A)转换部件播放出来。转换部件播放出来。(2)声音效果声音效果v可以达到可以达到CD级声音质量，受音源库的影响很大。级声音质量，受音源库的影响很大。v音源库一般随音源库一般随声卡驱动程序声卡驱动程序声卡驱动程序声卡驱动程序

42、而安装在系统中。而安装在系统中。现在学习的是第52页，共86页4.3.1 MIDI技术的产生技术的产生vv5.MIDI技术的产生技术的产生在波表合成技术基础上，如何让各种音乐乐器都在波表合成技术基础上，如何让各种音乐乐器都能连接到计算机上，做到随时弹奏、随时录制、能连接到计算机上，做到随时弹奏、随时录制、随时播放随时播放?MIDI技术就是这样的背景下产生的。技术就是这样的背景下产生的。MIDI技术的技术的重要意义重要意义v使任何人都可以在计算机硬件和软件的帮助下将音乐使任何人都可以在计算机硬件和软件的帮助下将音乐乐器连接到计算机中进行音乐的创作、编辑和播放。乐器连接到计算机中进行音乐的创作、编

43、辑和播放。v而且这种数字化音乐可以被无限次地复制。而且这种数字化音乐可以被无限次地复制。现在学习的是第53页，共86页4.3.2 MIDI系统系统vv1.什么什么MIDI技术技术?即数字音乐接口即数字音乐接口(Musical Instrument Digital Interface).它是一套标准和规范，规定了电子乐器与计算机它是一套标准和规范，规定了电子乐器与计算机相连的物理标准和数据通信的协议。相连的物理标准和数据通信的协议。说明：说明：vvMIDIMIDI不是数字音响技术的范畴不是数字音响技术的范畴不是数字音响技术的范畴不是数字音响技术的范畴，它记录和传输的是电，它记录和传输的是电子乐器

44、演奏音乐时的音符、速度、音量等乐谱信息子乐器演奏音乐时的音符、速度、音量等乐谱信息.vMIDI技术是使计算机能够利用技术是使计算机能够利用“记谱记谱”的方法进行音的方法进行音乐的数字录音及放音。乐的数字录音及放音。现在学习的是第54页，共86页4.3.2 MIDI系统系统vv2.MIDI系统系统就是将各种电子乐器连接到计算机上进行音乐创就是将各种电子乐器连接到计算机上进行音乐创作的电子模拟系统。作的电子模拟系统。现在学习的是第55页，共86页4.3.2 MIDI系统系统vv3.MIDI系统的构成系统的构成一般地，一般地，MIDI系统主要包括：系统主要包括：v(1)多媒体计算机多媒体计算机v(2

45、)合成器合成器v(3)音序器音序器v(4)音源音源v(5)MIDI键盘键盘v(6)录音设备录音设备v(7)监听设备监听设备这些设备可以是独立的，也可以是集成的。这些设备可以是独立的，也可以是集成的。现在学习的是第56页，共86页4.3.2 MIDI系统系统(1)合成器合成器v通过振荡器的电流振荡产生各种波形并进行处理，合通过振荡器的电流振荡产生各种波形并进行处理，合成出新的音色。成出新的音色。v合成器的合成器的历史比声卡和历史比声卡和历史比声卡和历史比声卡和MIDIMIDI都要久远都要久远都要久远都要久远，早在，早在1955年，年，世界上第一台合成器世界上第一台合成器RCA就已经诞生了。就已经

46、诞生了。v随着计算机技术的发展，随着计算机技术的发展，早期合成器的音序器功能、早期合成器的音序器功能、早期合成器的音序器功能、早期合成器的音序器功能、硬件音源功能、硬件音源功能、硬件音源功能、硬件音源功能、MIDIMIDI控制键盘功能等逐渐分离出来控制键盘功能等逐渐分离出来控制键盘功能等逐渐分离出来控制键盘功能等逐渐分离出来，形成独立的、可随意组合搭配的部分。形成独立的、可随意组合搭配的部分。现在学习的是第57页，共86页4.3.2 MIDI系统系统具有具有USB接口的接口的MIDI键盘键盘现在学习的是第58页，共86页4.3.2 MIDI系统系统(2)音源音源v即即声音样本库声音样本库声音样

47、本库声音样本库，内部有很多不同音色的样本波形。，内部有很多不同音色的样本波形。如：钢琴音色的真实样本波形如：钢琴音色的真实样本波形 吉它音色的真实样本波形吉它音色的真实样本波形音源只是一个资源库，何时被调用由音序器来完成。音源只是一个资源库，何时被调用由音序器来完成。v音源音源可以是硬件音源可以是硬件音源可以是硬件音源可以是硬件音源。专业人士通常需要使用独立的硬件音源专业人士通常需要使用独立的硬件音源一般用户可获得声卡上的一个含有一般用户可获得声卡上的一个含有128种音色的种音色的GM音色库，音色库，即即MIDI音源。音源。v音源音源也可以是软件音源也可以是软件音源也可以是软件音源也可以是软件

48、音源一般以插件形式提供，对一般以插件形式提供，对MIDI音乐的普及有很大贡献。音乐的普及有很大贡献。现在学习的是第59页，共86页4.3.2 MIDI系统系统硬件音源产品：硬件音源产品：Roland JV1080现在学习的是第60页，共86页4.3.2 MIDI系统系统(3)音序器音序器v是用来记录、编辑和播放是用来记录、编辑和播放MIDI文件的设备，可分为硬文件的设备，可分为硬件和软件两种。件和软件两种。vv硬件音序器硬件音序器硬件音序器硬件音序器（编曲机）（编曲机）它可以是独立的，也可以内置于合成器中。其编辑和修改操它可以是独立的，也可以内置于合成器中。其编辑和修改操作必须在它的面板上进行

49、，使用不方便。作必须在它的面板上进行，使用不方便。vv软件音序器软件音序器软件音序器软件音序器是安装在计算机中的多功能音乐创作、编辑软件，如常用的是安装在计算机中的多功能音乐创作、编辑软件，如常用的CakeWalk等。等。功能可以通过升级不断增强，操作方便。功能可以通过升级不断增强，操作方便。现在学习的是第61页，共86页4.3.2 MIDI系统系统(4)采样器采样器v普通的音源是封闭的，所能提供的音色品种和数量都普通的音源是封闭的，所能提供的音色品种和数量都是有限的，不能满足制作者对新音色的需求。是有限的，不能满足制作者对新音色的需求。v采样器是一种开放式的音源，它可以对任何声音进行采样器是

50、一种开放式的音源，它可以对任何声音进行采样，并把它们编辑成音色供计算机音乐系统使用。采样，并把它们编辑成音色供计算机音乐系统使用。(5)其他设备其他设备v录音设备、监听设备、音箱功放等。录音设备、监听设备、音箱功放等。现在学习的是第62页，共86页4.3.2 MIDI系统系统vv4.MIDI系统的工作过程系统的工作过程MIDI电子电子乐器乐器MIDI文件文件MIDI接口接口计算机计算机音序器软件音序器软件MIDI合合成器成器音响音响系统系统消息或消息或指令指令存储存储编辑编辑合成合成播放播放现在学习的是第63页，共86页4.3.3 MIDI消息与文件消息与文件vv1.MIDI消息消息它是对它是