第二章音频信息的获取与处理ppt课件.ppt
《第二章音频信息的获取与处理ppt课件.ppt》由会员分享,可在线阅读,更多相关《第二章音频信息的获取与处理ppt课件.ppt(104页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目第二章第二章 音频信息的获取与处理音频信息的获取与处理认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目本章学习要点本章学习要点1.1.音频信号的特点;模拟音频与数字音频信号的特点;模拟音频与数字音频;音频采样与量化以及数字音音频;音频采样与量化以及数字音频文件格式。频文件格式。2.2.音频卡的功能、分类及其基本工作音频卡的功能、分类及其基本工作原理。原理。3.3.音频编码基本原理及标准。音频编码基本原理及标准
2、。4.4.音乐合成及音乐合成及MIDIMIDI规范。规范。5.5.语音识别与合成原理及分类。语音识别与合成原理及分类。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目学习要求学习要求1.熟练掌握:音频卡的工作原理熟练掌握:音频卡的工作原理及应用开发。及应用开发。2.掌握:音频编码基础及标准;掌握:音频编码基础及标准;音乐合成及音乐合成及MIDI。3.了解:本章其他内容。了解:本章其他内容。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目2.1 数字音频基础
3、数字音频基础认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目 声音是一种由机械振动引起并声音是一种由机械振动引起并在弹性介质中传播的连续的波。在弹性介质中传播的连续的波。v声音的强弱体现在声波压力的大小声音的强弱体现在声波压力的大小上。上。v声音的高低体现在声波的频率上。声音的高低体现在声波的频率上。v可将声波转换为电信号。可将声波转换为电信号。v代表声波的电信号在时间和幅度上代表声波的电信号在时间和幅度上都是连续的,即模拟信号。都是连续的,即模拟信号。声音的产生声音的产生认识到了贫困户贫困的根本原因,才能开始对症下药,然后
4、药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目声音信号声音信号av声音信号由许多不同频率的信声音信号由许多不同频率的信号组成,称为号组成,称为复合信号复合信号。v单一频率的信号称为单一频率的信号称为分量信号分量信号。v带宽带宽是声音信号的一个重要参是声音信号的一个重要参数,它描述复合信号的频率范数,它描述复合信号的频率范围。围。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目声音信号声音信号bv人耳的听觉范围是人耳的听觉范围是20Hz20KHz20Hz20KHz,称为称为音频音频(Audio)(Audio
5、)信号。信号。v人说话的频率范围是人说话的频率范围是3003000Hz3003000Hz,称为称为话音话音(speech)(speech)信号。信号。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目声音的听觉特性声音三要素声音三要素v声音三要素即声音三要素即1.音调音调2.音强音强3.音色音色4.音色是由混入基音中的泛音所音色是由混入基音中的泛音所决定的。决定的。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目 声音是一种弹性波,可分为周期性和非周期性信号
6、。周期信号是单一频率的信号,是线性谱。非周期信号包含一定连续频带的所有频率分量,是连续谱。完全的连续谱(如平滑噪声)完全无调。自然界的声音大多是线性谱中混有一段段较弱的连续谱,听来既有调又饱满、生动。声音的听觉特性声音中的连续谱声音中的连续谱认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目声音的听觉特性声音的方向性声音的方向性 人能分辨出声音到达左右两人能分辨出声音到达左右两耳的时差和强度差异,即能辨耳的时差和强度差异,即能辨别声源方向。别声源方向。由于声波在空间来回反射,由于声波在空间来回反射,能产生空间效果。能产生空间效
7、果。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目声音的听觉特性声音是时基类媒体v声音是时间连续的,人耳能感觉到25毫秒的延迟。v没有时间就无法表现声音。v声音是连续型时基媒体。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目声音的质量评判v声音的质量与其频率范围(即频带)有关。一般,频带越宽,音质越好。v对语音常用可懂度、清晰度和自然度衡量。v对音乐,保真度、空间感和音响效果是重要指标。v平均主观打分(MOS)是最简单的评判法。认识到了贫困户贫困的根本
8、原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目模拟声音的录制与播放v模拟声音信号的录制一般是先将声波信号通过机电转换获得电信号,之后再通过电磁转换等方式记录到适当的介质上。v模拟声音的播放即使把记录在介质上的信号通过电磁转换、机电转换等手段还原为声音信号。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目模拟信号的数字化v在某个特定时刻对模拟信号进行测量称为采样采样。v采样获得的信号称为离散时间信号离散时间信号。v对幅值连续的采样信号限定取值范围,可以获得由有限个幅值组成的信号,
9、称其为离散幅度信号离散幅度信号。v采样值在某个数值附近的一定范围内都用这个值表示,这种处理称为量化量化。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目细看采样和量化均匀采样均匀采样:每两次采样之间的间隔时间相等。否则为非均匀采样。采样的时间间隔称为采样周期采样周期。每秒钟采样的次数称为采样频率采样频率。线性量化线性量化:量化的幅度间隔均等。否则为非线性量化。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目数字化音频a在计算机内声音信息同其他信息一样也用一
10、系列二进制数字表示,称其为数字音频。数字音频是对模拟声音信号进行采样和量化得到的。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目数字化音频b采样和量化的主要硬件是模数转换器(ADC)。数字音频的回放需先进行数模转换(DAC)得到模拟电信号,然后再放大输出。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目采样定理a 采样频率的高低应根据奈奎斯特理论和声音信号本身的最高频率决定。奈氏理论指出:如果采样频率不低于信号最高频率的两倍,则由此获得的离散信号能够完全
11、确定被采样的连续信号。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目采样定理b设被采样信号的最高频率为 f,则 认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目量化精度和量化误差a 若量化后的值用B位二进制码表示。B位二进制码可以表示2B个不同的量化电平。显然,位数越多表示的精度就越高。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目量化精度和量化误差b存储数字音频信号的比特率为:设量
12、化阶距(两个量化值的幅度差)为则量化误差为:认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目数字音频文件存储量计算字节数=采样频率(Hz)*量化位数*声道数*录音时间(s)/8认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目数字音频的文件格式 多媒体技术中常见音频文件:Wav文件:Microsoft的音频文件格式。对声音波形采样、量化后进行存储,故称波形文件。Voc文件:是creative公司的波形文件格式。Mid(midi)文件:是遵循乐器数字接口(mi
13、di)规范,产生数字乐音的文件。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目2.2 音频卡的工作原理主要完成模数转换、音频信号压缩及解压缩、数模转换、音频接口以及与微机接口五大功能认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的功能-录制与播放a音频录放 数字化采样频率范围:844.1kHz 量化位数:8位/16位 通道数:单声道/立体声 自动动态滤波认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已
14、经展开了“精准扶贫”项目音频卡的功能-录制与播放b编码与压缩 基本编码方法:PCM 压缩编码方法:ADPCM 实时硬件/软件压缩录音声源:mic,line-in,CD认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的功能-编辑与合成 应用工具软件对数字音频进行编辑以及实现特殊效果处理,如:倒播、增加回音、静噪、淡入和淡出、往返播放、声道交换。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的功能-MIDI音乐合成 利用软件通过音频卡的MIDI接
15、口对电子乐器进行操作控制,产生声音。音乐合成的性能依赖于音频卡上合成芯片的性能。合成方式:调频方式(FM)波形表方式认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的功能-文语转换和语音识别文语转换文语转换(text to speech)是利用声卡提供的软件将机内文本转换为声音输出。语音识别语音识别 使用者通过软件利用声音控制计算机或执行一些命令。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的工作原理混合信号处理器 内置数字/模拟混合器。完
16、成对声音信号的混合处理;输入声源:MIDI信号、CD音频、线路输入、麦克风输入等;可以选择一个或多个声源进行混合。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的工作原理功率放大器 用于对混合信号进行放大使用于对混合信号进行放大使之达到足够的功率去推动扬之达到足够的功率去推动扬声器发声。声器发声。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的工作原理总线和控制器 a总线接口类型:早期是总线接口类型:早期是ISA,现现在几乎都是在几乎都是P
17、CI。组成:数据总线双向驱动器、总组成:数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑线接口控制逻辑、总线中断逻辑和和DMA控制逻辑。控制逻辑。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的工作原理总线和控制器 b可以通过软件或硬跳线设定基本可以通过软件或硬跳线设定基本I/O地址、中断向量地址、中断向量(IRQ)和直和直接存储器存取接存储器存取(DMA)通道号这三通道号这三个参数,以避免与其他设备发生个参数,以避免与其他设备发生冲突。冲突。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家
18、对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的工作原理音频卡的安装a 自动安装自动安装:现在的音频卡产品一般都现在的音频卡产品一般都是即插即用的。安装连接好之后,是即插即用的。安装连接好之后,开启电源,开启电源,WIN9X会提示找到新会提示找到新硬件,照屏幕提示一步步操作,硬件,照屏幕提示一步步操作,即可完成软件安装,之后重启系即可完成软件安装,之后重启系统就能使用了。统就能使用了。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频卡的工作原理音频卡的安装b 手动安装:开始手动安装:开始-设置设置-控制面板控制面板
19、-添加新硬件添加新硬件 驱动程序的安装需要驱动程序的安装需要WINDOWS系统盘。系统盘。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目声音工具请参阅辅导与实验之请参阅辅导与实验之“实验一实验一 音频信号的获取与处理音频信号的获取与处理”认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目2.3 音频编码基础和标音频编码基础和标准准本节内容:本节内容:学习音频编码的基本知识学习音频编码的基本知识学习音频编码的相关标准学习音频编码的相关标准认识到了贫困户贫困的
20、根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目音频编码的目的音频编码的目的音频编码的主要目的就是压缩数据,音频编码的主要目的就是压缩数据,以节约存储空间和提高通信传输量。以节约存储空间和提高通信传输量。数据压缩通常会降低音频质量。数据压缩通常会降低音频质量。数据压缩还会增大计算量。数据压缩还会增大计算量。因此,音频压缩时要综合考虑数据因此,音频压缩时要综合考虑数据量、声音质量和计算的复杂度。量、声音质量和计算的复杂度。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目压缩编码
21、的可能性压缩编码的可能性只有当信源本身具有冗余度时才能只有当信源本身具有冗余度时才能对其进行压缩。对其进行压缩。统计分析表明,语音信号中存在多统计分析表明,语音信号中存在多种冗余度:时域信息冗余和频域信种冗余度:时域信息冗余和频域信息冗余息冗余根据人的听觉机理,语音也是可以根据人的听觉机理,语音也是可以压缩的。压缩的。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目时域信息冗余时域信息冗余1.幅度的非均匀分布幅度的非均匀分布1.幅度的非均匀分布幅度的非均匀分布统计表明,语音中的小幅度样本出现概率要高一些。又,通话中存在间歇,
22、必然出现大量的低电平;此外,实际的讲话信号器功率电平也趋向于出现在编码范围的较低电平端。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目时域信息冗余时域信息冗余2.样本间的相关样本间的相关2.样本间的相关样本间的相关对于音信号的分析表明,取样数据的最大相关存在于临近样本之间。当采样率为8KHz是相邻样本间相关系数大于0.85。如果采样率提高,样本见的相关性将会更高。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目时域信息冗余时域信息冗余3.周期之间的相关周
23、期之间的相关3.周期之间的相关周期之间的相关话音带宽为3003400Hz,但在某特定瞬间,一个声音信号却往往只是该频带内的少数几个频率成分在起作用。当声音中只有少数几个频率时,就会象某些振荡波形一样,在周期和周期之间存在一定的相关性。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目时域信息冗余时域信息冗余4.基音之间的相关基音之间的相关4.基音之间的相关基音之间的相关人的说话声音可分为清音和浊音两类。浊音波形不仅表现出周期相关性,而且还具有对应于音调间隔的长期重复波形。因此,对音浊音部分的编码最有效的方法之一就是只对一个音调
24、间隔的波形进行编码,并把它作为同样本中其它基音段的模板。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目时域信息冗余时域信息冗余5.静止系数静止系数5.静止系数静止系数静止系数:两人在通话时,平均每人的讲话时间占总通话时间的一半,且存在字词句之间的停顿。分析表明:话音间歇使得全双工话路的典型效率约为通话时间的40%。显然话音间歇(波形静止段)本身就是一种冗余。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目时域信息冗余时域信息冗余6.长时自相关6.长时自相
25、关上述相关性都是在短时(20ms)间隔内作出的统计分析。如果在较长时间内进行统计就可以得到长时自相关函数。长时间统计表明,如采样频率为8kHz,则话音相邻样本间的相关系数高达0.9。认识到了贫困户贫困的根本原因,才能开始对症下药,然后药到病除。近年来国家对扶贫工作高度重视,已经展开了“精准扶贫”项目频域信息冗余频域信息冗余非均匀的长时功率谱密度非均匀的长时功率谱密度 呈现强烈的非平坦性;高频能量较低;呈现强烈的非平坦性;高频能量较低;直流分量并非最大。直流分量并非最大。语音特有的短时功率谱密度语音特有的短时功率谱密度 存在共振峰频率,其第一、第二个共存在共振峰频率,其第一、第二个共振频率决定了
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 音频 信息 获取 处理 ppt 课件
限制150内