语音信号处理复习.ppt
Speech Signal Processing 全书三篇，全书三篇，16章（讲章（讲15章）章）第一篇第一篇 语音信号处理基础语音信号处理基础第第2 2章章 语音信号处理的基础知识语音信号处理的基础知识第第1 1章章 绪论绪论第二篇第二篇 语音信号分析语音信号分析第第3 3章章 语音信号的时域分析语音信号的时域分析第第4 4章章 语音信号的短时傅里叶分析语音信号的短时傅里叶分析第第5 5章章 语音信号的同态滤波及倒谱分析语音信号的同态滤波及倒谱分析第第6 6章章 语音信号的线性预测分析语音信号的线性预测分析第第7 7章章 语音信号的矢量量化语音信号的矢量量化第第8 8章章 隐马尔可夫模型（隐马尔可夫模型（HMMHMM）第第9 9章章 语音检测分析语音检测分析第三篇第三篇 语音信号处理技术与应用语音信号处理技术与应用第第1010章章 语音编码（一）语音编码（一）波形编码波形编码 第第1111章章 语音编码（二）语音编码（二）声码器技术与混合编码声码器技术与混合编码第第1212章章 语音合成语音合成第第1313章章 语音识别语音识别第第1414章章 说话人识别说话人识别第第1515章章 语音增强语音增强第第2章章 语音信号处理的基础知识语音信号处理的基础知识语音的产生语音的产生语音的分类语音的分类:浊音、清音浊音、清音语音的基本特性语音的基本特性语音的时间波形和频谱特性语音的时间波形和频谱特性语音信号的统计特性语音信号的统计特性第第1 1章章 绪论绪论语音信号处理语音信号处理：概念、应用领域：概念、应用领域 语音、语言：语音、语言：声道模型声道模型 语音信号语音信号 的产生模型的产生模型激励模型激励模型辐射模型辐射模型声管模型声管模型共振峰模型共振峰模型级联型级联型并联型并联型混合型混合型语音产生的数字模型语音产生的数字模型语音取样值语音取样值准周期脉冲准周期脉冲序列发生器序列发生器基音周期基音周期增益控制增益控制随机噪声随机噪声发发 生生 器器时变线性时变线性系系 统统时变参数时变参数浊音浊音清音清音语音信号的产生模型语音信号的产生模型第第2章章思考题：思考题：1.什么叫语言？什么叫语音？什么叫语言？什么叫语音？2.人类的发音器官包括哪些？在发音时各起了什人类的发音器官包括哪些？在发音时各起了什么作用？么作用？3.解释以下概念：基音频率、共振峰、浊音、清解释以下概念：基音频率、共振峰、浊音、清音。音。4.语音信号模型包括哪些子模型？激励模型和辐语音信号模型包括哪些子模型？激励模型和辐射模型各属于什么性质的滤波器？射模型各属于什么性质的滤波器？第第3章语音信号的时域分析章语音信号的时域分析语音处理的目的语音处理的目的语音信号分析方法语音信号分析方法短时分析技术：短时分析技术：对语音信号采用分段或叫分帧对语音信号采用分段或叫分帧 处理处理 称为短时分析称为短时分析 短时能量分析短时能量分析短时平均能量的定义短时平均能量的定义窗口形状的选择窗口形状的选择窗口的长度窗口的长度主要用途：主要用途：区分清音段和浊音段区分清音段和浊音段短时平均幅度短时平均幅度短时过零分析：短时过零分析：定义、主要用途定义、主要用途短时相关分析短时相关分析第第3章章思考题：思考题：1.在语音信号参数分析前为什么要进行预处在语音信号参数分析前为什么要进行预处理，有哪些预处理过程？理，有哪些预处理过程？2.短时平均能量（平均幅度）和短时平均过短时平均能量（平均幅度）和短时平均过零率的定义。这两种时域参数的用途。窗口零率的定义。这两种时域参数的用途。窗口函数的长度和形状对它们有什么影响？函数的长度和形状对它们有什么影响？3.短时自相关函数和短时平均幅度差函数定短时自相关函数和短时平均幅度差函数定义和用途，它们间有什么差异？义和用途，它们间有什么差异？第第4章章 语音信号的短时傅里叶分析语音信号的短时傅里叶分析 短时傅里叶变换的定义短时傅里叶变换的定义短时傅里叶变换的取样率短时傅里叶变换的取样率标准傅里叶变换的解释标准傅里叶变换的解释滤波器的解释滤波器的解释语音信号的短时综合语音信号的短时综合滤波器组求和法滤波器组求和法语谱图语谱图可同时在时间和频率上显示语音频谱随可同时在时间和频率上显示语音频谱随时间的变化时间的变化。表达式表达式频率分辨率、时间分辨率与窗口长度的关系：频率分辨率、时间分辨率与窗口长度的关系：第第4章章思考题：思考题：1.1.短时傅里叶变换的定义式是什么？短时傅短时傅里叶变换的定义式是什么？短时傅里叶变换的两种解释是什么里叶变换的两种解释是什么?如何提高短如何提高短时谱的频率分辨率？时谱的频率分辨率？2.2.在求语音信号的短时谱时，对窗函数有什在求语音信号的短时谱时，对窗函数有什么要求？么要求？对语音信号频谱分析采用海明对语音信号频谱分析采用海明窗和矩形窗各有什么特点？窗和矩形窗各有什么特点？3.3.短时傅里叶变换滤波器解释的两种形式的短时傅里叶变换滤波器解释的两种形式的物理意义是什么？物理意义是什么？4.4.什么是语谱图？窄带语谱图和宽带语谱图什么是语谱图？窄带语谱图和宽带语谱图各有什么特性？各有什么特性？第第5章章 语音信号的同态滤波及倒谱分析语音信号的同态滤波及倒谱分析 由卷积结果求得参与卷积的各个信号称为由卷积结果求得参与卷积的各个信号称为“解卷解卷”，也称为反卷积。也称为反卷积。同态信号处理也叫同态滤波，它实现了同态信号处理也叫同态滤波，它实现了将将卷积关系变换为求和关系卷积关系变换为求和关系的分离处理。的分离处理。复倒谱和倒谱复倒谱和倒谱同态信号处理的基本原理同态信号处理的基本原理 卷积同态系统模型卷积同态系统模型特征系统特征系统D D*和和D D*-1-1 的三步数学运算的三步数学运算语音信号两个卷积分量的复倒谱语音信号两个卷积分量的复倒谱避免相位卷绕的算法避免相位卷绕的算法最小相位信号序列：最小相位信号序列：信号的零极点全部在信号的零极点全部在z z平面单位圆内。平面单位圆内。第第5章章思考题：思考题：与第与第9章结合复习章结合复习1.什么叫解卷？解卷算法有几种？什么叫同态滤波？其什么叫解卷？解卷算法有几种？什么叫同态滤波？其作用是什么？作用是什么？2.卷积同态系统的组成及意义？特征系统卷积同态系统的组成及意义？特征系统D*和逆特征和逆特征系统系统D*-1 运算的三个步骤是什么？运算的三个步骤是什么？3.什么是复倒谱？什么是倒谱？分别写出其数学表达式。什么是复倒谱？什么是倒谱？分别写出其数学表达式。清、浊音的复倒谱或倒谱各有什么特点？清、浊音的复倒谱或倒谱各有什么特点？4.什么是相位卷绕？它是如何产生的？有什么方法克服什么是相位卷绕？它是如何产生的？有什么方法克服？主要内容主要内容6.16.1概述概述6.26.2线性预测分析的基本原理线性预测分析的基本原理6.36.3线性预测分析的解法线性预测分析的解法自相关法自相关法6.46.4格型法格型法6.56.5线性预测分析应用线性预测分析应用 -LPC-LPC谱估计和谱估计和LPCLPC复倒谱复倒谱第第6 6章章 语音信号的线性预测分析语音信号的线性预测分析线性预测分析就是根据已知信号线性预测分析就是根据已知信号s(n)s(n)对各参数对各参数 和增益和增益G G进行估计。在这里进行估计。在这里 为线性预测系数。为线性预测系数。线性预测（简写为线性预测（简写为LPC）分析的基本原理）分析的基本原理是将被是将被分析的信号用一个模型来表示，即将信号看作是分析的信号用一个模型来表示，即将信号看作是一个模型（即系统）的输出。用模型参数来描述一个模型（即系统）的输出。用模型参数来描述信号。信号。H（z）u(n)s(n)图图6-1 6-1 信号信号s(n)s(n)的模型化的模型化 F（z）s(n)图图6-3 6-3 线性预测器线性预测器A(z)s(n)e(n)逆滤波器逆滤波器第第6章章思考题：思考题：1.1.如何将信号模型化为模型参数？最常用的是如何将信号模型化为模型参数？最常用的是什么模型？什么叫线性预测？什么叫逆滤波器什么模型？什么叫线性预测？什么叫逆滤波器？2.2.自相关法求预测误差滤波器的预测系数、预自相关法求预测误差滤波器的预测系数、预测误差功率测误差功率 的过程。的过程。3.3.什么叫什么叫LPCLPC参数？参数？PARCORPARCOR参数？参数？LSPLSP参数？参数？4.4.什么是什么是LPCLPC谱？谱？LPCLPC谱估计的特点。谱估计的特点。7.17.1概述概述7.27.2矢量量化的基本原理矢量量化的基本原理7.37.3失真测度失真测度7.47.4最佳矢量量化器和码本设计最佳矢量量化器和码本设计7.57.5降低复杂度的矢量量化系统降低复杂度的矢量量化系统7.67.6语音参数的矢量量化语音参数的矢量量化第第7 7章章 语音信号的矢量量化语音信号的矢量量化第第7章章思考题：思考题：1.什么叫矢量量化？什么叫码书？码字？什么叫矢量量化？什么叫码书？码字？2.矢量量化器的工作原理是什么？矢量量化器的工作原理是什么？3.什么叫失真测度？常用的有哪几种？什么叫失真测度？常用的有哪几种？4.矢量量化器最佳设计的两个条件？如何理解矢量量化器最佳设计的两个条件？如何理解?5.LBG算法原理？算法原理？第第8 8章隐马尔可夫模型章隐马尔可夫模型(HMM)(HMM)8.1 8.1 概述概述8.2 8.2 隐马尔可夫模型的引入隐马尔可夫模型的引入8.3 8.3 隐马尔可夫模型的定义隐马尔可夫模型的定义8.4 8.4 隐马尔可夫模型三项问题的求解隐马尔可夫模型三项问题的求解 HMM HMM模型的结构主要有两种：模型的结构主要有两种：各态历经各态历经：主要用于说话人识别、语种辨识等主要用于说话人识别、语种辨识等 （即只能用于不要求时间顺序的语音信号处理）（即只能用于不要求时间顺序的语音信号处理）从左至右从左至右：主要用于语音识别主要用于语音识别 （因语音识别特征参数是一个时间序列）（因语音识别特征参数是一个时间序列）第第8章章思考题思考题 根据某状态根据某状态HMM模型，模型，每一种路每一种路径输出某某符号的概率计算。径输出某某符号的概率计算。1.1.什么叫做隐马尔可夫过程？为什么说什么叫做隐马尔可夫过程？为什么说语音信号可以看成隐马尔可夫过程？语音信号可以看成隐马尔可夫过程？2.HMM2.HMM模型的结构主要有哪两种？它们模型的结构主要有哪两种？它们的特点是什么？的特点是什么？3.3.隐马尔可夫模型有哪些模型参数？请隐马尔可夫模型有哪些模型参数？请叙述这些参数的含义和定义式。叙述这些参数的含义和定义式。第第9 9章章 语音检测分析语音检测分析语音检测分析语音检测分析语音特征参数的提取和分析。语音特征参数的提取和分析。主要包括：基音检测和共振峰参数的估值。主要包括：基音检测和共振峰参数的估值。简化逆滤波法（简化逆滤波法（SIFTSIFT）基音检测基音检测倒谱法倒谱法自相关法自相关法共振峰估值共振峰估值1.带通滤波器法带通滤波器法2.DFT法法3.倒谱法倒谱法4.LPC法法第第9章章思考题思考题1.1.基音检测的自相关法中的中心削波处理的思基音检测的自相关法中的中心削波处理的思路及实现过程？路及实现过程？2.2.用倒谱法实现基音检测和共振峰检测的原理用倒谱法实现基音检测和共振峰检测的原理及实现框图？及实现框图？第第1010章章 语音编码波形编码语音编码波形编码语音编码的概念、应用和分类等语音编码的概念、应用和分类等语音信号的压缩编码原理语音信号的压缩编码原理 语音通信中的语音质量语音通信中的语音质量 脉冲编码调制脉冲编码调制(PCM)及其及其自适应自适应 波形编码、参数编码波形编码、参数编码 预测编码及其自适应预测编码及其自适应APC 自适应预测编码自适应预测编码APC系统框图、总量化误差系统框图、总量化误差 预测编码可以改善信噪比的原因预测编码可以改善信噪比的原因 短时预测和长时预测短时预测和长时预测自适应差分编码调制（自适应差分编码调制（ADPCM）1.1.在语音通信中，常将语音质量分为哪四等？在语音通信中，常将语音质量分为哪四等？2.2.语音信号能进行压缩编码的依据是什么？语语音信号能进行压缩编码的依据是什么？语音编码的分类？音编码的分类？3.3.自适应的控制量有几个？控制方式有几种，自适应的控制量有几个？控制方式有几种，其特点是什么？其特点是什么？4.4.预测编码可以改善信噪比的原因是什么？预测编码可以改善信噪比的原因是什么？5.5.什么是短时预测和长时预测什么是短时预测和长时预测？第第10章思考题章思考题 参数编码（声码器）概念参数编码（声码器）概念声码器的基本结构声码器的基本结构相位声码器和通道声码器相位声码器和通道声码器同态声码器同态声码器线性预测声码器线性预测声码器混合编码混合编码第第1111章章 语音编码声码器技术及混合编码语音编码声码器技术及混合编码1.1.什么叫声码器？其传输速率可低达多少？目前什么叫声码器？其传输速率可低达多少？目前已研究出哪几种类型声码器？其中最常用的是哪已研究出哪几种类型声码器？其中最常用的是哪一种？为什么？一种？为什么？2.2.画出画出LPCLPC声码器的原理框图。声码器的原理框图。在在LPCLPC声码器中，声码器中，最好的量化参数是什么？为什么？最好的量化参数是什么？为什么？第第11章章 思考题思考题第第1212章章 语音合成语音合成 语音合成的概念、目的语音合成的概念、目的 语音合成系统与声码器中的语音合成器的区别语音合成系统与声码器中的语音合成器的区别 语音合成原理语音合成原理 语音合成的方法：语音合成的方法：波形合成法波形合成法、参数合成法、参数合成法、规则合成法规则合成法 语音合成系统的特性语音合成系统的特性共振峰合成：共振峰合成：框图、原理框图、原理线性预测合成线性预测合成：形式有两种形式有两种 用预测器系数用预测器系数ai直接构成的递归型合成滤波器直接构成的递归型合成滤波器 采用反射系数构成的格型合成滤波器采用反射系数构成的格型合成滤波器2种方法的异同点种方法的异同点1.1.语音合成的目的是什么？它主要分为几类语音合成的目的是什么？它主要分为几类？什么叫波形合成法和参数合成法？其区别？什么叫波形合成法和参数合成法？其区别在哪儿？试比较它们的优缺点。在哪儿？试比较它们的优缺点。2.2.共振峰合成器和共振峰合成器和LPCLPC合成法的构成原理？对合成法的构成原理？对系统框图的理解？这两种方法的异同点？系统框图的理解？这两种方法的异同点？第第12章章 思考题思考题第第1313章章 语音识别语音识别 语音识别的概念、目的和分类语音识别的概念、目的和分类 语音识别原理：语音识别原理：模式匹配原理、语音识别的步骤模式匹配原理、语音识别的步骤 框图理解框图理解动态时间规整动态时间规整（DTW）：概念、目的、原理概念、目的、原理孤立词识别系统：孤立词识别系统：原理和框图理解原理和框图理解 1.什么是语音识别什么是语音识别?语音识别系统如何分类语音识别系统如何分类?当前当前,语音识语音识别的主流方法是什么别的主流方法是什么?2.语音识别系统由哪几个部分组成语音识别系统由哪几个部分组成?语音识别中常用的语语音识别中常用的语音特征参数有哪些音特征参数有哪些?3.什么是动态时间规整什么是动态时间规整?实际中实际中,它解决了什么问题它解决了什么问题?4.孤立词识别系统框图孤立词识别系统框图?框图中框图中,参考模式库和模式识别参考模式库和模式识别的作用是什么的作用是什么?第第13章章 思考题思考题第14章 说话人识别 说话人识别定义、目的和关键问题说话人识别定义、目的和关键问题说话人识别分类、应用说话人识别分类、应用特征提取特征提取 说话人识别所用的特征说话人识别所用的特征 特征类型的优选准则：特征类型的优选准则：F比作为有效性准则比作为有效性准则(物理意义物理意义)说话人识别系统的结构：说话人识别系统的结构：组成、基本结构、说话人识别系统的性能评价组成、基本结构、说话人识别系统的性能评价 如：说话人确认系统最重要的两个性能指标：如：说话人确认系统最重要的两个性能指标：错误拒绝率（错误拒绝率（FR）、错误接受率（）、错误接受率（FA）说话人识别中的识别方法说话人识别中的识别方法 DTW型说话人识别系统：说话人确认系统型说话人识别系统：说话人确认系统 应用应用VQ的说话人识别系统：说话人辨认系统的说话人识别系统：说话人辨认系统1.说话人识别和语音识别的区别在什么地方说话人识别和语音识别的区别在什么地方?2.说话人确认和说话人辨认有什么不同？说话人确认和说话人辨认有什么不同？3.在说话人识别中，应选择哪些可以表征个人特征在说话人识别中，应选择哪些可以表征个人特征的识别参数？的识别参数？4.怎样评价说话人识别特征参数选取的好坏？即怎样评价说话人识别特征参数选取的好坏？即F比比的物理意义？的物理意义？5.说话人确认系统最重要的两个性能指标是什么？说话人确认系统最重要的两个性能指标是什么？含义为什么？含义为什么？6.基于基于DTW和和VQ算法的系统框图理解。算法的系统框图理解。第第14章思考题章思考题
