语音信号的基础知识.ppt

《语音信号的基础知识.ppt》由会员分享，可在线阅读，更多相关《语音信号的基础知识.ppt（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、苗立刚苗立刚东北大学秦皇岛分校电子信息系东北大学秦皇岛分校电子信息系第二章第二章 语音信号处理的基础知识语音信号处理的基础知识语音信号处理 语音语音(Speech)=(Speech)=声音声音(Acoustic)+(Acoustic)+语言语言(Language)(Language)语音是由一连串的音素组成语言的声音语音是由一连串的音素组成语言的声音。语音语音：人们讲话时发出的话语叫语音。是一种人人们讲话时发出的话语叫语音。是一种人们进行信息交流的声音，是组成语言的声音们进行信息交流的声音，是组成语言的声音/带有带有语言信息的声音。语言信息的声音。n语音信号的基本概念语音信号的基本概念第二章

2、语音信号处理的基础知识对对语音的研究包括两个方面语音的研究包括两个方面 1)语音中各个音的排列由一些规则所控制，对这语音中各个音的排列由一些规则所控制，对这些规则及其含义的研究称为些规则及其含义的研究称为语言学语言学(linguistics)。语言学语言学是语音信号处理的基础。例如：可以利用是语音信号处理的基础。例如：可以利用句法和语义信息减少语音识别中搜索匹配范围，提高句法和语义信息减少语音识别中搜索匹配范围，提高正确识别率。正确识别率。第二章 语音信号处理的基础知识 语音学语音学和和语音信号处理语音信号处理联系更加紧密。如：运联系更加紧密。如：运用现代信号处理技术建立发音的数学模型，确定发

3、用现代信号处理技术建立发音的数学模型，确定发音方法；用声学和非平稳信号分析理论来解释各种音方法；用声学和非平稳信号分析理论来解释各种语音现象；语音信息的存储形式等。语音现象；语音信息的存储形式等。第二章 语音信号处理的基础知识 2)语音中各个音的物理特性和分类的研究称为语音中各个音的物理特性和分类的研究称为语音学语音学(phonetics)(phonetics)。它考虑的是语音产生、语音感。它考虑的是语音产生、语音感知等过程，以及各个音的特征和分类。知等过程，以及各个音的特征和分类。语音学基本语音学基本内容包括：内容包括：发音语音学发音语音学 确定发音机理确定发音机理 声学语音学声学语音学 信

4、号分析理论解释语音现象信号分析理论解释语音现象 听觉语音学听觉语音学 认识感知的过程认识感知的过程 语音信号的产生语音信号的产生 语音信号的感知（了解）语音信号的感知（了解）语音信号的线性产生模型语音信号的线性产生模型 语音信号的非线性产生模型（了解）语音信号的非线性产生模型（了解）n 本章主要讨论的问题：本章主要讨论的问题：第二章 语音信号处理的基础知识n 人类的说话过程分五个阶段人类的说话过程分五个阶段 想说想说 说出说出 传送传送 接收接收 理解理解 语音交流是通过联结说话人和听话人的一语音交流是通过联结说话人和听话人的一连串心理、生理和物理的转换过程实现的连串心理、生理和物理的转换过程

5、实现的。一 语音信号的产生大脑中枢大脑中枢发音器官发音器官空气空气听觉器官听觉器官大脑中枢大脑中枢n语音的发音器官语音的发音器官一 语音信号的产生肺和气管肺和气管：能量源：能量源 咽喉咽喉：震动源，包括声带和声门：震动源，包括声带和声门声道声道：谐振腔，声门到嘴唇的呼吸：谐振腔，声门到嘴唇的呼吸通道，包括咽腔、口腔、鼻腔等通道，包括咽腔、口腔、鼻腔等其他发音器官其他发音器官：包括唇、齿、舌、：包括唇、齿、舌、面颊等，使谐振腔改变形状面颊等，使谐振腔改变形状与箫、唢呐比较与箫、唢呐比较肺和气管肺和气管一 语音信号的产生 肺肺是胸腔内的一团有弹性的海绵状物质，它可以是胸腔内的一团有弹性的海绵状物质

6、，它可以储存空气。通过正常的呼吸系统空气可以进入肺部，储存空气。通过正常的呼吸系统空气可以进入肺部，说话时腹肌收缩使横膈膜向上，挤出肺部的空气，形说话时腹肌收缩使横膈膜向上，挤出肺部的空气，形成气流。由肺部呼出的气流是语音产生的成气流。由肺部呼出的气流是语音产生的原动力原动力。气管气管将肺部呼出的气流送到咽喉，它是肺部气流将肺部呼出的气流送到咽喉，它是肺部气流的的通道通道。气管的上端是喉部。气管的上端是喉部。甲状软骨甲状软骨喉的生理结构喉的生理结构声门声门声带声带环形软骨环形软骨人的前方人的前方一 语音信号的产生 喉位于气管的上端，实际喉位于气管的上端，实际上是气管末端一圈软骨构成的上是气管末

7、端一圈软骨构成的一个框架：前方稍高处的软骨一个框架：前方稍高处的软骨称为甲状软骨，前后方环成一称为甲状软骨，前后方环成一圈的称为喉部环形软骨，喉中圈的称为喉部环形软骨，喉中两片肌肉称为两片肌肉称为声带声带，声带之间，声带之间的空隙为的空隙为声门声门。当声带张开时，声门打开，当声带张开时，声门打开，空气可自由呼出，正常呼吸就空气可自由呼出，正常呼吸就处于这种情况；当声带闭合，处于这种情况；当声带闭合，声门关闭。声门关闭。声门和声带声门和声带 当说话时，声带在软骨的作用下相互靠当说话时，声带在软骨的作用下相互靠近但不完全闭合，声门变成一条窄缝。当气近但不完全闭合，声门变成一条窄缝。当气流通过气管经

8、过咽喉时，收紧的声带由于气流通过气管经过咽喉时，收紧的声带由于气流的冲击而产生振动，不断地张开和闭合，流的冲击而产生振动，不断地张开和闭合，使声门向上送出一连串喷流。使声门向上送出一连串喷流。声带靠拢声带靠拢Tp基音周期基音周期 声带的开启和闭合称为声带的开启和闭合称为振动。这一振动过程周而复振动。这一振动过程周而复始，形成了一串周期性脉冲始，形成了一串周期性脉冲气流送入声道。这个过程发气流送入声道。这个过程发出的音称为出的音称为浊音浊音。如汉语发。如汉语发音的音的aa、ii、uu和和oo等。等。一 语音信号的产生 F F0 0=1/Tp=1/Tp，基音频率，由声带的质量来决定。，基音频率，由

9、声带的质量来决定。F F0 0的大小决定了声音的高低，称为音高。的大小决定了声音的高低，称为音高。男性的男性的F F0 0大致分布在：大致分布在：60-200Hz60-200Hz 女性和儿童的女性和儿童的F F0 0大致分布在：大致分布在：200-450Hz200-450Hz基音频率（基音频率（Fundamental Frequency）F0 一 语音信号的产生声带的一个重要参数：声带的一个重要参数：声道声道 人在说话时，空气由肺部压入，由嘴唇呼出，声门由此开人在说话时，空气由肺部压入，由嘴唇呼出，声门由此开启和闭合，构成声带振动，然后通过声道（喉腔、咽腔和口腔）启和闭合，构成声带振动，然后通

10、过声道（喉腔、咽腔和口腔）响应响应（引起共振特性）（引起共振特性）变成语音，气流从喉向上经过口腔或鼻变成语音，气流从喉向上经过口腔或鼻腔后从嘴或鼻孔向外辐射，期间的传输通道称为声道。气流流腔后从嘴或鼻孔向外辐射，期间的传输通道称为声道。气流流过声道时犹如通过了一个具有某种谐振特性的腔体，放大某些过声道时犹如通过了一个具有某种谐振特性的腔体，放大某些频率，在频谱上形成相应位置的峰起，称为频率，在频谱上形成相应位置的峰起，称为共振峰共振峰。讲话时，由于舌和唇的连讲话时，由于舌和唇的连续运动，使声道形状改变，随续运动，使声道形状改变，随即改变谐振频率，使得发不同即改变谐振频率，使得发不同的音。声道的

11、不同的形状，对的音。声道的不同的形状，对应不同的谐振频率。应不同的谐振频率。声带振动频率声带振动频率输出气流的输出气流的频率频率声道的谐振特性声道的谐振特性一 语音信号的产生鼻端鼻端嘴唇嘴唇17cm8.5cm13cm声道的无损模型声道的无损模型谐振频率的计算谐振频率的计算谐振频率发生在：谐振频率发生在：F Fn n=（声道的横截面是均匀的，（声道的横截面是均匀的，发元音发元音e e时，声道近似是均匀时，声道近似是均匀的。）的。）L=17cmL=17cm，声道的长度，声道的长度n=1,2,3 n=1,2,3 称为第一共振峰称为第一共振峰F F1 1=500Hz=500Hz、第二共振峰、第二共振峰

12、F F2 2=1500Hz=1500Hz、第三共振峰、第三共振峰F F3 3=2500Hz=2500Hz，c=340m/s c=340m/s 声速声速2n-14Lc一 语音信号的产生n n表示谐振频率的序号表示谐振频率的序号 一种声道形状对应一套共振峰一种声道形状对应一套共振峰不同人的声道大小不同，共振峰不同不同人的声道大小不同，共振峰不同同一人，发不同音，共振峰也不同同一人，发不同音，共振峰也不同声道的作用相当于一个滤波器，它放大（或声道的作用相当于一个滤波器，它放大（或增强）某些频率而衰减其他频率分量增强）某些频率而衰减其他频率分量前三个共振峰的大致范围前三个共振峰的大致范围（HzHz）共

13、振峰共振峰 成年男子成年男子 成年女子成年女子 带宽带宽 f1 200800 2501000 4070 f2 6002800 7003300 5090 f3 13003400 15004000 60180一 语音信号的产生鼻腔的作用鼻腔的作用 在软腭的帮助下，可使空气经过鼻腔排除人体外，由在软腭的帮助下，可使空气经过鼻腔排除人体外，由此产生的语音称为鼻音。如此产生的语音称为鼻音。如nn、ngng为鼻音韵母，为鼻音韵母，mm、nn、ll为鼻音声母。鼻腔是一个谐振腔，由于形状固定，为鼻音声母。鼻腔是一个谐振腔，由于形状固定，故其共振峰频率是确定的。故其共振峰频率是确定的。口腔和鼻腔口腔和鼻腔口腔的

14、作用口腔的作用一 语音信号的产生 使空气经过口腔排除人体外，由此产生的语音称为口使空气经过口腔排除人体外，由此产生的语音称为口音。口腔的形状不固定，故其共振峰频率也是不确定的。音。口腔的形状不固定，故其共振峰频率也是不确定的。等效为激励源声道喇叭口等效为激励源声道喇叭口一 语音信号的产生激励源：声带激励源：声带声带振动频率基频声带振动频率基频(基音频基音频率率)清音清音 声带不振动声带不振动浊音浊音 声带振动声带振动声道：可变谐振腔声道：可变谐振腔不同形状、不同声音不同形状、不同声音共振共振(谐振谐振)频率频率n 发音的分类发音的分类 浊音浊音（voiced soundsvoiced soun

15、ds）：声道打开，声带在先）：声道打开，声带在先打开后关闭，气流经过使声带要发生张驰振动，变打开后关闭，气流经过使声带要发生张驰振动，变为准周期振动气流。浊音的激励源被等效为准周期为准周期振动气流。浊音的激励源被等效为准周期的脉冲信号。的脉冲信号。清音清音（unvoiced soundsunvoiced sounds）：声带不振动，而在）：声带不振动，而在在声道某处保持收缩，气流在声道里收缩后高速通在声道某处保持收缩，气流在声道里收缩后高速通过产生湍流，再经过主声道（咽、口腔）的调整最过产生湍流，再经过主声道（咽、口腔）的调整最终形成清音。清音的激励源被等效为一种白噪声信终形成清音。清音的激励

16、源被等效为一种白噪声信号。号。爆破音爆破音（plosive soundsplosive sounds）：声道关闭之后产）：声道关闭之后产生压缩空气然后突然打开声道所发出的声音。生压缩空气然后突然打开声道所发出的声音。一 语音信号的产生一 语音信号的产生 语音是发声器官发出的一种声波，具有一定的音色、音语音是发声器官发出的一种声波，具有一定的音色、音调和音强和音长。调和音强和音长。音色音色:又称为音质，是一种声音区别于另一种声音又称为音质，是一种声音区别于另一种声音的基本特性。与声带的振动频率、发音器官的送气方式和的基本特性。与声带的振动频率、发音器官的送气方式和声道的形状、尺寸密切相关。声道的

17、形状、尺寸密切相关。音调：声音的高低，取决于声波的频率。音调：声音的高低，取决于声波的频率。音强：声音的强弱，它由声波的振动幅度所决定音强：声音的强弱，它由声波的振动幅度所决定 音长：声音的长短，取决于发音持续时间的长短，音长：声音的长短，取决于发音持续时间的长短，n语音的基本声学特性语音的基本声学特性一 语音信号的产生n 语音信号的时域和频域表示语音信号的时域和频域表示一 语音信号的产生 语音信号的时域波形语音信号的时域波形结论结论1 1：时间的连：时间的连续函数、频率幅度续函数、频率幅度随时间变化是随机随时间变化是随机的的结论结论2 2：短时间内：短时间内近似认为不变近似认为不变结论结论3

18、 3：元音是准：元音是准周期函数周期函数(基频基频)结论结论4 4：清音为随：清音为随机起伏机起伏一 语音信号的产生 语音信号的频域波形语音信号的频域波形F1=500HzF1=500Hz，F2=1000HzF2=1000Hz，F3=1500HzF3=1500HzTp=250HzTp=250Hz一 语音信号的产生基音周期基音周期 语音信号的语谱图语音信号的语谱图一 语音信号的产生女声：女声：“他去无锡市，我去黑他去无锡市，我去黑龙江龙江”的语谱图的语谱图1）语谱图：表示语音信号随时）语谱图：表示语音信号随时间而变化的频谱特性，在每个间而变化的频谱特性，在每个时刻用其附近的短时段语音信时刻用其附近

19、的短时段语音信号分析得到的一种频谱。号分析得到的一种频谱。2）语谱图的纵轴对应于频率，）语谱图的纵轴对应于频率，横轴对应于时间，图像的灰度横轴对应于时间，图像的灰度对应于信号的能量。对应于信号的能量。3）声道的谐振频率表示为黑带，）声道的谐振频率表示为黑带，浊音部分则以出现条纹图形为浊音部分则以出现条纹图形为特征，这是因为此时的时域波特征，这是因为此时的时域波形具有周期性，而在清音的时形具有周期性，而在清音的时间间隔内比较致密间间隔内比较致密4）“声纹声纹”，用于说话人识别，用于说话人识别load mtlbload mtlbspecgram(mtlb,512,Fs,kaiser(500,5),

20、475)specgram(mtlb,512,Fs,kaiser(500,5),475)title(Spectrogram)title(Spectrogram)一 语音信号的产生load specgram.matload specgram.matwavplay(a,Fs)wavplay(a,Fs)specgram(a,512,Fs,kaiser(500,5),475specgram(a,512,Fs,kaiser(500,5),475)一 语音信号的产生n 汉语中语音的分类汉语中语音的分类一 语音信号的产生音素音素：是发音的最小单位，分为：是发音的最小单位，分为元音元音和和辅音辅音。元音。元音是

21、构成音节的主干，从长度和能量来看，在音节中是构成音节的主干，从长度和能量来看，在音节中占主要位置；辅音只是出现在音节的前端或后端或占主要位置；辅音只是出现在音节的前端或后端或前后两端，它们的时长和能量较小。前后两端，它们的时长和能量较小。音节音节：发音时，被明显感觉到的语音片段为音节。：发音时，被明显感觉到的语音片段为音节。一个音节由一个音素或几个音素构成。一个音节由一个音素或几个音素构成。单词的最小单位为单词的最小单位为音节音节，句子的最小单位为句子的最小单位为单词单词。1 1）音素与音节）音素与音节一 语音信号的产生音系简单，在汉语中一个字就是一个音节，由一音系简单，在汉语中一个字就是一个

22、音节，由一般为般为2 23 3个音素组成，而且具有音素少、音节少。个音素组成，而且具有音素少、音节少。英语中一个单词由若干个音节组成，一般为英语中一个单词由若干个音节组成，一般为2 23 3个，个，一个音节由若干个音素组成，一般为一个音节由若干个音素组成，一般为1 14 4个。个。清辅音多，在听感上有清亮、高扬和舒服、柔和清辅音多，在听感上有清亮、高扬和舒服、柔和的感觉。的感觉。有鲜明的轻重音和儿化韵，所以字词分隔清楚，有鲜明的轻重音和儿化韵，所以字词分隔清楚，语言表达准确而丰富。语言表达准确而丰富。2 2）汉语语音的特点）汉语语音的特点 在汉语中，由音素构成声母和韵母。在汉语中，由音素构成声

23、母和韵母。一 语音信号的产生 声母声母：一个音节开始的辅音，声母完全由辅：一个音节开始的辅音，声母完全由辅音充当，但辅音不等于声母，因为辅音还可以作音充当，但辅音不等于声母，因为辅音还可以作为韵尾放在音节的末尾。为韵尾放在音节的末尾。(21(21个个)b b、p p、m m、f f、d d、t t、n n、l l、g g、k k、h h、j j、q q、x x、zhzh、chch、shsh、z z、c c、s s、r r3 3）语音的拼音方法）语音的拼音方法 韵母韵母：在音节中占主要部分，音节中除了头上的：在音节中占主要部分，音节中除了头上的声母以外的部分，由单、双元音、元音带上辅音等几声母以

24、外的部分，由单、双元音、元音带上辅音等几种不同的形式组成。所有元音都是浊音。种不同的形式组成。所有元音都是浊音。a a、o o、e e、i i、u u、单韵母（元音）单韵母（元音）aiai、eiei、aoao、ouou、iaia、ieie、iaoiao、iouiou、uaua、uouo、uaiuai、uei uei、e e 复韵母复韵母 anan、enen、angang、engeng、ongong、ianian、inin、iangiang、inging、iongiong、uanuan、uenuen、uanguang、uengueng、anan、n n 鼻韵母鼻韵母一 语音信号的产生 韵母是由单

25、、双元音、元音带上辅音等几种韵母是由单、双元音、元音带上辅音等几种不同的形式组成。不同的元音有不同的不同的形式组成。不同的元音有不同的基音频率基音频率和和共振峰共振峰模式，它们是区别不同韵母的重要参数模式，它们是区别不同韵母的重要参数。区别不同韵母的重要参数区别不同韵母的重要参数一 语音信号的产生注意区别下述不同的概念注意区别下述不同的概念一 语音信号的产生浊音和清音浊音和清音：按声带振动的方式来划分。：按声带振动的方式来划分。元音和辅音元音和辅音：按音素的发音特征来划分，与声道中活：按音素的发音特征来划分，与声道中活动部分和固定部分的动部分和固定部分的接触点接触点的位置密切相关。的位置密切相

26、关。声母和韵母声母和韵母：按音节的结构进行划分。：按音节的结构进行划分。(元音一定是浊音。辅音包括浊音和清音。元音一定是浊音。辅音包括浊音和清音。英语中：由元音和辅音（这些都是音素）构成音节，英语中：由元音和辅音（这些都是音素）构成音节，由几个音节构成一个词。由几个音节构成一个词。汉语中：汉语中由元音和辅音构成声母和韵母，结汉语中：汉语中由元音和辅音构成声母和韵母，结合声调构成一个音节，一个音节就是一个字。合声调构成一个音节，一个音节就是一个字。声母、韵母和声调是汉语语音的三要素。声母、韵母和声调是汉语语音的三要素。汉语语音的汉语语音的1 1个不同于其他语言的是它具有声调个不同于其他语言的是它

27、具有声调（音调）。声调是（音调）。声调是1 1个音节在念法上的高低升降个音节在念法上的高低升降的变化，汉语中有的变化，汉语中有4 4个声调，即阴平（）、阳个声调，即阴平（）、阳平（平（）、上声（）、上声（）、和去声（）、和去声（）。）。4 4）汉语）汉语音节的一般结构音节的一般结构一 语音信号的产生 声调的变化就是声调的变化就是浊音基音周期浊音基音周期的变化，为了将的变化，为了将调值描写地具体一些，一般采用调值描写地具体一些，一般采用“五度标记法五度标记法”，用一条竖线表示声音的高低，从下而上用用一条竖线表示声音的高低，从下而上用1 1、2 2、3 3、4 4、5 5依次表示低、半低、中、半高

28、、高。依次表示低、半低、中、半高、高。5 5 高高4 4 半高半高3 3 中中2 2 半低半低1 1 低低阴平阴平阳平阳平 上声上声去声去声调类阴平阳平上声去声调值555535352142145151一 语音信号的产生 单独发声的一个音节或是语音流中的任何一个单独发声的一个音节或是语音流中的任何一个音节都可能由音节都可能由7 7部分组成。部分组成。无声无声段段音节音节声母声母鼻音段鼻音段声母辅音段声母辅音段元音段元音段送气段送气段 前过渡段前过渡段后过渡段后过渡段韵母韵母一 语音信号的产生二 语音信号的感知（自学）听觉系统听觉系统耳的结构耳的结构听觉的形成听觉的形成耳蜗的作用耳蜗的作用 听觉特

29、性听觉特性人耳的听阈及响度人耳的听阈及响度音调音调 俺蔽效应俺蔽效应同时掩蔽和异时掩蔽同时掩蔽和异时掩蔽各种不同的掩蔽效果各种不同的掩蔽效果n 本节主要讨论的问题本节主要讨论的问题 研究人对声研究人对声音的感知，对语音的感知，对语音编码识别很重音编码识别很重要，如要，如MP3MP3。三 语音信号的线性产生模型 激励模型（肺部，气管，声带）激励模型（肺部，气管，声带）声道模型（咽腔，口腔，喉腔，鼻腔）声道模型（咽腔，口腔，喉腔，鼻腔）辐射模型（口唇，鼻孔）辐射模型（口唇，鼻孔）完整的语音信号的数学模型完整的语音信号的数学模型n 本节主要讨论的问题：本节主要讨论的问题：三 语音信号的线性产生模型传

30、输函数传输函数传输函数传输函数 数学模型的特点：是一个终端模拟的近似模型，其内部结构数学模型的特点：是一个终端模拟的近似模型，其内部结构与语音产生的物理过程并不一致，只是在输出端等效。与语音产生的物理过程并不一致，只是在输出端等效。清清/浊音浊音开关开关A Av v冲激序列冲激序列发生器发生器声门波声门波模型模型G(z)G(z)随机噪声随机噪声发生器发生器基音周期基音周期T TP PA AN N线性系统线性系统声道声道V V(z z)辐射模型辐射模型R R(z z)激励模型激励模型 激励模型激励模型三 语音信号的线性产生模型 用数学方法用数学方法描述肺部的气流描述肺部的气流与声带共同作用与声带

31、共同作用产生的激励。产生的激励。浊音激励浊音激励清音激励清音激励冲激序列冲激序列发生器发生器声门脉冲声门脉冲模型模型G(z)G(z)随机噪声随机噪声发生器发生器基音周期基音周期T TP PA AN N清清/浊音浊音开关开关A AV V 发浊音时，声激励是一个准周期的单位脉冲串，发浊音时，声激励是一个准周期的单位脉冲串，A Av v为增为增益参数；为了使益参数；为了使浊音的激励信号浊音的激励信号逼近逼近声门振动气流的实际波声门振动气流的实际波形形，需将冲激序列通过一个声门脉冲模型滤波器（实际上是，需将冲激序列通过一个声门脉冲模型滤波器（实际上是一个斜三角波形）一个斜三角波形）G(z)G(z)。最

32、后形成一个以基音周期为周期最后形成一个以基音周期为周期的斜三角型脉冲波。的斜三角型脉冲波。1 1）浊音激励）浊音激励三 语音信号的线性产生模型TpTp为冲激脉冲的周期，声门波模型产生单个声门脉冲为冲激脉冲的周期，声门波模型产生单个声门脉冲单位脉冲串单位脉冲串单位脉冲串及幅值的单位脉冲串及幅值的Z Z变换形式变换形式三 语音信号的线性产生模型将其表示为将其表示为Z Z变换，有：变换，有：冲激序列：冲激序列：E(z)E(z)浊音激励模型：浊音激励模型：U(z)=AU(z)=AV VG(z)E(z)G(z)E(z)斜三角型脉冲波斜三角型脉冲波N N1 1为斜三角波上升部分的时间，为斜三角波上升部分的

33、时间，N N2 2为其下降部分的时间为其下降部分的时间 2 2）清音激励）清音激励 清音激励模拟为随机噪声，实际中一般使用均清音激励模拟为随机噪声，实际中一般使用均值为值为0 0、方差为、方差为1 1的白噪声。的白噪声。三 语音信号的线性产生模型 将声激励分为两种情况，与实际不完全相符。将声激励分为两种情况，与实际不完全相符。将声激励分为两种情况，与实际不完全相符。将声激励分为两种情况，与实际不完全相符。例如爆破音是气流在声门完全闭合处的下方建立例如爆破音是气流在声门完全闭合处的下方建立例如爆破音是气流在声门完全闭合处的下方建立例如爆破音是气流在声门完全闭合处的下方建立起压力，然后除去这种障碍

34、，使压力迅速释放，起压力，然后除去这种障碍，使压力迅速释放，起压力，然后除去这种障碍，使压力迅速释放，起压力，然后除去这种障碍，使压力迅速释放，产生一种瞬时的激励。在上面的声学模型中未考产生一种瞬时的激励。在上面的声学模型中未考产生一种瞬时的激励。在上面的声学模型中未考产生一种瞬时的激励。在上面的声学模型中未考虑。虑。虑。虑。应将两种激励按一定比例进行叠加，更符合应将两种激励按一定比例进行叠加，更符合应将两种激励按一定比例进行叠加，更符合应将两种激励按一定比例进行叠加，更符合实际情况。实际情况。实际情况。实际情况。三 语音信号的线性产生模型声道模型声道模型(共振峰模型共振峰模型)线性系统线性系

35、统线性系统线性系统声道声道声道声道V(z)V(z)uG(n)ul(n)三 语音信号的线性产生模型 1)1)1)1)声音在声道的传播涉及到许多物理定律声音在声道的传播涉及到许多物理定律声音在声道的传播涉及到许多物理定律声音在声道的传播涉及到许多物理定律(能量守恒、流能量守恒、流能量守恒、流能量守恒、流体力学体力学体力学体力学)，需简化。有不同的模型。，需简化。有不同的模型。，需简化。有不同的模型。，需简化。有不同的模型。2)2)2)2)语音信号是一个非平稳信号，激励和声道的谐振特性随语音信号是一个非平稳信号，激励和声道的谐振特性随语音信号是一个非平稳信号，激励和声道的谐振特性随语音信号是一个非平

36、稳信号，激励和声道的谐振特性随时间变化。但在时间变化。但在时间变化。但在时间变化。但在2020202030ms30ms30ms30ms内语音信号是平稳的，即激励和声道内语音信号是平稳的，即激励和声道内语音信号是平稳的，即激励和声道内语音信号是平稳的，即激励和声道的特性几乎不变，因此认为在此时间段内系统是线性的。的特性几乎不变，因此认为在此时间段内系统是线性的。的特性几乎不变，因此认为在此时间段内系统是线性的。的特性几乎不变，因此认为在此时间段内系统是线性的。用数学方法描用数学方法描述声道的调音特性。述声道的调音特性。包括声管模型和共包括声管模型和共振峰模型振峰模型三 语音信号的线性产生模型1

37、1）声管模型）声管模型“短时短时”间声道是一个形状稳定的级联管道，声间声道是一个形状稳定的级联管道，声音在不同截面积间传输会有反射。音在不同截面积间传输会有反射。反射系数反射系数：km(Am+1-Am)/()/(Am+1+Am)Am,Am+1是第是第m、m+1+1段的截面积段的截面积Km是声道的特性，确定是声道的特性，确定Km，就确定了声道！，就确定了声道！A1 A2 A3.(a)立体图立体图 (b)断面图断面图 2 2）共振峰模型）共振峰模型三 语音信号的线性产生模型 声道近似为谐振腔，共振峰就是这个腔体的谐振频率，从声道近似为谐振腔，共振峰就是这个腔体的谐振频率，从共振峰的角度出发描述声道

38、的模型称为共振峰模型。一般共振共振峰的角度出发描述声道的模型称为共振峰模型。一般共振峰的个数为峰的个数为3-53-5个。个。p、ak 决定了声道地特性决定了声道地特性(人的特征人的特征)，p越大越吻合。一般越大越吻合。一般p=812(1)(1)级（串）联型级（串）联型(元音元音)：声道是一组串连的二阶谐振器（一声道是一组串连的二阶谐振器（一个谐振腔对应个谐振腔对应1 1个共振峰频率）。个共振峰频率）。V V1 1V V2 2V V3 3V V4 4V V5 5传输函数传输函数p p为极点个数，为极点个数，G G是是增益参数增益参数，a ak k为模型为模型系数。系数。传输函数是一个全极点的传输

39、函数是一个全极点的IIRIIR滤波器，这些极点确定了声管滤波器，这些极点确定了声管的共振峰。若的共振峰。若N N取偶数，取偶数，V(z)V(z)一般有一般有N/2N/2对共轭极点，对共轭极点，r rk kexp(j2exp(j2 F Fk kT)T)，k=1k=1N/2N/2。各个各个w wk k值分别与语音的共振峰相值分别与语音的共振峰相互对应。互对应。N N的取值一般为的取值一般为8 81212。三 语音信号的线性产生模型利用利用Z Z变换的知识，把变换的知识，把V(z)V(z)分解为多个二阶极点网络的级联：分解为多个二阶极点网络的级联：二阶谐振器的幅频特性二阶谐振器的幅频特性 （2)2)

40、并联型并联型(大部分辅音大部分辅音)传输函数，传输函数，零极点零极点IIRIIR滤波器滤波器V V1 1V V2 2V V3 3V V4 4V V5 5三 语音信号的线性产生模型用并联网络模拟声道。对于非一般的元音和用并联网络模拟声道。对于非一般的元音和大部分辅音，必须采用零极点模型大部分辅音，必须采用零极点模型级联简单级联简单，可用于一般元音，一般，可用于一般元音，一般3 35 5级级并联复杂并联复杂，可用于许多音，但，可用于许多音，但a ai i难以求解难以求解（3 3）混合型（根据需要进行模型的切换）混合型（根据需要进行模型的切换）V V1 1V V2 2V V3 3V V4 4V V5

41、 5V V1 1V V2 2V V3 3V V4 4V V5 5三 语音信号的线性产生模型 将级联型和并联型结合起来的混合型也是比较完备的一将级联型和并联型结合起来的混合型也是比较完备的一种共振峰模型，该模型能够根据不同性质的语音进行切换。种共振峰模型，该模型能够根据不同性质的语音进行切换。辐射模型辐射模型线性系统线性系统口唇辐射口唇辐射R(z)R(z)u ul l(n)(n)p pl l(n)(n)P Pl l(z)=R(z)U(z)=R(z)Ul l(z)(z)R(z)=(1-rzR(z)=(1-rz-1-1)三 语音信号的线性产生模型 声道的终端为口和唇。从声道输出的是声道的终端为口和唇

42、。从声道输出的是速度波速度波U UL(L(n n)，而语音信号是而语音信号是声压波声压波，二者之倒比称为辐射阻抗，二者之倒比称为辐射阻抗ZLZL。它表征它表征口和唇的辐射效应。口和唇的辐射效应。研究表明，口唇端辐射在高频端较为显著，在低频端时影研究表明，口唇端辐射在高频端较为显著，在低频端时影响较小，所以辐射模型响较小，所以辐射模型R R(z)(z)主要与嘴型有关，应是一阶类高通主要与嘴型有关，应是一阶类高通滤波器的形式。滤波器的形式。用数学方法描用数学方法描述口唇和鼻孔的辐述口唇和鼻孔的辐射特性。射特性。完整的语音信号的数学模型完整的语音信号的数学模型A Av v冲激序列冲激序列发生器发生器

43、声门脉冲声门脉冲模型模型G(z)G(z)随机噪声随机噪声发生器发生器基音周期基音周期T TP PA AN N线性系统线性系统声道声道V V(z z)辐射模型辐射模型R R(z z)清清/浊音浊音开关开关传输函数传输函数传输函数传输函数三 语音信号的线性产生模型 在语音信号模型中，如果不考虑冲激脉冲串模型在语音信号模型中，如果不考虑冲激脉冲串模型E E(z z)，则，则斜三角波模型是二阶低通，而辐射模型是一阶高通，所以实际斜三角波模型是二阶低通，而辐射模型是一阶高通，所以实际信号分析中常采用信号分析中常采用“预加重技术预加重技术”。即在对信号取样之后。即在对信号取样之后,插插入一个一阶的高通滤波

44、器，这样，只剩下声道部分，就便于对入一个一阶的高通滤波器，这样，只剩下声道部分，就便于对声道参数进行分析了。在语音合成时再进行声道参数进行分析了。在语音合成时再进行“去加重去加重”处理，处理，就可以恢复原来的语音。就可以恢复原来的语音。R(z)=(1-rzR(z)=(1-rz-1-1)三 语音信号的线性产生模型数学模型的特点数学模型的特点 在这个模型中，在这个模型中，T TP P、A Av v、A AN N、清清/浊音开关的位置浊音开关的位置以及声道滤波器的参数都是随时间而变化，在以及声道滤波器的参数都是随时间而变化，在10-10-30ms30ms的时间间隔内是保持不变的。这种特性称为短的时间

45、间隔内是保持不变的。这种特性称为短时性。时性。对于激励信号而言，大部分情况下，这一结论对于激励信号而言，大部分情况下，这一结论也是正确的，但有些音变化速度特别快，爆破音，也是正确的，但有些音变化速度特别快，爆破音，取取5ms比较更为恰当。比较更为恰当。三 语音信号的线性产生模型三 语音信号的线性产生模型语音特性分析实例语音特性分析实例 声门脉冲序列声门脉冲序列 声道对声门脉冲相应的输出声道对声门脉冲相应的输出 输出语音频谱输出语音频谱 三 语音信号的线性产生模型 虚线称为谱包络，其虚线称为谱包络，其形状是由形状是由H(f)和和G(f)的包络的包络乘积得到的。恢复这个谱乘积得到的。恢复这个谱包络

46、是许多语音处理应用包络是许多语音处理应用中的主要问题，因为正是中的主要问题，因为正是谱包络携带了主要的发音谱包络携带了主要的发音信息。信息。线性预测技术之所以线性预测技术之所以非常重要，正是由于它所非常重要，正是由于它所提供的谱包络分析方法是提供的谱包络分析方法是快速、准确，并且在理论快速、准确，并且在理论上完全得到证明的方法。上完全得到证明的方法。理想的声门脉冲序列频谱理想的声门脉冲序列频谱 声道频率响应，最大值与共声道频率响应，最大值与共振峰相对应振峰相对应 调频调频-调幅模型的基本原理调幅模型的基本原理 Teager能量算子能量算子 能量分离法能量分离法调频调频-调幅模型的应用调幅模型的应用n 本节主要讨论的问题：本节主要讨论的问题：四 语音信号的非线性产生模型（了解）语音信号的产生（生理结构）语音信号的产生（生理结构）语音信号的感知（了解）语音信号的感知（了解）语音信号的线性产生模型（数学语音）语音信号的线性产生模型（数学语音）语音信号的非线性产生模型（了解）语音信号的非线性产生模型（了解）n 总结总结第二章 语音信号处理的基础知识