语音教学第2章-语音的产生及数学模型.ppt
《语音教学第2章-语音的产生及数学模型.ppt》由会员分享,可在线阅读,更多相关《语音教学第2章-语音的产生及数学模型.ppt(76页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第二章第二章 语音的产生及数学模型语音的产生及数学模型2/76一、语音处理研究的基本内容二、人的言语(speech)过程三、语音的发音机理四、语音的听觉机理五、语音信号模型第二章作业题本章要点:本章要点:3/76一、语音处理研究的基本内容一、语音处理研究的基本内容l从人与计算机交互的角度来看语音信号相应的处理如下:(1)人与计算机通信(计算机接收语音信号):语音识别与理解;(2)计算机与人通信(计算机输出语音)语音合成:包括音乐合成和语音合成;(3)人-计算机-人通信:人通过网络,与处于异地的人进行语音通信,需要的语音处理包括:语音采集语音编码语音传输解码等。这里语音编/解码技术是信道利用率的
2、关键。4/76说的是什么内容?是谁在说话?计算机去说话?语音识别声纹识别语音合成2011-3-9第3页/共87页一、语音信号处理研究的基本内容一、语音信号处理研究的基本内容6/767/76语音处理语音处理综合性的新兴学科综合性的新兴学科语音合成语音合成教计算机学会说话教计算机学会说话 语音识别语音识别让计算机听懂人类语言让计算机听懂人类语言 语音编码语音编码去除冗余压缩数据去除冗余压缩数据8/76研究内容涉及三方面相互密切配合的任务和课题:涉及三方面相互密切配合的任务和课题:l应用应用l基础理论和算法基础理论和算法l硬件系统硬件系统9/761应用方面 通通信信产产业业起起源源于于1874187
3、4年年电电话话的的发发明明。从从那那时起,通信产业大致发生了三次重大变革。时起,通信产业大致发生了三次重大变革。(1 1)第第一一次次变变革革产产生生于于七七十十年年代代初初。19721972年年CCITTCCITT组组织织公公布布了了第第一一个个语语音音编编码码标标准准。即即对对数数PCMPCM编编码码,由由此此开开始始,数数字字程程控控交交换换网网络络逐逐步步淘淘汰汰了了传传统统的的模模拟拟交交换换传传输输方方式。式。10/76(2 2)第二次重大变革产生于八十年代末。)第二次重大变革产生于八十年代末。19881988年年欧欧共共体体1313个个国国家家数数字字移移动动特特别别工工作作组组
4、(GSM)(GSM)制制定定了了采采用用长长时时预预测测规规则则码码激激励励的的编编码码标标准准(13k(13k bps bps RPE-LTP)RPE-LTP)。从从而而确确立立了了全全球球范范围围移移动动通通信信产产业业(第第二二个个通通信信网网络)的崛起。络)的崛起。11/76(3 3)第第三三次次变变革革是是指指以以新新兴兴的的计计算算机机因因特特网网为为基基 础础 的的 信信 息息 高高 速速 公公 路路 为为 标标 记记 如如 何何 在在INTERNETINTERNET网网上上有有效效地地传传输输话话音音。IPIP电电话话将将使使因因特特网网成成为为第第三三个个话话音音通通信信传传
5、输输网网。目目前前IPIP电电话话所所用用的的话话音音编编码码标标准准有有、等等。这这些些标标准准各各有有长长短短。人人们们正正在在努努力力研研究究适适合合IPIP电电话话的的新新的的编编码码算算法法。低低延延迟迟、低低码码率率、低低复复杂杂性性、高高音音质质的的话话音音编编码码算算法法将将是是未未来来IPIP电电话话网络的奠基石。网络的奠基石。12/762、基础理论和算法方面从以下方面进行:从以下方面进行:(1 1)语音产生的机理(发音)和感知机理(听)语音产生的机理(发音)和感知机理(听)涉及心理学、语音学、语言学、认知学、神经生理学等。涉及心理学、语音学、语言学、认知学、神经生理学等。(
6、2 2)将语音作为一种信号来处理)将语音作为一种信号来处理 13/76常用语音编码算法分类语音编码算法PCM预测编码变换编码付立叶变换斜变换小波变换统计编码Huffman编码算术编码游程编码其他编码二值图像编码子带编码轮廓编码固定自适应固定自适应离散余弦变换KL变换沃尔什哈达马Harr变换LZW矢量量化差分预测15/76(3 3)硬件实现:)硬件实现:实时语音语音处理系统的产品化实时语音语音处理系统的产品化。(略)。(略)16/76分为五个阶段分为五个阶段:想说阶段想说阶段 说出阶段说出阶段 传送阶段传送阶段 接收过程接收过程 理解阶段理解阶段二、人的言语二、人的言语(speech)(spee
7、ch)过程过程17/76想说阶段说出阶段传送阶段接受阶段理解阶段机器翻译文语转换语音分析语音编码语音加密公用电信网移动通信网语音解码语音增强语音识别语音理解机器翻译图1.1人的语言过程18/76人的语言过程人的语言过程19/761 1、人的发音器官、人的发音器官组成:组成:肺和气管组成声源;肺和气管组成声源;喉和声带称为声门;喉和声带称为声门;由咽腔、口腔、鼻由咽腔、口腔、鼻腔组成声道。腔组成声道。三、语音的发音机理20/76 人的发音生理机构l主声道:声门主声道:声门以上,经咽喉、以上,经咽喉、口腔、鼻道口腔、鼻道21/76 机理示意22/76 l过程:过程:l发音时由肺部收缩送出一股直流空
8、气经气管流发音时由肺部收缩送出一股直流空气经气管流至喉头声门处;至喉头声门处;l在声门处的声带肌肉收缩,声带产生振动而且在声门处的声带肌肉收缩,声带产生振动而且具有一定的振动周期,从而产生声音。具有一定的振动周期,从而产生声音。23/76功能功能肺:产产生生压压缩缩气气体体,通通过过气气管管传传送送到到声声音音生成系统。生成系统。喉:控制声带运动的复杂系统。:控制声带运动的复杂系统。主要包括:环状软骨、甲状软骨主要包括:环状软骨、甲状软骨 、杓状软、杓状软骨、声带骨、声带24/7625/76l声声带带是是伸伸展展在在喉喉前前、后后端端之之间间的的褶褶肉肉,前前端端由由甲甲状状软软骨骨支支撑撑,
9、后后端端由由杓杓状状软软骨骨支支撑撑,而而杓杓状状软软骨骨又又与与环环状状软软骨骨较较高高部部分分相相联联。这这些些软软骨骨在在环环状状软软骨骨上上的的肌肌肉肉的控制下,能将两片声带合拢或分离。的控制下,能将两片声带合拢或分离。l声带之间的间隙称为声门,功能主要是声带之间的间隙称为声门,功能主要是产生激励产生激励。26/76l声声道道:声声道道包包括括喉喉以以上上的的所所有有发发音音器器官。官。主要功能是传输调制声波主要功能是传输调制声波。成成年年男男性性声声道道的的长长度度为为17cm17cm。当当声声波波通通过过声声道道时时,其其频频率率高高低低受受声声腔腔共共振振的的影影响响。这这种种共
10、共振振与与声声道道不不同同区区段段形形状状有有关。关。27/76四、语音的听觉机理四、语音的听觉机理听听 觉觉 器器 官官 耳是听觉的外周耳是听觉的外周感觉器官。感觉器官。听觉听觉和保持平衡的功和保持平衡的功能能.外耳:耳廓、外耳:耳廓、外耳道。外耳道。中耳:鼓膜、中耳:鼓膜、听小骨、咽鼓管听小骨、咽鼓管和听小肌。和听小肌。内耳:内耳:耳蜗。耳蜗。28/761.1.声音的传递:外耳、中耳声音的传递:外耳、中耳外耳的功能外耳的功能(2)(2)外耳道:外耳道:传音的通路;传音的通路;增加声强:与增加声强:与4 4倍于外耳道长的声波长倍于外耳道长的声波长(正常语言正常语言交流的波长交流的波长)发生共
11、振,从而增加声强。发生共振,从而增加声强。(1)(1)耳廓:耳廓:利于集音;利于集音;判断声源:依据声判断声源:依据声波到达两耳的强弱和时波到达两耳的强弱和时间差判断声源。间差判断声源。29/76结构特点结构特点:是是一一个个具具有有一一定定紧紧张张度度、动动作作灵灵敏敏、斗斗笠笠状状的的半半透透明明膜膜,对对声声波波的的频频率率响响应应较较好,失真度较小。好,失真度较小。外耳道外耳道鼓膜鼓膜镫骨镫骨锤骨锤骨砧骨砧骨半规管半规管中耳的功能中耳的功能 鼓膜:鼓膜:功能作用:功能作用:能如实地把声波振动传递给听小骨。能如实地把声波振动传递给听小骨。30/76(2).(2).听小骨听小骨:结构特点结
12、构特点:由锤骨由锤骨-砧骨砧骨-镫骨依次连接成镫骨依次连接成呈弯曲杠杆状的呈弯曲杠杆状的听骨链。听骨链。功能作用功能作用:传递振动,增强振压倍传递振动,增强振压倍),减小振幅,减小振幅(约约1/4)1/4),防止卵,防止卵圆窗膜因振幅过大造成损伤。圆窗膜因振幅过大造成损伤。31/76(3).(3).咽鼓管咽鼓管:结构特点结构特点:是是鼓鼓室室与与咽咽腔腔相相通通的的管管道道,其其鼻鼻咽咽部部的的开开口口通通常呈闭合状态,常呈闭合状态,当吞咽、打呵欠或喷嚏时则开放。当吞咽、打呵欠或喷嚏时则开放。功能作用功能作用:调调节节鼓鼓膜膜两两侧侧气气压压平平衡衡、维维持持鼓鼓膜膜正正常常位位置置、形状和振
13、动性能。形状和振动性能。咽咽鼓鼓管管粘粘膜膜上上的的纤纤毛毛运运动动可可排排泄泄中中耳耳内内的的分分泌泌物。物。32/762.2.2.2.声波在内耳耳蜗转变为动作电位声波在内耳耳蜗转变为动作电位声波在内耳耳蜗转变为动作电位声波在内耳耳蜗转变为动作电位 内内内内耳耳耳耳耳耳耳耳蜗蜗蜗蜗形形形形似似似似蜗蜗蜗蜗牛牛牛牛壳壳壳壳,蜗蜗蜗蜗管管管管腔腔腔腔被被被被前前前前庭庭庭庭膜膜膜膜和和和和基基基基膜膜膜膜分分分分隔隔隔隔为为为为三三三三个个个个腔腔腔腔:前前前前庭庭庭庭阶阶阶阶、蜗蜗蜗蜗管管管管和和和和鼓阶。鼓阶。鼓阶。鼓阶。基膜上有螺旋器:基膜上有螺旋器:基膜上有螺旋器:基膜上有螺旋器:由内、
14、外毛细由内、外毛细由内、外毛细由内、外毛细胞、支持细胞及胞、支持细胞及胞、支持细胞及胞、支持细胞及盖膜等构成盖膜等构成盖膜等构成盖膜等构成.33/76 当当当当声声声声音音音音振振振振动动动动中中中中耳耳耳耳听听听听骨骨骨骨链链链链振振振振动动动动卵卵卵卵圆圆圆圆窗窗窗窗振振振振动动动动前前前前庭庭庭庭阶阶阶阶外外外外淋淋淋淋巴巴巴巴+基基基基膜膜膜膜上上上上下下下下振振振振动动动动:以以以以行行行行波波波波方方方方式式式式从从从从蜗蜗蜗蜗底底底底向向向向蜗蜗蜗蜗顶顶顶顶传传传传播播播播,同同同同时时时时振振振振幅幅幅幅也也也也逐逐逐逐渐渐渐渐加加加加大大大大,到到到到基基基基膜膜膜膜的的的的
15、某某某某一一一一部部部部位位位位,振幅达到最大,以后则很快衰减。振幅达到最大,以后则很快衰减。振幅达到最大,以后则很快衰减。振幅达到最大,以后则很快衰减。基基基基膜膜膜膜的的的的最最最最大大大大振振振振幅幅幅幅区区区区为为为为兴兴兴兴奋奋奋奋区区区区,该该该该部部部部位位位位的的的的毛毛毛毛细细细细胞胞胞胞受受受受到刺激而兴奋,从而引起不同音调的感觉。到刺激而兴奋,从而引起不同音调的感觉。到刺激而兴奋,从而引起不同音调的感觉。到刺激而兴奋,从而引起不同音调的感觉。耳蜗底部耳蜗底部-高音、中部高音、中部-中音、顶部中音、顶部-低音低音 高频声波高频声波低频声波低频声波34/76声声 波波外耳道外
16、耳道鼓鼓 膜膜听骨链听骨链卵圆窗卵圆窗前庭阶外淋巴前庭阶外淋巴基底膜基底膜螺旋器上下振动螺旋器上下振动毛细胞的听毛弯曲毛细胞的听毛弯曲毛细胞的听毛与盖膜发生交错的移行运动毛细胞的听毛与盖膜发生交错的移行运动耳蜗的感音换能作用耳蜗的感音换能作用耳蜗的感音换能作用耳蜗的感音换能作用 耳蜗的功能之一是声耳蜗的功能之一是声耳蜗的功能之一是声耳蜗的功能之一是声-电转换的换能作用。电转换的换能作用。电转换的换能作用。电转换的换能作用。听神经动作电位听神经动作电位毛细胞膜上离子通透性改变毛细胞膜上离子通透性改变35/76 声波振动声波振动声波振动声波振动外耳外耳外耳外耳(耳廓耳廓耳廓耳廓外耳道外耳道外耳道外
17、耳道)中耳中耳中耳中耳(鼓膜鼓膜鼓膜鼓膜听小骨听小骨听小骨听小骨卵圆窗卵圆窗卵圆窗卵圆窗)内耳内耳内耳内耳(耳蜗的内淋巴液耳蜗的内淋巴液耳蜗的内淋巴液耳蜗的内淋巴液螺旋器螺旋器螺旋器螺旋器声声声声-电转换电转换电转换电转换)神经冲动神经冲动神经冲动神经冲动听觉中枢听觉中枢听觉中枢听觉中枢听觉。听觉。听觉。听觉。听听觉觉的的产产生生过过程程36/76耳蜗截面图耳蜗截面图耳蜗截面图耳蜗截面图37/7639/76听觉的形成听觉的形成声波声波外耳道外耳道声波的通道声波的通道鼓膜鼓膜耳廓耳廓收集声波收集声波听小骨听小骨声音放大声音放大耳蜗耳蜗耳蜗内有听觉感受器耳蜗内有听觉感受器产生兴奋产生兴奋听神经听神
18、经大脑大脑听觉听觉将振动转换成神经冲动将振动转换成神经冲动传递冲动传递冲动振动传声振动传声-将声波转换成振动将声波转换成振动40/76传导性聋传导性聋经空气径路传导的声波,受到经空气径路传导的声波,受到外耳道,中耳病变的阻碍,到达内外耳道,中耳病变的阻碍,到达内耳的声能减弱,致使不同程度听力耳的声能减弱,致使不同程度听力减退者称为传导性聋。减退者称为传导性聋。41/76神经性耳聋神经性耳聋内耳听毛细胞、血管纹、螺旋神经节、内耳听毛细胞、血管纹、螺旋神经节、听神经或听觉中枢的器质性病变均可阻碍听神经或听觉中枢的器质性病变均可阻碍声音的感受与分析或影响声音讯息的传递,声音的感受与分析或影响声音讯息
19、的传递,由此引起的听力减退或听力丧失称为感音由此引起的听力减退或听力丧失称为感音神经性聋。神经性聋。42/76五、语音信号模型 l语语音音信信号号模模型型的的基基本本思思想想是是认认为为任任何何语语音音都都是是由由一一个个适适当当的的激激励励源源作作用用于于声声道道而而产产生生的的,这这意意味味着着激激励励源源与与声声道道系系统统是是互互相相独独立立的。的。有三部分作用施加在语音的声波上:有三部分作用施加在语音的声波上:声门产生的激励模型声门产生的激励模型G(z);声道产生的调制函数声道产生的调制函数V(z);嘴唇产生的辐射函数嘴唇产生的辐射函数R(z)。l语音信号的传递函数由这三个函数级联而
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 语音 教学 产生 数学模型
限制150内