语音情感识别研究进展综述.docx

《语音情感识别研究进展综述.docx》由会员分享，可在线阅读，更多相关《语音情感识别研究进展综述.docx（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、语音情感识别研究进展综述人类之所以可以通过聆听语音捕捉对方情感状态的变化,是因为人脑具备了感悟以及理解语音信号中的可以反映讲话人情感状态的信息(如特殊的语气词、语调的变化等)的才能.自动语音情感识别那么是计算机对人类上述情感感悟以及理解经过的模拟,它的任务就是从收集到的语音信号中提取表达情感的声学特征,并找出这些声学特征与人类情感的映射关系.计算机的语音情感识别才能是计算机情感智能的重要组成局部,是实现自然人机交互界面的关键前提,具有很大的研究价值以及应用价值.语音情感识别研究的开展距今已有30余年度的历史,在此期间,它得到了世界范围内相关研究者们的广泛关注,也获得了一些令人瞩目的成绩,但同时

2、也面临着众多问题的考验与挑战.本文将立足于语音情感识别研究领域的已有成果,对领域内的研究进展进展总结,并对将来的技术开展趋势加以展望.一般讲来,语音情感识别系统主要由3局部组成:语音信号收集、情感特征提取以及情感识别,系统框图如图1所示.语音信号收集模块通过语音传感器(例如,麦克风等语音录制设备)获得语音信号,并传递到下一个情感特征提取模块对语音信号中与话者情感关联严密的声学参数进展提取,最后送入情感识别模块完成情感的判断.需要十分指出的是,一个完好的语音情感识别系统除了要完善上述3局部以外,还离不开两项前期工作的支持:(1)情感空间的描绘;(2)情感语料库的建立.情感空间的描绘有多重标准,例

3、如离散情感标签、鼓励-评价-控制空间以及情感轮等,不同的标准决定了不同的情感识别方式,会对情感语料的采集标注、识别算法的选择都产生影响.情感语料库更是语音情感识别研究的根底,负责向识别系统提供训练以及测试用语料数据.国内外相关研究根据研究者的出发点不同会各有侧重,但归根结底都可以涵盖到上述5个关键模块之中.图1(Figure1)Fig.1Frameworkofastandardspeechemotionrecognitionsystem图1语音情感识别系统框图因此,本文将首先对语音情感识别接近40年度的开展历程进展扼要的回首,然后从情感描绘模型、情感语音数据库、语音情感相关声学特征提取、语音情

4、感识别算法、语音情感识别技术应用这5个角度对当前的语音情感识别技术主流方法以及前沿进展进展系统的总结以及分析,最后给出技术挑战与展望.1语音情感识别历史回首最早的真正意义上的语音情感识别相关研究出如今20世纪80年度代中期,它们创始了使用声学统计特征进展情感分类的先河.紧接着,随着1985年度Minsky教授“让计算机具有情感才能观点的提出,和人工智能领域的研究者们对情感智能重要性认识的日益加深,越来越多的科研机构开场了语音情感识别研究的探究.在20世纪80年度代末至90年度代初期,麻省理工学院多媒体实验室构造了一个“情感编辑器对外界各种情感信号进展收集,综合使用人体的生理信号、面部表情信号、

5、语音信号来初步识别各种情感,并让机器对各种情感做出适当的简单反响;1999年度,Moriyama提出语音以及情感之间的线性关联模型,并据此在电子商务系统中建造出可以识别用户情感的图像收集系统语音界面,实现了语音情感在电子商务中的初步应用.整体而言,语音情感识别研究在该时期仍旧处于初级阶段,语音情感识别的研究主要侧重于情感的声学特征分析这一方面,作为研究对象的情感语音样本也多表现为规模小、自然度低、语义简单等特点,固然有相当数量的有价值的研究成果相继发表,但是并没有形成一套被广泛认可的、系统的理论以及研究方法.进入21世纪以来,随着计算机多媒体信息处理技术等研究领域的出现和人工智能领域的快速开展

6、,语音情感识别研究被赋予了更多的迫切要求,开展步伐逐步加快.2000年度,在爱尔兰召开的ISCAWorkshoponSpeechandEmotion国际会议第1次把致力于情感以及语音研究的学者聚集在一起.近年度来,先后又有假设干以包括语音情感计算在内的情感计算为主题的会议以及期刊被创立,并得到了世界范围内的注目,其中较为著名的有:始于2005年度的AffectiveComputingandIntelligentInteraction双年度会,始于2020年度的INTERSPEECHEmotionChallenge年度度竞赛,创刊于2020年度的?IEEETransactionsonAffect

7、iveComputing?期刊和始于2020年度的InternationalAudio/VisualEmotionChallengeandWorkshop(AVEC)年度度竞赛等.同时,越来越多国家的大学或者科研机构涉足到语音情感识别研究的工作中来,著名的有:贝尔法斯特女王大学Cowie以及Douglas-Cowie指导的情感语音小组;麻省理工大学Picard指导的媒体研究实验室;慕尼黑工业大学Schuller负责的人机语音交互小组;南加州大学Narayanan负责的语音情感组;日内瓦大学Soberer指导的情绪研究实验室;布鲁塞尔自由大学Canamero指导的情绪机器人研究小组等.国内对语音

8、情感识别研究的关注起始于21世纪初,经过近10年度的开展,目前已有越来越多的科研单位参加该领域的研究,著名的有东南大学无线电工程系、清华大学人机交互与媒体集成研究所、形式识别国家重点实验室、浙江大学人工智能研究所以及中国科学院语言研究所等.近10余年度来,语音情感识别研究工作在情感描绘模型的引入、情感语音库的构建、情感特征分析等领域的各个方面都得到了开展.Cowie等人开发的FEELTRACE情感标注系统为语音情感数据的标注提供了标准化工具.Grimm等人将三维情感描绘模型(activation-evaluation-powerspace)引入到自发语音情感识别的研究中,并将维度情感识别问题建

9、模为标准的回归预测问题.Grimm的工作为维度语音情感识别研究的开展争取到更多的关注,激发了维度语音情感识别的热潮开发了面向语音情感特征提取的开放式工具包openSMILE,实现了包括能量、基频、时长、Mel倒谱系数等在内的常用语音情感特征的批量自动提取,并逐渐得到广泛认可以科研工程为依托,创立了一个以科学研究为目的的大型多媒体情感数据库SEMAINE,并提供了情感数据的维度标注结果,为语音情感识别的研究以及开展提供了公开的、丰富的、高质量的自然情感语料.正是这些研究成果的不断涌现,为构建语音情感识别标准化平台做出了里程碑式的奉献.2两类主流情感描绘模型情感描绘方式大致可分为离散以及维度两种形

10、式.前者将情感描绘为离散的、形容词标签的形式,如快乐、愤怒等,在人们的日常沟通经过中被广泛使用,同时还被普遍运用于早期的情感相关研究中.丰富的语言标签描绘了大量的情感状态,那么,其中哪些情感状态的研究价值更具有普遍性呢?这个问题可以归结为对根本情感类别确实定.一般认为,那些可以跨越不同人类文化,甚至可以为人类以及具有社会性的哺乳动物所共有的情感类别为根本情感.表1列举了不同学者对根本情感的定义以及划分,其中,美国心理学家Ekman提出的6大根本情感(又称为bigsix)在当今情感相关研究领域的使用较为广泛.表1(Table1)Table1Variousdefinitionsofemotionf

11、romdifferentresearchers表1不同学者对根本情感的定义学者根本情感ArnoldAnger,aversion,courage,dejection,desire,despair,dear,hate,hope,love,sadnessEkman,Friesen,EllsworthAnger,disgust,fear,joy,sadness,surpriseFridjaDesire,happiness,interest,surprise,wonder,sorrowGrayDesire,happiness,interest,surprise,wonder,sorrowIzardAng

12、er,contempt,disgust,distress,fear,guilt,interest,joy,shame,surpriseJamesFear,grief,love,rageMcDougallFear,disgust,elation,fear,subjection,tender-emotion,wonderMowerPain,pleasureOatley,Johnson-LairdAnger,disgust,anxiety,happiness,sadnessPankseppAnger,disgust,anxiety,happiness,sadnessPlutchikAcceptanc

13、e,anger,anticipation,disgust,joy,fear,sadness,surpriseTomkinsAnger,interest,contempt,disgust,distress,fear,joy,shame,surpriseWatsonFear,loverageWeiner,GrahamHappiness,sadnessTable1Variousdefinitionsofemotionfromdifferentresearchers表1不同学者对根本情感的定义后者那么将情感状态描绘为多维情感空间中的点.这里的情感空间实际上是一个笛卡尔空间,空间的每一维对应着情感的一个

14、心理学属性(例如,表示情感谢烈程度的激活度属性和说明情感正负面程度的效价属性).理论上,该空间的情感描绘才能可以涵盖所有的情感状态.换句话讲,任意的、现实中存在的情感状态都可以在情感空间中找到相应的映射点,并且各维坐标值的数值大小反映了情感状态在相应维度上所表现出来的强弱程度.由于维度情感模型使用连续的实数值来刻画情感,因此在有些文献中又被称作连续情感描绘模型.一些既简单又能被广泛使用的维度情感描绘模型有二维的激活度-效价空间理论(arousal-valencespace)、三维的鼓励-评估-控制空间理论(valence-activation-dominancespace)以及情感轮理论(em

15、otionwheel)等.其中,激活度-效价空间理论如图2所示:垂直轴是激活度维,是对情感谢烈程度的描绘;程度轴是效价维,是对情感正负面程度的评价.情感状态的日常语音标签以及该坐标空间可以进展互相转化,通过对情感状态语言描绘的理解以及估计,就可以找到它在情感空间中的映射位置.图2(Figure2)Fig.2Arousal-Valenceemotionalspace图2激活度-效价情感空间两种表达模型各有千秋:从模型复杂度而言,离散描绘模型较为简洁、易懂,有利于相关研究工作的着手以及开展,而维度模型却要面对定性情感状态到定量空间坐标之间怎样互相转换的问题;从情感描绘才能的角度而言,离散情感模型的

16、情感描绘才能那么显示出较大的局限性,多数情况下,它只能刻画单一的、有限种类的情感类型,然而人们在日常生活中所体验的情感却是微妙而多变的,甚至是复杂而模糊的(例如,人们在受到惊吓时所表现出来的情感不仅有吃惊,往往还包含害怕甚至恐惧的成分;又比方,人们对愉悦的表达可以呈现出假设干的程度,可以从喜上眉梢,到眉飞色舞,再到手舞足蹈),可以讲,离散描绘方式以及自发情感的描绘之间还存在着较大的障碍,然而维度情感模型从多侧面、连续的角度进展情感的描绘,很好地化解了自发情感的描绘问题,并且以准确的数值很大程度上回避了离散情感标签的模糊性问题.最后,我们以表格的形式对两个情感描绘模型之间的区别进展了直观的总结以

17、及展示,见表2.表2(Table2)Table2Comparisonoftwoemotionalrepresentationmodels表2两种情感描绘模型的区别考察点离散情感描绘模型离散情感描绘模型情感描绘方式形容词标签笛卡尔空间中的坐标点情感描绘才能有限的几个情感类别任意情感类别被应用到语音情感识别领域的时期1980s2000s优点简洁、易懂、容易着手无限的情感描绘才能缺点单一、有限的情感描绘才能无法知足对自发情感的描绘将主观情感量化为客观实数值的经过是一个繁重且难以保证质量的经过Table2Comparisonoftwoemotionalrepresentationmodels表2两种情

18、感描绘模型的区别3具有代表性的情感语音数据库语音情感识别研究的开展离不开情感语音数据库的支撑.情感语音库的质量上下,直接决定了由它训练得到的情感识别系统的性能好坏.目前,领域内存在的情感语音库类型多样,并没有统一的建立标准,按照激发情感的类型可分为表演型、引导型、自然型这3个类别;按照应用目的可分为识别型以及合成型两个类别;按照语种不同可分为英语、德语、汉语等.不同于一般文献中的分类方法,本文将根据情感描绘模型的不同,将数据语料资源划分为离散情感数据库以及维度情感数据库两个分支,二者的区别在于情感标注形式的不同,前者以离散的语言标签(如快乐、悲伤等)作为情感标注,而后者那么以连续的实数坐标值表

19、示情感.由此,我们称以语言标签进展标注的情感语料库为离散情感语料库,而以情感空间坐标值进展标注的语料库为维度情感语料库.目前,就国内外整个研究领域而言,以离散情感语料库居多,而维度情感语料库还有待丰富.本文将按照上述两个分支对当前国内外颇具代表性的情感语音库进展扼要综述.它们固然没有涵盖领域内大局部的语音资源,但都是经过精挑细选的、语料质量较高、影响较为广泛的情感语音库.假设需解析更多的情感语料库情况,可以参考文献3.1离散情感数据库一个离散情感数据库一般包括有限的几类根本情感类型,并且祈望每类情感的演绎都能到达单一、浓重、易辨识的标准,然而这恰恰是生活化的自然语音难以知足的.因此,目前的离散

20、情感数据库多属于表演型或引导型,或二者的交融.例如,下面列举的代表性数据库中只有FAUAIBO属于自然型.3.1.1Belfast英语情感数据库Belfast情感数据库由Queen大学的Cowie以及Cowie录制,由40位录音人(18岁69岁,20男20女)对5个段落进展演绎得到.每个段落包含78个句子,且具有某种特定的情感倾向,分别为生气/anger、悲伤/sadness、快乐/happiness、恐惧/fear、中性/neutral.3.1.2柏林EMO-DB德语情感语音库DMO-DB是由柏林工业大学录制的德语情感语音库,由10位演员(5男5女)对10个语句(5长5短)进展7种情感(中性

21、/nertral、生气/anger、害怕/fear、快乐/joy、悲伤/sadness、厌恶/disgust、无聊/boredom)的模拟得到,共包含800句语料,采样率48kHz(后压缩到16kHz),16bit量化.语料文本的选取遵从语义中性、无情感倾向的原那么,且为日常口语化风格,无太多的书面语修饰.语音的录制在专业录音室中完成,要求演员在演绎某个特定情感前通过回忆自身真实经历或者体验进展情绪的酝酿,来增强情绪的真实感.经过20个介入者(10男10女)的听辨实验,得到84.3%的听辨识别率.3.1.3FAUAIBO儿童德语情感语音库FAUAIBO录制了51名儿童(10岁13岁,21男30

22、女)在与索尼公司消费的电子宠物AIBO游戏经过中的自然语音,并且只保存了情感信息明显的语料,总时长为9.2小时(不包括停顿),包括48401个单词.语音通过一个高质量的无线耳麦进展采集,并由DAT-recorder录制,48kHz采样(而后压缩到16kHz),16bit量化.为了记录真实情感的语音,工作人员让孩子们相信AIBO可以对他们的口头命令加以反响以及执行,而实际上,AIBO那么是由工作人员暗中人为操控的.标注工作由5名语言学专业的大学生共同完成,并通过投票方式决定最终标注结果,标注共涵盖包括joyful,irritated,angry,neutral等在内的11个情感标签.该数据库中的

23、18216个单词被选定为INTERSPEECH2020年度情感识别竞赛用数据库.3.1.4CASIA汉语情感语料库该数据库(:/chineseldc.org/resource_info.php?rid76)由中国科学院自动化研究所录制,由4位录音人(2男2女)在纯洁录音环境下(信噪比约为35db)分别在5类不同情感下(快乐、悲哀、生气、惊吓、中性)对500句文本进展的演绎得到,16kHz采样,16bit量化.经过听辨挑选,最终保存其中9600句.3.1.5ACCorpus系列汉语情感数据库该系列情感数据库(:/3.2维度情感数据库对维度情感语音数据库的建立而言,由于维度情感描绘模型的使用,使得

24、数据的收集不再受情感类别的制约,理论上,蕴含任意情感信息的自然语音都可以被收纳到数据库中.然而,接下来的维度情感标注工作却显得并不轻松.目前而言,维度情感的标注工作一般都是基于打分制进展的(例如著名的情感标注工具FEELTRACE),即要求标注者在各个情感维度上对语音中的情感程度进展听辨,并赋以适宜的分值.然而看似简单的打分工作,实际上却伴随了标注者们“将主观情感直接量化为客观实数值的考虑经过,尤其是当数据量变得庞大时,相应的标注工作也会变得枯燥、劳累、令人难以忍受.近些年度来,随着研究者们对维度情感识别领域的关注,尤其是维度情感识别竞赛(例如,2021年度ContinuousAVEC2021

25、)的开展,一些公开的维度情感数据库逐渐被发布出来.3.2.1VAM数据库VAM数据库是一个以科学研究为目的的无偿数据库,通过对一个德语电视谈话节目“VeraamMittag的现场录制得到,语音以及视频被同时保存,因此,数据库包含语料库、视频库、表情库这3个局部.谈话内容均为无脚本限制、无情绪引导的纯自然沟通.以VAM-audio库为例,该子库包含来自47位节目嘉宾的录音数据947句,wav格式,16kHz采样,16bit量化.所有数据以句子为单位进展保存(1018句),标注在Valence,Activation以及Dominance这3个情感维度上进展,标注值处于-11之间.标注工作由多个标注

26、者共同完成,最终的情感值是相关标注者的平均值.VAM-audio是一个应用较为广泛的情感语料库,在本文的后续研究中也会加以使用.3.2.2Semaine数据库Semaine数据库是一个面向自然人机交互以及人工智能研究的数据库,可供科研人员无偿使用(:/semaine-db.eu/).数据录制在人机交互的场景下进展,20个用户(22岁60岁,8男12女)被要求与性格迥异的4个机器角色进展交谈(实际上,机器角色由工作人员扮演).这4个角色分别是:1)温以及而智慧的Prudence;2)快乐而外向的Poppy;3)怒气冲冲的Spike以及4)悲伤而抑郁的Obadiah.录音经过在专业配置录音室内进展

27、,同时有5个高分辨率、高帧频摄像机以及4个麦克风进展数据的采集,其中,音频属性为48kHz采样,24bit量化,数据时长在7小时左右.标注工作由多个介入者借助标注工具FEELTRACE在Valence,Activation,Power,Expectation以及Intensity这5个情感维度上进展.该数据库中的局部数据被用于AVEC2021的竞赛数据库.3.3语音情感特征提取当前,用于语音情感识别的声学特征大致可归纳为韵律学特征、基于谱的相关特征以及音质特征这3种类型.这些特征常常以帧为单位进展提取,却以全局特征统计值的形式介入情感的识别.全局统计的单位一般是听觉上独立的语句或单词,常用的统

28、计指标有极值、极值范围、方差等.3.3.1韵律学特征韵律是指语音中凌驾于语义符号之上的音高、音长、快慢以及轻重等方面的变化,是对语音流表达方式的一种构造性安排.它的存在与否并不影响我们对字、词、句的听辨,却决定着一句话是否听起来自然顺耳、抑扬顿挫.韵律学特征又被称为“超音段特征或者“超语言学特征,它的情感区分才能已得到语音情感识别领域研究者们的广泛认可,使用非常普遍Luengo等人在一个Basque情感语音数据的根底上进展了一系列的韵律特征分析研究,他们首先为每个情感语句提取能量以及基频曲线以及对数曲线,然后继续为各条曲线计算相应的一阶差分以及二阶差分曲线,最后统计出每条曲线的最大值、最小值、

29、均值、方差、变化范围、偏斜度(skewness)、峰度(kurtosis),进而获得了84个特征组成的韵律特征集.经过特征选择与分析,最后共有基频均值、能量均值、基频方差、基频对数的斜交、基频对数的动态范围以及能量对数的动态范围这6维特征被认为具有最正确的情感区分才能.Origlia等人使用基频以及能量相关的最大值、最小值、均值、标准差组成了一个31维的韵律特征集,在一个包含有意大利语、法语、英语、德语在内的多语种情感语料库上获得接近60%的识别率.Seppnen等人使用基频、能量、时长相关的43维全局韵律特征进展芬兰语的情感识别,在讲话人不相关的情形下获得了60%的识别率.Iliou等人以及

30、Wang等人那么分别将基频、能量、时长的韵律特征用于德语的讲话人不相关的情感识别以及汉语普通话情感的讲话人相关的情感识别,分别得到了51%以及88%的识别率.除此之外,学者们还针对韵律特征与特定情感类型之间的关联上展开了研究中给出了相反的结论.再者,学者们还发现:韵律特征区的情感区分才能是特别有限的.例如,愤怒、害怕、快乐以及惊奇的基频特征具有相似的表现.3.3.2基于谱的相关特征基于谱的相关特征被认为是声道(vocaltract)形状变化以及发声运动(articulatormovement)之间相关性的表达,已在包括语音识别、话者识别等在内的语音信号处理领域有着成功的运用通过对情感语音的相关

31、谱特征进展研究发现,语音中的情感内容对频谱能量在各个频谱区间的分布有着明显的影响.例如,表达快乐情感的语音在高频段表现出高能量,而表达悲伤的语音在同样的频段却表现出差异明显的低能量.近年度来,有越来越多的研究者们将谱相关特征运用到语音情感的识别中来,OSALPC(one-sidedautocorrelationlinearpredictorcoefficient),LFPC(log-frequencypowercoefficient)等;倒谱特征(cepstral-basedspectralfeature)一般有:LPCC(linearpredictorcepstralcoefficient)

32、,OSALPCC(cepstral-basedOSALPC),MFCC(mel-frequencycepstralcoefficient)等.目前,对线性谱特征以及倒谱特征情感区分才能上下的断定似乎并无定论.Bou-Ghazale对倒谱特征以及线性谱特征在压力语音检测(detectingspeechunderstress)任务中的性能表现进展了研究,研究发现,倒谱特征OSALPCC,LPCC以及MFCC的区分才能明显优于线性谱特征LPC以及OSALPC.然而,Nwe等人却得出了相反的结论.详细地,HMM被用作分类器对包括生气、厌恶、恐惧、愉悦、悲伤以及惊奇在内的6类情感进展话者相关的识别,结果

33、说明,LFPC获得了77.1%的识别率,而LPCC以及MFCC的识别率分别为56.1%以及59.0%.3.3.3声音质量特征声音质量是人们赋予语音的一种主观评价指标,用于衡量语音是否纯洁、明晰、容易辨识等.对声音质量产生影响的声学表现有喘息、颤音、哽咽等,并且常常出如今讲话者情绪冲动、难以抑制的情形之下.语音情感的听辨实验中,声音质量的变化被听辨者们一致认定为与语音情感的表达有着亲密的关系.在语音情感识别研究中,用于衡量声音质量的声学特征一般有:共振峰频率及其带宽(formatfrequencyandbandwidth)、频率微扰以及振幅微扰(jitterandshimmer)、声门参数(gl

34、ottalparameter)等.Lugger等人提取了频率微扰以及振幅微扰作为声音质量参数对SUSAS数据库中的语料数据进展了讲话人不相关的情感识别,HMM(hiddenMarkovmodel)被作为识别器.与仅使用MFCC的基线性能65.5%相比,MFCC以及频率微扰的特征组合可以得到68.1%的识别率,MFCC以及振幅微扰的特征组合可以得到68.5%的识别率,最正确性能69.1%由MFCC、频率微扰以及振幅微扰的共同组合获得.相对前两类特征而言,声门参数的应用相应较少.一般地,人类的发声机制被建模为气流冲过声门,再通过声道进展滤波,继而输出的经过.从信号处理的角度来看,语音信号可视为声门

35、鼓励信号以及声道冲激响应的卷积.因此,提取声门参数的关键任务就是要去除语音中声道滤波的影响,进而获得声门鼓励相关的信号.然而,不管是鼓励信号还是声道滤波器的各项参数,我们都无从得知,仍需进一步估算,声门参数的提取可参见文献.另外,Sun等人在文献中对声门参数以及基频、能量等韵律特征在情感识别中发挥的作用进展了比拟以及讨论.3.3.4交融特征上述3种特征分别从不同侧面对语音情感信息进展表达,自然会想到使用它们的交融用于语音情感的识别,进而到达进步系统识别性能的目的.目前,使用交融特征进展语音情感识别研究是本领域的主流方法将基频、能量、共振峰、谱倾斜(spectraltilt)的90维全局统计特征

36、用于WCGS数据库中沮丧情绪的检测;Schuller等人将过零率、能量、基频、声音质量、谐波噪声比、015阶MFCC等特征的5967维相关统计量用于eNTERFACE、柏林情感语料库EMO-DB和合成语料库的穿插数据库情感识别研究;Malandrakis等人使用基频、强度、对数能量、过零率、频谱重心(spectralcentroid)、频谱通量(spectralflux)、MFCC、PLPC(perceptuallinearpredictioncoefficient)等特征的统计值用于电影维度情感的跟踪等.3.3.5基于i-vector的特征i-vecotr在近些年度来的讲话人识别领域有着广泛

37、的应用,是一项将高维高斯混合模型(Gaussianmixturemodels,简称GMM)超向量空间映射到低维总变异空间的技术,然而在语音情感识别领域的应用还较为新颖.文献提出使用串联构造的情感i-vector特征用于语音情感的识别,他们首先使用openSMILE提取1584维的声学特征,并使用这些特征为自然情感状态的语音训练得到一个通用模型(universalbackgroundmodel),然后在该通用模型的根底上为每类情感状态生成各自的GMM,继而得到每类情感状态的GMM超向量用于i-vector的生成.最后,对应于各个情感状态的i-vector被串连在一起作为支持向量机的输入,用于an

38、gry,happy,neutral,sad这4类语音情感的识别,获得了优于原始1584维声学特征的识别性能.3.4语音情感识别算法研究进展寻找适宜的识别算法,是本领域研究者们一直以来为之不懈努力的一个目的.整体而言,根据情感描绘模型的不同,当今语音情感识别系统所采用的识别算法可以分为如下两类.3.4.1离散语音情感分类器本文将基于离散情感描绘模型的语音情感识别研究称作离散语音情感识别,它们一般被建模为标准的形式分类问题,即使用标准的形式分类器进展情感的识别.常用于语音情感识别领域的分类器,线性的有:NaveBayesClassifier,LinearANN(artificialneuralne

39、twork),LinearSVM(supportvectormachine)等;非线性的有:DecisionTrees,k-NN(k-nearestneighboralgorithm),Non-linearANN,Non-linearSVM,GMM(Gaussianmixturemodel),HMM(hiddenMarkovmodel)和稀疏表示分类器等.如上所示,已有不少形式分类器被语音情感识别研究者们所尝试.其中,使用最为广泛的有HMMNwe等人使用基于HMM的识别器用于6类情感的识别.详细地,LFPC,MFCC以及LPCC被用作情感特征,为每个话者的每类情感构建一个四状态、全连接的HMM

40、,一个缅甸语语料库以及一个汉语普通话语料库被分别用于HMM的训练以及测试,系统最优性能分别可到达78.5%以及75.5%.Lee等人分别以情感类别以及音素类别为单位建立HMM模型,并在讲话人不相关的情形下对模型性能进展测试.实验结果说明,基于音素类别的HMM模型具有更优的表现.GMM是一种用于密度估计的概率模型,可以被看作是只包含一个状态的连续HMM模型.文献中,GMM分类器被用于对面向婴儿的(infant-directed)KISMET数据库进展情感分类,并使用一种基于峰态模型的选择策略对Gaussian成分的数量进展优化,由基频以及能量的相关特征训练得到GMM模型最优性能可到达78.77%

41、.Tang等人针对语音情感识别构造了一种使用Boosting算法进展类条件分布估计的GMM模型,并称其为Boosted-GMM,与传统的使用EM(expectationmaximization)方法进展分布估计的EM-GMM相比,Boosted-GMM表现出更优的性能.MLP(multi-layerperceptron)是语音情感识别中应用最为广泛的一种人工神经网络模型,这与MLP完善的工具包支撑以及成熟的学习算法有着很大的关系.Nichoson等人基于MLP建立了一个OCON(oneclassinoneneuralnetwork)网络模型,对包括joy,teasing,fear,sadnes

42、s,disgust,anger,surprise以及neutral在内的8种情感进展识别.该OCON模型由8个4层MLP网络以及一个决策逻辑控制构成:每个子网络对应于一种情感类型的识别,并在输出层唯一的神经元处输出某测试语句属于某种情感的概率预测值,模型最终会将待识别语句的情感分配为具有最大输出值的子网络所对应的情感.文中使用的数据库是自行录制的,有100位话者介入录制.实验经过中,挑选其中30位话者的语料用于模型的训练,剩余70位话者的语料用于性能测试.实验结果说明,该模型的最优识别率为52.87%.Petrushin等人对普通MLP以及Bagging-MLP在语音情感识别中的性能进展了比拟

43、.Bagging是一种用于为一个分类器生成多个版本,进而合并为一个性能更为强大的聚合分类器的策略.实验结果说明,Bagging-MLP的性能与普通MLP网络相比进步了5.0%.SVM分类器的关键在于核函数的运用,它负责将原始特征以非线性的方式映射到高维空间中,进而进步数据的可分性.SVM在语音情感识别领域有着广泛的应用,这里以文献为例进展讲明.文中共有3种策略被用来构建基于二分类SVM的多分类模型:前两种策略中都首先为每类情感构建一个二分类的SVM,不同的是,第1种策略将待识别语句分配给间隔其余情感间隔最远的情感类型,而第2种策略那么将各个二分类SVM的输出作为一个3层MLP网络的输入,通过进

44、一步的计算做出最终的分配决定;第3种策略被称为多层次的分类模型(hierarchicalclassificationmodel),各个SVM子分类器按照树形构造进展排列,从根节点开场由粗略到细致地实现情感的逐步划分,在叶节点处给出最终识别结果.实验结果说明:在FERMUSIII数据库之上,3种策略的识别率分别为76.12%,75.45%以及81.29%,第3种策略表现最优.而稀疏表示分类器那么是近年度来随着压缩感悟技术的兴起开展而来的一项分类技术.在文献中,该分类器首先采用稀疏分解的方法,用训练样本对测试样本进展最稀疏表示,即把训练样本看作是一组基,通过求解1-范数最小化的方法得到测试样本的最

45、稀疏表示系数,最后用测试样本与稀疏表示后的残差来进展分类.在柏林EMO-DB德语情感语音库上进展7类情感状态的识别时,获得了相比线性判别分类器、k-NN、ANN、SVM更好的识别性能.3.4.2维度语音情感预测器本文将基于维度情感描绘模型的语音情感识别研究称为维度语音情感识别,它的出现与传统的离散语音情感识别相比拟为新兴,但也已得到领域内研究者们越来越多的关注k-NN,ANN,SVR(supportvectorregression)等.其中,SVR因为性能稳定、训练时间短等优点应用得最为广泛.例如,Grimm等人在VAM数据库上对基于规那么的逻辑分类器(rule-basedfuzzylogic

46、classifier)、k-NN以及SVR在包括Valence,Activation以及Dominance在内的三维情感属性上的预测才能进展比拟,结果说明,SVR的预测才能更胜一筹.我们可以看出:相比离散情感分类器的繁荣开展,维度情感预测算法的研究较为薄弱,更多针对情感识别任务的高性能算法仍有待进一步加以开发.3.5语音情感识别技术应用语音情感识别在诸多具有自然人机交互需求的领域内有着广泛的应用,例如:可以用于对效劳中心(callcenter)用户紧急程度的分拣,进而进步效劳质量.详细地,可通过及时发现负面情绪较为剧烈的用户,并将他们的及时转接给人工客服,到达优化用户体验的目的;用于对汽车驾驶

47、者的精神状态进展监控,进而在驾驶员疲劳的时候加以提醒;用于辅助、指导自闭症儿童对情感理解以及表达才能的学习等.这些技术应用从算法实现要求上可分为实时类以及性能类:实时类包括效劳中心用户紧急程度分拣、驾驶员疲劳检测、E-learning学员情感监控等,这类应用的特点为对识别速度要求很高,但相对而言对识别准确性具有一定程度的容忍性;而性能类那么对算法的识别效果有着较高的要求,例如抑郁症患者情绪跟踪等,因为此时的识别结果关系到医生对患者病情的判断和治疗方案的定制,那么为了获得较高的识别性能,此时的技术实现可在一定程度上做出识别速度的妥协.3.6完毕语本文在充分调研以及深化分析的根底上对当今的语音情感识别领域研究进展进展了综述,其中重点介绍了语音情感识别研究中的几个关键问题,包括情感描绘模型选取、情感语音数据库建立、语音情感相关声学特征提取、语音情感识别算法建模、语音情感识别技术应用等.可以讲,自从该领域在20世纪末期被创立以来,在世界范围内的研究者们数十年度的不懈努力下,语音情感识别研究获得了令人欢欣鼓舞的进步与开展.然而,鉴于“语音情感其本身自有的复杂性,该领域仍旧面临着假设干值得深化探究的问题.这里,我们基于大量的调研以及