多模态情绪识别技术及其在保险行业的应用.docx

《多模态情绪识别技术及其在保险行业的应用.docx》由会员分享，可在线阅读，更多相关《多模态情绪识别技术及其在保险行业的应用.docx（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多模态情绪识别技术及其在保险行业的应用一、引言准确的情绪识别是进行自然、和谐、友好交流的基础和前提，在人际交往中有着重要的作用。随着智能机器人的快速发展和应用，如何使机器人具备这种对人的情绪状态进行快速准确判断的能力，并在此基础上准确地响应人类情感，真正实现智能的、有温度的、人性化的人机交互，是近年来学术界和产业界研究和应用的重点方向。人的情绪可以通过面部表情、声音声调、语言、脑电信号、身体姿态动作等多种模态表现出来。情绪识别可以基于这些模态中的单个或多个模态信息融合来进行。基于单一模态信息进行情绪识别，如基于面部表情的情绪识别，具有数据来源单一、易于获取、特征提取相对简单的特点，但也有抗噪性

2、能差、信息不全面的问题。因此，仅基于单一模态信息无法实现情绪的有效识别。而多模态情绪识别技术，综合运用互为补充、互为印证的视觉、听觉和自然语言文本等多个模态的信息进行情绪判断，将识别模型由单一算法向组合模型发展，进行特征级、决策级或模型级的融合，从而可以融合跨模态信息，进行情绪的综合理解和判断。多模态情绪识别比单一模态的识别具有更高的准确性、复杂度和难度。近年来，如何构建一个准确的多模态情绪识别模型已成为新的研究热点，在国际计算机语言协会（ACL）、国际人工智能学会（AAAI）等人工智能顶级会议和期刊上均有研究成果发表。随着情绪识别技术的迅速发展，相关的行业应用和初创企业也大量增加，该技术已在

3、智能客服、健康医疗、远程教育、安全驾驶等行业得到了应用。保险领域先天具有数据资源丰富且模态多样性的特点，大量的语音、文本、图片、视频信息尚没有被充分利用。多模态情绪识别可实现对这些不同模态数据的综合处理和分析，为保险领域的众多科技产品和服务的优化提升提供助力。二、情绪识别研究概览（一）情绪描述模型情绪描述是进行情绪识别的基础和前提。情绪识别过程包括建立数学模型描述情绪状态，然后通过情绪识别系统对情绪进行分类或量化。在现有的研究中，情绪通常有两种描述方式离散情绪模型和多维度情绪模型（见表1）。1. 离散情绪模型大多数研究人员认为，情绪可以用六种基本情绪的组合表示，即悲伤、愤怒、厌恶、恐惧、惊讶、

4、高兴，这六种基本情绪可以通过组合模式形成更复杂的情绪类别。离散情绪模型并不能反映情绪状态的复杂性和多样性，在量化用户情绪类型和强度的过程中有一定的局限性。2. 维度情绪模型维度情绪模型的理论认为，核心情绪在大脑中是连续的，维度情绪模型是将情绪状态映射为某一空间上的点。这其实与离散情绪模型并不冲突，只是维度情绪模型是连续的，具有表示情绪的范围广、能描述情绪的演变过程的优点。维度情绪模型，可以从多个维度量化和表征情绪的类型和强度，在一定程度上弥补了离散情绪模型的不足。（二）情绪表现模态在多模态情绪识别领域，多种模态可被用于识别和预测人类情绪。根据其表现方式大致分为以下两类。显性情感线索，包括面部表

5、情、眼球活动、语言、动作、步态和脑电图等，如从演员的面部表情可以直接观察到其情绪。隐性情感线索，为常用的数字媒体类型，包括文本、音频、图像和视频。本研究主要讨论的是隐性情感线索，可以通过客户和坐席的语音通话、聊天记录、视频内容等识别客户或者坐席的情绪。图1为情绪表现模态的示意图，图中包括了显性的面部表情图片和隐性的文本和语音模态。（三）情绪识别途径情绪既可以通过单一模态识别，也可以通过多种模态结合识别。单一模态情绪识别指只通过一种显性或隐性情感线索识别情绪，如只通过动作、文本或音频识别情绪。但是单一模态作为情感表达可靠渠道的有效性无法保证，这时需要考虑多种模态相结合来识别情绪，例如“文本+音频

6、”“文本+视频”“文本+音频+视频”等。多模态学习可以聚合多源数据的信息，使模型学习到的表示更加完备。以视频情绪识别为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单一模态模型，这将提高情绪识别的可靠性和稳健性。（四）困难和挑战在多模态情绪识别的过程中，会遇到情绪主观性大、原始数据缺失、模态间不平衡、数据标签不准确等挑战。例如，在一些多模态情绪识别应用中，文本、图像、语音、视频模态所包含的信息量不均衡，不同模态含有的噪声也不同，在进行多模态学习中，这些模态之间不平衡的现象很容易造成模型偏向其中一个占据主导地位的模态。或者在人工数据标注过程中，会因为

7、每个人对于情绪的主观感受不同，导致数据标签不准确，这也会给模型训练带来一定的困难。三、多模态情绪识别技术情绪识别技术是智能人机交互的基石，它赋予计算机像人一样的观察和理解情绪特征的能力，使计算机像人一样进行生动交互成为可能，具有十分重要的理论意义和实际应用价值。（一）整体框图多模态情绪识别技术的研究主要涉及特征提取、模态融合和情绪识别等方面，目前大多数研究多集中在模态融合层面。图2以传统的多模态融合技术（特征级融合）为例介绍多模态情绪识别的流程。基于文本、语音、图像、视频等模态数据完成数据采集，分别对每种模态提取对应的特征，然后对多种模态信息进行跨模态融合。模态融合可以采用与模型无关的融合，或

8、者基于模型的融合，然后将多模态融合的特征输入到情绪识别模型中，根据任务需求可以对情绪进行分类、回归、检测等。（二）关键技术1. 特征提取在金融保险领域，主要涉及文本和音频数据，下面重点介绍一下文本和音频特征提取。（1）文本特征提取。目前比较流行的是基于深度学习的特征提取方法，主要包括Word2vec、BERT、ELMO等。Word2vec本质上是静态的方式，Word embedding不会随着上下文场景的变化而改变，具有一定的局限性。而BERT采用全新的掩码语言模型（Masked Language Model，MLM），可以生成深度的双向语言表征。同时它的泛化能力较强，可以在预训练后，只需要添

9、加一个额外的输出层进行微调，就可以在各种各样的下游任务中取得最佳表现，它可以比较方便地实现效果较好的文本特征提取。（2）音频特征提取。音频数据可以通过librosa库、wav2vec等工具提取特征。常用的音频特征包括梅尔频谱（Mel-Spectrogram）和梅尔频率倒谱系数(MFCC)等，它们的计算流程如图3所示。2. 多模态融合多模态融合的目的是将不同单模态中提取的信息整合到一个多模态表示中，也是多模态情绪识别中一个重要的研究方向。高效的模态融合能极大地提高情绪识别系统的完善性。不同模态之间的信息相互补充、相互支持，能够有效地提高情绪识别的效果。早期按照融合的阶段将多模态融合方法分为特征级

10、融合、决策级融合和混合融合，但是近年来，随着深度学习神经网络的日益发展和成熟，部分学者采用了新的融合分类方法：模型无关的融合方法与基于模型的融合方法。（1）模型无关的融合方法。模型无关的融合方法指模态融合的过程与具体采用的模型无关，可以分为特征级融合、决策级融合和混合方法融合。特征级融合也叫前期融合，指在编码前对多模态的特征进行融合，由于发生在特征提取阶段，特征级融合能够最大限度地保留原始信息，能有效地提取各模态之间的交互信息。图2中的架构就采用了特征级融合的方法，有代表性的方法包括张量融合网络（Tensor Fusion Network，TFN）、低阶多模态融合（Lowrank Multim

11、odal Fusion，LMF）。特征级融合模型相对简单，可以使单模态研究人员快速进行多模态的研究和训练。决策级融合也叫后期融合，是在分类器编码过程之后的决策层面上的融合，主要目标是找出各个模态的可信度，再进行协调、联合决策。常用的方法有平均、投票、加权、自适应增强、动态贝叶斯网络等。混合方法融合组合了前两种融合方法，既在特征提取阶段做了前期融合，又在决策阶段使用模型做了后期融合。（2）基于模型的融合方法。模型级融合可以将不同模态特征分别输入到不同的模型结构再进行进一步特征提取，例如，先手动提取各个模态的特征，再输入到神经网络中，从神经网络中学习到多种模态之间的共享表示。目前的模型级融合主要采

12、取的策略是通过构建深度网络模型，建立多层结构，逐层学习更加复杂的变换，从而拟合更加复杂的特征，增加非线性表达能力。总体来说，模型级融合相较于模型无关的融合方法最大的优势在于可以灵活地选择融合的位置。图5是识别视频中情绪的深度学习网络框架，可以看出这是充分利用了深度神经网络强大的特征学习能力的混合深度学习模型，实验结果也表明，这种基于深度神经网络的模型级融合框架比模型无关的融合方法表现得更好。3. 情绪识别模型对于多模态情感信号，可以进行不同的情绪识别任务，包括分类、回归、检测等。传统的机器学习分类算法包括决策树、支持向量机（Support Vector Machine，SVM）、逻辑回归、朴素

13、贝叶斯等，回归算法包括线性回归模型、多项式回归模型、岭回归模型等，但是它们都属于浅层结构算法，针对复杂问题其泛化能力受到一定制约。目前多模态情绪识别任务大多使用深度学习算法，可通过学习一种深层非线性网络结构，实现复杂函数逼近，并展现出强大的从少数样本学习数据集本质特征的能力。下面介绍两种常见的神经网络。（1）卷积神经网络。卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，它的核心思想是捕捉局部特征，在图像、文本、音频等方面都有广泛的应用。CNN结构包含输入层、卷积层、池化层、输出层。（2）循环神经网络。循环神经网络

14、（Recurrent Neural Network，RNN）是一类以序列数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。和CNN相比，RNN可以捕捉到长距离依赖关系。（三）典型相关任务1. 细粒度（方面级）情感分析在很多场景下，一句话对不同方面的表述可能呈现出不同的情感极性，例如，“这个产品性价比不错，但是他们公司服务实在不怎么样”，这句话对产品和服务两个方面呈现出了不同情感的极性。在这种情况下，需要细粒度情感分析进行具体情感极性的提取。细粒度情感分析在情感分析的基础上，对文本内容中各主体的具体属性进行进一步的分析。它在舆情分析、对话系统等场景中发挥了重要作

15、用。细粒度情感分析可以拆解为两个主要任务。（1）方面词抽取（Aspect Term Extraction）。抽取出一个句子中的方面词，如“今年开门红的成交量又破了新高”，抽取的对象是“开门红的成交量”。该任务主要是一个序列标注问题。（2）方面词极性识别（Aspect Term Polarity）。识别出对象词的情感极性，还是之前的例句，输出是“开门红的成交量，正向”。该任务主要为一个分类问题。进行细粒度的情感分析目前主要有基于深度学习的时序模型、预训练语言模型分类等基础方法。细粒度情感分析是非常有效的情感分析工具，其分析结果有利于下游的决策判断，是情感分析领域的一个研究和应用热点。对保险行业来

16、说，大量针对产品及服务的语料（如客服对话，聊天咨询，论坛等）需要进行全面的细粒度的情感分析，从中提取客户的情感极性，从而进行产品和服务的进一步改进和监督。细粒度情感分析比一般的情感分析任务更具挑战性。在很多句式结构完全相同的情况下，很多相同或相近的词汇在不同的方面可能对应完全相反的情感属性，这极大增加了情感极性判断的难度。例如：相比之下，保险产品A的保额比较高。（产品A的保额，正向）相比之下，保险产品A的保费比较高。（产品A的保费，负向）2. 交互式（对话）情感分析给定一段多轮聊天对话，挖掘会话中每一位谈话者的情绪状态，跟踪其情感演化历程。相对来说，交互式情感分析是一个具有挑战性的任务，主要因

17、为交互过程中，受与其对话者的影响，每一位谈话者的情绪可能发生前后变化；同一句话的情绪分类，可能因上下文语境及具体场景的不同而不同。因此，交互式对话的情绪识别需要综合考虑对话中的场景、上下文、说话人背景等信息。鉴于交互式情感分析建模的新颖性与复杂性，相关的研究尚处于起步阶段，近年来在ACL、国际人工智能联合会议（IJCAI）、自然语言处理经验方法会议（EMNLP）等人工智能顶级会议上不时有研究成果发表，提出的多模态会话情感分析模型包括：Hazarika等（2018）通过注意力机制从历史会话数据中捕捉上下文依赖，提出了面向会话情感识别的深度会话记忆网络；Poria等（2017）设计了上下文式双向长

18、短期记忆网络（LSTM）及层次式双向LSTM模型，通过两种LSTM模型识别对话的情感。交互式情绪识别可广泛应用于各种对话场景中，例如，聊天机器人对用户的情绪状态进行实时分析，实现基于用户情感驱动的回复；客服场景中客户的情绪分析；社交媒体中评论的情感分析，等等。四、在保险行业的应用目前，情绪识别已在诸多行业领域得到了应用。例如，在人机交互场景中（如聊天机器人），自动感知用户的情绪状态并作出相应的回应，可以提升交互体验；在智能客服领域，检测到客户出现愤怒等负向情绪时，可以切换给更有经验的客服人员或采用安抚话术，以提升客户体验和客服质量，且在服务过程中，客户的情绪演变历程可以反映客服的服务水平和质量

19、；在电商领域，分析用户对某商品及其竞品的评价，得到各方面的正负向反馈，有助于商家找到提升产品竞争力的方法；在智能教育领域，通过分析教师及学生上课的情绪状态、专注程度，能有效提高教师的教学质量和学生的学习效率。在保险领域，存在大量的营销、咨询、服务、外呼、保全、投诉等与客户的交互场景，越来越多的人工智能技术被应用到这些场景，可以提升营销和咨询效率、缓解客服人员工作强度和压力、提升客户服务质量和效率等。如何让这些智能机器人具备像人一样的观察和识别用户情绪特征的能力，使计算机像人一样进行生动交互成为可能，情绪识别技术有着广阔的应用场景。（一）场景1：让人机交互更有温度智能人机交互的出现提升了交流效率

20、，减少了人工压力，但是同样也存在没有顾及用户情绪、影响用户体验的问题。对用户的情绪进行识别，及时调整智能处理和应答的策略，如调整语音接入的优先级、采用针对性的话术、调整语音语调，或是直接转人工服务，以提升用户体验和满意度。同时，系统也可以对用户的情绪反应进行深度学习，形成用户的情绪偏好标签，进而为用户提供更加个性化的交互方式。同时，还可以根据用户的情绪辅助分析智能交互的满意度。技术路径：文本分析、语音分析并结合人脸表情识别。对于纯文本交互的场景，通过提取文本特征进行情绪识别；对于语音交互的场景，采用音频特征与其自动语音识别（ASR）文本特征融合分析的方法进行情绪识别；针对有视频输入的场景，结合

21、人脸表情、语音特征和ASR文本特征进行情绪识别。干预方法：调整处理优先级、采用针对性话术、调整语音语调、转人工服务等。在智能客服的场景下，可以采用的干预方法包括当检测到呼入客户的愤怒情绪时，可提高该客户在呼入队列中的优先级，减少等待时间；当客户在对话过程中表现出生气状态时，表达安抚，或是转给更有处理技能和经验的人工客服处理，以平复客户情绪，为解决问题打好基础；当检测到客户的不耐烦情绪时，可精简话语、适当加快语速，以提升沟通效率；当检测到客户的“喜好”情绪时，可进一步扩展阐述，帮助客户获取其感兴趣的信息。（二）场景2：情绪质检通过对客服服务过程中的录音进行声学特征分析及ASR文本特征分析，可利用

22、这些特征判断客服人员及客户的情感状态。以此为基础，可由计算机对客服通话进行自动化情绪质检，标记坐席及客户的负面情绪，跟踪分析其情绪演变历程。如果服务过程中客户逐渐出现了愤怒情绪，则该次服务很有可能是不达标的，以此协助管理人员对坐席的服务质量进行检查和干预。此方法在不增加质检人员工作量的前提下，可以提升客服中心发现客户不满意服务过程的效率，有效提升质检效率，并能更科学、更有针对性地提升服务水平。技术路径：文本分析结合语音分析。利用算法模型监测说话人语音的声学特性和相应的ASR文本特征，并根据这些特征确定被测对象的情绪状态。干预方法：沟通优化，按需进行跟踪服务。在情绪专项质检场景下，可以采用的干预

23、方法包括通过对客户情绪的识别及情绪演变历程的分析，更准确地判断客户的服务满意度、分析总结坐席的沟通方式和话术，为坐席沟通方式及业务话术的优化提供参考；情绪预警可以帮助客服进一步检测客户的愤怒情绪或是产品购买意向，使客服有针对性地进行跟踪服务，解决问题或是促成购买；还可用于理赔报案环节，通过对复杂、微妙的情绪识别，对理赔欺诈进行分析检测。（三）场景3：舆情情感分析在舆情监控方面，相关部门可以通过对微博、论坛、新闻评论等文本信息的情感分析，获得其情感倾向性。具体来说，可以针对公司的保险产品和服务进行全面的情感分析，如保险产品的主要评价方面包括保费、保额、性价比、保障范围、免赔额、利率、犹豫期、等待

24、期、健康告知等；服务的主要评价方面包括呼入电话接通率、投诉处理及时率、理赔服务时效、理赔获赔率、保全时效、投诉率等；情感倾向包括正向、负向等。通过舆情情感分析，了解大众对某一款产品或服务、事件的情感倾向、意见看法。基于此，可以掌握大众反馈、舆论倾向，从而更及时、有效地进行舆情监控，为制定应对政策、优化产品设计和服务体验提供支持。技术路径：文本分析。利用算法模型分析舆情数据的文本特征，并根据这些特征确定其情感倾向。干预方法：制定应对措施、优化产品或服务。根据情感分析的结果制定相应的应对措施，以提升公司的形象和美誉度。例如，检测到某论坛用户对某一款产品讨论热烈且评价非常正面，可针对该款产品开展精准

25、营销活动；如果检测到对公司服务的负面评价，可主动开展服务问题排查，定位问题，提出整改措施。（四）场景4：人性化养老看护随着人口老龄化日益严重及智能技术发展，智能养老机器人的应用也越来越广泛，它集安全看护、主动提醒、危险预警、社交陪护、健康管理等应用于一体。情绪识别技术能使智能养老机器人具备观察和识别用户情绪特征的能力，使其服务更温情、更人性化，向老人提供更温暖、贴心的陪伴和看护。技术路径：文本分析、语音分析结合人脸表情识别。对于语音交互，可提取ASR文本特征、音频特征及其融合特征，完成情绪识别；对于视频输入，在上述基础上结合提取到的人脸表情进行情绪识别。干预方法：表达关怀、调整语音语调、发送告

26、警等。根据被看护老人的情绪状态选择合适的交互内容和形式。例如，当检测到老人的沮丧情绪时，可以主动表达关怀，播放轻松愉快的音乐或新闻等；当检测到老人的疲惫状态时，可提醒老人适时休息，播放舒缓安神的音乐等；当检测到老人的痛苦表情时，可通知护理人员及时查看和处理。五、总结和展望随着保险行业数字化转型进程的不断推进，智能科技已被广泛应用到保险行业的各个细分领域以及全方位赋能保险业的各个业务环节，并逐步实现了价值创造。多模态情绪识别技术能为智能科技产品赋予实时、准确感知用户情绪的能力，为后续进行相应的回应提供了基础，使智能科技产品的用户体验更友好和温暖。而良好的客户体验，在保险领域的很多环节都至关重要。

27、本文对多模态情绪识别的相关技术及其在保险行业的应用场景进行了综述，包括情绪模型、多模态融合策略等。随着相关技术的发展和成熟，多模态融合技术将逐步赋能众多保险科技产品和服务，而在技术落地应用前，还需对以下几个方面的问题进行深入细化和研究。1. 情绪描述模型定义目前已有的情感识别工作多集中在简单的情感分类，如正向、负向、中性，这样的分类方式不能满足部分场景的应用需求。例如，在养老看护场景中，细粒度人性化的智能看护需要更细粒度的情感分类，如沮丧、疲惫、痛苦、孤独等。在部分场景中，需要关注的不仅是情绪类别，还包括情绪的强弱程度，只有能够对情绪强弱程度进行描述的模型，才能满足实际应用的需求。2. 模态选

28、择利用情绪信息之间的互补性可以有效提高情绪识别的准确率，但应根据不同的应用场景选择不同的模态进行融合和识别。例如，针对语音机器人，文本模态和语音模态信息的融合无疑能获得最优的准确率，但如果考虑实时性要求，则需要以单一模态为主进行分析判断，往往文本模态更能反映情绪的外部表现；针对养老看护机器人，采集脸部表情这一最能体现情绪的模态，令情绪识别结果更具可用性和可靠性。3. 相关数据的收集和标注高质量的训练数据是构建准确的情绪识别模型的基础。需要基于具体应用场景和需求，收集与情绪相关的历史存量数据，并基于确定的情绪描述模型，由业务专家指导数据标注人员对历史存量数据做好标注，打上情绪标签。为保证标注数据的质量，需要对标注好的数据进行质检。4. 模态融合策略确定根据不同场景的数据特点和性能要求，选择合适的模态融合策略：数据级融合、决策级融合和多阶段融合，以较好地挖掘不同模态之间的非线性关联关系，同时又需满足运行效率的要求。目前，我们已基于实验数据完成了多模态情绪识别算法模型的训练和验证，验证结果与目前学术界的最佳结果相当，已初步具备文本、语音的跨模态情绪识别能力。应立足保险业务链条上各环节的业务场景和具体需求，抓住保险业数字化转型的发展机遇，推动多模态情绪识别技术的落地应用及价值创造。24