时至今日NLP怎么还这么难！.docx

《时至今日NLP怎么还这么难！.docx》由会员分享，可在线阅读，更多相关《时至今日NLP怎么还这么难！.docx（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、时至今日，NLP怎么还这么难！|刘知远在微博以及知乎上关注自然语言处理NLP技术的朋友应该都对#NLP太难了#、#自然语言理解太难了#两个话题标签不生疏其下聚集了各种不仅难煞计算机、甚至让人也发懵的费解句子或者歧义引起的笑话。然而这些例子只是让人直觉计算机理解人类语言太难了NLP到底难在哪里还缺少通俗易懂的介绍。最近刚做完会议投稿这里花些时间总结下我对这个问题的认识期望对那些感兴趣NLP的同学有些帮助。欢送批评意见以及建议将来争取不断更新。此小号非彼小号自然语言理解本质是构造预测要搞清楚自然语言理解难在哪儿先看自然语言理解任务的本质是什么。作为人工智能关注的三大信息类型语音、视觉、语言之一自然

2、语言文本是典型的无构造数据由语言符号如汉字序列构成。要实现对自然语言的表意的理解需要建立对该无构造文本背后的语义构造的预测。因此自然语言理解的诸多任务包括并不限于中文分词、词性标注、命名实体识别、共指消解、句法分析、语义角色标注等都是在对文本序列背后特定语义构造进展预测。例如中文分词就是在本来没有空格分隔的句子中增加空格或者其他标识将句子中每个词的边界标记出来相当于添加了某些构造化语义信息到这个文本序列上。NLP典型任务词性标注、命名实体识别、共指消解、句法分析1面向不同NLP任务人们制定不同的待预测的语义构造空间文本分类是最简单的情形即预定义的类别体系最常见的如情感分类是postive、ne

3、utral、negative三类中文分词是词边界的标记词性标注是句子中每个词的词性标签如名词、动词、形容词、副词、连词、介词等命名实体识别是标记哪些词或者多词是实体名及其实体类型如人名、地名、机构名等共指消解是标记哪些词在做指代和指代的是前面出现的哪个概念或者实体句法分析那么是将句子背后的句法树构造或者依存构造预测出来。自然语言理解的关键是语义表示不过以上NLP任务都只是在不断“逼近对文本的理解是对文本语义的部分表示。要实现对文本的完好理解需要建立更完备的语义构造表示空间这种更完备的语义表示经常成为上述NLP任务进展构造预测的根据。在统计学习时代一般采用符号表示Symbol-basedRepr

4、esentation方案即每个词都看做相互独立的符号。例如词袋模型Bag-of-WordsBOW是最常用的文本表示方案忽略文本中词的出现顺序信息广泛用于文本分类、信息检索等任务。N-Gram也是基于符号表示的语言模型与BOW模型相比将句子中词的出现顺序考虑了进来曾在机器翻译、文本生成、信息检索等任务中广泛使用。到深度学习时代一般采用分布式表示DistributedRepresentation或者Embeddings方案每个语言单元包括但不限于字、词、短语、句子、文档都用一个低维稠密向量来表示它们的语义信息。分布式表示是深度学习以及神经网络的关键技术。分布式表示方案是受到了人脑神经机制的启发根本

5、思想是2Eachentityisrepresentedbyapatternofactivitydistributedovermanycomputingelements,andeachcomputingelementisinvolvedinrepresentingmanydifferententities.很大程度上这种表示方案与索绪尔对语言符号的任意性以及构造主义的观点不谋而合。从计算角度来看NLP很多应用任务就是在断定两个语言单元间的语义相似度如信息检索是在短语查询词以及文档之间文档摘要是在句子以及文档之间分布式表示也为在不同语言单元之间计算语义相似度提供了统一的语义表示根底。由于忽略了对词

6、语内部语义或者词序信息的考量基于符号表示的词袋模型或者N-Gram失之粗略也受到数据稀疏问题的影响基于分布式表示的深度学习固然极大提升NLP性能却更多只能作为NLP内部表示可解释性不够。实际上也有很多学者提出SemanticParsing任务探究各类对文本语义更完好的表示以及建模方案仍未得到令人满意的结果。总之自然语言理解任务的本质是构造预测关键那么是对语言单元的语义表示才能。那么自然语言理解为什么难呢这需要我们先看一下自然语言都有哪些特点。自然语言有哪些特点自然语言是人类在认识世界以及改造世界的经过中产生的归根到底是自然界的产物因此被称为自然语言。自然语言本身受到人脑语言才能的支配伴随着人类

7、社会而演化作为人类使用的最庞杂的符号系统有很多特点。创新性作为人类信息沟通的工具自然语言需要具有强大的创新活力随时引入对最新概念、表述以及意义的表达才能。这方面最常见的就是新词和旧词新意的出现。例如有个笑话就是母女二人对“潮以及“晒产生的不同理解女儿本意是让母亲帮助在太阳下晒发潮的被子而母亲却理解为在朋友圈“晒女儿的被子让大众看是不是很“潮。可见这位母亲大人本人还是很“潮的纯熟掌握了两个词的的最新意思。潮以及晒人类语言的创新活力伴随着互联网开展以及在线沟通的日益亲密而更加明显。北京大学邵燕君等学者主编的?破壁书?应该是近年度这方面的集大成之作有兴趣的读者可以读下。我理解这个书名“破壁书也算化用

8、?三体?“破壁人的一个新词。解码二次元新词的?破壁书?新词以及旧词新意等都扩展了人类语言的表意空间也扩展了自然语言理解进展构造预测的语义空间。而这种扩展带有较强的随意性缺少严格的描绘信息或者足够的数据支持进而为自然语言理解带来挑战。递归性以语言学巨擘乔姆斯基为代表的学者认为递归性recursion)是人类语言的最重要的特性4这也是乔姆斯基提出转换生成文法的内在动机。固然递归性是否为人脑先天具备的语言才能有很多争论至少从汉语英语两大语言来看语言表现出的递归性特点不言而喻。例如最近中美之间出现的这那么有意思的表述就集中反映了语言递归性S1美国干预中国内政“是一个拥有完好主谓宾构造的句子被作为另外一

9、个句子S2中国抗议x的法案“中法案“的定语x而S2又被作为了S3美国抗议y是在干预内政“中抗议“的宾语y。递归性带来的语言套娃现象-1:抗议递归性带来的语言套娃现象-2吉尼斯世界纪录正是这种递归性为语言带来精准而强大的表述信息以及思想的才能随意翻翻那些著名的哲学著作充满着带有复杂递归构造的长句。不过这种准确表达才能是以理解更加费力为代价的而且递归性也为一句话带来更多的语义理解的可能性例如咬死猎人的狗“到底是咬死了猎人还是咬死了狗至少有两种可能的理解。可以以看到一旦句子包含了多层嵌套对人而言理解起来就变得特别困难很少有人会用这么复杂的构造讲话。例如政府部门层层转发通知导致的通知的通知的通知“的标

10、题读起来就非常费力。所以在自然语言理解理论中单纯由于递归性造成的困难并不是那么大。红头文件的语言套娃现象多义性自然语言是一个信息传递系统需要兼顾信号发出者讲话人、以及信号接收者听话人、读者的效率。假如人类大脑中每个事物都要对应一个独一无二的字词符号无疑会大幅进步人们的学习、记忆以及使用语言的本钱。因此语言中存在大量同音字以及一词多义的现象即一个字或者词往往兼顾多个词义当然也对应地需要人们根据话语或者文本的语境进展消歧处理才能正确理解其语义。这种多义性也成为各类语言幽默的主要来源。自然语言有不同粒度的语言单元如字、词、短语、句子、语篇乃至文档互联形成的万维网。多义性普遍存在于各粒度的语言单元上。

11、例如上面例子中的潮“以及晒“两字就有两种意思小号“那么是典型的一词多义短语层面如metalfan“也至少有两个意思。MetalFan句子层面的多义性也不少见如能穿多少穿多少“在夏天以及冬天各有截然相反的意思。类似形式的语言笑话还不少单身的原因有两个一是谁都看不上二是谁都看不上。女孩给男朋友打假如你到了我还没到你就等着吧假如我到了你还没到你就等着吧。单身的原因原来是喜欢一个人如今是喜欢一个人。字面意思的我想开了“。自然语言作为人们日常沟通的主要方式相信每个人都有在沟通中出现误会闹出笑话甚至冲突的经历很多时候就是由于歧义造成双方理解产生误差导致的。你好不好意思啊“还是你好不好意思啊“主观性即使语言

12、的多义性得到了正确消歧语言的字面意思得到了准确理解同样的话语或者文本仍然会导致人们产生不同的理解引发不同的思绪。这是因为每个人都是在认识世界以及与外界交互的详细经过中习得语言的所以人们对语言的理解不可防止受到个人经历以及认知程度的影响带有强烈的主观性。这种主观性反映在很多方面以与读者间的理解差异为例常讲一千个读者就有一千个哈姆雷特“莎士比亚在写这个剧本时他心目中恐怕有一个确切的哈姆雷特形象和他祈望表达的思想但读者在浏览时那么不可防止会受到自身经历以及认知的影响而产生不同的理解。这有如一个正态分布也许要传递的信息就在均值附近而读者的理解那么会各有偏向。这也是为什么同样一部世界名著有的人就会引起共

13、鸣有的人觉得索然无味。中文世界也常讲言有尽而意无穷十分是在诗歌中往往寥寥数字也许本意有限而不同读者会产生不同层次的解读。这也是为什么。再如下面交融多种元素的诗歌无人机系荔枝来字面意思正如图所画而读者假如解析杜牧原诗和广东人容易将ZHI、SHI发音为JI、XI的特点那么更能会心一笑。在人们日常对话沟通中这种主观性比比皆是。例如同样是讲今天好冷啊字面意思没有任何难解之处但假如是女朋友刚进屋讲的那就得赶紧翻开空调假如是宿舍同学讲的恐怕就要嘲笑他为啥穿这么少了。所以恋爱关系、外交辞令、商务会谈都是需要清醒洞悉对方“言外之意的危险地区呀。这都是什么意思心理语言学等领域的很多研究说明人的心理状态如性格等会

14、反映在语言表达的蛛丝马迹中。对此有兴趣可以浏览美国学者JamesPennebaker的相关成果他甚至构建了一个词典LinguisticInquiryandWordCountLIWC尝试建立人们使用词语与心理状态的对应关系5。社会性人类是社会动物社会性既是人类的特性也深入反映在人类语言中。语言并非固定不变而是经历了漫长演化。人类的集体消费以及生活对信息沟通以及记录产生的需求不断改造着人类语言。全世界的人类早期聚居于不同大洲以及地区相互隔绝各自的社会形态以及生活特点深入地影响了不同语言的产生以及演化产生了如今形态各异的人类语言例如英语等是典型的拼音语言而汉语那么是音义兼顾语言的代表。当代语言学也是

15、从研究总结不同语言体系的特点而开展起来的。作为语言学的分支演化语言学就在研究人类语言在发音、字形、词法、句法等多个方面的演化经过而社会语言学那么重在研究社会形态与人类语言之间的相互影响的规律。语言系统受到社会开展的塑造。随着互联网以及挪动设备的广泛应用人类之间的沟通以及联络比以往任何一个时代都更加严密这也反映在人类语言的高速演化新词以及旧词新意层出不穷。不同学科的高速开展也为语言注入大量专业术语。使用不同语言的人们严密联络也为语言引入大量音译等形式的外来词。语言使用也深入反映社会形态。人们在不同的社交场合会切换不同的语言风格如在做公开报告时以及在朋友聚会时语言风格明显不同庄谐相异。在社交场合人

16、们也会将有些让人恐惧厌恶或不雅倒霉的概念作为禁忌或者避讳词语进而使用委婉曲折的讲法例如大便改叫出恭或者解手死亡改叫作古归西或者见马克思等中外皆同。社会语言学还有一个有趣的话题是探究语言使用与社会地位之间的关系曾提出语言协调理论Languagecoordination即不同社会地位的人在互相沟通时地位低的人会从语言风格上适应地位高的人而地位高的人那么不会主动调整自己的语言风格适应别人这个理论在2021年度得到了定量验证6。最近的定量研究也说明大规模文本中含有人类社会存在的刻板印象、政治偏见等问题侧面反映了人类社会对语言的影响7。美国著名认知语言学家莱考夫甚至认为不同党派的政治家甚至会通过语言使用

17、来影响政治议题的设置8。自然语言理解难在哪正是由于其创造性、递归性、多义性、主观性以及社会性等特点既让人类语言具备强大的表达力以及生命力同时呈现出非常复杂而难以捉摸的图景。单从让计算机理解人类语言的角度来考虑问题难点也答应以归结为如下几个方面。构造语义表示空间构建很多学者通过世界、心智以及语言的三角形来表述语言的地位这在索绪尔提出的能指以及所指的概念中已初见端倪哲学中的认识论以及语言哲学也是讨论这三者的关系。自然语言理解还没有才能考虑哲学关心的这些问题不过也能看出语言作为人类认识世界的产物以及工具必然不是对客观世界的简单映射而带有人类主观认识的色彩也受到人脑机能的影响以及约束。各种语义三角让计

18、算机理解人类语言需要建构构造化的语义表示空间只有这个空间的语义表示才能可以与人类心智相媲美才有可能将人类通过语言要表达的意义进展完美表示以及解读。同时这个语义表示空间还要承受客观世界的校正消除人类认知中存在的偏见以及缺陷让人工智能更好地效劳人类社会。如今的语义表示方案中符号表示过于粗略无法考虑语言符号背后反映的丰富语义信息而分布式表示固然具有更强大的表示才能以及自由度但目前只能通过特定任务下的数据学习只能建立知足特定需求的语义表示一方面缺少可解释性鲁棒性差另一方面通用性以及迁移性缺乏。这些与人脑展现的语义表示才能相比还有千里之遥。将来需要探究更强大的构造化语义表示空间。例如是否可以将分布式表示

19、与符号表示相结合既保存分布式表示的泛化才能又兼顾模块化以及层次化符号表示带来的抽象才能。也许这是下一轮自然语言理解获得革命进展的打破口之一。我们课题组正在致力于构建以及利用各类型知识图谱的研究也算是在这个方向上的努力。通过构建常识知识、语言知识、世界知识、认知知识、领域知识等各类型知识图谱祈望建立起更强大的构造化语义表示空间。不同类型知识是理解人类语言的钥匙多模态复杂语境的理解人类并非孤立地使用语言语言使用需要考虑其复杂的语境。以语言的多义性为例存在多义的语言单元总需要其外部的复杂语境信息进展消歧字的多义性至少需要所组成的词来消歧词的歧义性至少需要所在的句子来消歧句子的意思至少要放在语篇或者对

20、话语境中甚至需要复杂的世界知识来帮助理解。语言单元的多义性需要其外部复杂语境信息进展消歧这种语境往往是开放的也是多模态的如上下文句子的文本信号、对话者的语气等语音信号、所处环境的视觉信号、甚至其他无法名状的各类信息。实际上很多歧义产生的笑话在实际语境下并不会让人产生错误理解。例如下列图三餐二楼欢送新教师生前来就餐“固然从句意上有欢送新教师生前来就餐“这种理解的可能性但在这个场景下其实不可能是这个意思。三餐二楼欢送新教师生前来就餐再如无线电法国别研究“固然从句意上有无线电法国别研究“这种理解的可能性但作为一本专著的书名只可能是无线电法国别研究“这种理解。无线电法国别研究只是对于计算机而言怎样有效

21、理解语言所处的开放复杂语境进而实现对语言语义的准确理解仍是挑战性难题。这既与尚未建立有效的构造语义表示空间有关也与计算机还不能像人那样进展跨模态的高效学习以及理解有关。怎样有效识别语言理解所需的语境信息并建立跨模态多通道的建模仍然任重道远。小结这里总结了我对自然语言理解到底难在哪儿的看法。自然语言理解作为人工智能的核心问题正引起越来越多研究者的兴趣在各类任务上努力探究自然语言处理最重要的国际学术年度会ACL2020共有3000多篇投稿受关注程度可见一斑。自然语言理解大致有不同的层次我总结研究途径可以大致为字斟句酌实现句级消歧以及精准理解瞻前顾后初步实现文本内的复杂语境建模建立篇章或者对话理解博

22、学多识引入更多外部知识实现跨模态更复杂语境的理解善解人意考虑语言的社会性以及主观性因素实现更有人性“的自然语言理解冥思苦想将语言作为思想工具实现从语言理解到语言使用的跨越实现创作以及规划的才能。语言是人类文明的象征是人类智能的集中表达因此得到非常多学科从不同角度的考虑以及关注如语言学中对句法、语义等问题建立的理论心理语言学对人类语言习得的讨论语言哲学对语言与世界关系的讨论认知语言学对隐喻以及范畴等问题的讨论神经语言学对人脑的语言功能的研究汉语言学界对于汉语流水句、王冕七岁上死了父亲“等语言现象的研究等等。这些都对人类语言不同侧面的特点进展了卓有成效的考察。自然语言理解的目的是让计算机掌握人类语

23、言才能需要充分解析以及交融这些对人类语言的已有探究成果以逼近人类语言的本质才能更好地设计构造化语义表示空间实现多模态复杂语境的理解像人那样智能地理解以及使用语言。祈望有朝一日计算机也能读懂#NLP太难了#、#自然语言理解太难了#两个话题标签下的那些话。自然语言理解也不会参考文献1JuliaHirschbergandChristopherD.Manning.AdvancesinNaturalLanguageProcessing.Science,2021. 2Hinton,GeoffreyE.,JamesL.McClelland,andDavidE.Rumelhart.DistributedRep

24、resentations.Pittsburgh,PA:Carnegie-MellonUniversity,1984. 3索绪尔瑞士.普通语言学教程.北京:商务印书馆,1980. 4MarcD.Hauser,NoamChomsky,andW.TecumsehFitch.TheFacultyofLanguage:WhatIsIt,WhoHasIt,andHowDidItEvolve?.Science,2002:1569-1579. 5JamesW.Pennebaker.TheSecretLifeofPronouns:WhatOurWordsSayAboutUs.NY:Bloomsbury,2020

25、. 6CristianDanescu-Niculescu-Mizil,LillianLee,BoPang,JonKleinberg.Echoesofpower:Languageeffectsandpowerdifferencesinsocialinteraction.WWW,2021. 7AylinCaliskan,JoannaJ.Bryson,andArvindNarayanan.SemanticsDerivedAutomaticallyfromLanguageCorporaContainHuman-likeBiases.Science,2017. 8乔治.莱考夫美.别想那只大象.浙江人民出版社,2021.原文链接:/*本文为AI科技大本营转载文章转载请联络精彩公开课推荐浏览动漫美少女生成神器、猫的门禁.2019年度十七大最正确机器学习工程|年度度盘点你点的每个“在看我都认真当成了AI