自然语言理解-绪论.ppt
自然语言理解上海交通大学计算机系上海交通大学计算机系陈玉泉陈玉泉联系方式联系方式n陈玉泉：陈玉泉：chen-34204406闵行电院闵行电院3-525参考文献参考文献俞士汶主编（俞士汶主编（2003）计算语言学概论计算语言学概论，商务印书馆，商务印书馆刘颖（刘颖（2002）计算语言学计算语言学，清华大学出版社，清华大学出版社James Allen（1995）,Natural Language Understanding The Benjamin/Cummings Publishing Company,Inc.翁富良、王野翊（翁富良、王野翊（1998）计算语言学导论计算语言学导论，中国社会科学出版社中国社会科学出版社Christopher D.Manning and Hinrich Schutze（1999）,Foundations of Statistical Natural Language Processing,The MIT Press,Cambridge,Massachusetts参考文献参考文献刘开瑛、郭炳炎（刘开瑛、郭炳炎（1991）自然语言处理自然语言处理，科学出版社，科学出版社冯志伟（冯志伟（1991）数学与语言数学与语言，湖南教育出版社，湖南教育出版社冯志伟（冯志伟（1995）自然语言机器翻译新论自然语言机器翻译新论，语文出版社，语文出版社1995年版。年版。姚天顺等（姚天顺等（1995）自然语言理解自然语言理解一种让机器懂得人一种让机器懂得人类语言的研究类语言的研究，清华大学出版社、广西科学技术出版社，清华大学出版社、广西科学技术出版社冯志伟（冯志伟（1997）自然语言的计算机处理自然语言的计算机处理，上海外语教，上海外语教育出版社育出版社俞士汶等（俞士汶等（1998）现代汉语语法信息词典详解现代汉语语法信息词典详解，清华，清华大学出版社、广西科学技术出版社大学出版社、广西科学技术出版社陈小荷（陈小荷（2000）现代汉语自动分析现代汉语自动分析，北京语言文化大，北京语言文化大学出版社学出版社网络资源网络资源ACL主页：主页：http:/www.aclweb.orgNLP新闻组：新闻组：comp.ai.nat-langLDC：http:/www.ldc.upenn.edu中文自然语言处理开放平台：中文自然语言处理开放平台：http:/计算所自然语言处理研究组：计算所自然语言处理研究组：http:/北京大学计算语言学研究所：北京大学计算语言学研究所：http:/中国语言文字网：中国语言文字网：http:/www.china-linguitics_links.html期刊期刊计算语言学外文期刊名计算语言学外文期刊名.doc中文期刊：中文期刊：语言文字学语言文字学 语言文字应用语言文字应用 中国语文中国语文 中文信息学报中文信息学报 当代语言学当代语言学 现代外语现代外语 课程说明课程说明上课：上课：1-8周，周，4学时学时/周，周，32学时学时考核：开卷考试考核：开卷考试 致谢致谢本课程讲义（包括后续各节）直接引用本课程讲义（包括后续各节）直接引用了下面几位同行的课程讲义中的部分内了下面几位同行的课程讲义中的部分内容，在此深表感谢！容，在此深表感谢！刘群：刘群：计算语言学计算语言学詹卫东：詹卫东：计算语言学概论计算语言学概论白硕：白硕：计算语言学计算语言学刘颖：刘颖：计算语言学计算语言学冯志伟：冯志伟：机器翻译研究的历史和现状机器翻译研究的历史和现状 依存语法在机器翻译中的应用依存语法在机器翻译中的应用第一章 概论问题驱动的学习问题驱动的学习要要了了解解一一门门学学科科，首首先先要要知知道道这这门门学学科科所所要要解解决决的的问问题题。只只有有了了解解了了一一门门学学科科所所要要解解决决的的问问题题，才才能能真真正正理理解解一一门门学学科科的的内内在在逻逻辑辑，才才能能不不仅仅知知其其然然，而而且且知知其其所所以以然然。在在学学习习一一门门学学科科之之前前，不不妨妨抛抛开开这这门门学学科科的的所所有有知知识识，直直接接面面对对这这门门学学科科所所面面对对的的最最基基本本的的问问题题，想想一一想想如如果果要要你你来来解解决决这这个个问问题题，你你会会用用什什么么办办法法。然然后后在在学学习习的的过过程程中中，不不断断地地用用你你学学到到的的知知识识来来印印证证你你所所要要解解决决的的问问题题，才才能能深深刻刻地地理理解解你你所所学学到到的的知知识识，真真正正做到融会贯通。做到融会贯通。问题之一：自动翻译问题之一：自动翻译 n自动翻译问题自动翻译问题 n人人类类最最古古老老的的问问题题之之一一：圣圣经经上上巴巴比比伦伦塔塔的的传传说说n计计算算机机发发明明以以来来，几几乎乎是是人人类类首首先先想想到到的的计计算算机机的的应用之一应用之一n困困难难比比人人们们想想像像的的大大得得多多，至至今今没没有有找找到到理理想想的的解解决办法决办法n是推动计算语言学研究的永恒动力是推动计算语言学研究的永恒动力n是计算语言学的终极目标是计算语言学的终极目标n自自动动翻翻译译研研究究，几几乎乎触触及及到到计计算算语语言言学学研研究究的的所所有有方方面面方方面面问题之一：自动翻译（续）问题之一：自动翻译（续）n一个经典的例子（早期的英俄翻译系统）：一个经典的例子（早期的英俄翻译系统）：n源源文文：The spirit is willing,but the flesh is weak.n正确的译文：心有余而力不足正确的译文：心有余而力不足n机器的译文：酒是好的，但肉是馊的机器的译文：酒是好的，但肉是馊的n又一个经典的例子（一个笑话）又一个经典的例子（一个笑话）n源文：源文：How are you?n正确的译文：你好吗？正确的译文：你好吗？n逐字翻译的译文：怎么是你？逐字翻译的译文：怎么是你？n源文：源文：How old are you?n正确的译文：你多大了？正确的译文：你多大了？n逐字翻译的译文：怎么老是你？逐字翻译的译文：怎么老是你？问题之一：自动翻译（续二）问题之一：自动翻译（续二）n演示演示nLight英汉机器翻译系统英汉机器翻译系统nTransEasy汉英机器翻译系统汉英机器翻译系统n目前的水平：目前的水平：nLogMedia：https:/ n图灵测试图灵测试n用于判断用于判断“机器是否具有智能机器是否具有智能”n一个封闭的小屋一个封闭的小屋n屋外一个人屋外一个人n屋内依次进入一个人和一台计算机屋内依次进入一个人和一台计算机n屋外的人并不知道屋内的是人还是计算机屋外的人并不知道屋内的是人还是计算机n屋外的人向屋内的人和计算机提出各种问题屋外的人向屋内的人和计算机提出各种问题n屋外的人根据回答来判断屋内是人还是计算机屋外的人根据回答来判断屋内是人还是计算机n如果判断不出来，那么可以认为计算机具有了智能如果判断不出来，那么可以认为计算机具有了智能交谈 n甲：听说吴妈打赢了阿甲：听说吴妈打赢了阿Q Q。n乙：不错，阿乙：不错，阿Q Q确实被吴妈打败了。确实被吴妈打败了。n甲：这个结果有些出人意料。甲：这个结果有些出人意料。n乙：阿乙：阿Q是大意失荆州，怪不得别人。是大意失荆州，怪不得别人。A.M.Turing n我我们们可可以以期期待待，总总有有一一天天机机器器会会同同人人在在所所有有的的智智能能领领域域里里竞竞争争起起来来。但但是是，如如何何开开始始呢呢？这这是是一一个个很很难难决决定定的的问问题题。许许多多人人以以为为可可以以把把下下棋棋之之类类的的极极为为抽抽象象的的活活动动作作为为最最好好的的出出发发点点，不不过过，还还有有一一种种办办法法也也应应加加以以考考虑虑，就就是是为为机机器器配配备备具具有有智智能能的的、可可用用钱钱买买到到的的意意识识器器官官，然然后后，教教这这种种机机器器理理解解并并且且说说英英语语。这这个个过过程程可可以以仿仿效效通通常常小小孩孩子子学学话话的的方方式式进进行行。我我不不能能确确定到底哪个出发点更好，但应该都值得一试。定到底哪个出发点更好，但应该都值得一试。A.M.Turing,Computing Machinery and Intelligence,Mind Vol.59,1950.阿兰阿兰.图灵（英国数学图灵（英国数学家）计算装置与智能家）计算装置与智能 关于语言，可以问些什么？n人人用用来来交交际际的的“语语言言”具具有有什什么么样样的的性性质质？这这些性质又是如何影响交际过程的？些性质又是如何影响交际过程的？n人人用用来来交交际际的的“语语言言”跟跟机机器器可可以以“理理解解”的的语言有什么样的关系？语言有什么样的关系？n人是如何运用人是如何运用“语言语言”进行交际的？进行交际的？n人人运运用用语语言言进进行行交交际际的的过过程程是是否否可可以以描描述述为为一一个机械的过程？个机械的过程？n什么叫做什么叫做“理解理解”一种语言？一种语言？n其它问题其它问题n音字转换：语音识别、拼音输入音字转换：语音识别、拼音输入n自动文摘：自动给出一篇或多篇文章的摘要自动文摘：自动给出一篇或多篇文章的摘要n信信息息检检索索：在在海海量量的的信信息息准准确确找找到到你你所所需需要要的的信息信息n信信息息过过滤滤：从从信信息息流流中中筛筛选选出出你你所所感感兴兴趣趣的的信信息息n信信息息抽抽取取：从从海海量量的的信信息息中中抽抽取取出出你你所所需需要要的的（结构化）信息（结构化）信息n定义 n计计算算语语言言学学（Computational Computational LinguisticsLinguistics）指指的的是是这这样样一一门门学学科科，它它通通过过建建立立形形式式化化的的数数学学模模型型，来来分分析析、处处理理自自然然语语言言，并并在在计计算算机机上上用用程程序序来来实实现现分分析析和和处处理理的的过过程程，从从而而达达到到以以机机器器来来模模拟拟人人的的部部分分乃乃至至全全部部语语言言能能力力的的目的。目的。NLP/NLU/CIPn计算语言学（计算语言学（Computational Linguistics）广义的计算语言学几乎包括了与计算机（或计广义的计算语言学几乎包括了与计算机（或计算机科学）和语言学相关的所有方面；狭义的算机科学）和语言学相关的所有方面；狭义的计算语言学一般等同于自然语言理解（计算语言学一般等同于自然语言理解（NLU），），也就是通过建立形式化的计算模型来分析、理也就是通过建立形式化的计算模型来分析、理解和处理语言。解和处理语言。n中文信息处理（中文信息处理（Chinese Information Processing,CIP）：）：又称汉语信息处理，又称汉语信息处理，是汉语的自然语言处理（是汉语的自然语言处理（NLP）。）。计算语言学是三个学科的交叉领域计算语言学是三个学科的交叉领域常规统计方法：其中常规统计方法：其中A：统计语言学，统计语言学，B：机器学习，机器学习，C：人工神经元网络人工神经元网络 非常规方法：非常规方法：其中其中D：模型论，情景理论模型论，情景理论E：非单调逻辑，模糊逻辑，博弈论语义，似然推理非单调逻辑，模糊逻辑，博弈论语义，似然推理计算语言学与语言学计算语言学与语言学 语言学语言学 计算机科学计算机科学 教学对象教学对象 人人 机器机器理解依据理解依据 人类活动人类活动说话环境说话环境 形式描述形式描述情景知识情景知识最基本语言条件最基本语言条件 语感语感语料、加工平台语料、加工平台例句判断的例句判断的基本假设基本假设 单说单说分解过程中任意出现：分解过程中任意出现：“合法合情合理合法合情合理”计算语言学的研究手段计算语言学的研究手段 n计算语言学的研究手段是计算计算语言学的研究手段是计算n计算的基础是冯计算的基础是冯诺依曼结构的计算机诺依曼结构的计算机n计算的表现形式是算法计算的表现形式是算法n算法：一组有穷的操作规则算法：一组有穷的操作规则n确定性：每一个步骤的结果都是确定的确定性：每一个步骤的结果都是确定的n可行性：每一个步骤可在有限时间内完成可行性：每一个步骤可在有限时间内完成n输入：有输入输入：有输入n输出：有输出输出：有输出n有穷性：可在有限步骤内停止有穷性：可在有限步骤内停止n算法和程序的联系与区别算法和程序的联系与区别 计算语言学的研究对象计算语言学的研究对象 n计算语言学的研究对象是自然语言计算语言学的研究对象是自然语言n自然语言与形式语言的本质区别自然语言与形式语言的本质区别:歧义性歧义性n自然语言是一种符号系统自然语言是一种符号系统n语言符号的特点（索绪尔）语言符号的特点（索绪尔）n任意性：语言符号的选择是任意的任意性：语言符号的选择是任意的n线条性：语言符号的排列是线性的线条性：语言符号的排列是线性的语言、思维与客观世界语言、思维与客观世界 思维思维自然语言自然语言 客观世界客观世界语言的层面语言的层面 n语言研究的层面语言研究的层面n语音语音n语法（包括词汇层和句法层）语法（包括词汇层和句法层）n语语法法研研究究要要回回答答的的问问题题是是：一一句句话话为为什什么么可可以以这这么说而不能那么说？么说而不能那么说？n语义语义n语义研究要回答的问题是：这句话说了什么？语义研究要回答的问题是：这句话说了什么？n语用语用n语用研究要回答的问题是：为什么要说这句话？语用研究要回答的问题是：为什么要说这句话？语言的层面（续）语言的层面（续）n语言各层面之间的关系语言各层面之间的关系n语语言言层层面面的的划划分分反反映映了了语语言言在在不不同同层层次次上上的的规律性规律性n语语言言的的各各个个层层面面是是互互相相交交织织密密不不可可分分的的，语语言言层层面面的的划划分分只只是是为为了了研研究究方方便便，对对任任何何一一个个层层面面的的研研究究都都不不能能忽忽略略其其他他层层面面所所起起的的作作用用语言在不同层面的歧义性语言在不同层面的歧义性 n.语音层面：多音字，同音词语音层面：多音字，同音词n施氏食狮史（赵元任）施氏食狮史（赵元任）n石室诗士施氏，嗜狮，誓食十狮。氏时时适市视石室诗士施氏，嗜狮，誓食十狮。氏时时适市视狮，十时，适十狮适市，是时，适施氏适市，施狮，十时，适十狮适市，是时，适施氏适市，施氏视是十狮，拭矢试，使是十狮逝世，适石室，氏视是十狮，拭矢试，使是十狮逝世，适石室，石室湿，氏使侍拭石室，石室拭，始食是十狮尸，石室湿，氏使侍拭石室，石室拭，始食是十狮尸，始识是十狮尸，实十石狮尸，试释是事。始识是十狮尸，实十石狮尸，试释是事。语言在不同层面的歧义性（续）语言在不同层面的歧义性（续）n语法层面语法层面n词法歧义词法歧义n词性兼类：工作（动名兼类），在（动副兼类）词性兼类：工作（动名兼类），在（动副兼类）n词语切分歧义：乒乓球拍卖完了，鱼在长江中游词语切分歧义：乒乓球拍卖完了，鱼在长江中游n句法歧义句法歧义n结构歧义：张三和李四的朋友结构歧义：张三和李四的朋友n组合关系歧义：观赏鱼组合关系歧义：观赏鱼语言在不同层面的歧义性（续二）语言在不同层面的歧义性（续二）n.语义层面语义层面n一词多义：后门，人大，一词多义：后门，人大，nI can can the can in the can.n结构语义歧义：吃饭，吃食堂，吃大碗结构语义歧义：吃饭，吃食堂，吃大碗n.语境层面语境层面n鸡蛋！鸡蛋！n他去修车了。他去修车了。汉语的特点汉语的特点 n语言的分类语言的分类n汉语：孤立语（分析语）汉语：孤立语（分析语）n英语：屈折语英语：屈折语n日语：粘着语日语：粘着语n基本单位基本单位n汉语：汉字（单音节，不用空格分隔）汉语：汉字（单音节，不用空格分隔）n英语：词（多音节，用空格分隔）英语：词（多音节，用空格分隔）n词语形态变化词语形态变化n汉语：弱（重叠、离合）汉语：弱（重叠、离合）n英语：强（屈折）英语：强（屈折）汉语的特点（续）汉语的特点（续）n语言的层次划分语言的层次划分n汉汉语语：不不明明显显：字字与与词词、词词与与语语、语语与与句句、句与段，都没有明确的界限句与段，都没有明确的界限n英英语语：明明显显：词词、短短语语、子子句句、句句子子、段段落落之间界限分明之间界限分明n词类与句法功能的对应词类与句法功能的对应n汉语：多对多汉语：多对多n英语：一对一英语：一对一 计算语言学的研究对象 n从计算的角度来研究语言的性质从计算的角度来研究语言的性质n将语言作为计算对象来研究相应的算法将语言作为计算对象来研究相应的算法 从计算角度研究语言 n所所谓谓从从计计算算的的角角度度来来看看语语言言的的性性质质，就就是是要要求求将将人人们们对对语语言言的的结结构构规规律律的的认认识识以以精精确确的的、形形式式化化的的、可可计计算算的的方方式式呈呈现现出出来来，而而不不是是像像其其他他语语言言学学研研究究那那样样，在在表表述述语语言言的的结结构构规规律律时时一一般般采采用用非非形形式化的式化的表达形式。表达形式。例子例子n.张三赶跑了李四张三赶跑了李四n.张三把李四赶跑了张三把李四赶跑了n.李四被张三赶跑了李四被张三赶跑了n.吴妈以前很喜欢阿吴妈以前很喜欢阿Q Q的理论的理论n.*.*吴妈把阿吴妈把阿Q Q的理论以前很喜欢的理论以前很喜欢n.*.*阿阿Q Q的理论被吴妈以前很喜欢的理论被吴妈以前很喜欢语法规律 n汉汉语语中中的的一一个个基基本本句句型型是是：P0:P0:X X 动动词词Y YnP0P0可可以以变变换换为为“把把”字字句句或或“被被”字字句句P1:X+P1:X+把把+Y+Y+动词动词P2:Y+P2:Y+被被+X+X+动词动词n有有些些时时候候P0P0可可以以变变换换为为P1,P2;P1,P2;有有些些时时候候P0P0不可以变换为不可以变换为P1,P2;P1,P2;将语言作为计算对象 n所所谓谓将将语语言言作作为为计计算算对对象象来来研研究究相相应应的的算算法法，是是研研究究如如何何以以机机械械的的、规规定定了了严严格格操操作作步步骤骤的的程程序序来来处处理理语语言言对对象象（主主要要是是自自然然语语言言对对象象，当当然然也也可可以以是是形形式式语语言言对对象象），包包括括一一个个语语言言片片断断（比比如如词词组组、句句子子或或篇篇章章）中中大大小小语语言言单单位位的的识识别别，该该语语言言片片断断的的结结构构和和意意义义的的分分析析（自自然然语语言言理理解解），以以及及如如何何生生成成一一个个语语言言片片断来表断来表达确定的意思（自然语言生成），等等达确定的意思（自然语言生成），等等 过程 nS1：研究者以特定的方式对自然语言（NL0）的规律进行抽象，以计算机能够处理的形式来表述关于自然语言的规律得到语言知识K；nS2：针对特定的语言知识表示形式，研制适合的分析和处理算法；nS3：根据算法编制计算机可执行的自然语言处理程序P。这样的程序加上语言知识，加上计算机硬件系统，共同构成一个自然语言处理系统（NLPs）；nS4：用这样一个自然语言处理系统对自然语言NL0进行分析处理，根据反馈的结果调整原来的设计，改进NLPs。计算语言学的应用领域 n机器翻译（机器翻译（Machine TranslationMachine Translation）n文本分类（文本分类（Text ClassificationText Classification）n信息检索（信息检索（Information RetrievalInformation Retrieval）n信息提取（信息提取（Information ExtractionInformation Extraction）n语音合成（语音合成（Speech SynthesisSpeech Synthesis）n语音识别（语音识别（Speech RecognitionSpeech Recognition）n人机接口（人机接口（Human-Machine InterfaceHuman-Machine Interface）n 计算语言学研究的基本方法 n理性主义研究方法理性主义研究方法 基于规则的方法基于规则的方法n经验主义研究方法经验主义研究方法 统计学方法统计学方法 基于转换的错误驱动学习基于转换的错误驱动学习 神经网络学习方法神经网络学习方法n理性主义研究方法与经验主义研究方法理性主义研究方法与经验主义研究方法的结合的结合计算语言学的发展简史 n19501960年代Turing Test(1950)n19601970年代nThe first MTs(1954)nALPAC(1964-1966)n19701990年代nSearles Chinese Room(1980)nThe first PC version of MTs(1983)nMT is available on the Web(1994)n1990 至今
