人工智能理论的自然语言理解PPT.ppt

CSUCSUCSUCSUCSUCSUCSUCSUCSU11.1 语言及其理解的一般问题语言及其理解的一般问题(General Issues of Language and Its Understanding)11.1.1 语言与语言理解 v语言是用于传递信息的表示方法、约定和规则的集合，它由语句组成，每个语句又由单词组成；组成语句和语言时，应遵循一定的语法与语义规则。v要研究自然语言理解，必须对自然语言的构成有个基本认识。v语言的构成框图如图11.1所示1CSUCSUCSUCSUCSUCSUCSUCSUCSU 语言语言 词汇词汇语法语法 词词熟语熟语词法词法句法句法词素词素构词法构词法 词组构词组构 造法造法造句法造句法构形法构形法图11.1 语言的构成图11.1 语言及其理解的一般问题2CSUCSUCSUCSUCSUCSUCSUCSUCSUv 从微观上讲，语言理解是指从自然语言到机器(计算机系统)内部之间的一种映射。v从宏观上看，语言理解是指机器能够执行人类所期望的某些语言功能。这些功能包括：v 回答有关提问；v 提取材料摘要；v不同词语叙述；v不同语言翻译。11.1 语言及其理解的一般问题3CSUCSUCSUCSUCSUCSUCSUCSUCSU 怎样才算理解了语言呢?归纳起来主要有以下几个方面：v能够理解句子的正确词序规则和概念，又能理解不含规则的句子v知道词的确切含义、形式、词类及构词法v了解词的语义分类以及词的多义性和歧义性v指定和不定特性及所有(隶属)特性v问题领域的结构知识和时间概念v语言的语气信息和韵律表现v有关语言表达形式的文学知识v论域的背景知识11.1 语言及其理解的一般问题4CSUCSUCSUCSUCSUCSUCSUCSUCSU11.1.2 自然语言理解研究的进展 v机器翻译是自然语言理解最早的研究领域。v70年代初期，对语言理解对话系统的研究取得进展。v80年代，自然语言理解的应用研究广泛开展，机器学习研究又十分活跃。v自然语言理解的研究为专家系统的知识获取提供了新的途径。v自然语言理解的研究已促进计算机辅助语言教学(CALI)和计算机语言设计(CLD)等的发展。11.1 语言及其理解的一般问题5CSUCSUCSUCSUCSUCSUCSUCSUCSU11.1.3 自然语言理解过程的层次 语言的分析和理解过程是一个层次化的过程，它主要包括如下四个层次：v 语音分析v 词法分析v 句法分析v 语义分析11.1 语言及其理解的一般问题6CSUCSUCSUCSUCSUCSUCSUCSUCSU11.2 句法和语义的自动分析(Automatic Analysis of Syntax and Semantics)11.2.1 句法模式匹配和转移网络 句法分析最为简单直观的方法-模式匹配。一个句子可以表示成：(pronoun(adj*noun)verb(pronoun(adj*noun)这也可以用状态转移图来表示，称之为转移网络(TN，transition network)，如图11.2所示。图中，q0,q1,qT是状态，q0是初态，qT是终态。弧上给出了状态转移的条件以及转移的方向。7CSUCSUCSUCSUCSUCSUCSUCSUCSU图11.2 转移网络(TN)q0nounpron.q2q1adjq3qTverbverbpron.nounq4q5adj11.2 句法和语义的自动分析8CSUCSUCSUCSUCSUCSUCSUCSUCSU11.2.2 扩充转移网络 扩充转移网络ATN是由一组网络所构成的，每个网络都有一个网络名，每条弧上的条件扩展为条件加上操作。ATN的每个寄存器由两部分构成：v 句法特征寄存器v 句法功能寄存器 图11.3所示是一个简单的名词短语(NP)的扩充 转移网络。11.2 句法和语义的自动分析9CSUCSUCSUCSUCSUCSUCSUCSUCSU图11.3 名词短语(NP)的扩充转移网络ghfNP7:pp8:send3:adj4:noun2:jump1:det5:pron.6:prop.11.2 句法和语义的自动分析10CSUCSUCSUCSUCSUCSUCSUCSUCSU11.2.3 词汇功能语法(LFG)LFG用一种结构来表达特征、功能、词汇和成分的顺序。LFG对句子的描述分为两部分：v 直接成分结构(Constituent Structure,简称C-Structure);v 功能结构(Functional Structure,简称F-structure)。11.2 句法和语义的自动分析11CSUCSUCSUCSUCSUCSUCSUCSUCSU用LFG语法对句子进行分析的过程如下：v 用上下文无关语法分析获得C-structure，不考虑语法中的下标；该C-structure就是一棵直接成分树；v 将各个非叶节点定义为变量，根据词汇规则和语法规则中的下标，建立功能描述(一组方程式)；v 对方程式作代数变换，求出各个变量，获得功能结构F-structure。11.2 句法和语义的自动分析12CSUCSUCSUCSUCSUCSUCSUCSUCSU11.2.4 语义的解析 语义解析的步骤如下：v 第一步 确定每个词在句子中所表达的词义；v 第二步 根据已有的背景知识来确定语义。逻辑形式表达是一种框架式的结构，它表达一个特定形式的事例及其一系列附加的事实，如“Jack kissed Jill”，可以用如下逻辑形式来表达：(PAST S1 KISS-ACTIONAGENT(NAME j1 PERSON“Jack”)THEM ENAME(NAME j2 PERSON“Jill”)11.2 句法和语义的自动分析13CSUCSUCSUCSUCSUCSUCSUCSUCSU11.3 句子的自动理解(Automatic Understanding of Sentences)11.3.1 简单句的理解方法 为了理解一个简单句，需要做以下两方面 的工作：v理解语句中的每一个词。v以这些词为基础组成一个可以表达整个语句意义的结构。其中第二项工作又可分成以下3个部分来进行：14CSUCSUCSUCSUCSUCSUCSUCSUCSUv句法分析将单词之间的线性次序变换成一个显示单词如何与其它单词相关联的结构。v语义分析各种意义被赋于由句法分析程序所建立的结构，即在句法结构和任务领域内对象之间进行映射变换。v语用分析为确定真正含义，对表达的结构重新加以解释。11.3 句子的自动理解15CSUCSUCSUCSUCSUCSUCSUCSUCSU11.3.2 复合句的理解方法 复合句的理解，要求发现句子之间的相互关系。这种关系包括以下几种：v 相同的事物v 事物的一部分v 行动的一部分v 与行动有关的事物v 因果关系v 计划次序 11.3 句子的自动理解16CSUCSUCSUCSUCSUCSUCSUCSUCSU11.4 语言的自动生成(Automatic Generation of Language)语言生成就是把在计算机内部以某种形式存放的需要交流的信息，以自然语言的形式表达出来。语言生成是自然语言理解的一个逆过程。一般包括以下两部分：v 建立一种结构，以表达出需要交流的信息v 以适当的词汇和一定的句法规则，把要交流的信息以句子形式表达出来17CSUCSUCSUCSUCSUCSUCSUCSUCSU11.5 自然语言理解系统应用举例(Application Examples of Natural Language Understanding Systems)11.5.1 自然语言自动理解系统 v指挥机器人的自然语言理解系统SHRDLU SHRDLU系统是由MIT研制的，这个系统能用自然语言来指挥机器手在桌面上摆弄积木，按一定的要求重新安排积木块的空间位置。v自然语言情报检索系统LUNAR LUNAR系统是由伍兹于1972年研制成功的一个自然语言情报检索系统，具有语义分析能力。18CSUCSUCSUCSUCSUCSUCSUCSUCSU11.5.2 自然语言问答系统 简单的自然语言问答系统，至少要做3件事：v分析一语句，同时构造它的逻辑表示，检查它的语义正确性。v如果可能的话，转换该逻辑形式为Horn子句。v如果该语句是陈述句，则在知识库中增加该子句，否则认为该子句为一个问题，并演绎地检索相应的答案。11.5 自然语言理解系统应用举例19CSUCSUCSUCSUCSUCSUCSUCSUCSU 此3项功能主要由谓词talk完成，talk的定义是：talk(Sentence,Reply)：-Parse(Sentence,LF,-Type),clausify(LF,Clause,Freevars),!,reply(Type,Ereevars,Clause,Reply).talk(Sentence,error(too difficult).上述定义中引出 3 个谓词，即parse,clausify,reply分别对应上述 3 项功能。11.5 自然语言理解系统应用举例20CSUCSUCSUCSUCSUCSUCSUCSUCSUv谓词parse表达句法分析能力 parse主要根据文法规则记号系统的规定，执行分析和转换任务，给出相应的逻辑表示和该语句的类型v谓词clausify表达生成子句的能力 v谓词reply表达回答功能 11.5 自然语言理解系统应用举例21CSUCSUCSUCSUCSUCSUCSUCSUCSU11.6 小结(Summary)v 自然语言理解是一个困难的和富有挑战性的研究任务，它需要大量的和广泛的知识。v 自然语言理解分解为语音分析、语法分析、句法分析和语义分析等层次。v 句法分析方法包括句法模式匹配、转移网络、扩充转移网络和词汇功能语法(LFG)等。22CSUCSUCSUCSUCSUCSUCSUCSUCSUv语言自动生成是语言自动理解的逆过程，其难点在于如何把要交流的信息表示为机器内部的一种结构。v举出了自然语言理解系统的2个应用实例，即自然语言自动理解系统以及自然语言问答系统。从这些实例可以看到自然语言理解的重要作用。11.6 小结23