信息组织中的自然语言讲稿.ppt

信息组织中的自然语言第一页，讲稿共二十五页哦一、自然语言的演化与发展 检索语言 广义而言，检索语言包括受控语言和自然语言语言两类语言系统。 狭义而言，检索语言包括规范的受控语言。第二页，讲稿共二十五页哦检索语言的演化与发展检索语言的演化与发展 前信息检索阶段的自然语言前信息检索阶段的自然语言原生态的自然语言是前信息检索阶段的原始的“检索语言” 。 规范的受控语言规范的受控语言 如分类表、标题表、单元词表、叙词表、分类主题一体化词表 。 受控语言向自然语言受控语言向自然语言“回归回归” 自然语言的应用是以计算机为前提的; 在对词汇控制的科学性上、规范化程度上以及方法上等方面的进步，使自然语言成为现代信息检索，尤其是网络信息检索的主流保障语言。第三页，讲稿共二十五页哦检索系统中检索语言的应用变化检索系统中检索语言的应用变化 基于印刷型文献的手工检索 以受控语言（分类法、主题法）为主。 基于数据库的计算机检索 受控语言和自然语言结合。 基于网络的信息检索 以自然语言为主。第四页，讲稿共二十五页哦二、自然语言的优缺点二、自然语言的优缺点优点优点(VS受控语言受控语言)缺点缺点(VS受控语言受控语言)结论第五页，讲稿共二十五页哦 优点优点可以降低标引难度及成本，从而提高标引速度采用用户熟悉的自然语言，符合用户检索习惯，减少了概念转换中产生的失真现象，专指度强由于自然语言标引检索多采用自动处理方式，省略了编制词表和词汇的智力负担自然语言标引检索入口词多，有利于提高检全率操作简单方便，灵活，比较适合没有专业知识的广大网络用户使用等第六页，讲稿共二十五页哦缺点缺点 由于自然语言对标引用词不加严格控制，必然会形成非关键性词语的大量出现，影响检准率的提高 由于不能反映概念词间的一一对应关系，也不能反映概念关系的隐含性，无法排除同义词、近义词、多义词等词间的模糊现象，势必也会直接影响到检全率的提高第七页，讲稿共二十五页哦结结 论论 自然语言和受控语言都有各自独特的优点和缺点，不能简单彼此替代，而应当相互补充、交融 针对上述自然语言及其检索中存在的这些问题 一方面要依靠计算机技术和自然语言处理技术的突破发展； 另一方面受控语言的基本原理对词汇的控制，是永远不会被省略的，变化的只是词汇控制的方式、方法和手段。第八页，讲稿共二十五页哦三、自然语言与自然语言处理三、自然语言与自然语言处理 （一）自然语言处理（一）自然语言处理 （二）自然语言在信息组织和检索中的应用（二）自然语言在信息组织和检索中的应用第九页，讲稿共二十五页哦（一）自然语言处理（一）自然语言处理 自然语言处理是自然语言得以应用所要解决的首要的核心问题 自然语言处理是人工智能领域的一个重要分支，它主要研究计算机对输入的自然语言文本的分析、理解和生成，旨在建立人与计算机之间友好的交流通道，实现更高层次的信息交互 自然语言处理（Natural Language Processing,简称NLP）是实现自然语言理解的核心基础，是语言信息处理的一个重要分支 自然语言处理追求的目标是计算机是如何来理解一个句子和领会一个文档所要表述的意思第十页，讲稿共二十五页哦continued 由于自然语言十分复杂，人是如何理解语言的，也还是个谜，因此给“理解”下一个定义极其困难 从信息处理的角度看，语言既然是信息的载体，如果计算机实现了机器翻译、自动文摘以及人机会话等语言信息处理功能，则认为计算机具备了理解自然语言的能力。 自然语言处理的核心技术主要是解决自然语言的歧义问题 关键问题：如何建立大规模知识库。 第十一页，讲稿共二十五页哦语言学上对语言的层次划分语言学上对语言的层次划分 第一层次语音和文字，即基本语言信号的构成。 第二层次词法和句法(合称“语法”)，即语言基本运用单位的构成和组合的形式规律。 第三层次语义,即语言所要表达的概念结构。 第四层次语用,即语言与语言使用环境的相互作用。第十二页，讲稿共二十五页哦自然语言处理研究内容的基础部分自然语言处理研究内容的基础部分 语法分析(Syntactic Understanding) 语义分析(Semantic Understanding) 语用分析(Pragmatic Understanding)例如：“汤姆给了玛丽一本大书。”第十三页，讲稿共二十五页哦语法层分析语法层分析 根据语言的语法，单词可以组成不同的词组根据语言的语法，单词可以组成不同的词组，词组可以包含不同的角色。，词组可以包含不同的角色。单词单词角色角色汤姆汤姆人名人名给给动词动词玛丽玛丽人名人名一一冠词冠词大的大的形容词形容词书书名词名词第十四页，讲稿共二十五页哦等级表示语法结构第十五页，讲稿共二十五页哦语义层分析语义层分析语义结构（句子各个部分之间的联系） 第十六页，讲稿共二十五页哦知识装饰下的丰富的语法结构 第十七页，讲稿共二十五页哦扩展的语义结构第十八页，讲稿共二十五页哦计算机产生的语义结构 第十九页，讲稿共二十五页哦语境层分析语境层分析 例1：“Could you turn the light on?”n“语境语义”“Press the light switch.”“句子的语义” “Are you capable of achieving to increase the amount of light?”（句子脱离语言环境，本身的所表示的语义）第二十页，讲稿共二十五页哦 例2：“It is dark in here.”n语境语义“Light is weak here.”n句子语义“Press the light switch. ”第二十一页，讲稿共二十五页哦 语义和语境含义之间的匹配 第二十二页，讲稿共二十五页哦（二）自然语言在信息组织和检索中的应用（二）自然语言在信息组织和检索中的应用 自然语言检索，从技术上讲，就是将自然语言处理技术应用于信息检索系统的信息的组织、标引和输出 具体地，汉语自动分词和自动标引、单汉字标引、自动文摘、全文检索等都是自然语言在信息组织和检索中的具体应用汉语的机械分词法、单汉字标引(未介入自然语言理解的成分)。基于理解的自动标引技术、自动文摘技术(应用了自然语言理解技术 )。第二十三页，讲稿共二十五页哦小结小结 自然语言的演化 自然语言与受控语言的优缺点 自然语言理解 自然语言在信息组织和检索中的具体应用有哪些第二十四页，讲稿共二十五页哦结束第二十五页，讲稿共二十五页哦