（本科）01-绪论ppt课件.pptx

《（本科）01-绪论ppt课件.pptx》由会员分享，可在线阅读，更多相关《（本科）01-绪论ppt课件.pptx（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、课程主讲人：01-绪论2第第 1 章章 绪论绪论教材：教材： 刘挺等刘挺等自然语言处理自然语言处理 高等教育出版社，高等教育出版社，2021自然语言处理自然语言处理绪论绪论o 自然语言n 通常指人类的语言n 人类思维和逻辑的载体o 对自然语言的研究是人工智能的重要研究内容3绪论绪论o 自然语言n 通常指人类的语言n 人类思维和逻辑的载体o 对自然语言的研究是人工智能的重要研究内容4误判超过30%认为具有人类智能测试者向被测试者随意提问被测试者：一个人和一台机器图灵测试绪论绪论o 人工智能发展的三个阶段n 运算智能o 机器的基础运算和存储能力o 已完胜人类n 感知智能o 机器的识别能力，如语音的

2、识别以及图像的识别o 基本达到人类水平n 认知智能o 涉及自然语言处理以及常识建模和推理等研究内容o 与人类还有很大差距56第1章 绪论o 1.1 自然语言处理的定义自然语言处理的定义o 1.2 自然语言处理的研究内容自然语言处理的研究内容o 1.3 自然语言处理的流派自然语言处理的流派o 1.4 自然语言处理的挑战自然语言处理的挑战7第1章 绪论1.1 自然语言处理的定义自然语言处理的定义o 1.2 自然语言处理的研究内容自然语言处理的研究内容 o 1.3 自然语言处理的流派自然语言处理的流派o 1.4 自然语言处理的挑战自然语言处理的挑战定义定义o 自然语言处理（Nature Langua

3、ge Processing）n 使计算机理解人类的语言，能够让计算机以自然语言作为接口与人类进行交互n 研究对象：“名、实、知、人”之间的关系o “知”：语言符号的表征o “实”：客观世界存在的实体或主观的概念o “知”：知识，包括常识和领域知识o “人”：语言的使用者n 研究层次：形式、语义、推理和语用四个层次n 研究问题：分类、解析、匹配和生成四类问题89第1章 绪论o 1.1 自然语言处理的定义自然语言处理的定义1.2 自然语言处理的研究内容自然语言处理的研究内容 o 1.3 自然语言处理的流派自然语言处理的流派o 1.4 自然语言处理的挑战自然语言处理的挑战自然语言处理的研究内容自然语

4、言处理的研究内容o 资源建设n 语料库建设o 基于统计自然语言处理方法的基础o 语料库中的语言知识能够以统计参数或机器学习参数的形式被计算机习得10自然语言处理的研究内容自然语言处理的研究内容o 资源建设n 语料库建设n 语言知识库建设o 借助外部语言知识库，帮助计算机在一定程度上消歧11自然语言处理的研究内容自然语言处理的研究内容o 基础研究n 词法分析o 目标是能够独立运用的最小语言单位：词o 包括：n 自动分词（Segmentation）n 词性标注（POS tagging）n 命名实体识别（Named entity recognition）n 等12自然语言处理的研究内容自然语言处理的

5、研究内容o 基础研究n 词法分析n 句法分析o 目标是确定句中词的语法功能或词之间的关系o 包括：n 短语结构分析（Phrase structure parsing）：短语结构树n 依存关系分析（Dependency parsing）：依存树13短语结构树依存树自然语言处理的研究内容自然语言处理的研究内容o 基础研究n 词法分析n 句法分析n 语义分析o 目标是获得不同语言单位的语义信息o 包括：n 词义消歧（Word sense disambiguation）n 语义角色标注（Semantic role labeling）n 语义依存分析（Semantic dependency parsin

6、g）14语义角色标注语义依存分析自然语言处理的研究内容自然语言处理的研究内容o 应用技术研究n 数量多，且不算有新的任务提出n 包括：o 机器翻译o 情感分析o 信息抽取o 指代消解o 省略恢复o 等15自然语言处理的研究内容自然语言处理的研究内容o 应用系统n 自然语言处理技术能够直接或间接产生应用n 目前工业界成熟系统o 翻译机o 语音助手o 智能音箱o 开放域对话软件o 内容推送o 广告推荐o 认知计算平台o 等1617第1章 绪论o 1.1 自然语言处理的定义自然语言处理的定义o 1.2 自然语言处理的研究内容自然语言处理的研究内容 1.3 自然语言处理的流派自然语言处理的流派o 1.

7、4 自然语言处理的挑战自然语言处理的挑战自然语言处理的流派自然语言处理的流派o 基于规则的自然语言处理理性主义n 20世纪40年代末，电子计算机的诞生和对自动翻译的迫切需求，自然语言处理相关研究开始萌芽n 50年代初期，分为了基于规则方法的符号派和基于概率方法的随机派，孰优孰劣的争执一直没有停息n 1956年，乔姆斯基利用有限状态自动机作为刻画语法的工具，构建了大量有关语法规律的数学规则n 20世纪50年代到80年代中后期，具有代表的规则方法还有：o Earley句法分析算法、线图句法分析算法、Tomita句法分析算法和语义网络等18自然语言处理的流派自然语言处理的流派o 基于统计学习的自然语

8、言处理经验主义n 随着早期研究深入，基于理性主义的规则方法显得力不从心，基于经验主义的统计方法开始兴起n 20世纪70年代以来，越来越多学者相信基于大量真实语料才能得到可靠结果n 20世纪80年代后期，越来越关注工程化解决问题的方法，经验主义迅速发展n 20世纪90年代初期，机器翻译出现了里程碑意义的基于噪声信道模型的统计机器翻译模型，基于此的Candide翻译系统被普遍视为经验主义自然语言处理方法崛起的开始19自然语言处理的流派自然语言处理的流派o 基于统计学习的自然语言处理经验主义n 20世纪90年代中期以后，计算机的运算速度、存储容量大大增加，网络技术的发展等客观条件进步，为统计自然语言

9、处理方法的发展提供了良好环境n 语料库的构建开始受到关注，大规模语料库中包含大量知识，语料库的快速发展也推动了统计自然语言处理方法的进步n 基于理性主义和经验主义的方法在80年代的激烈冲突后，人们逐渐认识到哪种都无法单独解决所有问题，理性主义和经验主义从对立走向融合，自然语言处理的发展进入一个前所未有的黄金时期20自然语言处理的流派自然语言处理的流派o 基于深度学习的自然语言处理n 基于规则和统计自然语言处理方法的局限性o 原始自然语言输入转换到机器能够处理的形式的过程（特征提取），需要细致的人工和专业知识n 2013年开始，基于深度神经网络的表示学习方法开始兴起，在多个领域取得当时最好的效果

10、n 分布式词向量的出现，深度学习开始在自然语言处理中大范围应用n ELMo、GPT、BERT为代表的上下文相关词向量的出现缓解了传统上下文无关词向量中静态向量的问题，得到进一步发展2122第1章 绪论o 1.1 自然语言处理的定义自然语言处理的定义o 1.2 自然语言处理的研究内容自然语言处理的研究内容 o 1.3 自然语言处理的流派自然语言处理的流派1.4 自然语言处理的挑战自然语言处理的挑战自然语言处理的挑战自然语言处理的挑战o 标注数据不足n 所有监督学习方法所面临的根本问题o 如何定义和建模常识知识o 深度学习方法的可解释性问题o 知识工程与统计/深度学习方法融合问题o 不同领域/不同量级的语种资源迁移学习和处理问题o 小数据问题o 文本或自然语言的推理问题o 等.2324THE ENDIntroduction of Natural Language Processing