第九章 人工智能导论典型应用2.pdf

48 语言智能 我们知道，只有人类具有语言智能能力。但人类并没有专 门感知语言的器官。人类通过视觉、听觉感知承载语言的 图像和声音信号，再经过大脑加工和抽象后，才能形成语 言信息。 因此语言不是一种感知信号，而是感知信号的经大脑处理 后的某种抽象表示。 所以，语言智能属于“认知智能”的研究范畴，是认知智 能研究的核心问题之一。 50 相关研究范畴 在语言智能以及相关的研究领域中，有若干研究方向和术语，常见的有“自然 语言处理”、“语言信息处理”、“计算语言学”。三者之间有很多交叉关联， 我们可以用一张图粗略解释一下。 语言信 息处理 语言智 能技术 语言信 息化 计算语言学自然语言处理 字体、字库 语言编码 等等 语言信息处理涵盖的范围最广，不仅包 括语言智能，也包括语言信息化的其他 研究领域，如字体字库、编码等基础问 题。 语言智能技术主要包括计算语言学和自 然语言处理。其中计算语言学偏向语言 本身的计算方法，而自然语言处理则特 指在计算语言学基础上，衍生的各种应 用问题。 51 概念 在了解语言智能技术研究的范畴以后，我们大致可以下一 个定义： 语言智能技术研究两方面内容： 建立语言的形式化模型，并在计算机上实现语言的表示和分析；建立语言的形式化模型，并在计算机上实现语言的表示和分析； 使用这样的形式化模型，用计算机解决各种与自然语言相关的实使用这样的形式化模型，用计算机解决各种与自然语言相关的实 际问题，从而让计算机能够模拟人类的语言能力。际问题，从而让计算机能够模拟人类的语言能力。 52 语言智能的研究和应用范畴 计算语言学自然语言处理商业应用场景 词汇表示和词法分析 短语表示和分析 句法语义表示和分析 篇章表示和分析 机器翻译 信息检索 人机对话 信息抽取 语言理解 情感分析 搜索引擎 智能客服 同声传译 输入法 53 语言智能技术与人工智能 语言智能的研究具有悠久的历史。甚至早于人工智能的研 究历史。 同时，语言智能的发展与人工智能的发展息息相关，可以 说贯穿整个人工智能的研究历史，是典型的人工智能问题。 在语言智能研究的早期，就以句法分析、机器翻译为典型问题，在语言智能研究的早期，就以句法分析、机器翻译为典型问题， 至今仍然如此。至今仍然如此。 语言智能方法的变迁，与人工智能方法的变迁如影随形。语言智能方法的变迁，与人工智能方法的变迁如影随形。 54 1920-1950年代，发轫 最早可以追溯的语言信息处理，是1913年俄国数学家马尔可 夫。他利用统计方法，分析了普希金的作品中元音和辅音的 统计规律。 1948年，香农用马尔可夫模型，建立描述语言的有限状态自 动机。并利用“熵”的概念，计算语言中信息量的多少。 1950年代，英国语言学家费斯提出了“观其伴，知其义”的 思想。此后，N-gram即N元语法发展壮大，成为统计语言模型 的核心。 在这一时期，相关的研究带有鲜明的经验主义色彩。语言的 统计规律是研究的重点。 马尔 可夫 香农 费斯 55 1950-1970年代，理性主义巅峰 1956年，著名语言学家乔姆斯基用数学公理化方法 研究自然语言，建立形式语言学。后来发展为乔姆 斯基学派。 1957年，乔姆斯基出版著作句法结构。在这一 书中，乔姆斯基提出了著名的形式语言学的四层理 论，并主张按照一定规则来描述语言特征，试图使 用有限的规则定理来描述所有语言现象。 并进而断言：有限状态机模型以及N-gram统计方法 不适合描述语言。 56 1950-1970年代，理性主义巅峰 乔姆斯基的学说称为“笛卡尔语言学”，其中一个重要方法是“转换生 成文法”。从形式上来看，这一思想与当时明斯基主张的自动逻辑证明 方法不谋而合：转换生成文法实际上就是用于描述语言的产生式。 在当时的符号主义浪潮推动下，一系列基于规则知识库的语言智能技术 被提出， 在计算语言学研究方面，各 种语言分析技术被提出： 有限状态转录 短语结构语法 左角分析方法 Earley、CYK算法 依存语法 在自然语言处理和应用方面，机器翻 译作为典型问题受到重视，第一批基 于转换规则的机器翻译方法被提出。 1956年乔治敦大学完成第一个机器 翻译实验 1957年Yingve提出基于规则的转换翻 译方法 57 1966， ALPAC报告 自此，一直到1980年代，基于规则的方法都是语言 智能研究的主要方式。 但这期间也并不是一帆风顺。在1966年，美国发表 “语言与机器”报告，即ALPAC报告。该报告全面 否定了机器翻译的可行性，并宣称 “在近期或可 以预见的未来，开发出实用的机器翻译系统是没有 指望的”。 这一事件严重打击了机器翻译的发展，同时也使得 符号主义方法受到质疑。无独有偶，几年后，符号 主义遭遇瓶颈，人工智能的第一次寒冬到来。 58 1990年代，经验主义的复兴 在1970年代，在基于规则的符号主义方法大行其道的同时，统计方 法和经验主义方法仍然在默默前行，期间诞生了HMM、最大熵模型、 噪声信道模型、最小编辑距离算法、Viterbi算法等。 到了1980年代，虽然形式语言学、规则方法仍然占据主流，但规则 方法的缺陷逐渐开始显露：有限规则无法覆盖所有复杂的语言现象。 在1990年代，语言智能研究领域中“回到经验主义”成为共识。典 型的例子是1993 年， IBM 的 Brown 等人提出的基于词对齐的统 计机器翻译模型。这标志着现代统计机器翻译方法的诞生。 随后，基于统计机器学习的方法开始主导语言智能的各个方向研究。 59 2013：连接主义逆袭，深度学习时代到来 一切在2013年发生改变。2013年，Mikolav等人开源Word2Vec工具。该工具软 件提出Cbow、 skip-gram模型，用神经元计算的方式训练“词嵌入（word embeddings）”将语义表示为词向量。 在词向量中，词义接近的词具有较高的向量相似度。词向量的本质是将词表示 为一系列实数，从而能够对接到神经网络。自此，语言智能问题就自然而然转 变为神经网络计算问题。 60 word2vec配图 61 2013：连接主义逆袭，深度学习时代到来 2013年后，深度学习开始在计算语言学和自然语言处理领 域大放异彩，在各个领域、各个问题上都迅速取得突破。 句法分析性能一举突破绵延十余年的85%，来到9395%准确率区句法分析性能一举突破绵延十余年的85%，来到9395%准确率区 间。间。 机器翻译性能突破瓶颈，达到商业实用门槛。机器翻译性能突破瓶颈，达到商业实用门槛。 人机对话性能取得突破，直接导致了siri、cotana、以及智能音人机对话性能取得突破，直接导致了siri、cotana、以及智能音 箱的商业浪潮。箱的商业浪潮。 智能问答、人机对话、阅读理解、推理、答题，越来越多的复杂智能问答、人机对话、阅读理解、推理、答题，越来越多的复杂 应用问题被提出、解决。应用问题被提出、解决。 62 语言智能技术：与AI共舞 AI winter II 1987-1993 AI winter I 1974-1980 1956 1970 1985 2006 now 1960 逻辑智能 计算智能 认知智能 经验主义思潮符号主义、理性主义思潮 乔姆斯基提出形式语 言学；短语结构树、 左角分析、CYK方法 提出；提出基于规则 的机器翻译方法 1966：ALPAC报 告批判机器翻译 方法 1971：DARPA 停止资助CMU的 语音项目 回到经验主义：统计机器学 习方法 1993：IBM统计机器翻 译方法提出。 2003：爱丁堡大学提出 基于短语的机器翻译 2006：谷歌机器翻译上 线 连接主义兴起： 深度学习方法 2013： word2vec发布， 词嵌入时代到来 2016： 深度学习 机器翻译取得突 破 香农：语言熵 费斯：“观其伴， 知其义” N-gram语法 63 机器翻译问题 定义：定义：机器翻译是机器翻译是利用计算机利用计算机将一种自然语言（将一种自然语言（源语言源语言） 自动转换自动转换为另一种自然语言（为另一种自然语言（目标语言目标语言）的技术。）的技术。 64 机器翻译：语言智能技术的集大成问题 不仅涉及到翻译模型和语言模型，有大量细节问题， 词对齐方法词对齐方法 双语句子对齐方法双语句子对齐方法 中文分词、词性标注中文分词、词性标注 英文词根划分、词串行化英文词根划分、词串行化 句法分析方法句法分析方法 时间数字专名的处理时间数字专名的处理 翻译模型的融合翻译模型的融合 翻译评测翻译评测 65 （1）1970s，基于转换规则的机器翻译 符号主义的典型方法 建模时： 建立“中间语言”符号体系建立“中间语言”符号体系 获取大量翻译实例集合获取大量翻译实例集合 总结翻译规则总结翻译规则 翻译时： 将源语言分析为中间语言将源语言分析为中间语言 根据规则将中间语言根据规则将中间语言 转为目标语言转为目标语言 66 源语言的词法分析 67 匹配句法转换规则 源语言句法分析 实例 1 2 3 实例 生成目标语言 68 4 统计机器翻译用噪声信道模型来建模翻译过程。其核心思想是如何在已知源语言的基础上，搜索最大 可能的目标语言作为译文。 体现了语言本身的 性质，反映“ T 像一个句子”的程 度，保证翻译的流 畅 一种语言到另一种语言 的词汇间的对应关系,反 映“S像T”的程度：忠实 度，保证翻译的意义 关键问题： 、估计目标语言的语言模型P(T)； 、估计翻译模型P(S|T); 、设计有效快速的搜索算法以求解P(T)*P(S|T)的最大值； P(S)与T无关 （2）1990s：IBM统计机器翻译模型 将所有候选译文词构成 状态空间，采用A*搜索 方法搜索最优译文 69 （2）1990s：IBM统计机器翻译模型 IBM方法的核心是“翻译模型”、“语言模型” IBM的翻译模型是基于词汇的，所使用的词翻译知识可以从双语句对IBM的翻译模型是基于词汇的，所使用的词翻译知识可以从双语句对 中自动学到。中自动学到。 IBM中，语言模型通常使用N-gram模型来评估词汇连接的接续性。IBM中，语言模型通常使用N-gram模型来评估词汇连接的接续性。 因此，整个翻译过程仅通过统计方法即可完成，而不需要任何 语言知识、或者转换规则。 70 （3）2003：统计机器翻译：基于短语的翻译模型 IBM模型的一个显著问 题，是翻译单位太小。 到了2003年，爱丁堡 大学的philip kohen 提出短语翻译方法。 以词、片段作为符以词、片段作为符 号体系号体系 统计两种语言之间符号统计两种语言之间符号 转换的概率转换的概率 计算概率最大的组合方计算概率最大的组合方 式作为译文（A*搜索）式作为译文（A*搜索） Phrase Reorder: Igave a talkin Beijing English: Igave a talkin Beijing Chinese:我在北京做了报告一个 Phrase Trans:Iin Beijinggave a talk Phrase Seg:我在 北京做了一个 报告 71 （4）2014，神经机器翻译 从2003到2013，机器翻译模型在短语翻译基础上日益复杂，但性能提升 开始遇到瓶颈。 2014基于神经网络的机器翻译 方法提出， 采用实数向量表示语言采用实数向量表示语言 通过神经网络表达翻译通过神经网络表达翻译 转换过程转换过程 根据表示向量“解码”根据表示向量“解码” 得到译文得到译文 向量映射 双向编码 注意机制注意机制 解码网络 词汇概率 72 73 机器翻译路线图 统计机器学习时代 1990 Phrase-based SMT NMT ConvNMT Transformer IBM Model 2003 2014 2017.5 2017.6 LSTM+Transformer 2007 Hierarchical PBSMT 2018 深度学习时代 规则翻译 时代 经验主义方法 理性主义 方法 1970 基于规则的方法基于规则的方法 人工智能竞技 但实际上，人工智能竞技问题是人工智能研究的传统问题， 其历史一直可以追溯到学科建立之初。 这里面一部分的原因是，棋类游戏蕴含着一些人类智能的 基本因素。多年来，人工智能竞技也伴随着人工智能发展， 产生了一系列重要的成果和方法论。 75 1940年代，香农 人工智能的早期创始者，都对“计算机下棋”这个话题产生过兴趣， 如图灵曾经设想过如何自动下国际象棋。 香农在1949年也曾发表过关于如何使用计算机来玩国际象棋这个话 题的想法，并认为 “国际象棋机器是一个理想的开始”，因为： （1）允许的操作和最终目标是明确的; （1）允许的操作和最终目标是明确的; （2）既不是那么简单的微不足道，也不是太难去找到满意的解决方案; （2）既不是那么简单的微不足道，也不是太难去找到满意的解决方案; （3）国际象棋通常被认为是需要“思考”才能玩的; （3）国际象棋通常被认为是需要“思考”才能玩的; （4）国际象棋的离散结构很好地融入了现代计算机的数字本质（4）国际象棋的离散结构很好地融入了现代计算机的数字本质 在香农的论文中，提及的思想，也就是我们在第五章中介绍的min- max搜索方法。该方法后来成为计算机下棋的核心思想。 76 1952，井字棋 1952年Douglas 开发了第一个井字棋（Tic-Tac-Toe)游戏 这个游戏我们在第五章中曾多此使用过。其基本原理也是 min-max方法。 在简单的Tic-Tac-Toe游戏中 的例子minimax游戏树。 77 1950年代，塞缪尔和跳棋程序 在达特茅斯会议之后， 参会者之一，IBM工程师 塞缪尔选定跳棋作为突 破方向。 他真正用IBM计算机实现 了min-max思想，完成了 第一个跳棋程序。 78 1950年代，塞缪尔和跳棋程序 1956年，IBM总裁Thomas Watson安排塞缪尔向股东和公众演示这个程序，以提 振股市。导致IBM股票价格上涨至少十五点。 1956年2月24日，塞缪尔的“跳棋”节目在IBM 701上播放，在电视上向公众展示。此后股票大 涨。IBM的该做法一直延续到深蓝和watson，每次成功都伴随着股票大涨。 79 早期的人工智能竞技方法 在这一时期，计算机下棋技术并没有完全以“自动推理” 为主流，而是沿着“状态空间搜索”技术路线发展。 这与研究问题息息相关，早期的棋类游戏显然更像是有限 状态中的最优解搜索问题。 这一思路一直延续到后来的watson。 80 1990年代， TD-Gammon 此后随着人工智能学科陷入低谷，计算机棋类研究也进入 缓慢发展的阶段。期间主要方法仍然是状态空间搜索。 1992年， IBM研究员开发了双陆棋程序TD-Gammon，达到人 类顶尖水平。该方法创造性的采用神经网络和自我对弈训 练方法，在当时并没有引起太大影响，当时的主流仍然是 状态空间搜索。 但是该程序影响深远，其中的许多思路被Alphago采用。 81 双陆棋程序TD-Gammon 82 1994，跳棋程序Chinook 几年后，阿尔伯塔大学的跳棋程序Chinook战胜了人类跳棋 冠军Marion Tinsley，他号称自1954年之后只输过9次。 Chinook跳棋程序可以看作是状态空间搜索的里程碑，它真 正实现了用计算机密集搜索来解答复杂问题。到了2007年， 计算机的计算能力已经完全可以遍历跳棋所有状态，使计 算机可以从理论上处于不败之地。 83 1997，深蓝 随着简单游戏的逐一突破，IBM的研究者开始转向老问题国际象 棋。 在1997年，IBM的深蓝战胜当时国际象棋的世界冠军卡斯帕罗夫。到 2005年，人类顶尖棋手最后一次战胜计算机。国际象棋问题被突破。 但从本质上来看，深蓝仍然基于一个经过大量的规则修正后的极大极 小算法来下棋的，与前辈的最大差别，在于它掌握的棋局数据庞大， 所使用的超级计算机计算能力强大。 现在看来，深蓝在当时用两场比赛给很多人初次普及了人工智能的概 念，许多人开始隐约意识到，一个新的时代要到来了。 84 2011，watson 此后近十年时间，统计机器学习方法得到迅速发展，在分类问题、 识别问题、语言问题上都陆续取得一些成绩，但唯独状态空间搜索 方法，始终没有大的突破。 2011年，IBM watson在问答比赛节目Jeopardy!中击败两位人 类高手，获得冠军，把人们的视野再次拉回到搜索问题。 单纯来看，watson不能算是一个“竞技系统”，而更像是个综合了 语音、语言、理解、检索、状态空间的人工智能系统。 但从本质上来看，watson仍然沿用着半个多世纪以来的状态空间搜 索方法。 85 2011，watson 在当时，状态空间搜索寻优，几乎已经是复杂问题的标准 解法。 随着问题越来越复杂，这种方法也面临越来越多瓶颈。 86 2016，alphaGo和深度学习 时间到了2016，经过充分宣传，DeepMind的ApphaGo与李世石 的比赛成为世界关注的焦点。 在这之前，深度学习方法已经“统治”了机器视觉、语音识别、 语言智能等多个领域，人们开始期盼这种神奇的方法能够取得 新的突破。 AlphaGo没有让人类失望，或者说，又让人类失去一个智能堡 垒。它赢了。瞬间，人工智能和深度学习成为家喻户晓的名词。 87 特点1配图 AI winter II 1987-1993 AI winter I 1974-1980 1956 1970 1985 2006 now 1960 逻辑智能 计算智能 认知智能 状态空间搜索方法 深度学习方法 88 2016，alphaGo和深度学习 然而，单纯把AlphaGo的成功归功于深度学习是不完全的。 AlphaGo最大的成就，是提出了一套全新的搜索求最优解的方法论。 深度学习只是其中用来训练的一个步骤。 为了便于理解，我们可以把AlphaGo框架与我们之前介绍的A*搜索 方法做对比，可以看出其先进之处。 89 回顾：A*搜索的要素 在A*搜索中，有以下要素： （1）问题表示为状态向量，该向量中的特征一般由人工设计。（1）问题表示为状态向量，该向量中的特征一般由人工设计。 （2）模型需要对每个状态进行评价，得到状态打分。该打分函（2）模型需要对每个状态进行评价，得到状态打分。该打分函 数由人工根据具体问题来给定。数由人工根据具体问题来给定。 （3）模型需要对当前状态到终止状态的代价进行估计，即启发（3）模型需要对当前状态到终止状态的代价进行估计，即启发 函数，启发函数也需要由人工制定。函数，启发函数也需要由人工制定。 （4）模型根据状态打分和启发函数，对当前所有可能状态进行（4）模型根据状态打分和启发函数，对当前所有可能状态进行 排序，选择最优者。排序，选择最优者。 可以看出，这个过程中有大量人工参与的成分。如何针对这几个问 题进行改进？ 90 2016，alphaGo AlphaGo框架对以上问题逐一提升。 （1）首先，状态表示不再由人工设计，（1）首先，状态表示不再由人工设计， 而直接通过卷积神经网络来描述。而直接通过卷积神经网络来描述。 AlphaGo利用3万多幅专业棋手对局的棋AlphaGo利用3万多幅专业棋手对局的棋 谱来训练谱来训练深度卷积网络深度卷积网络，形成棋局的状，形成棋局的状 态表示。态表示。 该神经网络称为该神经网络称为策略网络策略网络，以当前状态，以当前状态 作为输入，输出下一步棋行棋概率。可作为输入，输出下一步棋行棋概率。可 以看作状态打分。以看作状态打分。 91 2016，alphaGo （2）为了提高原始策略网络的能力，（2）为了提高原始策略网络的能力， AlphaGo提出强化学习方法，用不同阶AlphaGo提出强化学习方法，用不同阶 段得到的策略网络相互博弈，以得到段得到的策略网络相互博弈，以得到 更好的策略网络。这就是所谓的“左更好的策略网络。这就是所谓的“左 右互搏”。右互搏”。 经过这一步，我们还可以得到“经过这一步，我们还可以得到“估值估值 网络网络”，即评价当前状态的“赢面”。”，即评价当前状态的“赢面”。 该思想与A*搜索中的该思想与A*搜索中的启发式函数启发式函数的思的思 想如出一辙。想如出一辙。 可以说，策略网络、估值网络相结合，可以说，策略网络、估值网络相结合， 解决了A*搜索中状态打分的问题。解决了A*搜索中状态打分的问题。 至此，AlphaGo完成了训练部分。至此，AlphaGo完成了训练部分。 92 2016，alphaGo （3）下面就是行棋部分了。按照A*搜索，行棋的过程就是将策略、 估值相结合，求最优的分，作为前进方向。 （3）下面就是行棋部分了。按照A*搜索，行棋的过程就是将策略、 估值相结合，求最优的分，作为前进方向。 但AlphaGo采用了更为复杂、更好的办法来替代：但AlphaGo采用了更为复杂、更好的办法来替代：蒙特拉洛树搜索蒙特拉洛树搜索。 这个方法的基本思想很简单：这个方法的基本思想很简单：以当前状态为起点，选择一种走法， 模拟N次行棋结果，其中胜局次数W，则该走法的胜率为 W/N。 以当前状态为起点，选择一种走法， 模拟N次行棋结果，其中胜局次数W，则该走法的胜率为 W/N。 93 2016，alphaGo 因此，AlphaGo的行棋的基本原理为： （1）在当前状态下，根据策略网络和估值网络，计算n种可能的（1）在当前状态下，根据策略网络和估值网络，计算n种可能的 走法。走法。 （2）对每种走法，实施蒙特卡洛树搜索N次，判断其胜率。（2）对每种走法，实施蒙特卡洛树搜索N次，判断其胜率。 （3）综合全部信息，得到最终求解出来的走法。（3）综合全部信息，得到最终求解出来的走法。 显然，这种搜索方法与A*搜索的不同在于，在搜索中引入 了随机决策，使得可以通过蒙特卡洛搜索，多此重复搜索 取最优。这也是AlphaGo能力超群的核心因素。 94 alphaGo小结 至此，我们可以发现，AlphaGo本质上解决问题的思路与A* 搜索是类似的，只是在实现中，更多借用了深度学习的超 强表示能力、蒙特拉洛树的概率优化能力。 当然不可否认，AlphaGo在实现中也使用了大量人工设定的 围棋知识。逐步优化，才能发挥模型的极致。 95 2017，从AlphaGo到AlphaZero Google并没有止步于AlphaGo，在2017年12月，他们发布新的论文 用通用强化学习算法自我对弈，掌握国际象棋和将棋表述了新 模型：AlphaZero。其核心思想是：蒙特拉洛树搜索算法生成的对 弈数据，可以作为神经网络的训练数据 既然蒙特拉洛树搜索可以产生完整的棋局，那为何不用这个棋局来 训练网络呢？有了这样的思路，计算机可以在完全没有人类棋谱的 情况下，根据围棋规则，凭空学习围棋技巧。由于训练数据量几乎 可以做到无穷大，因此这种方法的能力也能一直提高。 96 2017，从AlphaGo到AlphaZero 很快， AlphaZero就表现出惊人的能力，在仅经过若干小 时的训练后： 战胜最强国际象棋AI Stockfish：28胜，0负，72平；战胜最强国际象棋AI Stockfish：28胜，0负，72平； 战胜最强将棋AI Elmo：90胜，2平，8负；战胜最强将棋AI Elmo：90胜，2平，8负； 战胜最强围棋AI AlphaGo Zero：60胜，40负战胜最强围棋AI AlphaGo Zero：60胜，40负 至此，半个多世纪以来使用的博弈搜索方法彻底被打败。 97 2018，AlphaStar 在进入2018年之后，人工智能竞技从棋类游戏走向电子竞技， AlphaStar在短短几个月时间内就在Dota、星际争霸比赛中战胜了 人类。虽然仍然需要许多限制条件，但大趋势已经势不可挡。 98 小结 目前，人工智能竞技，是人工智能研究的又一个热点。在复杂 电竞环境下，计算机如何应对，如何决策，成为当下最前沿的 研究问题之一。 人工智能竞技从最开始“人教机器玩”，已经逐渐演变为“机 器教人玩”。相信，这也是人工智能未来发展的一种趋势。 人工智能并没有突破人类所制定的规则，但在某些问题上，人 工智能可以帮助人类寻找到更好的解决办法。 99 至此，我们完成了课程的所有内容。 谢谢大家的关注和支持。我们下一期课程再见！ 100