第8章 强化学习ppt课件.pptx

《第8章 强化学习ppt课件.pptx》由会员分享，可在线阅读，更多相关《第8章 强化学习ppt课件.pptx（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、章 节 目 录8.1 8.1 强化学习概述强化学习概述8.2 8.2 马尔可夫决策过程马尔可夫决策过程8.3 Q-Learning8.3 Q-Learning8.4 8.4 强化学习应用概述强化学习应用概述8.5 8.5 案例分析案例分析什么是强化学习？什么是强化学习？ 强化学习是机器学习的一个分支，与传统的机器学习方法不同，需要对情景及恰当的决策之间进行搜索，根据反馈对这种搜索策略进行奖罚，是一种序列多步决策问题。 强化学习是介于监督学习（即利用目标数据给出的正确答案来训练）和非监督学习（即算法只能探索相似的数据来逼近）之间的弱监督学习方法。发展历史发展历史 1954年，Minsky首次提出

2、“强化”和“强化学习”的概念和术语。 1957年，Bellman首次提出了离散时间马尔可夫决策过程，成为现代强化学习的理论基础。 1960年，Howard提出马尔科夫决策过程的策略迭代方法。 1989年，Watkins提出的Q-Learning进一步拓展了强化学习的应用和完备了强化学习。 1992年，Tesauro成功将强化学习应用到西洋双陆棋中。巴甫洛夫的狗巴甫洛夫的狗 狗：实验的主角。 实验者：负责操控和运转实验。 铃铛：给狗的一个刺激。 口水：狗对刺激的反应。 食物：给狗的奖励，也是改变狗行为的关键。巴甫洛夫的狗巴甫洛夫的狗 实验的主角：Agent，智能体。 实验的操控者：System

3、Environment，系统环境。 给Agent 的刺激(铃铛)：State，状态。 Agent的反应(口水)：Action，行动。 Agent的奖励(食物)：Reward，回报或者反馈。强化学习过程强化学习过程1. 在每一个时刻，环境都将处于一种状态。2. 智能体将设法得到环境当前状态。3. 智能体根据当前状态，结合策略(Policy)做出行动。4. 这个行动使智能体得到两部分信息：新的状态和行为的回报。强化学习的核心机制：用试错强化学习的核心机制：用试错（trail-and-error）来学会在给定来学会在给定的情境下选择最恰当的行为。的情境下选择最恰当的行为。马尔可夫决策过程马尔可夫决策

4、过程策略策略( (policy) ) 策略表示智能体在状态s时采取行动a的概率 策略决定于当前状态，与历史状态无关 策略一般是固定的，不随时间变化长期回报长期回报 策略的优劣不仅仅靠当前的延时奖励决定，还要计算执行这一策略后得到的长期累计奖励，即长期回报价值函数价值函数2. 状态行动价值函数：已知当前状态s和行动a，按照策略行动产生的回报期望，即 策略的价值由价值函数进行计算，即该策略带来的期望累积奖赏，策略的价值函数可以分为两种类型：贝尔曼贝尔曼( (Bellman) )公式公式 价值函数可以以递归的形式表示，假设价值函数已经稳定，任意一个状态的价值可以由其他状态的价值表示。 类似的，可求得

5、状态行动价值函数的贝尔曼公式 状态价值函数的贝尔曼公式转换公式转换公式转换公式转换公式 结合上述两式，可以得到如图所示的关系，即最优策略最优策略 解决马尔可夫决策过程或者说强化学习问题意味着要找到最优的策略，使每一个状态对应行动的价值最大化。这相当于求解 基于状态行动价值函数，可以定义最优策略为实例：学习任务实例：学习任务Q-Learning算法算法主要思想主要思想Q-Table行动选取策略：行动选取策略： ?-greedy价值函数更新策略价值函数更新策略算法流程算法流程算法算法：Q-Learning算法2) 重复：3) 初始化s为当前状态序列的第一个状态；4) 用目前的策略选择动作a；5)

6、重复：7) 采取动作a并得到奖励r；11) 更新Q；计算机博弈计算机博弈 计算机博弈是强化学习领域最具挑战性的研究方向之一，其相关研究带来了很多重要的方法和理论。 AlphaGo面临的是一个超大转移空间的问题，同时还是一个带有超长延时训练标注的问题，一开始的棋，不太好量化好坏，直到很后面才能够数出各自大概的目数，判断输赢，这就可以归结成为一个深度强化学习问题。 这个问题恰恰可以用深度 的递归神经网络（DRNN） 解决。机器人控制机器人控制 在机器人控制领域，智能体策略执行及策略评估涉及真实的物理场景，样本的采集非常繁琐和困难。 一方面，从智能体执行策略到获取环境反馈需要消耗时间，策略优化的样本

7、需求往往较大，导致样本采集过程非常繁琐。 另一方面，在虚拟环境中环境反馈可以以反馈信号的形式直接传递给智能体，然而在真实场景中，为了让智能体实现完全的自监督训练，需要赋予智能体自主观察环境反馈并总结奖励的能力，对智能体的感知能力具有相当高的要求。游戏游戏 在游戏任务中，采集样本较容易，各种高性能的强化学习算法都获得应用的空间，使得强化学习在各类游戏中的表现异常出色。 2018 年的DOTA2 世界锦标赛中，OpenAI基于深度强化学习开发的机器人程序尝试与人类玩家组成的队伍竞技，最终人类玩家以微弱优势取胜，宣告目前强化学习在竞技游戏中的能力极限。其他方面其他方面 除了上述领域，强化学习在自然语

8、言处理、自动驾驶、检索与推荐系统等领域也有相关应用。 人类驾驶机动车的过程本质上是一个根据路况进行决策的过程，这一决策过程完全可以使用强化学习算法实现。 蒙特利尔学习算法研究所（MAIL）为亚马逊Alexa 竞赛开发的聊天机器人（MAILBOT）程序中使用了强化学习算法。 强化学习中的Bandit算法已经广泛应用于各种推荐系统中，Google 公司还用强化学习方法来降低其数据中心的能耗。使用马尔可夫决策过程求解最优策略使用马尔可夫决策过程求解最优策略 本案例将如图所示的环境抽象为马尔可夫决策过程模型并求解最优策略。寻宝游戏寻宝游戏 游戏规则游戏规则（1）探索者每次可以上下左右行动一个方格；（2）除陷阱和宝藏位置外，探索者每次行动获得的奖励为0；（3）陷阱位置固定不变，如果探索者走入陷阱，获得的奖励为-1且本轮训练结束；（4）宝藏位置固定不变，如果探索者获得宝藏，获得的奖励为1且本轮训练结束。案例代码地址：xxxxxxxxxxxxxxxxxxxxxxxxx