(12)--第16章 强化学习（上）机器学习模型与算法.ppt

强化学习概述n 任务与奖赏nK-摇臂赌博机n有模型学习n免模型学习n 值函数近似n模仿学习21.任务与奖赏n 例子：瓜农种西瓜缺水健康溢水缺水种下瓜苗后：(为简便，仅考虑浇水和不浇水两个动作，不考虑施肥、除草等)健康收获好西瓜浇水不浇水浇水浇水1.任务与奖赏n 例子：瓜农种西瓜u多步决策过程u过程中包含状态、动作、反馈(奖赏)等u需多次种瓜，在过程中不断摸索，才能总结出较好的种瓜策略缺水健康溢水缺水种下瓜苗后：(为简便，仅考虑浇水和不浇水两个动作，不考虑施肥、除草等)健康收获好西瓜浇水不浇水浇水浇水抽象该过程：强化学习(reinforcement learning)1.任务与奖赏1.任务与奖赏1.任务与奖赏=1.任务与奖赏n强化学习 vs.监督学习u监督学习：给有标记样本u强化学习：没有有标记样本，通过执行动作之后反馈的奖赏来学习示例标记分类器/回归器强化学习在某种意义上可以认为是具有“延迟标记信息”的监督学习状态动作策略2.K-摇臂赌博机nK-摇臂赌博机(K-Armed Bandit)u只有一个状态，K个动作u每个摇臂的奖赏服从某个期望未知的分布u执行有限次动作u最大化累积奖赏2.K-摇臂赌博机2.2 Softmax2.2 Softmaxn两种算法都有一个折中参数(,)，算法性能孰好孰坏取决于具体应用问题2.4 离散空间强化学习n离散空间状态空间、离散动作空间上的多步强化学习任务u方法：l每个状态上动作的选择看作一个 K-摇臂赌博机问题lK-摇臂赌博机算法奖赏函数：强化学习任务的累积奖赏u局限：未考虑马尔科夫决策过程3.有模型学习3.有模型学习步累积奖赏；折扣累积奖赏.3.有模型学习(全概率公式)Bellman等式3.有模型学习n策略评估算法：3.有模型学习3.有模型学习n策略改进：将非最优策略改进为最优策略u最优值函数/最优策略满足：u非最优策略的改进方式：将策略选择的动作改为当前最优的动作最优Bellman等式3.有模型学习p策略迭代(policy iteration)：求解最优策略的方法u随机策略作为初始策略u策略评估+策略改进+策略评估+策略改进+u直到策略收敛n策略迭代算法的缺点u每次改进策略后都要重新评估策略，导致耗时3.有模型学习n值迭代算法：u策略改进与值函数改进是一致的，因此可将策略改进视为值函数的改善3.有模型学习n有模型学习小结u强化学习任务可归结为基于动态规划的寻优问题u与监督学习不同，这里并未涉及到泛化能力，而是为每一个状态找到最好的动作n问题：如果模型未知呢？End26