(6.3)--6.3 Adaboost算法机器学习与模式识别.ppt

Adaboost自适自适应提升算法提升算法CHAPTER ONE算法概述Algorithm Summary 一、算法概述一、算法概述Adaboost是Boosting方法中最著名的算法之一Adaboost采用面向二分类问题的加法模型假设：概念与模型使用时：以sign()的输出+1或-1为最终分类结果一、算法概述一、算法概述如何保证总体性能？“好而不同”思路：个体损失+个体权重+串行训练+样本重赋权Adaboost的思路CHAPTER TWO算法推导Algorithm Deduction二、算法推导二、算法推导符号定义二、算法推导二、算法推导损失函数最小化最大后验概率分类准则二、算法推导二、算法推导前向分步优化条件损失函数的二阶泰勒展开11二、算法推导二、算法推导前向分步优化假设：二、算法推导二、算法推导前向分步最小化目标函数求导CHAPTER THREE算法步骤Algorithm Steps三、算法步骤三、算法步骤核心思想总体策略三、算法步骤三、算法步骤核心公式(;,)三、算法步骤三、算法步骤算法流程输入入1234567输出出三、算法步骤三、算法步骤基学习器的选择要求：比较容易将样本权重整合到基学习器的训练过程中基学习器的表征和泛化能力便于用参数来调节数据（权重）扰动对基学习器训练结果影响较大常用基学习器：决策树，以CART为主；神经网络，以多层感知器为主；总结Su m m a r yBoosting策略提升方法提升方法boostingboostingAdaboost算法概念解释提升的思路前向分步优化的思路加权思想Adaboost简介及优化目标Adaboost分类依据的推导Adaboost的思路Adaboost参数的学习Adaboost算法流程例题LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听