(6.1)--6.1 集成学习基础.ppt

《(6.1)--6.1 集成学习基础.ppt》由会员分享，可在线阅读，更多相关《(6.1)--6.1 集成学习基础.ppt（19页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Ensemble Learning Foundation集成学集成学习基基础CHAPTER ONE加法模型Additive Model一、加法模型一、加法模型单一特定形式的函数通常无法精确描述真实映射()加法模型可以更加精确地逼近真实映射()为什么使用加法模型？泰勒展开幂 函 数加法模型数学描述傅 里 叶 展 开高 斯 混 合 模 型三角函数高斯函数基 函 数一、加法模型一、加法模型真实()未知，无法使用特定公式求取系数建立一种基于训练数据的学习算法解决该问题用参数化基函数描述()：简化加法模型一、加法模型一、加法模型问题转换单个基函数的参数如何服务于整体目标函数的优化？多个基函数的参数学习过

2、程是否相互影响？CHAPTER TWO集成学习概念Conceptions of Ensemble Learning二、集成学习概念二、集成学习概念集成学习与加法模型很相似，但范围更广“群起攻之”策略个体学习器1结合方式个体学习器2个体学习器3输出二、集成学习概念二、集成学习概念个体学习器(Individual learner)：参与集成的学习器单元同质(Homogeneous)：个体学习器类型相同异质(Heterogeneous)：个体学习器类型不同基学习器(base learner)：“同质”的个体学习器组件学习器(Component learner)：“异质”的个体学习器弱学习器：预测结果

3、比随机猜测略好的学习模型强学习器：预测结果明显比随机猜测好的学习模型集成学习的常见概念CHAPTER THREE多样性解释Diversity Explanation三、多样性解释三、多样性解释“好而不同”弱学习器设计规则好：好：个体学习器应至少为弱学习器不同：不同：不同个体学习器的预测结果存在多样性矛盾性核心问题：“好”与“不同”之间的最佳平衡点测试集集123h1h2h3f测试集集123h1h2h3f测试集集123h1h2h3fCHAPTER FOUR集成学习策略Ensemble Learning Strategy 四、集成学习策略四、集成学习策略如何基于个体分类器的分类结果给出最终结果集成策

4、略加权平均法投票法学习法个体学习器的学习顺序：并行还是串行？个体学习器如何保持多样性？学习策略问题四、集成学习策略四、集成学习策略加权平均法集成策略四、集成学习策略四、集成学习策略投票法集成策略绝对多数投票若某一类的得票数高于50%，给出分类结果若没有类别的票数高于50%，拒绝分类相对多数投票某一类的得票数高于其他类别即可进行分类加权投票为每个个体学习器赋予权重，根据加权票数分类加权投票在分类问题上基本等效于加权平均法四、集成学习策略四、集成学习策略学习法集成策略四、集成学习策略四、集成学习策略集成学习框架下的个体分类器的学习方法个体分类器学习存在两种典型策略：学习策略boosting：提升法

5、个体学习器串行学习，集成性能逐步“提升”如何保证不同：个体学习器对训练样本加以不同本加以不同权重重bagging：bootstrap aggregating，自举法或装袋法个体学习器并行学习，学习过程相互独立如何保证不同：个体学习器采用不同不同训练集集总结Summary“群起攻之”策略常见概念加法模型的作用数学描述简化加法模型问题转换个体学习器同质与异质基学习器弱学习器强学习器集成策略学习策略弱学习器设计规则boostingbagging加权平均法投票法学习法 Stacking加法模型集成学习基础集成学习基础集成学习概念多样性解释集成学习策略LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听