(5.1)--5.1 决策树基础机器学习与模式识别.ppt

《(5.1)--5.1 决策树基础机器学习与模式识别.ppt》由会员分享，可在线阅读，更多相关《(5.1)--5.1 决策树基础机器学习与模式识别.ppt（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Foundation of Decision Tree决策决策树基基础CHAPTER ONE“分而治之”策略Divide-and-Rule一、一、“分而治之分而治之”策略策略非线性分类策略：“委曲求全”与“分而治之”“委曲求全”在特征空间中构建决策超曲面“分而治之”用一系列决策超平面将特征空间分解为多个局部区域一、一、“分而治之分而治之”策略策略三个核心问题局部区域的产生如何分割局部区域局部判别函数的数学形式局部区域的总体结构如何组合局部判别函数局部判别函数的使用架构和次序局部划分方案的优化策略如何保证整体分类性能最优局部判别函数的特征与参数选择CHAPTER TWO后验概率估计 Poster

2、ior Probability Estimation二、后验概率估计二、后验概率估计局部区域后验概率统一区域，复杂分布“分而治之”多个分区，简单分布特征空间分解为一系列更加“纯粹”的子区域子区域内样本均来自同一类别估计整个特征空间的后验概率“分而治之”的数学本质：二、后验概率估计二、后验概率估计后验概率问题分解对于特征空间分解出的每个子区域 ：若子区域 中的样本均来自于类别 ，可近似认为即任意落入子区域 的样本均应被分为 类复杂概率模型的估计问题特征空间划分问题CHAPTER THREE决策树框架Decision Tree Framework三、决策树框架三、决策树框架结构与概念根节点(Root node)存储所有训练样本内部节点(Internal node)分裂出子节点叶子节点末端节点给出分类结果判断客户是否有贷款意向三、决策树框架三、决策树框架决策树操作分裂终止判断客户是否有贷款意向三、决策树框架三、决策树框架决策树操作分裂剪枝判断客户是否有贷款意向总结决策树决策树基础基础“分而治之”策略“委曲求全”与“分而治之”三个核心问题总体结构形式局部判别函数模型优化策略后验概率估计决策树框架局部区域后验概率后验概率问题分解结构与概念基本操作树状结构根节点内部节点叶子节点分裂终止剪枝LM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听