决策树方法应用实例优秀课件.ppt
决策树方法应用实例第1页，本讲稿共16页解：由题意可知：解：由题意可知：s14，类标号属性，类标号属性“购买电脑购买电脑”有两个不同值（即会购买，不会有两个不同值（即会购买，不会购买），因此有两个不同的类（即购买），因此有两个不同的类（即m2）。设类）。设类C1对应于对应于“会购买会购买”，类，类C2对应于对应于“不会购买不会购买”。则。则s19，s25，p19/14，p2=5/14。计算对给定样本分类所需的期望信息：计算对给定样本分类所需的期望信息：计算每个属性的熵。计算每个属性的熵。先计算属性先计算属性“年龄年龄”的熵。的熵。对于年龄对于年龄“40”：s13=3，s23=2，p13=3/5，p23=2/5，如果样本按如果样本按“年龄年龄”划分，对一个给定的样本分类所需的期望信息为：划分，对一个给定的样本分类所需的期望信息为：因此，这种划分的信息增益是因此，这种划分的信息增益是 Gain(年龄年龄)=I(s1,s2)-E(年龄年龄)=0.246。计算计算“收入收入”的熵。的熵。对于收入对于收入“高高”：s11=2，s21=2，p11=0.5，p21=0.5，对于收入对于收入“中等中等”：s12=4，s22=2，p12=4/6，p22=2/4，第3页，本讲稿共16页对于收入对于收入“低低”：s13=3，s23=1，p13=3/4，p23=1/4，如果样本按如果样本按“收入收入”划分，对一个给定的样本分类所需的期望信息为：划分，对一个给定的样本分类所需的期望信息为：因此，这种划分的信息增益是因此，这种划分的信息增益是 Gain(收入收入)=I(s1,s2)-E(收入收入)=0.940-0.9110.029。计算计算“学生学生”的熵。的熵。对于学生对于学生“是是”：s11=6，s21=1，p11=6/7，p21=1/7，第4页，本讲稿共16页对于学生对于学生“否否”：s12=3，s22=4，p12=3/7，p22=4/7，如果样本按如果样本按“学生学生”划分，对一个给定的样本分类所需的期望信息为：划分，对一个给定的样本分类所需的期望信息为：因此，这种划分的信息增益是因此，这种划分的信息增益是 Gain(学生学生)=I(s1,s2)-E(学生学生)=0.940-0.7890.151。计算计算“信用等级信用等级”的熵。的熵。对于信用等级对于信用等级“一般一般”：s11=6，s21=2，p11=6/8，p21=2/8，对于信用等级对于信用等级“良好良好”：s12=3，s22=3，p12=3/6，p22=3/6，第5页，本讲稿共16页如果样本按如果样本按“信用等级信用等级”划分，对一个给定的样本分类所需的期望信息划分，对一个给定的样本分类所需的期望信息为：为：因此，这种划分的信息增益是因此，这种划分的信息增益是 Gain(信用等级信用等级)=I(s1,s2)-E(信用等级信用等级)=0.940-0.8920.048。由于由于“年龄年龄”属性具有最高信息增益，它被选作测试属性。创建一个属性具有最高信息增益，它被选作测试属性。创建一个节点，用节点，用“年龄年龄”标记，并对每个属性值引出一个分支。样本据此划标记，并对每个属性值引出一个分支。样本据此划分，如图所示。分，如图所示。第6页，本讲稿共16页收入学生信用等级类高否一般会购买会购买低是良好会购买会购买中等否良好会购买会购买高是一般会购买会购买收入学生信用等级类高否一般不会购买高否良好不会购买中等否一般不会购买低是一般会购买中等是良好会购买收入学生信用等级 类中等否一般会购买低是一般会购买低是良好不会购买中等是一般会购买中等否良好不会购买40年年 龄龄第7页，本讲稿共16页收入 学生信用等级 类高否一般不会购买高否良好不会购买中等否一般不会购买低是一般会购买中等是良好会购买表表1 年龄年龄=30当年龄当年龄40第12页，本讲稿共16页年年 龄龄?学学 生生?信用等级信用等级?会购买会购买不会购买不会购买会购买会购买会购买会购买不会购买不会购买40一般一般良好良好是是否否“购买电脑购买电脑”的决策树的决策树第13页，本讲稿共16页由决策树产生分类规则由决策树产生分类规则 对上图进行分析，提取的关联规则是：对上图进行分析，提取的关联规则是：对上图进行分析，提取的关联规则是：对上图进行分析，提取的关联规则是：IF 年龄年龄“=30”AND 学生学生“否否”THEN 购买电脑购买电脑“不会购买不会购买”IF 年龄年龄“40”AND 信用等级信用等级“良好良好”THEN 购买电脑购买电脑“不会购买不会购买”IF 年龄年龄“40”AND 信用等级信用等级“一般一般”THEN 购买电脑购买电脑“会购买会购买”第14页，本讲稿共16页 论文中的应用论文中的应用题目：决策树算法的研究与应用题目：决策树算法的研究与应用 作者：杨静作者：杨静1，张楠男，张楠男2，李建，李建1，刘延明，刘延明1，梁美红，梁美红1 (1西南石油大学，四川成都西南石油大学，四川成都610500；2西南油气田分公司信息中心，四川成都西南油气田分公司信息中心，四川成都610500)发表期刊：发表期刊：计算机技术与发展计算机技术与发展 第第20卷第卷第2期期 2010年年2月月 摘摘要要：主主要要研研究究了了数数据据挖挖掘掘中中决决策策树树算算法法的的基基本本思思想想和和算算法法。针针对对目目前前钻钻井井过过程程故故障障诊诊断断的的需需求求，结结合合决决策策树树算算法法的的特特点点，提提出出了了一一种种基基于于决决策策树树的的钻钻井井过过程程故故障障诊诊断断专专家家系系统统模模型型。分分析析了了钻钻井井系系统统事事故故状状态态下下的的相相关关特特征征参参数数，并并对对基基于于决决策策树树的的钻钻井井过过程程状状态态和和知知识识获获取取进进行行了了详详细细的的论论述述。通通过过实实例例运运用用ID3算算法法实实现现了了决决策策树树的的建建立立，为为钻钻井井过过程程故故障障诊诊断断奠奠定定了了坚坚实实的的基基础础。最最后后提提出出了了对对算算法法的的改改进进，综综合合对对实实际际数数据据的的处处理理结结果果表表明明，基基于于数数据据挖挖掘掘的的决决策策树树算算法法可可以以很很好好地地识识别钻井过程中的不同状态，能够实现故障诊断。别钻井过程中的不同状态，能够实现故障诊断。第15页，本讲稿共16页论文中的应用论文中的应用结语：文中在论述了决策树算法的基础上，结合钻井工程与工艺，将决策树应用结语：文中在论述了决策树算法的基础上，结合钻井工程与工艺，将决策树应用于这一领域。利用决策树知识表示与获取集于一身的优点，对基于决策树的钻井于这一领域。利用决策树知识表示与获取集于一身的优点，对基于决策树的钻井过程故障诊断专家系统提出了初步的应用模型。过程故障诊断专家系统提出了初步的应用模型。但该算法对大量数据的实现还有待但该算法对大量数据的实现还有待下一步的工作去改进。下一步的工作去改进。可以继续研究：可以学习可以继续研究：可以学习ID3算法的改进算法的改进C4.5算法，并结合应用。算法，并结合应用。第16页，本讲稿共16页
