人工智能课件 －07机器学习.ppt

《人工智能课件 －07机器学习.ppt》由会员分享，可在线阅读，更多相关《人工智能课件 －07机器学习.ppt（81页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第7章 机器学习第一节 基本概念1、学习对“学习”概念研究有较大影响的几种观点：(1)学习是系统改进其性能的过程-西蒙的观点(2)学习是获取知识的过程-ES专家的观点(3)学习是技能的获取-心理学家的观点(4)学习是事物规律的发现过程- AI专家的观点学习是一个有特定目的的知识获取过程，其内在的行为是获取知识、积累经验、发现规律；外部表现为改进性能、适应环境、实现系统的自我完善。第一节 基本概念2、机器学习 所谓机器学习就是使计算机能模拟人的学习行为，自动地通过学习获取知识和技能，不断改善其性能，实现自我完善。 (1)学习机理的研究；(2)学习方法的研究；(3)面向任务的学习。第一节 基本概念

2、大致分为四个阶段。(1)第一阶段，20世纪50年代中期到60年代中期，称为热烈时期。研究的内容主要是“没有知识”的学习，其对象是各类自组织系统和自适应系统，主要方法是不断修改系统的控制参数以改进系统的性能，不涉及与具体任务有关的知识。(2)第二阶段，20世纪60年代中期到70年代中期，称为冷静时期。研究目标是模拟人类的概念学习过程，并采用逻辑结构和图结构作为机器内部的描述。第一节 基本概念(3)第三阶段，20世纪70年代中期到80年代中期，称为复兴时期。单概念学习扩展到多概念学习，探索不同的学习策略和学习方法。机器的学习过程一般建立在大规模的知识库上，实现知识强化学习。示例归约学习成为研究的主

3、流。(4)第四阶段，20世纪80年代中期以后，符号学习由“无知”学习转向到有专门领域知识的增长型学习，因而出现了有一定知识背景的分析学习。第二节 主要策略与基本结构 机械学习策略 指导式学习策略 类比学习策略 示例学习策略q1、按系统的学习能力分 有监督学习 无监督学习q2、按学习方法分 机械式学习 指导式学习 类比学习 示例学习 解释学习q3、按推理方式分 演绎学习 归纳学习q4、按综合属性分 归纳学习 分析学习 连接学习 遗传算法 分类器系统第二节 主要策略与基本结构第二节 主要策略与基本结构环境学习知识库执行学习系统的基本结构学习系统的基本结构 一个学习系统应具有环境、学习、知识库、执行

4、四个要素。 1973年莎利斯关于机器学习系统的定义：如果一个系统能够从某个过程或环境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策或控制，以便改进系统的性能，那么它就是学习系统，因此，一个学习系统应具有环境、具有一定的学习能力、能应用知识求解问题、能提高系统的性能。环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。第二节 主要策略与基本结构(1)环境向系统提供的信息质量(2)知识的表示形式 表达能力 易于推理 容易修改知识库 知识表示易于扩展第三节 机械学习 机

5、械学习又称为死记硬背式学习，是一种最简单、最原始的学习方法。把新的知识存储起来，供需要时检索调用，而无需推理和计算。 在机械学习中只记忆计算的输入输出，忽略计算过程，因此就把计算问题化简成存储问题。即：(X1,X2,Xn) (Y1,Y2,Ym)f( (X1,X2,Xn)(Y1,Y2,Ym) )第三节 机械学习(1)存储信息的组织；(2)环境的稳定性与存储的信息的通用性；(3)存储与计算之间的权衡。第四节 归纳学习 归纳学习是应用归纳推理进行学习的一类方法，分为示例学习(有教师)、观察与发现学习(无教师)两种。从具体到一般的推理方法。(1).归纳出的结论只能以某种程度相信它为真；(2).归纳推理

6、是非单调的。第四节 归纳学习1、枚举归纳2、联想归纳3、类比归纳4、逆推理归纳5、消除归纳1、枚举归纳 设a1,a2,an是某类事物A中的具体事物，若已知a1,a2,an都有属性P，并且没有发现反例，当n足够大时，就可得出结论：“A中所有事物都具有属性P”。例如、张三是足球运动员，他的体格健壮。 李四是足球运动员，他的体格健壮。 刘六是足球运动员，他的体格健壮。当事实足够多时，可归纳出：“凡是足球运动员，他的体格一定健壮”的一般性结论。第四节 归纳学习第四节 归纳学习如果，每个实例都带有一定得可信度因子，例如、张三是足球运动员，他的体格健壮(0.95)。 李四是足球运动员，他的体格健壮(0.9

7、0)。 刘六是足球运动员，他的体格健壮(1.0)。则可用各个实例可信度的平均值作为一般知识的可信度。例如、得出的结论： “凡是足球运动员，他的体格一定健壮” (0.95)第四节 归纳学习2、联想归纳 若已知两个事物a与b有n个属性相似或相同，即 a具有属性P1，b具有属性P1 a具有属性P2，b具有属性P2 a具有属性Pn，b具有属性Pn发现a具有属性Pn+1，则当n足够大时，可归纳出： b也具有属性Pn+1 的结论。第四节 归纳学习3、类比归纳设A、B分别是两类事物的集合： A=a1,a2, B=b1,b2,并ai和bi总是成对出现，且当ai有属性P时，bi就有属性Q与之对应，即 P(ai)

8、Q(bi)则当A与B有一对新元素出现时，设为a和b，若已知a有属性P，就可得出b有属性Q，即 P(a)Q(b)第四节 归纳学习4、逆推理归纳 是一种由结论成立而推出前提以某种可信度成立的归纳方法。一般模式是：(1)若H为真时，则HE必为真或以可信度cf1成立；(2)观察到E成立或以可信度cf2成立；(3)则H以某种可信度cf成立。表示为： H E cf1 E cf2 H cfcf的计算方法可根据问题的实际情况而定。例如，可把P(E|H)当成HE的可信度cf1，则EH的可信度cf1可按Bayes公式计算。由cf1和cf2就可计算出H的可信度 cf = cf1cf2第四节 归纳学习5、消除归纳 当

9、我们对某个事物发生的原因不清楚时，通常会作一些假设，这些假设之间是析取关系。以后，随着对事物认识的不断深化，原先作出的某些假设有可能被否定，经过若干次否定后，剩下的就可作为事物发生的原因。这样的思维过程称为消除归纳。已知： A1 V A2 V V An A1 Ai 结论： Aj第四节 归纳学习 示例学习是通过从环境中获得若干与某个概念相关的示例，经归纳得出一般性概念的学习方法。示例空间搜索解释形成知识知识库验证第四节 归纳学习首先从示例空间中选择合适的训练示例，然后经解释归纳出一般性知识，最后再从示例空间中选择更多的示例对它进行验证。“搜索”作用是从示例空间中查找所需的示例；“解释”是从搜索到

10、的示例中抽象出所需的有关信息供形成知识使用。“形成知识”通过综合、归纳等形式形成一般的知识。“验证”检验所形成的知识的正确性。第四节 归纳学习2、形成知识的方法(1)变量代换常量 是枚举归纳的常用方法。例如，“同花”概念的形成示例1：花色(c1,C)花色(c2,C)花色(c3,C) 花色(c4,C) 同花(c1,c2,c3,c4)示例2：花色(c1,H)花色(c2,H)花色(c3,H) 花色(c4,H) 同花(c1,c2,c3,c4)将这两个示例中的常量C和H用变量x代换即可形成一般性知识： 花色(c1,x)花色(c2,x)花色(c3,x) 花色(c4,x) 同花(c1,c2,c3,c4)第四

11、节 归纳学习(2)舍弃条件 是把示例中的某些无关条件的子条件舍去。例如： 花色(c1,C) 点数(c1,2) 花色(c2,C) 点数(c2,4) 花色(c3,C) 点数(c3,6) 花色(c4,C) 点数(c4,2) 同花(c1,c2,c3,c4)由于点数对形成“同花”概念无直接影响，则可把示例中的“点数”舍去。第四节 归纳学习(3)增加操作 有时需要通过增加操作来形成知识，常用的方法有前件析取法和内部析取法。 通过对示例的前件进行析取形成知识。例如，“脸牌”示例1: 点数(c1,J)脸(c1)示例2: 点数(c1,Q)脸(c1)示例3: 点数(c1,K)脸(c1)若将各示例的前件进行析取，则

12、可得到一般知识：规则：点数(c1,J) V 点数(c1,Q) V 点数(c1,K)脸(c1)第四节 归纳学习：在示例的表示中使用集合与集合间的成员关系来形成知识。例如，“脸牌”示例1: 点数(c1)J脸(c1)示例2: 点数(c1)Q脸(c1)示例3: 点数(c1)K脸(c1)用内部析取法可得到一般知识： 规则：点数(c1)J,Q,K脸(c1)第四节 归纳学习(4)合取变析取 是通过把示例中条件的合取关系变为析取关系来形成一般性知识的。 例如，由“男同学和女同学可以组成一个班”，可以归纳出“男同学或女同学可以组成一个班”(5)归结归纳 利用归结原理，可得到如下形成知识的方法。 PE1H PE2

13、H可得到： E1E2H第四节 归纳学习 观察学习(主要用于概念聚类) 观察与发现学习 机器发现(发现规律、或规则)1、概念聚类 把示例按一定的方式和准则进行分组，如划分为不同的类、不同的层次等，使不同的组代表不同的概念，并且对每一组进行特征概括，得到一个概念的语义描述。2、机器发现 困难的。第五节 类比学习 类比学习是通过对相似事物进行比较所进行的一种学习方法，基础是类比推理。 例如、卢瑟福将原子结构和太阳系进行类比，发现了原子结构；水管中的水压计算公式与电路中的电压计算公式相似。第五节 类比学习 类比推理是指，由新情况与记忆中的已知情况在某些方面相似，从而推出它们在其他相关方面也相似。 类比

14、推理是在两个相似域之间进行的：一个是已认识的域，称为源域，记为 S；另一个是当前尚未完全认识的域，称为目标域，记为T。类比推理的目的就是从S中选出与当前问题最近似的问题及其求解方法来求解当前的问题，或者建立起目标域中已有命题间的联系，形成新知识。 设S1、T1分别表示 S 与 T 中的某一情况，且S1与T1相似，再假设S2与S1相关，则由类比推理可推出T中的T2,且T2与S2相似。第五节 类比学习(1)回忆与联想 通过回忆与联想在S中找出与当前问题相似的问题。(2)选择 从S的相似的问题选出最相似的问题。(3)建立对应关系 在S与T相似的问题之间建立相似元素的对应关系，并建立相应的映射。(4)

15、转换 把S中的有关知识引入到T中，从而建立起求解当前问题的方法或者学习到关于T的新知识。第五节 类比学习 设有两个具有相同或相似的论域：源域S和目标域T，且已知S中的元素a和T中的元素b具有相似的属性P，即P(a) P(b)，a还具有属性Q，即Q(a)。根据类比推理，b也具有属性Q。即 P(a)Q(a), P(a) P(b) |- Q(b)Q(a)第五节 类比学习主要包括四个过程(1)输入一组已知条件(已解决的问题)和一组未完全确定的条件(新问题)；(2)对输入的两组条件，根据其描述，按某种相似性的定义寻找两者可类比的对应关系；(3)根据相似变换的方法，将已解决的问题的概念、特性、方法、关系等

16、映射到新问题上，以获得待求解新问题的新知识；(4)对类比推理中得到的新知识进行验证。第五节 类比学习(1)问题求解型的类比学习 是当求解一个新问题时，总是首先回忆以 前是否求解过类似的问题，若是，则可以 此为根据，通过对先前的求解过程加以适 当修改，使之满足新问题的解。(2)预测推定型的类比学习 又分为传统的类比法和因果关系型的类比两种类型。第五节 类比学习 传统类比法 传统类比法可用来推断一个不完全确定的事物可能还具有的其他属性。 因果关系型类比 因果关系型类比的基本问题是：已知因果关系S1:AB，给定事物 A与A相似，则可能有与B相似的事物B满足因果关系 S2: AB。 等价匹配：两个对象

17、之间具有完全相同的特性数据。 选择匹配：选择中特性进行匹配。 规则匹配：规则的前提和结论都匹配，则规则匹配。 启发式匹配：通过抽象，在更高层次上进行匹配。第六节 解释学习 一种分析学习方法。 通过运用相关的领域知识，对当前提供的实例进行分析，从而构造解释并产生相应的知识。 已建立的系统，米切尔的LEX、LEAP；明顿的PRODIGY等。第六节 解释学习 通过运用相关的领域知识及一个训练实例来对某个目标概念进行学习，并最终形成对这个概念的一般性描述。给定：领域知识DT, 目标概念TC, 训练实例TE, 操作性准则OC。找出：满足OC的关于TC的充分条件。第六节 解释学习 1、构造解释 学习过程

18、2、获取一般性知识1、构造解释 证明提供给系统的训练实例为什么是满足目标概念的一个实例。 证明过程通过运用领域知识进行演绎实现，证明的结果是得到一个解释结构。 例如、设要学习的目标概念是“一个物体(Obj1)可以安全地放置在另一个物体(Obj2)上”，即 Safe-To-Stack( Obj1, Obj2 )第六节 解释学习第六节 解释学习： On(Obj1, Obj2) Isa(Obj1, book-AI) Isa(Obj2, table-book) Volume(Obj1, 1) Density(Obj1, 0.1)第六节 解释学习 Fragile(y) Safe-To-Stack(x,y

19、) Lighter(x,y) Safe-To-Stack(x,y) Volume(p,v)Density(p,d)*(v,d,w)Weight(p,w) Isa(p, table-book) Weight(p,15) Weight(p1,w1)Weight(p2,w2)smaller(w1,w2) Lighter(p1,p2)第六节 解释学习Safe-To-Stack(Obj1,Obj2)Lighter(Obj1,Obj2)Weight(Obj1,0.1)Weight(Obj2,15)Smaller(0.1,15)Isa(Obj2,table-book)Volume(Obj1,1)Densit

20、y(Obj1,0.1)*(1,0.1,0.1)第六节 解释学习 对解释结构进行一般化处理，从而得到关于目标概念的一般性知识。 ：通常是把常量代换为变量，并把某些不重要的信息去掉，只保留对以后求解问题所必须的关键信息。 对上面的解释结构进行一般化处理可以得到一般的解释结构。第六节 解释学习Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,15)Smaller(w1,15)Isa(O2,table-book)Volume(O1,v1)Density(O1,d1)*(v1,d1,w1)第六节 解释学习得到的一般知识： Volume(O1

21、,v1)Density(O1,d1)*(v1,d1,w1) Isa(O2,table-book)Smaller(w1,15) Safe-To-Stack(O1,O2)第六节 解释学习 由于领域知识可能不完善，因此会出现两种极端情况： 1、构造不出解释 2、构造出多种解释 提供完善的领域知识。同时具有测试和修正不完善知识的能力。第七节 概念学习和一般到特殊序 给定一样例集合以及每个样例是否属于某一概念的标注，怎样自动推断出该概念的一般定义。 该问题被称为概念学习，或称为从样例中逼近布尔函数。有怎样的函数形式？输入xi输出yi=f(xi) 概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该

22、布尔函数。第七节 概念学习和一般到特殊序ExampleSkyAirTempHumidityWindWaterForestEnjoySport1234sunnysunnyRainysunnyWarmWarmColdWarmNormalHighHighHighStrongStrongStrongStrongWarmWarmWarmCoolSameSameSameChangeYesYesNoYes目标概念目标概念EnjoySport的正例和反例的正例和反例基于某天的各属性，以预测出该天EnjoySport的值。第七节 概念学习和一般到特殊序 设，实例各属性的约束关系是合取关系，因此，希望归纳出形如

23、Sky=?Wind=? EnjoySport=Yes的知识。 属性空间的描述(假设空间 H,用向量形式描述) 一些约定的符号： 由“?”表示本属性可取任意值； 由“”表示本属性不接受任何值； 由“c”表示待学习的目标概念。第七节 概念学习和一般到特殊序 如果某些示例x满足假设h的所有约束，那么h将x分为类为正例(h(x)=1)，或反例(h(x)=0)。 因此，假设可为下面形式的表达式 最一般的假设是G=，将所有的示例分类为正例。 最特殊的假设是S=，将所有的示例分类为反例。 。第七节 概念学习和一般到特殊序 任一假设如果能够在足够大的训练样例集合中很好地逼近目标函数，那么，它也能在未见的实例中

24、很好地逼近目标函数。第七节 概念学习和一般到特殊序 概念学习可以看成是一个搜索过程，范围是假设的表示所隐含定义的整个空间。搜索的目标是寻找能很好地拟合训练样例的假设。 例子，两个假设 h1= h2=h2比h1的约束要少，因此，任何被h1划分为正例的样例，也将被h2划分为正例。即h2比h1更一般。第七节 概念学习和一般到特殊序 定义：设hj和hk是两个布尔函数，如果 (xX) hk(x)=1 )(hj(x)=1)则称hj比hk更一般(记为 hjghk)。 这种序称为偏序。第七节 概念学习和一般到特殊序 使用偏序关系搜索与训练样例相一致的假设的一种方法是从假设空间H中最特殊的假设开始，然后在该假设

25、覆盖正例失败时将其一般化。(1)将h初始化为H中最特殊的假设(2)对每个正例x 对h的每个属性约束ai 如果x满足ai，那么不做任何事 否则,将h中ai替换为x满足的另一个更一般约束(3)输出假设h第七节 概念学习和一般到特殊序例，用Find-S，学习EnjoySport。设(最特殊的假设)，h= 由示例1(正例)，修改h为： h=由示例2(正例)，修改h为： h=示例3(反例)，不修改h由示例4(正例)，修改h为： h=最后的输出是：第七节 概念学习和一般到特殊序 在Find-S算法中，找到的只是H中能够满足训练样例集合的多个假设中的一个。而在侯选消除算法中，输出的是与训练样例一致的所有假设

26、的集合。定义：一个假设h与训练样例集合D一致,当且仅当对D中的每一个样例都有h(x)=c(x)。 Consistent(h,D) = (D) h(x)=c(x) 即，当一个假设能正确分类一组样例时，称为这个假设与这些样例是一致的。第七节 概念学习和一般到特殊序 侯选消除算法能够表示与训练样例一致的所有假设。在假设空间中的这一子集称为关于假设空间H和训练样例D的变型空间。定义：关于假设空间H和训练样例D的变型空间，标记为VSH,D，是H中与训练样例D一致的所有假设构成的子集。 VSH,D = hH | Consistent(h,D) 第七节 概念学习和一般到特殊序 表示变型空间的一种直观方法是列

27、出其所有的成员，通过检测所有成员就可得到H和D的变型空间。(1) VersionSpace 包含H中所有假设的列表(2) 对每个训练样例 从变型空间中移去所有h(x) c(x)的假设(3) 输出VersionSpace中的假设列表 第七节 概念学习和一般到特殊序 只要能给出假设空间的极大一般成员G和极大特殊成员S，就可列出变型空间中的所有成员，其方法是使用偏序结构来生成S和G集合之间的所有假设。第七节 概念学习和一般到特殊序首先将G边界集合初始化为H中的最一般假设：G0=，将S边界集合初始化为H中的最特殊假设：S0=；对每个训练样例进行处理时，S和G边界被分别泛化和特殊化，从变型空间中逐步消除

28、与样例不一致的假设。在所有的样例被处理完后，得到的变型空间就包含了所有与样例一致的假设。第七节 概念学习和一般到特殊序将G集合初始化为H中极大一般假设将S集合初始化为H中极大特殊假设对每个训练样例d,进行下列操作： 如果d是一个正例 从G中移去所有与d不一致的假设 对S中每个与d不一致的假设s 从S中移去s 把s的所有极小泛化式h加入到S中，其中h满足 h与d一致，而且G的某个成员比h更一般 从S中移去这样的假设：它比S中另一假设更一般第七节 概念学习和一般到特殊序 如果d是一个反例 从S中移去所有与d不一致的假设 对G中每个与d不一致的假设g 从G中移去g 把g的所有极小特殊化式h加入到G中

29、,其中h满足 h与d一致，而且S的某个成员比h更特殊 从G中移去这样的假设：它比G中另一假设更特殊第七节 概念学习和一般到特殊序例、学习“EnjoySport”S0:S1:S2:训练样例：1. , EnjoySport=Yes2. , EnjoySport=YesG0, G1, G2:第七节 概念学习和一般到特殊序S2, S3G2:, , G3:训练样例：3. , EnjoySport=No 反例使G的边界特殊化。在示例3中，由6个属性可以使G2特殊化，在此只有3个，因为其他3个不满足示例1和示例2。第七节 概念学习和一般到特殊序S3S4, , G3:, G4:训练样例：4. , EnjoyS

30、port=Yes第七节 概念学习和一般到特殊序S4, G4:,第七节 概念学习和一般到特殊序(1)由侯选消除算法得到变型空间能够收敛到目标概念的假设条件是在训练样例中没有错误；H中确实包含描述目标概念的正确假设。(2)侯选消除算法提取的是合取关系，如果是析取关系，则前面的假设空间无法包含，因此，必须扩大假设空间，使每个可能的假设都包含在内。(3)为了使侯选消除算法可以处理更大的假设空间，应使用归纳偏置。 归纳偏置就是在归纳时预先进行的某种假设。例如，侯选消除的归纳偏置是“目标概念包含在给定的H种”。第八节 决策树学习 决策树是一种逼近离散值函数的方法，对噪声数据有很好的健壮性且能够学习析取表达

31、式。 决策树的归纳偏置是优先选择较小的树。第八节 决策树学习OutlookSunnyOvercastRainHumidityHighNormalNoYesYesWindStrongWeakNoYes概念 Play Tennis 的决策树第八节 决策树学习 通常决策树代表实例属性值约束的合取。从树根到叶节点的每一条路径对应一组属性测试的合取，树本身代表这些合取的析取。例如，前面的决策树代表 (Outlook=Sunny Humidity=Normal) ( Outlook = overcast ) (Outlook=RainWind=Weak)第八节 决策树学习(1)实例是由“属性-值”对表示的

32、(2)目标函数具有离散的输出值(3)可能需要析取的描述(4)训练数据中可能包含错误(5)训练数据可以包含缺少属性值的实例第八节 决策树学习 大多数决策树学习算法是一种核心算法(ID3)的变形，该算法采用自顶向下的贪婪搜索遍历可能的决策树空间。1、节点的选择依据 ID3算法的核心问题是选取在树的每个节点要测试的属性。ID3是选择最有助于分类实例的属性。设S是包含某个目标概念的样例集合，如果目标概念具有c个不同的属性，那么S相对于c个状态的分类的熵定义为：Entropy(S)=- pilog2pii=1c第八节 决策树学习一个属性A相对样例集合S的信息增益定义为：Gain(S,A)=Entropy

33、(S) - Entropy(Sv)|Sv|S|vValue(A)其中，Value(A)是属性A所有可能值的集合，Sv是S种属性A为v的子集。第八节 决策树学习例如、设S是一组有关天气的训练样例，它的Wind属性具有Weak和Strong两个值。S包含14个样例9+,5-。在正例中的6个和反例中的2个有 Wind=Weak，其他的是Wind=Stron。则 Values(Wind) = Weak,Strong S = 9+,5- Sweak6+,2- Sstrong 3+,3-Gain(S,Wind)=E(S)-(8/14)E(Sweak)-(6/14)E(Sstrong) =0.94 (8/1

34、4)0.811-(6/14)1.0 =0.048第八节 决策树学习2、ID3算法 设，T_Attrs是该树要测试的目标属性，Attrs是除目标属性外供学习到的决策树测试的属性列表。 创建树的Root节点 如果样例都为正，则返回label=+的单节点树Root 如果样例都为反，则返回label=-的单节点树Root 如果Attrs为空，则返回单节点树，label=样例中最普通的T_Attrs值 否则开始 AAttrs中分类样例能力最好的属性 Root的决策属性A第八节 决策树学习 对A的每个可能值vi 在Root下加一个新的分支对应测试A=vi 令Examsvi为样例中满足属性A的值为vi的子集

35、 如果为Examsvi空 在这个新分支下加一个叶节点,节点label=样例 中最普遍的T_Attrs值 否则在这个新分支下加一个子树ID3 (Examsvi，T_Attrs，Attrs A ) 结束 返回Root第八节 决策树学习例子、PlayTennis训练数据的ID3算法Day Outlook Temperature Humidity Wind PlayTennisD1D2D3D4D5D6D7D8D9D10D11D12D13D14SunnySunnyOvercastRainRainRainOvercastSunnySunnyRainSunnyOvercastOvercastRainHotH

36、otHotMildCoolCoolCoolMildCoolMildMildMildHotMildWeakStrongWeakWeakWeakStrongStrongWeakWeakWeakStrongStrongWeakStrongHighHighHighHighNormalNormalNormalHighNormalNormalNormalHighNormalHighNoNoYesYesYesNoYesNoYesYesYesYesYesNo第八节 决策树学习有四个侯选属性(Outlook,Temperature,Humidity,Wind),计算每个侯选属性信息增益： Gain(S,Outl

37、ook) =0.246 Gain(S,Terminature) =0.029 Gain(S,Humidity) =0.151 Gain(S,Wind) =0.048因此，选择OutLook为根节点。第八节 决策树学习OutlookD1,D2,D149+,5-?SunnyD1,D2,D8,D9,D112+,3-OvercastD3,D7,D12,D134+,0-YesRainD4,D5,D6,D10,D143+,2-第八节 决策树学习对“Sunny”分支：Ssunny=D1,D2,D8,D9,D11 Gain( Ssunny,Humidity )= 0.97 Gain( Ssunny,Temperature )= 0.57 Gain( Ssunny,Wind )= 0.19所以，节点测试属性为“Humidity”第八节 决策树学习SunnyHumidityD1,D2,D8,D9,D11HighWeakStrongD1,D20+,2-NoD8,D91+,1-?D111+,0-Yes第八节 决策树学习对“Weak ”分支继续D8,D91+,1-TemperatureMildCoolD80+,1-NoD91+,0-Yes