第7讲机器学习ppt课件.pptx

《第7讲机器学习ppt课件.pptx》由会员分享，可在线阅读，更多相关《第7讲机器学习ppt课件.pptx（71页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、中国农业大学信息与电气工程学院 机器学习v一、概述一、概述v二、机器学习二、机器学习系统的基本模型系统的基本模型v三、机械学习三、机械学习v四、实例四、实例学习学习v五、解释学习五、解释学习v六、决策树学习六、决策树学习v七、神经网络学习七、神经网络学习一、概述v到目前为止的大多数人工智能系统到目前为止的大多数人工智能系统还完全还完全没有或仅有有限没有或仅有有限的学习能力。的学习能力。v系统中的知识是由人工编程送入的，知识系统中的知识是由人工编程送入的，知识中的错误也不能自动改正。中的错误也不能自动改正。一、概述v否定意见：机器是人造的，其性能和动作否定意见：机器是人造的，其性能和动作是由设计

2、者规定的，因此无论如何其能力是由设计者规定的，因此无论如何其能力也不会超过设计者本人。也不会超过设计者本人。v对于不具备学习能力的机器来说是正确的对于不具备学习能力的机器来说是正确的，可是对于具备学习能力的机器就值得考，可是对于具备学习能力的机器就值得考虑了。虑了。v机器学习的不可预测问题。机器学习的不可预测问题。机器的能力是否能超过人的能力？一、概述v 2020世纪世纪5050年代末，阿瑟年代末，阿瑟. .塞缪尔（塞缪尔（ samuelsamuel）编写了著名的）编写了著名的跳棋程序。跳棋程序。v 启发式搜索技术，跳棋程序可以向前看几步然后再走棋。启发式搜索技术，跳棋程序可以向前看几步然后再

3、走棋。v 可以从经验中学习，从棋谱中学习。不断调整棋盘评价函可以从经验中学习，从棋谱中学习。不断调整棋盘评价函数，提高自己的棋艺。数，提高自己的棋艺。v 经过三年的学习，打败了经过三年的学习，打败了SamuelSamuel，又三年，打败了州冠军，又三年，打败了州冠军。v 同时同时刺激了刺激了“搜索搜索”和和“机器学习机器学习”这两个人工智能的重这两个人工智能的重要领域的发展。要领域的发展。跳棋程序一、概述一、概述-塞缪尔的人生v 1901年生于美国堪萨斯州的恩波利亚，恩波利亚学院年生于美国堪萨斯州的恩波利亚，恩波利亚学院上学上学v 19231923年大学毕业以后，他进入年大学毕业以后，他进入M

4、ITMIT念研究生，念研究生，19261926年取得年取得硕士学位。硕士学位。 v 留校工作两年以后，他加盟贝尔实验室，从事电子器件的留校工作两年以后，他加盟贝尔实验室，从事电子器件的研究。二次世界大战爆发以后，他的研究工作集中于雷达研究。二次世界大战爆发以后，他的研究工作集中于雷达技术。技术。v 战争结束后，到伊利诺大学电气工程系任教，积极参与了战争结束后，到伊利诺大学电气工程系任教，积极参与了该校研制电子计算机的工作。该校研制电子计算机的工作。 v 19491949年即转至年即转至IBMIBM公司在普凯泼茜的研发实验室工作，参公司在普凯泼茜的研发实验室工作，参与其第一台大型科学计算机与其第

5、一台大型科学计算机701701的开发。的开发。一、概述-塞缪尔的人生v 塞缪尔在下棋程序方面的工作对塞缪尔在下棋程序方面的工作对IBMIBM公司早期计算机的指令系统产生公司早期计算机的指令系统产生了很大影响。由于下棋程序是计算机应用中最早的一种典型的非数值了很大影响。由于下棋程序是计算机应用中最早的一种典型的非数值计算，因此在计算，因此在701701中加入了许多逻辑指令，这类指令后来迅速被所有中加入了许多逻辑指令，这类指令后来迅速被所有计算机的设计者所采用和推广，成为计算机指令集中的基本成分。计算机的设计者所采用和推广，成为计算机指令集中的基本成分。v 19661966年塞缪尔从年塞缪尔从IB

6、MIBM公司退休以后，到斯坦福大学从事教学和研究工公司退休以后，到斯坦福大学从事教学和研究工作，指导博士生，直到作，指导博士生，直到19821982年。年。v 塞缪尔晚年得了帕金森综合症。病中他开始撰写自传，但只写到塞缪尔晚年得了帕金森综合症。病中他开始撰写自传，但只写到2020世世纪纪6060年代中期，即于年代中期，即于19901990年年7 7月月2929日在加利福尼亚州的家中撒手西去日在加利福尼亚州的家中撒手西去。v 塞缪尔生前除了获得塞缪尔生前除了获得IZEEIZEE的计算机先驱奖以外，没有别的荣誉和奖励的计算机先驱奖以外，没有别的荣誉和奖励。一、概述vSimonSimon认为认为“学

7、习就是系统中的变化，这种变化使学习就是系统中的变化，这种变化使系统比以前更有效地去做同样的工作系统比以前更有效地去做同样的工作”。 vMinskyMinsky认为认为“学习是在我们的头脑中进行有用的学习是在我们的头脑中进行有用的变化变化”。v有的观点认为有的观点认为“机器学习就是知识的获取机器学习就是知识的获取”，但，但获取的知识有时不会使系统有所改善。获取的知识有时不会使系统有所改善。什么是机器学习？一、概述v知识获取知识获取 学习的本质就是获取新的知识，包括物理系统、行为的描学习的本质就是获取新的知识，包括物理系统、行为的描述和模型的建立，构造客观现实的表示。述和模型的建立，构造客观现实的

8、表示。v技能求精技能求精 通过实践改造机制和认知技能。这些技能包括意识的或机通过实践改造机制和认知技能。这些技能包括意识的或机制的。这种改变是通过反复实践和从失败中纠正错误来进制的。这种改变是通过反复实践和从失败中纠正错误来进行的。行的。 学习骑自行车。学习骑自行车。学习的基本形式一、概述v人工智能主要是为了研究人的智能，模仿其机理人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学，在这个过程中，必然会将其应用于工程的科学，在这个过程中，必然会问到问到“人类怎么做才能获得这种特殊技能人类怎么做才能获得这种特殊技能（或知（或知识）？识）？”v当前的人工智能研究的当前的人工智能研究的主

9、要障碍和发展方向主要障碍和发展方向之一之一就是机器学习。包括学习的计算理论和构造学习就是机器学习。包括学习的计算理论和构造学习系统。系统。为什么要研究机器学习？v未来的计算机将有未来的计算机将有自动获取知识自动获取知识的能力，的能力，直接从书本中学习，通过与人谈话学习，直接从书本中学习，通过与人谈话学习，通过观察学习。通过实践通过观察学习。通过实践自我完善自我完善。v克服人的克服人的存储少，效率低，注意力分散存储少，效率低，注意力分散，难以传送所获取知识等局限性。难以传送所获取知识等局限性。v一台计算机获取的知识很容易一台计算机获取的知识很容易复制复制给任何给任何其他机器。其他机器。一、概述为

10、什么要研究机器学习？机器学习实现的困难v预测难预测难：学习后知识库发生了什么变化，：学习后知识库发生了什么变化，系统功能的变化的预测。系统功能的变化的预测。v归纳推理归纳推理：现有的归纳推理保假，不保真：现有的归纳推理保假，不保真。演绎推理保真。而且，归纳的结论是无。演绎推理保真。而且，归纳的结论是无限多的，其中相当多的是假的，给生成知限多的，其中相当多的是假的，给生成知识带来不可靠性。识带来不可靠性。v机器目前很难观察什么重要，什么有意义机器目前很难观察什么重要，什么有意义。一、概述一、概述-机器学习的发展史 第一阶段是在第一阶段是在5050年代中叶到年代中叶到6060年代中叶，属于年代中叶

11、，属于热热烈时期烈时期。 在在这个时期，所研究的是这个时期，所研究的是“没有知识没有知识”的学的学习，即习，即“无知无知”学习；其研究目标是各类自组织学习；其研究目标是各类自组织系统和自适应系统；指导本阶段研究的理论基础系统和自适应系统；指导本阶段研究的理论基础是早在是早在4040年代就开始研究的神经网络模型。在这年代就开始研究的神经网络模型。在这个时期，我国研制了数字识别学习机。个时期，我国研制了数字识别学习机。一、概述-机器学习的发展史 第二阶段在第二阶段在6060年代中叶至年代中叶至7070年代中叶，被称为机年代中叶，被称为机器学习的器学习的冷静时期冷静时期。 本本阶段的研究目标是模拟人

12、类的概念学习过阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述程，并采用逻辑结构或图结构作为机器内部描述。这个时期正是我国。这个时期正是我国“史无前例史无前例”的十年，对机的十年，对机器学习的研究不可能取得实质进展。器学习的研究不可能取得实质进展。一、概述-机器学习的发展史 第三阶段从第三阶段从7070年代中叶至年代中叶至8080年代中叶，称为年代中叶，称为复兴复兴时期时期。 在在这个时期，人们从学习单个概念扩展到学这个时期，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和各种学习方习多个概念，探索不同的学习策略和各种学习方法。本阶段已开始把学习系统与各

13、种应用结合起法。本阶段已开始把学习系统与各种应用结合起来，中国科学院自动化研究所进行质谱分析和模来，中国科学院自动化研究所进行质谱分析和模式文法推断研究，表明我国的机器学习研究得到式文法推断研究，表明我国的机器学习研究得到恢复。恢复。v19801980年西蒙来华传播机器学习的火种后，我国的年西蒙来华传播机器学习的火种后，我国的机器学习研究出现了新局面。机器学习研究出现了新局面。一、概述-机器学习的发展史v机器学习的最新阶段始于机器学习的最新阶段始于19861986年年。 一方面一方面，由于神经网络研究的重新兴起，另一方，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重

14、视。面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究开始进入稳步发展和逐渐繁荣我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。的新时期。一、概述一、概述-机器学习机器学习的的主要策略主要策略v学习过程与推理过程是紧密相连的，按照学习中学习过程与推理过程是紧密相连的，按照学习中使用推理的多少，机器学习所采用的策略大体上使用推理的多少，机器学习所采用的策略大体上可分为：可分为：机械学习、传授学习、演绎学习、类比机械学习、传授学习、演绎学习、类比学习和归纳学习学习和归纳学习。v学习中所用的学习中所用的推理越多推理越多，系统的，系统的能力越强能力越强。机械学习v机械学习又称为记忆学

15、习，是最简单的学习策略机械学习又称为记忆学习，是最简单的学习策略。v这种学习策略不需要任何推理过程。外面输入知这种学习策略不需要任何推理过程。外面输入知识的表示方式与系统内部表示方式完全一致，不识的表示方式与系统内部表示方式完全一致，不需要任何处理和变化。需要任何处理和变化。一、概述一、概述-机器学习的机器学习的主要策略主要策略传授学习v传授学习又称指导式学习或指点学习。传授学习又称指导式学习或指点学习。v在使用传授学习系统时，外界输入知识的表达方在使用传授学习系统时，外界输入知识的表达方式与系统内部表达方式不完全一致，系统在接受式与系统内部表达方式不完全一致，系统在接受外部知识时，需要一点推

16、理、翻译和转化工作。外部知识时，需要一点推理、翻译和转化工作。一、概述一、概述-机器学习的机器学习的主要策略主要策略演绎学习v在演绎学习中，学习系统由给定的知识进行演绎在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。的保真推理，并存储有用的结论。一、概述一、概述-机器学习的机器学习的主要策略主要策略归纳学习v归纳学习是应用归纳推理进行学习的一类学习方归纳学习是应用归纳推理进行学习的一类学习方法。按其又无教师的指导，可以分为实例学习及法。按其又无教师的指导，可以分为实例学习及观察与发现学习。观察与发现学习。一、概述一、概述-机器学习的机器学习的主要策略主要策略实例学习v实

17、例学习又称为概念获取，它是通过向学习者提实例学习又称为概念获取，它是通过向学习者提供某一概念的一组正例和反例，使学习者从这些供某一概念的一组正例和反例，使学习者从这些正反例中归纳推理出概念的一般描述，这个描述正反例中归纳推理出概念的一般描述，这个描述应能解释所有给定的正例并排除所有给定的应能解释所有给定的正例并排除所有给定的反例反例v这些正反例是由信息源提供的，信息源可能是已这些正反例是由信息源提供的，信息源可能是已经知道概念的教师，也可以是学习者本身，还可经知道概念的教师，也可以是学习者本身，还可能是学习者以外的外部环境。能是学习者以外的外部环境。一、概述一、概述-机器学习的机器学习的主要策

18、略主要策略类比学习v类比学习就是在遇到新的问题时，可以学习以前类比学习就是在遇到新的问题时，可以学习以前解决过的类似问题的解决方法，来解决当前的问解决过的类似问题的解决方法，来解决当前的问题。题。v所以寻找与当前问题相似的已知问题就很重要，所以寻找与当前问题相似的已知问题就很重要，并且必须要能够发现当前任务与已知任务的相似并且必须要能够发现当前任务与已知任务的相似之点，由此制定出完成当前任务的方案。之点，由此制定出完成当前任务的方案。v类比学习可以由系统已有的某一领域知识得到另类比学习可以由系统已有的某一领域知识得到另一领域中类似的知识。一领域中类似的知识。一、概述一、概述-机器学习的机器学习

19、的主要策略主要策略观察与发现学习v观察与发现学习又称为描述的一般化。这类学习观察与发现学习又称为描述的一般化。这类学习没有教师的指导，它要产生对所有或大多数观察没有教师的指导，它要产生对所有或大多数观察到的规律和规则的解释。到的规律和规则的解释。v这类学习包括概念聚类、构造分类、曲线拟合（这类学习包括概念聚类、构造分类、曲线拟合（使方程符合数据）、发现并解释观察到的定律并使方程符合数据）、发现并解释观察到的定律并形成理论。形成理论。一、概述一、概述-机器学习的机器学习的主要策略主要策略二、机器学习系统的基本模型v以西蒙关于学习的定义作为出发点，建立机器学以西蒙关于学习的定义作为出发点，建立机器

20、学习系统的基本模型。习系统的基本模型。环境学习环节知识库执行环节二、机器学习系统的基本模型v 环境和知识库是环境和知识库是以某种知识表示形式表达的以某种知识表示形式表达的信息的集合信息的集合，分别代表外界分别代表外界信息来源信息来源和系统所具有的和系统所具有的知识知识；“学习环节学习环节”和和“执行环节执行环节”代表两个过程。代表两个过程。v “环境环境”向系统的向系统的“学习环节学习环节”提供某些信息，而提供某些信息，而“学习学习环节环节”则利用这些信息对系统的则利用这些信息对系统的“知识库知识库”进行进行改进改进，以，以增进增进系统系统“执行环节执行环节”完成任务的效能，完成任务的效能，“

21、执行环节执行环节”根根据知识库中的知识来完成某种任务，同时把获得的信息反据知识库中的知识来完成某种任务，同时把获得的信息反馈给馈给“学习环节学习环节”。二、机器学习系统的基本模型v环境环境可以是系统的工作对象，也可以包括工作对可以是系统的工作对象，也可以包括工作对象和外界条件。例如在医疗系统中，环境就是病象和外界条件。例如在医疗系统中，环境就是病人当前的症状、检验的数据和病历。在模式识别人当前的症状、检验的数据和病历。在模式识别中，环境就是待识别的图形或景物。中，环境就是待识别的图形或景物。v环境环境就是为学习系统提供获取知识所需的信息。就是为学习系统提供获取知识所需的信息。信息的水平和质量，

22、对学习系统获取知识的能力信息的水平和质量，对学习系统获取知识的能力有很大的影响。有很大的影响。二、机器学习系统的基本模型v学习环节学习环节通过获得外部信息，并将这些信息与执通过获得外部信息，并将这些信息与执行环节所反馈回的信息进行比较行环节所反馈回的信息进行比较。v一般一般情况下环境提供的信息水平与执行环节所需情况下环境提供的信息水平与执行环节所需的信息水平之间往往有差距，经的信息水平之间往往有差距，经分析、综合、类分析、综合、类比、归纳比、归纳等思维过程，学习环节就要从这些差距等思维过程，学习环节就要从这些差距中获取相关对象的知识，并将这些知识存入中获取相关对象的知识，并将这些知识存入知识知

23、识库库中。中。二、机器学习系统的基本模型v知识库知识库用于存放由学习环节所学到的知识。用于存放由学习环节所学到的知识。v影响学习系统设计的第二个因素是影响学习系统设计的第二个因素是知识库的形式知识库的形式和内容和内容。知识库的形式就是。知识库的形式就是知识表示知识表示的形式。的形式。v选择知识表示方法要考虑下列准则：选择知识表示方法要考虑下列准则：可表达性、可表达性、推理难度、可修改性和可扩充性推理难度、可修改性和可扩充性。二、机器学习系统的基本模型v执行环节执行环节是整个机器学习系统的核心。执行环节是整个机器学习系统的核心。执行环节用于处理系统面临的现实问题，即应用知识库中用于处理系统面临的

24、现实问题，即应用知识库中所学到的知识所学到的知识求解问题求解问题，如，如智能控制、自然语言智能控制、自然语言理解和定理证明理解和定理证明等，并对执行的等，并对执行的效果进行评价效果进行评价，将评价的结果反馈回学习环节，以便系统进一步将评价的结果反馈回学习环节，以便系统进一步的学习。的学习。v执行环节的问题复杂性、反馈信息和执行过程的执行环节的问题复杂性、反馈信息和执行过程的透明度都对学习环节有影响。透明度都对学习环节有影响。二、机器学习系统的基本模型v 执行部分执行部分是整个是整个学习系统的核心学习系统的核心，因为执行部分的动作就，因为执行部分的动作就是学习部分力求改进的动作。同执行部分有关的

25、问题有是学习部分力求改进的动作。同执行部分有关的问题有3个：个：复杂性、反馈和透明性复杂性、反馈和透明性。 v 复杂的任务比简单的任务需要更多的知识，对于这类简单复杂的任务比简单的任务需要更多的知识，对于这类简单任务，有一条分组规则就可以了。有的要使用几百条规则任务，有一条分组规则就可以了。有的要使用几百条规则。对于通过例子学习的计算机系统，最简单的执行任务是。对于通过例子学习的计算机系统，最简单的执行任务是按照单一的概念或规则进行分类或预测。比较复杂一点的按照单一的概念或规则进行分类或预测。比较复杂一点的任务涉及多个概念。学习系统最复杂的任务是小型计划任任务涉及多个概念。学习系统最复杂的任务

26、是小型计划任务，系统必须给出一组规则序列，执行部分依次执行这些务，系统必须给出一组规则序列，执行部分依次执行这些规则。规则。三、机械学习v机械学习是最简单的机器学习方法。机械学习就机械学习是最简单的机器学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。调用，而不需要计算和推理。 v机械学习又是最基本的学习过程。任何学习系统机械学习又是最基本的学习过程。任何学习系统都必须记住它们获取的知识。都必须记住它们获取的知识。v在机械学习系统中，知识的获取是以较为稳定和在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的

27、，不需要系统进行过多的加工直接的方式进行的，不需要系统进行过多的加工。三、机械学习v 当机械学习系统的执行部分解决好问题之后，系统就记住当机械学习系统的执行部分解决好问题之后，系统就记住该问题及其解。我们可把学习系统的执行部分抽象地看成该问题及其解。我们可把学习系统的执行部分抽象地看成某个函数，该函数在得到自变量某个函数，该函数在得到自变量输入值输入值(X1,X2,Xn)之后之后，计算并，计算并输出函数值输出函数值(Y1,Y2,Yp)。v 机械学习在存储器中简单地记忆存储对机械学习在存储器中简单地记忆存储对(X1,X2,Xn),(Y1,Y2,Yp)。当需要。当需要f(X1,X2,Xn)时时,执

28、行部分就从存储器中把执行部分就从存储器中把(Y1,Y2,Yp)简单地检索出来而简单地检索出来而不是重新计算它。不是重新计算它。三、机械学习三、机械学习-主要问题主要问题（1 1）存储组织信息：采用适当的存储方式，使检索速度，）存储组织信息：采用适当的存储方式，使检索速度，尽可能地快，是机械学习中的重要问题尽可能地快，是机械学习中的重要问题。（提高检索速度（提高检索速度）（2 2）环境的稳定性与存储信息的适用性问题：机械学习系）环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要，这统必须保证所保存的信息适应于外界环境变化的需要，这也就是所谓的也就是所谓的

29、信息适用性信息适用性问题。问题。（3 3）存储与计算之间的权衡：对于机械学习来说很重要的）存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低一点是它不能降低系统的效率系统的效率四、实例学习v实例学习又称为实例学习又称为示例学习示例学习或通过事例学习。它是或通过事例学习。它是通过例子，经通过例子，经归纳得出一般性概念归纳得出一般性概念的一种方法。的一种方法。v在这种学习方法中，外部环境提供给系统一些特在这种学习方法中，外部环境提供给系统一些特殊的实例，这些实例事先又被施教者划分为殊的实例，这些实例事先又被施教者划分为正例正例和反例和反例。v实例学习系统由此进行实例学习系统由此进行归纳

30、推理归纳推理，得到，得到一般一般的规的规则或则或一般性一般性的知识，这些一般性知识应能的知识，这些一般性知识应能解释解释所所有给定的正例，并有给定的正例，并排除排除所有给定的反例。所有给定的反例。四、实例学习-两个空间模型v实例学习中有两个重要的概念：实例学习中有两个重要的概念：例子空间例子空间和和规则规则空间空间。v例子空间例子空间就是向系统提供的训练例子集合，如教就是向系统提供的训练例子集合，如教系统识别狗时提供的狗、其它动物和物品。系统识别狗时提供的狗、其它动物和物品。 v规则空间规则空间是事物所具有的某种规律，例如是事物所具有的某种规律，例如“狗有狗有四条腿四条腿”、“狗有两只眼睛狗有

31、两只眼睛”、“狗有一条尾巴狗有一条尾巴”等等四、实例学习-两个空间模型例子空间要考虑的问题v例子例子空间的空间的组织和搜索组织和搜索方法：选择适当的例子以方法：选择适当的例子以便便证实或否决证实或否决规则空间中某些假设规则集。规则空间中某些假设规则集。v为了提高搜索效率，需要设计合适的搜索算法，为了提高搜索效率，需要设计合适的搜索算法，并把它与例子空间的组织结构进行统筹考虑。并把它与例子空间的组织结构进行统筹考虑。 四、实例学习规则空间要考虑的问题v所谓规则空间所谓规则空间用规定的描述语言可以表示的所有用规定的描述语言可以表示的所有规则的集合即为规则空间规则的集合即为规则空间。v与规则空间有关

32、的两个问题是对规则空间的与规则空间有关的两个问题是对规则空间的要求要求和规则空间的和规则空间的搜索方法搜索方法。v规则的表示与实例的表示规则的表示与实例的表示一致一致。v规则的表示形式应适应规则的表示形式应适应归纳推理归纳推理。v规则空间中应规则空间中应包括所有包括所有可能产生的规则。可能产生的规则。四、实例学习常用的几种归纳推理方法v常量化成变量常量化成变量v去掉条件去掉条件v增加选择增加选择v曲线拟合曲线拟合四、实例学习常量化成变量v 示例示例1：花色：花色(C1,梅花梅花)花色花色(C2,梅花梅花)花色花色(C3,梅花梅花)花色花色(C4,梅花梅花)花色花色(C5,梅花梅花)同花同花(C

33、1,C2,C3,C4,C5)v 示例示例2：花色：花色(C1,红桃红桃)花色花色(C2,红桃红桃)花色花色(C3,红桃红桃)花色花色(C4,红桃红桃)花色花色(C5,红桃红桃)同花同花(C1,C2,C3,C4,C5)v 其中示例其中示例1表示表示5张梅花牌是同花，示例张梅花牌是同花，示例2表示表示5张红桃牌是张红桃牌是同花。把常量同花。把常量“梅花梅花”和和“红桃红桃”换成变量换成变量x，就归纳出，就归纳出一条假设规则。一条假设规则。v 规则规则1：花色：花色(C1,x)花色花色(C2,x)花色花色(C3,x)花色花色(C4,x)花色花色(C5,x)同花同花(C1,C2,C3,C4,C5)去掉

34、条件v去掉条件就是把示例中的某些无关的子条件去掉去掉条件就是把示例中的某些无关的子条件去掉。如：。如： 示例示例3：花色：花色(C1,红桃红桃)点数点数(C1,3)花色花色(C2,红桃红桃)点数点数(C2,5)花色花色(C3,红桃红桃)点数点数(C3,7)花色花色(C4,红桃红桃)点数点数(C4,10)花色花色(C5,红桃红桃)点数点数(C5,K)同花同花(C1,C2,C3,C4,C5)v为了得到上述规则为了得到上述规则1，不但要把常量，不但要把常量“红桃红桃”化为化为变量变量x，而且要去掉所有的，而且要去掉所有的“点数点数”谓词。谓词。增加选择v 例如要程序来学习例如要程序来学习“人面牌人面

35、牌”的概念，的概念，“人面牌人面牌”是指点是指点数为数为J、Q、K的牌。提供的两个真例是：的牌。提供的两个真例是： 示例示例4：点数（：点数（C1，J）人面牌（人面牌（C1）v 示例示例5：点数（：点数（C1，K）人面牌（人面牌（C1）v 将两个示例的前件进行析取合并后等价地得到点数（将两个示例的前件进行析取合并后等价地得到点数（C1，J）点数（点数（C1，K）人面牌（人面牌（C1）如果在析取条件）如果在析取条件中增加一种选择，就得到要求的规则中增加一种选择，就得到要求的规则规则规则2：点数（：点数（C1，J）点数（点数（C1，Q）点数（点数（C1，K）人面牌（人面牌（C1）增加选择就是在析取

36、条件中增加一个新的析取项。增加选择就是在析取条件中增加一个新的析取项。“常量化成变量常量化成变量”是一种由具体到一般的演变或归纳；是一种由具体到一般的演变或归纳；“去掉条件去掉条件”就是去掉合取项，也就是去掉部分约束；就是去掉合取项，也就是去掉部分约束；“增加选择增加选择”就是增加析取项，也就是扩大范围。就是增加析取项，也就是扩大范围。后两种方法都是直接扩大范围，但方法更强，归纳过快，后两种方法都是直接扩大范围，但方法更强，归纳过快，因此更容易出错，方法较弱，不易出错，但归纳较慢。因此更容易出错，方法较弱，不易出错，但归纳较慢。例如对示例例如对示例4和示例和示例5使用方法就会得到下列错误：使用

37、方法就会得到下列错误： 点数（点数（C1，x）人（人（C1）.(错误错误)归纳推理v这个结果说明归纳过程很容易出错，归纳推理不这个结果说明归纳过程很容易出错，归纳推理不是保真的，是保假的（前提为真则结论不一定为是保真的，是保假的（前提为真则结论不一定为真，前提为假则结论一定为假）。真，前提为假则结论一定为假）。v归纳过程就是从多种归纳方法中选择正确的方法归纳过程就是从多种归纳方法中选择正确的方法，以得到正确的结果。，以得到正确的结果。v因此归纳过程就是搜索过程，在归纳的过程中，因此归纳过程就是搜索过程，在归纳的过程中，出现错误后要进行回溯。出现错误后要进行回溯。v发现错误的方法，一般是选用新的

38、例子去否定归发现错误的方法，一般是选用新的例子去否定归纳出的错误规则，在实例学习的两个空间模型中纳出的错误规则，在实例学习的两个空间模型中也正是这样表示的。也正是这样表示的。五、解释学习v解释学习是解释学习是20世纪世纪80年代出现的一种机器学习方年代出现的一种机器学习方法。属于法。属于分析学习。从本质上讲属于演绎学习。分析学习。从本质上讲属于演绎学习。v由美国由美国Illinois大学大学Dejong提出。提出。v解释学习是在经验学习的基础上提出的。解释学习是在经验学习的基础上提出的。v解释学习与实例学习不同，解释学习分析一个或解释学习与实例学习不同，解释学习分析一个或少数几个例子，加上给定

39、的领域知识，进行保真少数几个例子，加上给定的领域知识，进行保真的的演绎推理，存储有用的结论，经过知识的求的的演绎推理，存储有用的结论，经过知识的求精和编辑，产生适合以后求解类似问题的控制知精和编辑，产生适合以后求解类似问题的控制知识。识。五、解释学习v解释学习的步骤：解释学习的步骤： 1.通过分析一个求解实例来产生解释结构。 2.对该结构进行泛化，获取一般的控制规则。五、解释学习v解释学习的可操作性解释学习的可操作性 如果给定：1.一个概念描述；2.一个执行系统，它利用概念描述改善执行情况；3.改善执行系统的各种要求，应明确各要求的类型和程度。 如果，满足下面两个条件：1.可用性（执行系统可利

40、用该概念描述）。2.有用性（执行系统利用该概念描述时，系统的运行得到要求的改善）。 则：该概念描述是可操作的。五、解释学习v解释学习的空间模型解释学习的空间模型 例子空间：例子的集合 概念空间：某个学习程序能描述的所有概念的集合。 概念描述空间：对概念描述的集合。v解释学习的方法解释学习的方法 1987年斯坦福大学Haym和Hirsh提出的解释和概括交替并行的EBG方法。六、决策树学习v决策树学习是应用最广的归纳推理算法之一决策树学习是应用最广的归纳推理算法之一v其基本思想是以其基本思想是以信息熵信息熵为度量构造一为度量构造一棵熵值下降棵熵值下降最快的树最快的树，到，到叶子节点处的熵值为零叶子

41、节点处的熵值为零，此时每个，此时每个叶节点中的实例都属于同一类。叶节点中的实例都属于同一类。v决策树学习是以实例为基础的归纳学习。决策树学习是以实例为基础的归纳学习。v从一类无序、无规则的事物（概念）中推理出决从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则。策树表示的分类规则。六、决策树学习六、决策树学习v 概念概念分类学习算法：来源于分类学习算法：来源于 Hunt,Marin和Stone 于1966年研制的CLS学习系统，用于学习单个概念。 1979年, J.R. Quinlan 给出ID3算法，并在1983年和1986年对ID3 进行了总结和简化，使其成为决策树学习算法的典型

42、。 Schlimmer 和Fisher 于1986年对ID3进行改造，在每个可能的决策树节点创建缓冲区，使决策树可以递增式生成，得到ID4算法。 1988年，Utgoff 在ID4基础上提出了ID5学习算法，进一步提高了效率。 1993年，Quinlan 进一步发展了ID3算法，改进成C4.5算法。 另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正例与反例。六、决策树学习v大多数决策树学习算法是一种核心算法的变体大多数决策树学习算法是一种核心算法的变体v采用自顶向下的贪婪搜索遍历可能的决策树空间采用自顶向下的贪婪搜

43、索遍历可能的决策树空间v当前比较引人注目的有斜超平面分割的多变决策当前比较引人注目的有斜超平面分割的多变决策树树(Multi-Variance Decision Tree， MDT)算法，算法，将遗传算法、神经元网络和将遗传算法、神经元网络和C4.5相结合的相结合的GA-NN-C4.5 算法，算法， SVM决策树算法。决策树算法。六、决策树学习v 决策树学习采用的是自顶向下的递归方法。决策树学习采用的是自顶向下的递归方法。v 决策树的每一层节点依照某一属性值向下分为子节点，待决策树的每一层节点依照某一属性值向下分为子节点，待分类的实例在每一节点处与该节点相关的属性值进行比较，分类的实例在每一节

44、点处与该节点相关的属性值进行比较，根据不同的比较结果向相应的子节点扩展，这一过程在到根据不同的比较结果向相应的子节点扩展，这一过程在到达决策树的叶节点时结束，此时得到结论。达决策树的叶节点时结束，此时得到结论。v 从根节点到叶节点的每一条路经都对应着一条合理的规则，从根节点到叶节点的每一条路经都对应着一条合理的规则，规则间各个部分（各个层的条件）的关系是合取关系。整规则间各个部分（各个层的条件）的关系是合取关系。整个决策树就对应着一组析取的规则。个决策树就对应着一组析取的规则。六、决策树学习v 树是由树是由节点节点和和分枝分枝组成的层组成的层次数据结构。次数据结构。节点节点用于存贮用于存贮信息

45、或知识，信息或知识，分枝分枝用于连接用于连接各个节点。树是图的一个特各个节点。树是图的一个特例，图是更一般的数学结构，例，图是更一般的数学结构，如如贝叶斯网络贝叶斯网络。v 决策树是描述分类过程的一决策树是描述分类过程的一种种数据结构数据结构，从上端的根节，从上端的根节点开始，各种分类原则被引点开始，各种分类原则被引用进来，并依这些分类原则用进来，并依这些分类原则将根节点的数据集划分为子将根节点的数据集划分为子集，这一划分过程直到某种集，这一划分过程直到某种约束条件满足而结束。约束条件满足而结束。 根结点个子大可能是松鼠可能是老鼠可能是大象在水里会吱吱叫鼻子长脖子长个子小不会吱吱叫鼻子短脖子短

46、可能是长颈鹿在陆地上可能是犀牛可能是河马六、决策树学习v判定结构可以机械的转变成产生式规则。可以通判定结构可以机械的转变成产生式规则。可以通过对结构进行广度优先搜索，并在每个节点生成过对结构进行广度优先搜索，并在每个节点生成“IFTHEN”规则来实现规则来实现。v如上图的如上图的决策树可以转换成下规则：决策树可以转换成下规则： IF “个子大个子大” THEN IF “脖子短脖子短” THEN IF “鼻子长鼻子长” THEN 可能是大象可能是大象形式化表示成形式化表示成可能是大象鼻子长脖子短个子大六、决策树学习v决策树学习的应用决策树学习的应用 根据病情对病人分类 根据起因对故障分类 根据付

47、款信用情况对贷款申请者分类七、神经网络学习v什么叫人工神经网络什么叫人工神经网络 采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。v为什么要研究神经网络为什么要研究神经网络 用计算机代替人的脑力劳动。 计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。 长期以来人类的梦想，机器既能超越人的计算能力，又有类似于人的识别、分析、联想等能力。七、神经网络学习发展史v发展史发展史 1890年，美国生物学家W.James出版了Physiology（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律。指出：人脑中当两个基本处理单元同时活动，或两个单元靠得

48、比较近时，一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。 1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。标志神经计算时代的开始 输出表达式iixxy01七、神经网络学习发展史 1949年Donala U.Hebb（心理学家）论著The Organization of Behavior（行为自组织），提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位

49、，突触的联系强度随着突触前后神经元的活动而变化。 1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron) 。 规则学习意义：意义：第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。 1969M.Minsky和S. Papert发表了Perceptrons的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。神经网络研究一度达到低潮。原因还有：计算机不够发达、VL

50、SI还没出现、而人工智能和专家系统正处于发展高潮。七、神经网络学习发展史 七十年代 ：日本Fukusima的Neocognitron； 芬兰Kohonen的自组织神经网络；Stephen Crossberg的共振自适应理论ART网络等 。 1982年John J. Hopfield（物理学家）提出了全联接网络，离散的神经网络模型。全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。年后