第4章机器学习.ppt

《第4章机器学习.ppt》由会员分享，可在线阅读，更多相关《第4章机器学习.ppt（108页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第4章章 机器学习机器学习Machine Leanrning 4.14.1 机器学习的定义机器学习的定义I学习：学习：学习就是系统在不断重复的工作学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。（人工会比现在做得更好或效率更高。（人工智能大师西蒙的观点）智能大师西蒙的观点）学习的主要表现：学习的主要表现：I1.获得新知识；获得新知识；I2.从感性认识发展到理性认识；从感性认识发展到理性认识；I3.通过反复实践。通过反复实践。对学习的对学习的4种理

2、解：种理解：I1.学习是一个系统改进其自身性能的任学习是一个系统改进其自身性能的任何过程；何过程；I2.学习是获取明显知识的过程；学习是获取明显知识的过程；I3.学习是技巧的获取；学习是技巧的获取；I4.学习是理论、假说的形成过程。学习是理论、假说的形成过程。学习的基本形式学习的基本形式I知识获取知识获取 学习的本质就是获取新的知识，包括物理学习的本质就是获取新的知识，包括物理系统、行为的描述和模型的建立，构造客系统、行为的描述和模型的建立，构造客观现实的表示。观现实的表示。I技能求精技能求精 通过实践改造机制和认知技能。这些技能通过实践改造机制和认知技能。这些技能包括意识的或机制的。这种改变

3、是通过反包括意识的或机制的。这种改变是通过反复实践和从失败中纠正错误来进行的。复实践和从失败中纠正错误来进行的。学习骑自行车。学习骑自行车。学习的一般模式学习的一般模式普通理论普通理论深层知识深层知识表层知识表层知识领域专家知识领域专家知识知识的组织程度知识的组织程度从学校和书本学习从学校和书本学习领域无关的定义、基本公式、公理、定律领域无关的定义、基本公式、公理、定律从师傅学习从师傅学习领域有关的事实、经验知识、诀窍、技能领域有关的事实、经验知识、诀窍、技能无知识无知识4.1.1 4.1.1 机器学习的定义机器学习的定义机器学习的定义机器学习的定义I顾名思义顾名思义,机器学习是研究如何使用机

4、器来机器学习是研究如何使用机器来模拟人类学习活动的一门学科。模拟人类学习活动的一门学科。I稍为严格的提法是：机器学习是一门研究稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能机器获取新知识和新技能,并识别现有知识并识别现有知识的学问。的学问。I这里所说的这里所说的“机器机器”，指的就是计算机；，指的就是计算机；现在是电子计算机，以后还可能是中子现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等。计算机、光子计算机或神经计算机等等。研究机器学习的研究机器学习的意义意义I1 1、机器学习速度惊人；、机器学习速度惊人；I2 2、机器学习可以把学习不断地延续下去，、机器学习

5、可以把学习不断地延续下去，避免大量的重复学习，使知识积累达到新避免大量的重复学习，使知识积累达到新的高度；的高度；I未来的计算机将有自动获取知识的能力，未来的计算机将有自动获取知识的能力，直接从书本中学习，通过与人谈话学习，直接从书本中学习，通过与人谈话学习，通过观察学习。通过实践自我完善。通过观察学习。通过实践自我完善。I3、机器学习有利于知识的传播：一台计算、机器学习有利于知识的传播：一台计算机获取的知识很容易复制给任何其他机器。机获取的知识很容易复制给任何其他机器。I4、克服人的存储少，效率低，注意力分散，、克服人的存储少，效率低，注意力分散，难以传送所获取知识等局限性。难以传送所获取知

6、识等局限性。4.1.2 机器学习的发展史机器学习的发展史机器学习的发展分为机器学习的发展分为4 4个时期个时期I第一阶段是在第一阶段是在5050年代中叶到年代中叶到6060年代中叶，年代中叶，属于属于热烈时期热烈时期。I第二阶段在第二阶段在6060年代中叶至年代中叶至7070年代中叶，年代中叶，被称为机器学习的被称为机器学习的冷静时期冷静时期。I第三阶段从第三阶段从7070年代中叶至年代中叶至8080年代中叶，年代中叶，称为称为复兴时期复兴时期。I机器学习的机器学习的最新阶段最新阶段始于始于19861986年年。I第一阶段是在第一阶段是在50年代中叶到年代中叶到60年代中叶，年代中叶，属于热烈

7、时期。属于热烈时期。I在这个时期，所研究的是在这个时期，所研究的是“没有知识没有知识”的学的学习，即习，即“无知无知”学习。学习。I其研究目标是各类自组织系统和自适应系其研究目标是各类自组织系统和自适应系统；指导本阶段研究的理论基础是早在统；指导本阶段研究的理论基础是早在40年代就开始研究的神经网络模型。年代就开始研究的神经网络模型。I在这个时期，我国研制了数字识别学习机。在这个时期，我国研制了数字识别学习机。I第二阶段在第二阶段在6060年代中叶至年代中叶至7070年代中叶，年代中叶，被称为机器学习的冷静时期。被称为机器学习的冷静时期。I本阶段的研究目标是模拟人类的概念学本阶段的研究目标是模

8、拟人类的概念学习过程，并采用逻辑结构或图结构作为习过程，并采用逻辑结构或图结构作为机器内部描述。机器内部描述。I这个时期正是我国这个时期正是我国“史无前例史无前例”的十年，的十年，对机器学习的研究不可能取得实质进展。对机器学习的研究不可能取得实质进展。I第三阶段从第三阶段从7070年代中叶至年代中叶至8080年代中叶，称为年代中叶，称为复兴时期。复兴时期。I在这个时期，人们从学习单个概念扩展到学在这个时期，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和各种学习多个概念，探索不同的学习策略和各种学习方法。习方法。I本阶段已开始把学习系统与各种应用结合起本阶段已开始把学习系统与各种应用

9、结合起来，中国科学院自动化研究所进行大量的分来，中国科学院自动化研究所进行大量的分析研究，表明我国的机器学习研究得到恢复。析研究，表明我国的机器学习研究得到恢复。I19801980年西蒙来华传播机器学习的火种后，我年西蒙来华传播机器学习的火种后，我国的机器学习研究出现了新局面。国的机器学习研究出现了新局面。I机器学习的最新阶段始于机器学习的最新阶段始于19861986年。年。I一方面，由于神经网络研究的重新兴起，一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前另一方面，对实验研究和应用研究得到前所未有的重视。所未有的重视。I我国的机器学习研究开始进入稳步发展和我国的机器

10、学习研究开始进入稳步发展和逐渐繁荣的新时期。逐渐繁荣的新时期。目前常用的分类方法：目前常用的分类方法：机械式学习机械式学习指导式学习指导式学习示例学习示例学习类比学习类比学习解释学习解释学习基于演绎的学习基于演绎的学习基于归纳的学习基于归纳的学习归纳学习归纳学习分析学习分析学习连接学习连接学习遗传算法遗传算法(1)按学习方法分类按学习方法分类(2)按推理方式分类按推理方式分类(3)按综合属性分类按综合属性分类2.机器学习的分类机器学习的分类I学习过程与推理过程是紧密相连的，按照学习过程与推理过程是紧密相连的，按照学习中使用推理的多少，机器学习所采用学习中使用推理的多少，机器学习所采用的策略大体

11、上可分为：机械学习、传授学的策略大体上可分为：机械学习、传授学习、演绎学习、类比学习和归纳学习。习、演绎学习、类比学习和归纳学习。I学习中所用的推理越多，系统的能力越强。学习中所用的推理越多，系统的能力越强。分类分类（由低到高）（由低到高）通过归纳总结学习通过归纳总结学习（自学习）（自学习）通过书本资料学习通过书本资料学习（独立研究）（独立研究）通过实际事例学习通过实际事例学习（启发式学习）（启发式学习）通过提问学习通过提问学习（注入式学习）（注入式学习）通过机械记忆学习通过机械记忆学习（死记硬背式）（死记硬背式）高高 低低机械学习机械学习I机械学习又称为记忆学习，是最简单的学机械学习又称为记

12、忆学习，是最简单的学习策略。习策略。I这种学习策略不需要任何推理过程。外面这种学习策略不需要任何推理过程。外面输入知识的表示方式与系统内部表示方式输入知识的表示方式与系统内部表示方式完全一致，不需要任何处理和变化。完全一致，不需要任何处理和变化。传授学习传授学习I传授学习又称指导式学习或指点学习。传授学习又称指导式学习或指点学习。I从老师或其它有结构的事物获取知识。要从老师或其它有结构的事物获取知识。要求学习者将输入语言的知识转换成它本身求学习者将输入语言的知识转换成它本身的内部表示形式。并把新的信息和它原有的内部表示形式。并把新的信息和它原有的知识有机地结合为一体。的知识有机地结合为一体。演

13、绎学习演绎学习-通过类推学习通过类推学习I学习者找出现有知识中所要产生的新概念学习者找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事大成适合新情况的形式，从而取得新的事实或技能。实或技能。I在演绎学习中，学习系统由给定的知识进在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。行演绎的保真推理，并存储有用的结论。归纳学习归纳学习-从例子中学习从例子中学习I归纳学习是应用归纳推理进行学习的一类归纳学习是应用归纳推理进行学习的一类学习方法。学习方法。I给学习者提供某一概念的一组正例和反例，

14、给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，是它适学习者归纳出一个总的概念描述，是它适合于所有的正例且排除所有的反例。（目合于所有的正例且排除所有的反例。（目前研究较多的一种方法）前研究较多的一种方法）类比学习类比学习I类比学习就是在遇到新的问题时，可以学类比学习就是在遇到新的问题时，可以学习以前解决过的类似问题的解决方法，来习以前解决过的类似问题的解决方法，来解决当前的问题。解决当前的问题。I所以寻找与当前问题相似的已知问题就很所以寻找与当前问题相似的已知问题就很重要，并且必须要能够发现当前任务与已重要，并且必须要能够发现当前任务与已知任务的相似之点，由此制定出完成当

15、前知任务的相似之点，由此制定出完成当前任务的方案。任务的方案。I类比学习可以由系统已有的某一领域知识类比学习可以由系统已有的某一领域知识得到另一领域中类似的知识。得到另一领域中类似的知识。实例学习实例学习I实例学习又称为概念获取，它是通过向学实例学习又称为概念获取，它是通过向学习者提供某一概念的一组正例和反例，使习者提供某一概念的一组正例和反例，使学习者从这些正反例中归纳推理出概念的学习者从这些正反例中归纳推理出概念的一般描述，这个描述应能解释所有给定的一般描述，这个描述应能解释所有给定的正例并排除所有给定的反例。正例并排除所有给定的反例。I这些正反例是由信息源提供的，信息源可这些正反例是由信

16、息源提供的，信息源可能是已经知道概念的教师，也可以是学习能是已经知道概念的教师，也可以是学习者本身，还可能是学习者以外的外部环境。者本身，还可能是学习者以外的外部环境。观察与发现学习观察与发现学习I观察与发现学习又称为描述的一般化。这观察与发现学习又称为描述的一般化。这类学习没有教师的指导，它要产生对所有类学习没有教师的指导，它要产生对所有或大多数观察到的规律和规则的解释。或大多数观察到的规律和规则的解释。I这类学习包括概念聚类、构造分类、曲线这类学习包括概念聚类、构造分类、曲线拟合（使方程符合数据）、发现并解释观拟合（使方程符合数据）、发现并解释观察到的定律并形成理论。察到的定律并形成理论。

17、4.2 机器学习系统的基本模型机器学习系统的基本模型I以西蒙关于学习的定义作为出发点，以西蒙关于学习的定义作为出发点，建立机器学习系统的基本模型。建立机器学习系统的基本模型。环境环境学习环节学习环节知识库知识库执行环节执行环节I环境和知识库是以某种知识表示形式表达环境和知识库是以某种知识表示形式表达的信息的集合，分别代表外界信息来源和的信息的集合，分别代表外界信息来源和系统所具有的知识；系统所具有的知识；I“学习环节学习环节”和和“执行环节执行环节”代表两个过程。代表两个过程。环境环境学习环节学习环节知识库知识库执行环节执行环节I“环境环境”向系统的向系统的“学习环节学习环节”提供某些信息，提

18、供某些信息，而而“学习环节学习环节”则利用这些信息对系统的则利用这些信息对系统的“知知识库识库”进行改进，以增进系统进行改进，以增进系统“执行环节执行环节”完完成任务的效能，成任务的效能，“执行环节执行环节”根据知识库中的根据知识库中的知识来完成某种任务，同时把获得的信息反知识来完成某种任务，同时把获得的信息反馈给馈给“学习环节学习环节”。环境环境学习环节学习环节知识库知识库执行环节执行环节环境环境I环境可以是系统的工作对象，也可以包括环境可以是系统的工作对象，也可以包括工作对象和外界条件。工作对象和外界条件。I例如在医疗系统中，环境就是病人当前的例如在医疗系统中，环境就是病人当前的症状、检验

19、的数据和病历。在模式识别中，症状、检验的数据和病历。在模式识别中，环境就是待识别的图形或景物。环境就是待识别的图形或景物。I环境就是为学习系统提供获取知识所需的环境就是为学习系统提供获取知识所需的信息。信息。I信息的水平和质量，对学习系统获取知识信息的水平和质量，对学习系统获取知识的能力有很大的影响。的能力有很大的影响。学习环节学习环节I学习环节通过获得外部信息，并将这些信学习环节通过获得外部信息，并将这些信息与执行环节所反馈回的信息进行比较。息与执行环节所反馈回的信息进行比较。一般情况下环境提供的信息水平与执行环一般情况下环境提供的信息水平与执行环节所需的信息水平之间往往有差距，经分节所需的

20、信息水平之间往往有差距，经分析、综合、类比、归纳等思维过程，学习析、综合、类比、归纳等思维过程，学习环节就要从这些差距中获取相关对象的知环节就要从这些差距中获取相关对象的知识，并将这些知识存入知识库中。识，并将这些知识存入知识库中。知识库知识库I知识库用于存放由学习环节所学到的知识。知识库用于存放由学习环节所学到的知识。I影响学习系统设计的第二个因素是知识库影响学习系统设计的第二个因素是知识库的形式和内容。的形式和内容。I知识库的形式就是知识表示的形式。知识库的形式就是知识表示的形式。执行环节执行环节I执行环节是整个机器学习系统的核心。执执行环节是整个机器学习系统的核心。执行环节用于处理系统面

21、临的现实问题，即行环节用于处理系统面临的现实问题，即应用知识库中所学到的知识求解问题，如应用知识库中所学到的知识求解问题，如智能控制、自然语言理解和定理证明等，智能控制、自然语言理解和定理证明等，并对执行的效果进行评价，将评价的结果并对执行的效果进行评价，将评价的结果反馈回学习环节，以便系统进一步的学习。反馈回学习环节，以便系统进一步的学习。I执行部分是整个学习系统的核心，因执行部分是整个学习系统的核心，因为执行部分的动作就是学习部分力求为执行部分的动作就是学习部分力求改进的动作。改进的动作。总结：机器学习系统的基本结构总结：机器学习系统的基本结构 环境环境向系统的学习部分提供信息；向系统的学

22、习部分提供信息；学习学习利用信息修改知识库，以增进系统执行利用信息修改知识库，以增进系统执行部分完成任务的效能；部分完成任务的效能；知识库知识库存放指导执行部分动作的一般原则；存放指导执行部分动作的一般原则；执行执行根据知识库完成任务，并把所获信息反根据知识库完成任务，并把所获信息反馈学习部分。馈学习部分。环境环境学习环节学习环节知识库知识库执行环节执行环节7.3 机械学习1.1.机械学习模式机械学习模式 机器学习是最简单的学习方法，也是一种最基本的学习过程。机器学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。可把机械学习系统的执行部分抽象地看成某个函可把机械学习系统

23、的执行部分抽象地看成某个函数，机械学习在存储器中简单地记忆存储对数，机械学习在存储器中简单地记忆存储对(X1,X2,(X1,X2,Xn),(Y1,Y2,Xn),(Y1,Y2,Yp),Yp)。当需要当需要f(X1,X2,f(X1,X2,Xn),Xn)时时,执行部分就从存储器中把执行部分就从存储器中把(Y1,Y2,(Y1,Y2,Yp),Yp)简单地检索出来而不是重新计算它。简单地检索出来而不是重新计算它。这种简单的学习模式如下：这种简单的学习模式如下：存储存储计算计算推导推导归纳归纳算法与理论算法与理论机械记忆机械记忆搜索规则搜索规则图图7.2 7.2 数据化简级别图数据化简级别图 LenatLe

24、nat，Hayes-RothHayes-Roth，和，和KlahrKlahr等人于等人于19791979年关于机械学习提出一种有趣年关于机械学习提出一种有趣的观点，见图的观点，见图7.27.2。机械学习就是记忆；机械学习就是记忆；学习元所做的工作仅仅是存储新的知识；学习元所做的工作仅仅是存储新的知识；需要时检索出来即可。需要时检索出来即可。例如：例如：某个计算的输入是：某个计算的输入是：(x1,x2,xn)，计算后输出是：计算后输出是：(y1,y2,yn),如果经评价后得知该结果正确，则把联想对如果经评价后得知该结果正确，则把联想对:(x1,x2,xn),(y1,y2,yn)存入存入知识库，当

25、以后需要知识库，当以后需要做同样的计算时，只要从知识库中检索出来即可，而不需要重新计算了。做同样的计算时，只要从知识库中检索出来即可，而不需要重新计算了。(2)利弊利弊 机械式学习实质上是用存储空间来换取处理时间，虽然节省了计算时间，但却机械式学习实质上是用存储空间来换取处理时间，虽然节省了计算时间，但却多占了存储空间。当因学习而积累的知识逐渐增多时，占用的空间就会越来越大，检多占了存储空间。当因学习而积累的知识逐渐增多时，占用的空间就会越来越大，检索的效率也就随之下降。索的效率也就随之下降。2.机械学习的主要问题存储组织信息存储组织信息：要采用适当的存储方式，使要采用适当的存储方式，使检索速

26、度尽可能地快。检索速度尽可能地快。环境的稳定性与存储信息的适用性问题：环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适机械学习系统必须保证所保存的信息适应于应于外界环境变化的需要。外界环境变化的需要。存储与计算之间的权衡：对于机存储与计算之间的权衡：对于机械学习来说械学习来说很重要的一点是它不能降低系统的效率。很重要的一点是它不能降低系统的效率。7.4 归纳学习归纳学习（归纳学习（induction learning）是应用归纳推理进行学习的一种方法。根据归是应用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。纳学习有无教师指导，

27、可把它分为示例学习和观察与发现学习。环境提供的环境提供的信息是关于实际例子的输入与输出描述；信息是关于实际例子的输入与输出描述；输入数据、输出结果规定了一个特殊的知识原则(特殊知识);学习元从这些特殊知识中假设和归纳出一般性知识。7.4.1 归纳学习的模式和规则 归纳学习的模式归纳学习的模式 解释过程 实例空间 规则空间 规划过程 归纳学习包括示例学习和观察发现学习。1.归纳推理（1）归纳推理是应用归纳方法所进行的推理，即从足够多的事例中归纳出一般性的知识，它是一种从个别到一般的推理。常用的归纳推理方法有：枚举归纳 联想归纳 类比归纳 .枚举归纳 设a1,a2,是某类事物 A 中的具体事物，若

28、已知 a1,a2,an 都有属性 P,并且没有发生反例，当 n 足够大时，就可得出“A 中所有事物都有属性 P”的结论。这是一种从个别事例归纳出一般性知识的方法，“A 中所有事物都有属性 P”是通过归纳得到的新知识。例如：设有如下已知事例：张三是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。赵十是足球运动员，他的体格健壮。当事例足够多时，就可归纳出一个一般性知识：凡是足球运动员，他的体格一定健壮。考虑到可能会出现反例，可给这条知识增加一个可信度：凡是足球运动员，他的体格一定健壮 （0.95）。.联想归纳 若已知两个事物 a 与 b 有 n 个属性相同或相似，即：a 具有属性 P1，

29、b也有属性 P1 a 具有属性 P2，b也有属性 P2 。a 具有属性 Pn，b也有属性 Pn 并且还发现，a 具有属性 Pn+1，则当 n 足够大时，可归纳出：b 也有属性 Pn+1 这一新知识。例如：通过观察发现，两个孪生兄弟都有相同的身高、体重、相貌，都喜欢唱歌、跳舞，且喜欢吃相同的食物，而且发现其中一人喜欢画山水画，虽然我们没有看到另一个也喜欢画山水画，但我们很容易联想到另一个“也喜欢画山水画”，这就是联想归纳。由于联想归纳是一种主观不充分置信推理，因而经归纳得出的结论 可能会有错误。2 2 归纳概括规则归纳概括规则取消部分条件取消部分条件I放松条件放松条件I沿概念树上溯沿概念树上溯

30、S S为所有条件中的为所有条件中的L L值在概念分层树值在概念分层树上最近的共同祖先，这是一种从个别推上最近的共同祖先，这是一种从个别推论总体的方法。论总体的方法。I形成闭合区域形成闭合区域 L L为具有线性关系的描述项，为具有线性关系的描述项，a,ba,b是是其特殊值。其特殊值。S S表示表示a,ba,b范围内的值。范围内的值。I将常量转化成变量将常量转化成变量 这种规则仅从事例中提取各个描述这种规则仅从事例中提取各个描述项之间的某种相互关系，而忽略其他关系项之间的某种相互关系，而忽略其他关系信息。信息。3 示例学习（Learning by Examples）示例学习是通过从环境中取得若干与

31、某概念有关的例子，经归纳得出一般性概念的一种学习方法。示例学习又称为实例学习。是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。在这种学习方法中，外部环境（教师）提供的是一组例子（正例和反例），这些例子实际上是一组特殊的知识，每一个例子表达了仅适用于该例子的知识，示例学习就是要从这些特殊知识中归纳出适合于更大范围的一般性知识。例如：我们用一批动物作为示例，并且告诉学习系统哪一个动物是“马”，哪一个动物不是，当示例足够多时，学习系统就能概括 出关于“马”的概念模型，使自己能识别“马”。这一学习过程就是示例学习。例如：假设示例空间存放有如下的三个示例：示例1：（0，2，

32、7）示例2：（6，-1，10）示例3：（-1，-5，-16）这是三个三维向量，表示空间中的三个点。现要求求出过这三个点的曲线。对于这一问题可采用通常的曲线拟合技术，归纳出规则:（x,y,2x+3y+1）即z=2x+3y+1.示例学习的学习模型 其学习过程是：首先从示例空间（环境）中选择合适的训练示例，然后经过 解释归纳出一般性的知识，最后再从示例空间中选择更多的示例对它进行验证，直到得到可实用的知识为止。.常用的归纳算法 强化/弱化算法：用于归纳产生式规则：学习元的输出为规则；强化指使规则前提取值范围加大：扩大范围；弱化指使规则前提取值范围变小：缩小范围；验证验证示例空间示例空间搜索搜索解释解

33、释形成知识形成知识知识库知识库找一个规则模式找一个规则模式用实例匹配用实例匹配 判断规则前提范围大？判断规则前提范围大？弱化前提弱化前提强化前提强化前提获取一般性规则获取一般性规则Stop 判断规则前提范围小？判断规则前提范围小？YYNN4.观察与发现学习 观察与发现学习分为观察学习与机器发现两观察与发现学习分为观察学习与机器发现两种。前者用于对事例进行概念聚类，形成概念描种。前者用于对事例进行概念聚类，形成概念描述；后者用于发现规律，产生定律或规则。述；后者用于发现规律，产生定律或规则。(1)概念聚类 把事例按一定的方式和准则进行分组，把事例按一定的方式和准则进行分组，使不同的组代表不同的概

34、念，并且对每一使不同的组代表不同的概念，并且对每一个组进行特征概括，得到一个概念的语义个组进行特征概括，得到一个概念的语义符号描述。符号描述。例如，用例如，用K K次平均算法实现概念聚类。次平均算法实现概念聚类。(2)机器发现经验发现经验发现从经验数据中发现规律和定从经验数据中发现规律和定律；律；知识发现知识发现从观察的事例中发现新的知从观察的事例中发现新的知识。识。7.5 类比学习7.5.1 类比推理和类比学习方式 类比学习（learning by analogy）就是通过类比，即通过对相似事物加以比较所进行的一种学习。类比推理是由新情况（T）与已知情况（S）在某些方面的相似，来推出它们在其

35、他相关方面的相似。其推理过程如下：回忆与联想-选择-建立对应关系-转换 1.类比推理过程(1)回忆与联想 通过回忆与联想，在S中找出与当前情况相似的情况，这些情况是过去已经处理过的，有现成的解决方法及相关的知识。(2)选择 从找出的相似情况中选出与当前情况最相似的情况及其有关知识，以便提高推理的可靠性。(3)建立对应关系 在S与T的相似情况之间建立相似元素的对应关系，并建立起相应的映射。(4)转换 根据映射，把S中的有关知识引到T中来，从而建立起求解当前问题的方法或者学习到关于T的新知识。类比学习：指在几个对象（实体）间检测相似性；根据一方对象（实体）所具有的事实和知识，推出相似对象所具有的事

36、实与知识；环境提供相关领域知识（与当前所学习的问题间有相似性）;学习元找出相似性并得出相似准则/知识。2 类比推理 类比学习的基础是类比推理。所谓类比推理是指：由新情况与记忆中的已知情况在某些方面相似，从而推出它们在其它方面也相似。类比推理是在两个相似域之间进行的：一个是已经认识的域，它包括过去曾经解决过且与当前待解决问题类似的问题以及相关知识，称为源域，记做 S；另一个是当前尚未完全认识的域，它是遇到的新问题，称为目标域，记做 T；类比推理的目的是：从 S 中选出与当前问题最近似的问题及其求解方法来求解当前问题，或者建立起目标域中已有命题间的联系，形成新知识。3.通过类比推理实现学习的步骤(

37、1)找出源域与目标域的相似性质P，找出源域中另一个性质Q和性质P对元素a的关系：P(a)Q(a)。(2)在源域中推广P和Q的关系为一般关系，即对于所有变量x来说，存在P(x)Q(x)。(3)从源域和目标域映射关系，得到目标域的新性质，即对于目标域的所有变量x来说，存在P(x)Q(x)。(4)利用假言推理：P(b)，P(x)Q(x)Q(b)，最后得出b具有性质Q。（符号表示类比推理）类比学习实际上是演绎学习和归纳学习的组合。步骤(2)是一个归纳过程，即从个别现象推断出一般规律；而步骤(4)则是一个演绎过程，即从一般规律找出个别现象。例 学生做习题时，往往在例题和习题之间进行对比，以发现相似之处，

38、然后利用这种相似关系解决习题中的问题。7.5.2 类比学习过程与研究类型I类比学习主要包括如下四个过程：1.输入一组已知条件和一组未完全确定的条件输入一组已知条件和一组未完全确定的条件。2.对两组出入条件寻找其可类比的对应关系。对两组出入条件寻找其可类比的对应关系。3.根据相似转换的方法，进行映射。根据相似转换的方法，进行映射。4.对类推得到的知识进行校验。对类推得到的知识进行校验。I类比学习的研究可分为两大类：(1)问题求解型的类比学习 (2)预测推定型的类比学习。它又分为两种方式：一是传统的类比法 另一是因果关系型的类比 7.6 解释学习7.6.1 解释学习过程和算法 1986年米切尔（M

39、itchell）等人为基于解释的学习提出了一个统一的算法EBG：训练例子 操作准则 知识库 新规则 目标概念 解释学习根据任务所在领域知识和正在学习的概念知识，对当前实例进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。I解释学习步骤 利用基于解释的方法对训练实例进行分析与解释，以说明它是目标概念的一个实例。对实例的结构进行概括性解释，建立该训练实例的一个解释结构以满足所学概念的定义；解释结构的各个叶结点应符合可操作性准则，且使这种解释比最初的例子适用于更大的一类例子。从解释结构中识别出训练实例的特性，并从中得到更大一类例子的概括性描述，获取一般控制知识。EBG求解问题的形式可

40、描述于下:给定：(1)目标概念描述TC；(2)训练实例TE；(3)领域知识DT；(4)操作准则OC。求解：训练实例的一般化概括，使之满足：(1)目标概念的充分概括描述TC；(2)操作准则OC。7.7 神经学习7.7.1 基于反向传播网络的学习 反向传播（back-propagation,BP）算法是一种计算单个权值变化引起网络性能变化值的较为简单的方法。BP算法过程包含从输出节点开始，反向地向第一隐含层传播由总误差引起的权值修正。神经网络的组成与特性1.生理神经元结构与功能(1)生理神经元的结构2.人工神经元组成与数学描述 人工神经元是根据生物神经网络研究成果，用数学加以抽象和简化，在计算机上

41、模拟生物神经元。(1)人工神经元（ANN）组成 wji xix2 wj2x1 wj1 -1 f().oj(2)ANN的数学描述 令来自其它处理单元令来自其它处理单元(神经元神经元)i)i的信息为的信息为xixi，它们与本处它们与本处理单元的互相作用强度为理单元的互相作用强度为wiwi，i=0,1,i=0,1,，n-1n-1，处理单元的处理单元的内部阈值为内部阈值为。那么本神经元的输入如左式所示那么本神经元的输入如左式所示 ，处理单，处理单元的输出如右式所示：元的输出如右式所示：(2)ANN的数学描述 f f称为激励函数或作用函数。它决定节点的输出。该输出为称为激励函数或作用函数。它决定节点的输

42、出。该输出为1 1或或0 0取取决于其输入之和大于或小于内部阈值决于其输入之和大于或小于内部阈值。其中图其中图(c)(c)表示表示sigmoid函数。函数。wji xix2 wj2x 1 wj1x0 wj0 .Sigmoid函数 若若f(f()取为取为sigmoidsigmoid函数，则函数，则ANNANN如下图所示：如下图所示：(为了为了表达方便起见，将内部阈值部分与输入部分统一表示）表达方便起见，将内部阈值部分与输入部分统一表示）I若取若取 w0=w1=10 01 1，则则1 12 2，则则 w1 x1 x0 w0 -1 f()o7.7.1 基于基于BP网络（反向传播网络）的学网络（反向传

43、播网络）的学习习1.BP1.BP网络的结构网络的结构 BPBP网络由一个输网络由一个输入层，一个输出层，入层，一个输出层，以及若干隐层组成。以及若干隐层组成。每一层神经元的状态每一层神经元的状态只影响下一层神经元。只影响下一层神经元。还可对每个神经还可对每个神经元设置阈值。元设置阈值。1 -21 111x0 x1o-1 0.5-1 0.5 -11.5例2 设有如下设有如下BP神经网络，神经网络，输入为逻辑值。隐层神经元及输入为逻辑值。隐层神经元及输出层神经元的激励函数与例输出层神经元的激励函数与例1同。问该神经网络能实现何逻同。问该神经网络能实现何逻辑功能？辑功能？2.BP2.BP网络的基本原

44、理网络的基本原理 通过一组样例，对网络进行训练，以得到一组符合条件的网络权值。每一样例包括输入向量，及其对应的期望输出(实际输出)向量。I 输入信息经各隐层逐层处理后，传至输出层。这一过程称为前向传播。I 如果在输出层得不到期望输出，则把误差沿原连接路径返回，并通过修改各层神经元的权值，使误差信号最小。这一过程称为反向传播。3.BP3.BP网络的学习算法网络的学习算法1）初始化所有的网络权值为小的随机值2）在遇到终止条件前#做以下工作：（1）前向传播。对于每个训练样例（X为输入向量，T为期望输出向量），把输入沿前向传播。（1 1）前向传播）前向传播 ANNANN激励函数的激励函数的输入(以下简

45、称节点输入以下简称节点输入)ANN ANN的的输出(以下简称节点输出以下简称节点输出)（1 1）前向传播）前向传播上标表示神经网络的层次序号（上标表示神经网络的层次序号（=1,2,=1,2,M M），），M M层为输出层；层为输出层；当当 =1=1时，时，表示整个神经网络的第表示整个神经网络的第k k个输入个输入值；值；表示第表示第 层的神经元个数；层的神经元个数；单下标表示某层次中的神经元的序号；单下标表示某层次中的神经元的序号；表示第表示第 -1-1层神经元层神经元k k，到第到第 层神经元层神经元i i的的权值。权值。3.BP3.BP网络的学习算法网络的学习算法1 1）初始化所有的网络权

46、值为小的随机值）初始化所有的网络权值为小的随机值2 2）在遇到终止条件前做以下工作：）在遇到终止条件前做以下工作：（1 1）前向传播。对于每个训练样例）前向传播。对于每个训练样例XT，把输入沿前向传播。把输入沿前向传播。(2)误差沿网络反向传播。(2)(2)反向传播反向传播 对输出层的第对输出层的第k k个单元，计算其误差项：个单元，计算其误差项：tk 表示整个神经网络的第表示整个神经网络的第k k个输出单元的个输出单元的期望输出。(2)(2)反向传播反向传播 对于第对于第 （M M）层的单元层的单元h h，计算其误差项计算其误差项:表示上一层单元数。表示上一层单元数。表示第表示第 层第层第h

47、 h单元，到单元，到 +1+1层第层第k k单元单元的权值。的权值。(2)(2)反向传播反向传播 对于第对于第 （M M）层的单元层的单元h h，计算其误差项计算其误差项:表示上一层各单元误差表示上一层各单元误差 ，以及，以及这些单元与本单元之间权值这些单元与本单元之间权值 的乘积之总和。的乘积之总和。3.BP3.BP网络的学习算法网络的学习算法1 1）初始化所有的网络权值为小的随机值）初始化所有的网络权值为小的随机值2 2）在遇到终止条件前做以下工作：）在遇到终止条件前做以下工作：（1 1）前向传播。对于每个训练样例）前向传播。对于每个训练样例，把输入沿前向传播。把输入沿前向传播。(2)(2

48、)误差沿网络反向传播。误差沿网络反向传播。(3)更新权值(3)(3)更新权值更新权值 是一个正的常数，称为学习速率。是一个正的常数，称为学习速率。4.BP网络学习算法举例例例3 3 右图为由右图为由sigmoidsigmoid神神经元构成的经元构成的BPBP神经网络神经网络（设每个神经元的阈值（设每个神经元的阈值均为均为0 0），所标数值为初始），所标数值为初始权值。当输入矢量为（权值。当输入矢量为（1 1，1 1）时，期望输出为时，期望输出为1 1，如，如果学习速率取为果学习速率取为0.10.1，请写，请写出用出用BPBP学习算法一次迭代学习算法一次迭代后的权值，要求写出过程。后的权值，要求

49、写出过程。-0.050.20.050.10.250.15x0 x1o(1)前向传播I第第0 0层（输入层）：层（输入层）：(1)前向传播I第第1 1层（隐层）：层（隐层）：(1)前向传播I第第2 2层（输出层）：层（输出层）：(2)(2)反向传播反向传播I第2层（输出层）：(2)反向传播I第第1层（隐层）：层（隐层）：(2)反向传播I第第0 0层（输入层）：层（输入层）：(3)(3)更新权值更新权值反向传播和权值更新前后的反向传播和权值更新前后的BP神经网络对神经网络对比：比：-0.050.20.050.10.250.15x0 x1o-0.04330.20710.04980.10060.250

50、60.1498x0 x1o5.BP网络学习算法的关键和有待解决的问题1 1）最终的权值应是各个样例训练结果的某种）最终的权值应是各个样例训练结果的某种统计值统计值 例如，设有样例例如，设有样例(k=1,2,(k=1,2,n)n)，则其权值可通过下式给出：则其权值可通过下式给出：2 2）训练的终止条件）训练的终止条件(1)(1)权值更新迭代的次数达到设定值时权值更新迭代的次数达到设定值时 该设定值应适当，否则将达不到训练目的，该设定值应适当，否则将达不到训练目的，或因对于样例的过度拟合而造成对于其它实或因对于样例的过度拟合而造成对于其它实例泛化精度的降低。例泛化精度的降低。(2)在训练样例上的误