人工智能机器学习课件优秀PPT.ppt
《人工智能机器学习课件优秀PPT.ppt》由会员分享,可在线阅读,更多相关《人工智能机器学习课件优秀PPT.ppt(100页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第六章 机器学习概述几种机器学习第六章 机器学习概述几种机器学习机器学习 概述n参考书n本书展示了机器学习中的核心算法和理论,并阐明白算法的过行过程。书中主要涵盖了目前机器学习中各种最好用的理论和算法,包括概念学习、决策树、神经网络、贝叶斯学习、基于实例的学习、遗传算法、规则学习、基于说明的学习和增加学习等。对每一个主题,作者不仅进行了特殊详尽和直观的说明,还给出了好用的算法流程。本书被卡内基梅隆等很多高校作为机器学习课程的教材。机器学习 概述什么是机器学习?Simon(1983):学习就是系统中的变更,这种变更使系统比以前更有效地去做同样的工作。Minsky(1985):学习是在我们头脑中(
2、心里内部)进行有用的变更。学习是一种具有多侧面的现象。学习的过程有:获得新的陈述性学问、通过教化或实践发展机械技能和认知实力、将新学问组织成为通用化和有效的表达形式、借助视察和试验发觉新的事实和新的理论。机器学习 概述基本形式:学问获得和技能求精学问获得:学习的本质就是获得新的学问。包括物理系统和行为的描述和建模,构造客观现实的表示。学问获得通过实践渐渐改造机制和认知技能。例:骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中订正偏差来进行的。技能求精机器学习 概述基本形式学问获得的本质可能是一个自觉的过程,其结果是产生新的符号学问结构和智力模型。而技能求精则是
3、下意识地借助于反复地实践来实现的。本章只涉及学习的学问获得问题。机器学习 概述为什么要探讨机器学习?人工智能主要是为了探讨人的智能,仿照其机理将其应用于工程的科学。在这个过程中必定会问道:“人类怎样做才能获得这种特殊技能(或学问)?”。.机器学习 概述为什么要探讨机器学习?.当前人工智能探讨的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习实力。系统中的学问由人工编程送入系统,学问中的错误也不能自动改正。也就是说,现有的大多数人工智能是演绎的、没有归纳推理,因而不能自动获得和生成学问。.机器学习 概述为什么要探讨机器学习?.将
4、来的计算机将有自动获得学问的实力,它们干脆由书本学习,通过与人谈话学习,通过视察学习。它们通过实践自我完善,克服人的存储少、效率低、留意力分散、难以传送所获得得学问等局限性。一台计算机获得的学问很简洁复制给任何其它机器。机器学习 概述实现的困难:预料难:学习后学问库发生了什么变更,系统功能的变更的预料。归纳推理:现有的归纳推理只保证假,不保证真。演绎推理保真。而且,归纳的结论是无限多的,其中相当多是假的,给生成的学问带来不行靠性。机器目前很难视察什么重要、什么有意义。机器学习 概述机器学习模型学习是建立理论、形成假设和进行归纳推理的过程。整个过程包括:信息的存储、学问的处理两部分 环境学习环节
5、学问库 执行环节对环境所供应的信息进行处理,以便改善学问库中的显式学问。机器学习 概述发展历史神经系统模型和决策理论的探讨50年头起先。其特点是对起先与无初始结构和面对作业学问的通用学习系统感爱好。包括构造多种具有随机或部分随机的初始结构的基于神经模型的机器。这些系统一般称为神经网络或自组织系统。由于当时计算机技术状态,多停留在理论和硬件上。这些元件类似于神经元,他们实现简洁的逻辑功能。机器学习 概述发展历史 神经系统模型和决策理论的探讨1965年左右,神经网络阅历模式导致了模式识别这一新学科以及机器学习的决策理论方法。这种方法中学习就是从给定的一组经过选择的例子中获得推断函数,有线性的、多项
6、式的、或相关的形式。当时,Samuel(1059-1963)的跳棋程序是最著名的成功的学习系统之一。达到了跳棋大师的水平。机器学习 概述符号概念获得的探讨60年头中期提出的基于符号表示的概念学习系统探讨。这类学习过程通过分析一些概念的正例和反例构造出这些概念的符号表示。表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络。代表有Winston的ARCH。机器学习 概述基于学问的学习系统的探讨70年头中期留意基于学问的学习系统探讨。人们不再局限于构造概念学习系统和获得上下文学问,同时也结合了问题求解中的学习、概念聚类、类比推理及机器发觉的工作。一些成熟的方法起先用于帮助构造专家系统,并不断地
7、开发新的学习方法,使机器学习达到一个新的时期。这时期的工作特点主要有三个方面:机器学习 概述基于学问的学习系统的探讨基于学问的方法:着重强调应用面对任务的学问和指导学习过程的约束。从早先的无学问学习系统的失败中吸取的教训就是:为获得新的学问,系统必需事先具备大量的初始学问。开发各种各样的学习方法,除了早先从例子中学习外,各种有关的学习策略相继出现,如示教学习,视察和发觉学习。同时也出现了如类比学习和基于说明的学习等方法。结合生成和选择学习任务的实力:应用启发式学问于学习任务的生成和选择,包括提出收集数据的方式、选择要获得的概念与限制系统的留意力等。机器学习 概述联接学习和符号学习的深化探讨 第
8、四时期起先于八十年头后期,联接学习和符号学习的深化探讨导致机器学习领域的极大旺盛。首先,神经网络的探讨重新快速崛起,并在声音识别、图象处理等诸多领域得到很大成功。从事探讨的学者,发觉了用隐含层神经元来计算和学习非线性函数的方法,克服了早期神经元模型的局限性。计算机硬件技术的高速发展也为开发大规模和高性能的人工神经网络扫清了障碍,使得基于人工神经网络的联接学习从低谷走出,发展迅猛,并向传统的基于符号的学习提出了挑战。机器学习 概述联接学习和符号学习的深化探讨 同时,符号学习已阅历了三十多年的发展历程,各种方法日臻完善,出现了应用技术蓬勃发展的景象。最突出的成就有分析学习(特殊是说明学习)的发展,
9、遗传算法的成功和加强学习方法的广泛应用。特殊是近几年来,随着计算机网络的发展,基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发都将机器学习的探讨推向新的高度,网络环境已成为人工智能和机器学习的重要试验床。机器学习 概述机器学习进入新阶段的重要表现:(近十年)机器学习已成为新的边缘科学并在高校形成一门课程。它综合应专心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。机器学习 概述机器学习进入新阶段的重要表现:(近十年)结合各种学习方法,取长补短的多种形式的集成学习系统的探讨正在兴起。特殊是连接学习,符号学习的耦合可以更好地解决连续性信号处理中学问与技能的获
10、得与求精问题而受到重视。机器学习 概述机器学习进入新阶段的重要表现:(近十年)机器学习与人工智能各种基础问题的统一性观点正在形成。例如:学习与问题求解结合进行,学问表达便于学习的观点产生了通用智能系统SOAR的组块学习。类比学习与问题求解结合的基于案例学习已成为阅历学习的重要方向。机器学习 概述机器学习进入新阶段的重要表现:(近十年)各种学习方法的应用范围不断扩大,一部分已形成商品。归纳学习的学问获得工具已在诊断分类性专家系统中广泛应用。连接学习在声图文识别中占优势。分析学习用于设计综合性专家系统。遗传算法与强化学习在工程限制中有较好的应用前景。与符号系统耦合的神经网络连接学习将在企业的智能管
11、理与智能机器人运动规划中发挥作用。机器学习 概述机器学习进入新阶段的重要表现:(近十年)与机器学习有关的学术活动空前活跃。国际上除每年一次的机器学习探讨会外,还有计算机学习理论会议及遗传算法会议。机器学习 概述分类(由低到高)通过归纳总结学习通过归纳总结学习(自学习)(自学习)通过书本资料学习通过书本资料学习(独立探讨)(独立探讨)通过实际事例学习通过实际事例学习(启发式学习)(启发式学习)通过提问学习通过提问学习(注入式学习)(注入式学习)通过机械记忆学习通过机械记忆学习(死记硬背式)(死记硬背式)高高 低低机器学习 概述分类:(按学习策略分类)机械式学习和干脆输入新学问(记忆学习)学习者不
12、须要进行任何推理或学问转换,将学问干脆装进机器中。依据示教学习(传授学习、指引学习)从老师或其它有结构的事物获得学问。要求学习者将输入语言的学问转换成它本身的内部表示形式。并把新的信息和它原有的学问有机地结合为一体。机器学习 概述通过类推学习(演绎学习)学习者找出现有学问中所要产生的新概念或技能特殊类似的部分。将它们转换或扩大成适合新状况的形式,从而取得新的事实或技能。从例子中学习(归纳学习)给学习者供应某一概念的一组正例和反例,学习者归纳出一个总的概念描述,是它适合于全部的正例且解除全部的反例。(目前探讨较多的一种方法)机器学习 概述类比学习演绎学习与归纳学习的组合。匹配不同论域的描述、确定
13、公共的结构。以此作为类比映射的基础。找寻公共子结构是归纳推理,而实现类比映射是演绎推理。基于说明的学习学生依据老师供应的目标概念、该概念的一个例子、领域理论及可操作准则,首先构造一个说明来说明为什么该例子满足目标概念,然后将说明推广为目标概念的一个满足可操作准则的充分条件。机器学习 概述分类:(按综合分类)机器学习近几年来发展很快,无论是符号学习还是联接学习都派生出了很多分支和新的方法,探讨领域不断扩大,使得不少机器学习方法很难用加以归类。综合分类方式则在对机器学习方法进行分类时,综合考虑各种学习方法出现的历史渊源、学问表示、推理策略、结果评估的相像性、探讨人员沟通的相对集中性以及应用领域等诸
14、因素。综合分类方式将机器学习方法区分为以下六类:机器学习 概述按综合分类阅历性归纳学习(empirical inductive learning)。阅历性归纳学习接受一些数据密集的阅历方法(例如,版本空间法、ID3法,定律发觉方法)对例子进行归纳学习。其例子和学习结果一般都接受属性、谓词、关系等符号表示。它相当于基于学习策略分类中的归纳学习,但扣除联接学习、遗传算法、加强学习的部分。机器学习 概述按综合分类阅历性归纳学习-决策树构造法ID3。假如学习的任务是对一个大的例子集作分类概念的归纳定义,而这些例子又都是用一些无结构的属性值对来表示,则可以接受示例学习方法的一个变种决策树学习,其代表性的
15、算法是昆兰(J.R.Quinlan,1986)提出的ID3。机器学习 概述按综合分类决策树构造法-ID3。ID3的输入是描述各种已知类别实例的列表。例子由预先定义的属性值对来表示。归纳推理产生的结果不是以往探讨的那种合取表达式,而是一棵决策树(也称判别树,并可转而表示为决策规则的一个集合),用它可正确地区分全部给定例子的类属。机器学习 概述按综合分类决策树构造法-ID3。树中的每一非叶节点对应一个需测试的属性,每个分叉就是该属性可能的取值;树的叶节点则指示一个例子事物的类别。ID3的显著优点是归纳学习花费的时间和所给任务的困难度(取决于例子个数,用来描述对象的属性数,所学习概念的困难度即决策树
16、的节点数等)仅成线性增长关系。当然,ID3只能处理用属性-值对表示的例子。机器学习 概述按综合分类分析学习(analytic learning)。分析学习方法是从一个或少数几个实例动身,运用领域学问进行分析。其主要特征为:推理策略主要是演绎,而非归纳;运用过去的问题求解阅历(实例)指导新的问题求解,或产生能更有效地运用领域学问的搜寻限制规则。分析学习的目标是改善系统的性能,而不是新的概念描述。分析学习包括应用说明学习、演绎学习、多级结构组块以及宏操作学习等技术。机器学习 概述按综合分类类比学习。它相当于基于学习策略分类中的类比学习。目前,在这一类型的学习中比较引人注目的探讨是通过与过去阅历的具
17、体事例作类比来学习,称为基于范例的学习(case_based learning),或简称范例学习。基于范例的推理(Case-Based Ressoning,CBR)是指利用过去阅历的典型事例(称为范例)求解或理解当前问题。机器学习 概述按综合分类基于范例的推理。这种推理形式在现实生活中特殊常见。例如,有阅历的建筑设计师在设计新的建筑结构时,往往会回想起以往类似的例子。在烹饪、日常活动支配及其它很多方面都存在类似状况,即处理问题时不是从头起先考虑各种微小环节及其关系,而是依据过去典型的事例,做适当调整以处理当前问题。因而基于范例推理又被称为即时推理(instant reasoning),特殊适合
18、于学问缺乏或学问太困难而阅历又相对丰富、稳定的领域。机器学习 概述按综合分类基于范例的推理是一种类比推理方式。与一般的类比推理相比,基于范例推理有以下两个特点:1)作为过去阅历的范例一般有比较固定的表示结构,通常用框架形式表示;2)欲求解的问题与范例中的问题同属于一个领域,且一般是同性质的,即是两类同性质问题的类比。机器学习 概述基于范例的推理不仅是一种有效的推理方法,也可用于建立一种很好的机器学习方法-基于范例的学习(Case Based Learning,CBL),其学习实力主要表现在:1)通过记忆和调整老问题的解,使得新问题的求解不必从头做起,因而推理更有效率。2)通过记忆更多的正、反范
19、例,使得系统的推理实力更强。3)通过对范例库中同类范例的归纳,可抽象出更一般、有用的结论。机器学习 概述按综合分类遗传算法(genetic algorithm,GA)。是一种基于进化论优胜劣汰、适者生存的物种遗传思想的搜寻算法。遗传算法模拟生物繁殖的突变、交换和达尔文的自然选择(在每一生态环境中适者生存)。它把问题可能的解编码为一个向量,称为个体,向量的每一个元素称为基因,并利用目标函数(相应于自然选择标准)对群体(个体的集合)中的每一个个体进行评价,依据评价值(适应度)对个体进行选择、交换(基因重组)、变异(突变)等遗传操作,从而得到新的群体。机器学习 概述按综合分类遗传算法(genetic
20、 algorithm,GA)。美国密执根高校的霍勒德(J.H.Holland)于70年头初提出并创立了遗传算法。在霍勒德的GA算法中接受二进制串来表示个体。考虑到物种的进化或淘汰取决于它们在自然界中的适应程度,GA算法为每一个体计算一个适应值或评价值,以反映其好坏程度。机器学习 概述按综合分类遗传算法(genetic algorithm,GA)因而,个体的适应值越高,就有更大的可能生存和再生,即它的表示特征有更大的可能出现在下一代中。遗传操作“交换”旨在通过交换两个个体的子串来实现进化;遗传操作“突变”则随机地变更串中的某一(些)位的值,以期产生新的遗传物质或再现已在进化过程中失去的遗传物质。
21、霍勒德提出的遗传算法也称为简洁遗传算法(SGA),是一种基本的遗传算法。机器学习 概述按综合分类简洁遗传算法(simple genetic algorithm,SGA)SGA以0、1组成的串表示问题域中待进化的个体(初始解)。利用遗传操作交换和突变,SGA从当前个体的集合群体的各串中产生下一代群体。这一过程循环进行,直到满足了结束条件(如循环了指定次,或群体性能不再改进)。SGA的处理过程如下:机器学习 概述按综合分类简洁遗传算法(simple genetic algorithm,SGA)begin1.选择适当表示,生成初始群体;2.评估群体;3.While 未达到要求的目标 dobegin1
22、.选择作为下一代群体的各个体;2.执行交换和突变操作;3.评估群体;endend 机器学习 概述按综合分类简洁遗传算法(simple genetic algorithm,SGA)因此,对于一个SGA算法来说主要涉及以下内容:编码和初始群体生成;群体的评价;个体的选择;交换;突变;机器学习 概述按综合分类遗传算法(genetic algorithm)。遗传算法适用于特殊困难和困难的环境,比如,带有大量噪声和无关数据、事物不断更新、问题目标不能明显和精确地定义,以及通过很长的执行过程才能确定当前行为的价值等。遗传算法作为一种解决困难问题的崭新的有效优化方法,近年来得到了广泛的实际应用,同时也渗透到
23、人工智能、机器学习、模式识别、图像处理、软件技术等计算机学科领域。GA在机器学习领域中的一个典型应用就是利用GA技术作为规则发觉方法应用于分类系统。机器学习 概述按综合分类联接学习。典型的联接模型实现为人工神经网络,其由称为神经元的一些简洁计算单元以及单元间的加权联接组成。机器学习 概述按综合分类加强学习(reinforcement learning)。加强学习的特点是通过与环境的摸爽性(trial and error)交互来确定和优化动作的选择,以实现所谓的序列决策任务。在这种任务中,学习机制通过选择并执行动作,导致系统状态的变更,并有可能得到某种强化信号(立刻回报),从而实现与环境的交互。
24、强化信号就是对系统行为的一种标量化的奖惩。系统学习的目标是找寻一个合适的动作选择策略,即在任一给定的状态下选择哪种动作的方法,使产生的动作序列可获得某种最优的结果(如累计立刻回报最大)。机器学习 概述探讨目的希望得到通用的算法 探讨了解学习学问的模型、认知模型 解决实际问题的学问库域系统,达到工程目标 探讨特点不行预料性第六章 机器学习概述几种机器学习第六章 机器学习概述几种机器学习机械式学习指导式学习示例学习决策树学习遗传算法机械式学习概述是一种最简洁的机器学习系统。外界以一种推理机可干脆运用的学问表示形式供应信息,学习系统无需作任何处理。它所要做的是记居处有的信息,考察系统已解决的问题,记
25、住问题和结论。模型:(x1,x2)(y1,y2)(x1,x2),(y1,y2)输入模式 执行 输出值 数据对(已解决问题结果)函数是一种基于记忆和检索的方法,因此储存器的组织问题将影响检索的效率。f 存储 指导式学习概述通过和用户的相互对话,把用户的一般性看法或指示具体化;或帮助用户补充和修改原有的学问库。该方法既避开系统自己分析、归纳和发觉学问的困难,又无需供应学问的领域专家了解系统内部表示和组织学问的实际微小环节。是目前智能系统中接受较多的方法之一。指导式学习模型输入输入推理机推理机输出输出知识库知识库征征询询解解释释加加工工归归并并评评价价专家专家用户用户指导式学习步骤征询:恳求并接受专
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 机器 学习 课件 优秀 PPT
限制150内