人工智能及其应用蔡自兴第四版优秀PPT.ppt

《人工智能及其应用蔡自兴第四版优秀PPT.ppt》由会员分享，可在线阅读，更多相关《人工智能及其应用蔡自兴第四版优秀PPT.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第七章第七章 机器学习机器学习7.1 机器学习的定义、探讨意义与发展历史机器学习的定义、探讨意义与发展历史 7.2 机器学习的主要策略与基本结构机器学习的主要策略与基本结构7.3 7.7 几种常用的学习方法几种常用的学习方法7.8 学问发觉学问发觉7.9 小结小结1 7.1 7.1 机器学习的定义和发展机器学习的定义和发展历史历史7.1.1 机器学习的定义机器学习的定义 顾名思义,机器学习是探讨如何运用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门探讨机器获得新学问和新技 能,并识别现有学问的学问。27.1.27.1.2机器学习的发展史机器学习的发展史机器学习的发展分为机器

2、学习的发展分为4 4个时期个时期第一阶段是在第一阶段是在5050年头中叶到年头中叶到6060年头中叶，年头中叶，属于热忱时期。属于热忱时期。其次阶段在其次阶段在6060年头中叶至年头中叶至7070年头中叶，年头中叶，被称为机器学习的冷静时期。被称为机器学习的冷静时期。第三阶段从第三阶段从7070年头中叶至年头中叶至8080年头中叶，年头中叶，称为复兴时期。称为复兴时期。机器学习的最新阶段始于机器学习的最新阶段始于19861986年年 。7.1 机器学习的定义和发展历史3w机器学习进入新阶段的表现机器学习进入新阶段的表现w机器学习已成为新的边缘学科并在高机器学习已成为新的边缘学科并在高校形成课程

3、。校形成课程。w综合各种学习方法综合各种学习方法w 机器学习与人工智能问题的统一性观机器学习与人工智能问题的统一性观点正在形成。点正在形成。w各种学习方法的应用范围不断扩大。各种学习方法的应用范围不断扩大。w数据挖掘和学问发觉的探讨已形成热数据挖掘和学问发觉的探讨已形成热潮潮。w与机器学习有关的学术活动空前活跃与机器学习有关的学术活动空前活跃。w 7.1 机器学习的定义和发展历史47.2 7.2 机器学习的主要策略和机器学习的主要策略和基本结构基本结构 7.2.1 机器学习的主要策略 依据学习中运用推理的多少，机器学习所接受的策略大体上可分为4种机械学习、传授学习、类比学习和示例学习。机械学习

4、（死记硬背）传授学习（灌输；推理、翻译、转化）类比学习（仿照；找寻相像的案例）示例学习（举一反三,归纳，抽象）57.2.2 机器学习系统的基本结构机器学习系统的基本结构 1.学习系统的基本结构 环环 境境学学 习习知识库知识库执执 行行图图6.1 6.1 学习系统的基本结构学习系统的基本结构7.2 机器学习的主要策略和基本结构62.2.影响学习系统设计的要素影响学习系统设计的要素影响学习系统设计的最重要因素是环境向系统影响学习系统设计的最重要因素是环境向系统供应的信息，或者更具体地说是信息的质供应的信息，或者更具体地说是信息的质量。量。学问库是影响学习系统设计的其次个因素。学学问库是影响学习系

5、统设计的其次个因素。学问的表示有特征向量、一阶逻辑语句、产问的表示有特征向量、一阶逻辑语句、产生式规则、语义网络和框架等多种形式。生式规则、语义网络和框架等多种形式。选择学问表达方式的四原则：选择学问表达方式的四原则：表达实力表达实力推理实力推理实力修改实力修改实力扩展实力扩展实力7.2 机器学习的主要策略和基本结构77.3 7.3 机械学习机械学习1.1.机械学习模式机械学习模式 机械学习是最简洁的学习机械学习是最简洁的学习方法。机械学习就是记忆，方法。机械学习就是记忆，即把新的学问存储起来，供即把新的学问存储起来，供须要时检索调用，而不须要须要时检索调用，而不须要计算和推理。它是一种最基计

6、算和推理。它是一种最基本的学习过程。本的学习过程。特点：忽视推理、计算过特点：忽视推理、计算过程，提高效率程，提高效率 7.3 机械学习8存储存储计算计算推导推导归纳归纳算法与理论算法与理论机械记忆机械记忆搜索规则搜索规则图图7.2 7.2 数据化简级别图数据化简级别图 Lenat，Hayes-Roth，和，和Klahr等人于等人于1979年关于机械学习提出一种好玩年关于机械学习提出一种好玩的观点，见图的观点，见图7.2。7.3 机械学习92.2.机械学习的主要问题机械学习的主要问题存储组织信息：要接受适当的存储存储组织信息：要接受适当的存储方式，使检索速度尽可能地快。方式，使检索速度尽可能地

7、快。提高检索效率：索引、排序、杂凑提高检索效率：索引、排序、杂凑环境的稳定性与存储信息的适用性环境的稳定性与存储信息的适用性问题：机械学习系统必需保证所保问题：机械学习系统必需保证所保存的信息适应于外界环境变更的须存的信息适应于外界环境变更的须要。要。学问过时，设置有效期学问过时，设置有效期存储与计算之间的权衡：对于机械存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降学习来说很重要的一点是它不能降低系统的效率。低系统的效率。重新计算比检索更省有效率时，失重新计算比检索更省有效率时，失去意义；去意义；方法：设置存储量阀值；选择忘却方法：设置存储量阀值；选择忘却7.3 机械学习10 7

8、.4 归纳学习归纳学习归纳学习（归纳学习（induction learning）是应用归）是应用归纳推理进行学习的一种方法。依据归纳学纳推理进行学习的一种方法。依据归纳学习有无老师指导，可把它分为示例学习和习有无老师指导，可把它分为示例学习和视察与发觉学习。（从个别到一般）视察与发觉学习。（从个别到一般）7.4.1 归纳学习的模式和规则归纳学习的模式和规则 归纳学习的模式归纳学习的模式 其一般模式如下：其一般模式如下：给定：视察陈述（事实）给定：视察陈述（事实）F，假定的初始断，假定的初始断言（可能为空），背景学问（领域学问，言（可能为空），背景学问（领域学问，约束，假设，优先准则）约束，假设

9、，优先准则）求：归纳断言（假设）求：归纳断言（假设）H11w假设H永真蕴涵事实F，说明F是H的逻辑推理，则有：H|F 或 F|H；w选择型概括，构造性概括：选择性概括规则：取消部分条件放松条件沿概念树上溯形成闭合区域将常量转化成变量 解释过程 实例空间 规则空间 规划过程 127.4.2 归纳学习方法归纳学习方法w1.示例学习（learning from examples）w动物识别w中医诊断w2.视察发觉学习（learning from observation and discovery）w视察学习：事例聚类，形成概念描述；w机器发觉：发觉规律，产生定理或规则；137.5 类比学习类比学习7

10、.5.1 类比推理和类比学习方式类比推理和类比学习方式 类比学习（类比学习（learning by analogy）就）就是通过类比，即通过对相像事物加是通过类比，即通过对相像事物加以比较所进行的一种学习以比较所进行的一种学习。其推理过程如下其推理过程如下：回忆与联想回忆与联想 选择选择 建立对应关系建立对应关系 转换转换 P(a)Q(a),P(a)P(b)Q(b)Q(a)147.5.2 类比学习过程与探讨类型类比学习过程与探讨类型w类比学习主要包括如下四个过程：类比学习主要包括如下四个过程：w输入一组已知条件和一组未完全确定输入一组已知条件和一组未完全确定的条件的条件。w对两组出入条件找寻其

11、可类比的对应对两组出入条件找寻其可类比的对应关系。关系。w依据相像转换的方法，进行映射。依据相像转换的方法，进行映射。w对类推得到的学问进行校验。对类推得到的学问进行校验。7.5 类比学习15w类比学习的探讨可分为两大类：类比学习的探讨可分为两大类：w (1)问题求解型的类比学习问题求解型的类比学习w (2)预料推定型的类比学习。它预料推定型的类比学习。它又分为两种方式：又分为两种方式：w 一是传统的类比法一是传统的类比法w 另一是因果关系型的类比另一是因果关系型的类比 7.5 类比学习167.6 说明学习说明学习(explanation-based learning)7.6.1 说明学习过程

12、和算法说明学习过程和算法 1986年米切尔（年米切尔（Mitchell）等人为）等人为基于说明的学习提出了一个统一的基于说明的学习提出了一个统一的算法算法EBG：训练例子 操作准则 知识库 新规则 目标概念17EBG求解问题的形式可描述于下求解问题的形式可描述于下:给定：给定：(1)目标概念描述目标概念描述TC；(2)训练实例训练实例TE；(3)领域学问领域学问DT；(4)操作准则操作准则OC。求解：求解：训练实例的一般化概括，使之满足：训练实例的一般化概括，使之满足：(1)目标概念的充分概括描述目标概念的充分概括描述TC；(2)操作准则操作准则OC。7.6 说明学习187.7 神经学习神经学

13、习7.7.1 基于反向传播网络的学基于反向传播网络的学习习 反向传播（反向传播（back-propagation,BP）算法是一）算法是一种计算单个权值变更引起网种计算单个权值变更引起网络性能变更值的较为简洁的络性能变更值的较为简洁的方法。方法。BP算法过程包含从输算法过程包含从输出节点起先，反向地向第一出节点起先，反向地向第一隐含层传播由总误差引起的隐含层传播由总误差引起的权值修正。权值修正。19BP算法算法w网络模型：网络模型：wBP网络的前向计算关系：网络的前向计算关系：以三层网络为例，以三层网络为例，n个输入结点，个输入结点，m个输出结点，个输出结点，H个隐层结个隐层结点，训练样本由（

14、点，训练样本由（xk，dk）（）（k=1,2p）组成训练对，转移）组成训练对，转移函数微函数微f（）（）当输入第当输入第k个样本数据时隐层结点个样本数据时隐层结点h与输出层结点与输出层结点j的加权和的加权和与输出分别为：与输出分别为：x1x2xny1y2ymWihWhjd1e2dme1emyh(k)xi(k)yj(k)20wBP算法的权值调整方法：w令输出结点家j的误差为 则k个训练样本的误差平方和为性能指标w隐层到输出层的权值调整（梯度法）：w输入层到隐层的权值调整（梯度法）：wBP网络的训练步骤：w用小随机数初始化网络各层权值；w样本数据输入；w误差计算；w权值变更量计算；w权值调整217

15、.7.2 基于基于Hopfield网络的学习网络的学习 反馈神经网络，它是一种动态反反馈神经网络，它是一种动态反馈系统，比前馈网络具有更强的馈系统，比前馈网络具有更强的计算实力。计算实力。Hopfield网络是一种具有正反相网络是一种具有正反相输出的带反馈人工神经元。输出的带反馈人工神经元。7.7 神经学习22反馈型神经网络（Hopfield网络）wHopfield网络结构wHopfield离散随机网络是Hopfield于1982提出的，1984年又提出了连续时间模型。一般在进行计算机仿真时接受离散模型，而在硬件实现时接受连续模型。wHopfield网络的重要意义；f(.)f(.)f(.)I1

16、I2InVnV2V1W2nW22W1223w一种特定的Hopfield离散网络的特性（CAM）wf(.)=sign(.)w网络计算：wHopfield证明当WijWji，网络是收敛的。w数据网络演化方式：同步与异步w网络的稳定性：稳定吸引子、极限环状态、状态发散wHopfiled算法：w（1）设置互联权值w 具有m个样本，x为输入样本变量，为1或-1的n维向量；w（2）对未知类别的采样初始化wyi(0)=xi 0=i=n-1w（3）迭代运算：w（4）网络收敛，则结束；否则转（2）247.8 学问发觉学问发觉7.8.1 学问发觉的发展和定义学问发觉的发展和定义学问发觉的产生和发展学问发觉的产生和

17、发展 学问发觉最早是于学问发觉最早是于1989年年8月在月在第第11届国际人工智能联合会议的届国际人工智能联合会议的专题探讨会上提出。专题探讨会上提出。学问发觉的定义学问发觉的定义 数据库中的学问发觉是从大量数据库中的学问发觉是从大量数数 据中辨识出有效的、新颖据中辨识出有效的、新颖的、潜在有用的、并可被理的、潜在有用的、并可被理解的解的 模式的高级处理过程模式的高级处理过程。数据集、新颖数据集、新颖、潜在有用、潜在有用、可被人理解的、模式、高级过可被人理解的、模式、高级过程程257.8.2 学问发觉的处理过程学问发觉的处理过程 1.数据选择。依据用户的需求从数据库中提取与KDD相关的数据。2

18、.数据预处理。主要是对上述数据进行数据预处理。主要是对上述数据进行再加工，检查数据的完整性及数据的再加工，检查数据的完整性及数据的一样性，对丢失的数据利用统计方法一样性，对丢失的数据利用统计方法进行填补，形成发掘数据库。进行填补，形成发掘数据库。7.8 学问发觉263.数据变换数据变换。即从发掘数据库里选择。即从发掘数据库里选择数据数据4.4.数据挖掘。依据用户要求，确定数据挖掘。依据用户要求，确定KDDKDD的目标是发觉何种类型的学问。的目标是发觉何种类型的学问。5.5.学问评价。这一过程主要用于对所获学问评价。这一过程主要用于对所获得的规则进行价值评定，以确定所得得的规则进行价值评定，以确

19、定所得的规则是否存入基础学问库。的规则是否存入基础学问库。7.8 学问发觉277.8.3 学问发觉的方法学问发觉的方法 1.统计方法：统计方法是从事物的外在数量上统计方法：统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。的表现去推断该事物可能的规律性。（1）传统方法：）传统方法：收集数据，分析数据，进行推理（回来收集数据，分析数据，进行推理（回来分析，判别方法，聚类分析，探究性分析）分析，判别方法，聚类分析，探究性分析）（2）模糊集）模糊集（3）支持向量机（）支持向量机（SVM）（4）粗糙集：）粗糙集：具有三值隶属函数的模糊集，确定属于、具有三值隶属函数的模糊集，确定属于、或许属于

20、、确定不属于该概念。或许属于、确定不属于该概念。7.8 学问发觉282.机器学习方法机器学习方法（1）规则归纳）规则归纳 如：如：AQ算法算法（2）决策树）决策树（3）范例推理）范例推理（4）贝叶斯信念网络）贝叶斯信念网络（5）科学发觉）科学发觉 如：如：BACON系统系统（6）遗传算法）遗传算法 3.神经计算方法神经计算方法(MLP、BP、Hopfield、RBF)4.可视化方法可视化方法：可视化：可视化（visualization）就是把数据、信息）就是把数据、信息和学问转化为可视的表示形式的过和学问转化为可视的表示形式的过程。程。297.8.4 学问发觉的应用学问发觉的应用 学问发觉已在

21、很多领域得到应用。现学问发觉已在很多领域得到应用。现在，学问发觉已在银行业、保险业、在，学问发觉已在银行业、保险业、零售业、医疗保健、工程和制造业、零售业、医疗保健、工程和制造业、科学探讨、卫星视察和消遣业等行业科学探讨、卫星视察和消遣业等行业和部门得到成功应用，为人们的科学和部门得到成功应用，为人们的科学决策供应很大帮助。决策供应很大帮助。7.8 学问发觉30w金融w（1）市场分析与预料w（2）帐户分类、信用评估w保险w（1）潜在客户评估、分析w（2）索赔合理性分析w制造业（生产过程优化）w市场与零售业（销售、库存、需求、零售点、价格等的分析与预料）w医疗业（医疗诊断）w司法（FAIS系统，识别洗钱、诈骗、犯罪分析）w工程与科学（星体发觉）31 7.9 小结小结 本章只对机器学习作个入门介绍。机器学习在过去十多年中获得较大发展。今后机器学习将在理论概念、计算机理、综合技术和推广应用等方面开展新的探讨。其中，对结构模型、计算理论、算法和混合学习的开发尤为重要。在这些方面，有很多事要做，有很多新问题须要人们去解决。32