(1.6)--第6章 机器学习概述人工智能导论.ppt

《(1.6)--第6章 机器学习概述人工智能导论.ppt》由会员分享，可在线阅读，更多相关《(1.6)--第6章 机器学习概述人工智能导论.ppt（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章 机器学习概述Introduction to Machine LearningPPT模板下载： 目录CONTENTS机器学习概述一基本概念二常见分类三学习准则与优化算法四典型算法介绍五一、机器学习概述获取知识、技能、发现事物内部规律的过程。人的学习从感性到理性、表层到深层知识转换过程。改进性能、适应环境、实现系统的自我完善。一个有特地目的的知识获取过程。内在行为外部表现积累经验，复杂的推理、判断1.人的学习学习是人类获取知识的重要途径和自然智能的重要标志。朝霞不出门，晚霞行千里瑞雪兆丰年一、机器学习概述R.Shank：一台计算机若不会学习，就不能说它具有智能。机器学习(MachineLe

2、arning,ML)定义（维基百科）机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。计算机能够模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现自我完善。2.机器学习的定义一、机器学习概述TomMitchell在MachineLearning的定义：给定任务T（Task）、相关经验E（Experience）、性能指标P（PerformanceMetric），机器学习就是通过对经验E的学习来优化任务T完成性能指标P的一个过程。任务：根据路况确定驾驶方式经验：大量的人类正确驾驶数据指标：发生事故的概率任务：根据对手招数确定应对招数经验：大量的人类棋谱数据指标：胜率2.机

3、器学习的定义卡内基梅隆大学教授符号主义代表性人物一、机器学习概述机器学习与人类思考的类比一、机器学习概述3.机器学习与人工智能机器学习是人工智能的核心，是使计算机获取知识、具有智能的根本途径，其应用遍及人工智能的各个领域。Machine Learning-all around us一、机器学习概述8人工智能机器学习推荐系统动态规划知识表示.逻辑推理多智能体智能计算自主意识+创造力人工智能的路途还很漫长PPT模板下载： 目录CONTENTS机器学习概述一基本概念二常见分类三学习准则与优化算法四典型算法介绍五二、基本概念1.样本（Sample）：一组记录好的特征值和对应的标签（标记），称为一个样本

4、或实例。（出现朝霞、没有出现晚霞、空气湿度为50%；下雨）特征（Feature）标签、标记（Label）有标记样本（出现朝霞、没有出现晚霞、空气湿度为50%）无标记样本（有斑点、长脖子、长腿、蹄、哺乳动物；长颈鹿）二、基本概念2.数据集（Dataset）：一组样本构成的集合。3.训练数据集（TrainingSet）：用于模型学习的样本集合。4.测试数据集（TestSet）：用于测试模型性能指标的样本集合。5.模型（Model）：本质上是一个函数，实现从样本特征到样本标记映射。二、基本概念6.模型拟合（ModelFitting）：利用训练数据集对模型的普通参数进行拟合。7.模型评价（ModelA

5、ssessment）：利用测试数据集评价模型某些指标的真实性能。8.泛化（Generalization）：模型对未知数据的预测能力，可通过测试误差来评估。9.鲁棒性（Robust）：模型对异常数据的抗干扰能力，衡量其对数据变化的容忍度。二、基本概念10.拟合（Fitting）：模型的对数据集的拟合（逼近）曲线能否很好的描述样本。11.欠拟合（UnderFitting）：模型过于简单，无法拟合训练样本。12.过拟合（Overfitting）：拟合曲线过于贴近训练数据的特征，但测试集上却较差，泛化能力差。分类（Classification）回归（Regression）二、基本概念13.独热编码（O

6、ne-Hot）：也称一位有效码，用序列化的数字（只有0和1）表达特征，通过N位数字对N种情况进行编码。方便计算多个样本的特征相似度。性别特征：男，女One-Hot：男=10，女=01性别特征（One-Hot编码）：10，01运动特征：足球，篮球，羽毛球，乒乓球运动特征（One-Hot编码）：1000，0100，0010，0001PPT模板下载： 目录CONTENTS机器学习概述一基本概念二常见分类三学习准则与优化算法四典型算法介绍五三、常见分类从训练数据集中学习一个模型，使用该模型对未知数据进行预测。学习过程：将模型的预测结果与“训练数据”的实际结果（标签）进行比较，优化调整模型，直到预测结果

7、达到预期的准确率。注意：训练/测试数据集中的样本都有标记。常见应用：分类（Classification）、回归（Regression）。输出y模型学习算法输入x训练样本(x,y)1.监督学习（SupervisedLearning）三、常见分类（1）分类（Classification）：样本标签只取有限个可能值（离散值）。【例2】肿瘤性质分类【例1】手写体数字识别1.监督学习（SupervisedLearning）典型应用：过滤垃圾邮件、欺诈检测、文本识别等。常用算法：朴素贝叶斯、决策树、逻辑回归、K近邻、支持向量机等。三、常见分类（2）回归（Regression）：样本标签的取值是某区间的实数

8、（连续取值）。房屋面积（平方米）价格（万$）【例1】房价预测【例2】股票价格预测1.监督学习（SupervisedLearning）典型应用：供应和销售量分析、计算时间序列相关性等。常用算法：线性回归、多项式回归、神经网络、决策树等。本质上也是“分类”算法，只不过预测的不是类别而是一个数值。（1）回归（Regression）1.监督学习（SupervisedLearning）三、常见分类实际场景中获得带标签的数据是非常困难的。样本集中的样本没有标记，学习模型目的是推断出数据的一些内在特征结构。常见应用：降维（DimensionReduction）、聚类（Clustering）等。2.无监督学习

9、（UnsupervisedLearning）三、常见分类（1）降维（DimensionReduction）：采用某种映射方法，将原始高维空间中的数据特征映射到低维度的空间中，降低求解问题的复杂性。手写数字识别训练数据集MINIST的降维可视化结果28*28=784维2维难度：尽可能保留特征的主要结构及其携带的信息。2.无监督学习（UnsupervisedLearning）典型应用：推荐系统、协同过滤等。常用算法：主成分分析、奇异值分解、t-SNE等。三、常见分类（2）聚类（Clustering）：基于某些特征，试图找出相似的事物。具有很多相似特征的事物聚集在一起并划分到同一个类别，每一个类别称

10、为簇。类似分类（监督学习），分类则是用已知分类的数据集训练出一个能够预测数据类型的模型，而聚类对于未知分类标签的样本集进行分类。山鸢尾变色鸢尾维吉尼亚鸢尾2.无监督学习（UnsupervisedLearning）典型应用：市场细分(顾客类型，忠诚度等)、图像压缩、分析和标注新的数据、检测异常行为等。常见算法：K均值聚类、Mean-Shift、DBSCAN等。2.无监督学习（UnsupervisedLearning）（2）聚类（Clustering）【例】鸢尾花分类（花萼sepal、花瓣petal长度&宽度）山鸢尾变色鸢尾维吉尼亚鸢尾三、常见分类介于监督学习和无监督学习之间的一种学习方式。研究如

11、何利用少量带标签样本和大量无标签样本进行训练。常见应用：首先对未标注样本进行建模，在此基础上再分析数据，如图推理算法（GraphInference）、拉普拉斯支持向量机（LaplacianSVM）等。3.半监督学习（Semi-supervisedLearning）PPT模板下载： 目录CONTENTS机器学习概述一基本概念二常见分类三学习准则与优化算法四典型算法介绍五四、学习准则与优化算法优化模型的训练策略，一般可以使用损失函数（LossFunction）。（2）均方误差（MeanSquaredError）损失函数：（1）错误率：机器学习三要素：模型、学习准则、优化算法4.1 学习准则四、学习

12、准则与优化算法【例】根据西瓜的色泽、根蒂、敲声特征，建立模型来预测西瓜的品质（优等西瓜、中等西瓜、劣等西瓜）。下表是模型对3个样本的预测情况，请计算模型的损失。样本样本样本真实值（标签）样本真实值（标签）模型计算值模型计算值模型分类模型分类是否正确是否正确1劣等（001）0.10.20.7劣等正确2中等（010）0.10.70.3中等正确3优等（100）0.30.60.3中等错误One-Hot编码：优等西瓜=100中等西瓜=010劣等西瓜=001MachineLearning模型色泽根蒂敲声样本10.10.20.7模型计算0014.1 学习准则四、学习准则与优化算法【例】Sample1Loss

13、=(0.10)2+(0.20)2+(0.71)2=0.14Sample2Loss=(0.10)2+(0.71)2+(0.30)2=0.19Sample3Loss=(0.31)2+(0.60)2+(0.30)2=0.94LossMSE=(0.14+0.19+0.94)/3=0.423（1）错误率损失函数：Loss=1/3=0.333（2）均方误差损失函数：样本样本真实值（标记）模型计算值模型分类是否正确1劣等（001）0.10.20.7劣等正确2中等（010）0.10.70.3中等正确3优等（100）0.30.60.3中等错误4.1 学习准则四、学习准则与优化算法（3）交叉熵（CrossEntr

14、opy）损失函数多分类：样本有多类。4.1 学习准则四、学习准则与优化算法【例】（3）交叉熵损失函数：Sample1Loss=(0*log0.1+0*log0.2+1*log0.7)=0.36Sample2Loss=(0*log0.1+1*log0.7+0*log0.3)=0.36Sample3Loss=(1*log0.3+0*log0.6+0*log0.3)=1.20LossCE=(0.36+0.36+1.20)/3=0.64样本样本真实值（标记）模型计算值模型分类是否正确1劣等（001）0.10.20.7劣等正确2中等（010）0.10.70.3中等正确3优等（100）0.30.60.3中

15、等错误四、学习准则与优化算法4.2 优化算法（OptimizationAlgorithm）注意：在解析解不存在的情况下，参数的最优化过程只能通过数值方法不断逼近。梯度下降法：确定数据集、模型的学习准则后，模型的训练是一个最优化问题。：模型参数，：学习率四、学习准则与优化算法梯度下降法：类比为一个人从山上以最快速度下到山底（最低点）的过程。梯度：函数各变量偏导数的向量，是一个矢量（导数是标量）。函数在给定点的梯度为或者是增加最快的方向，即沿着梯度的正方向，容易找到函数的最大值。是下降最快的方向，即沿着梯度的反方向，容易找到函数的最小值。数学知识补充4.2优化算法（OptimizationAlgo

16、rithm）PPT模板下载： 目录CONTENTS机器学习概述一基本概念二常见分类三学习准则与优化算法四典型算法介绍五1、决策树（Decision Tree）算法（1）首次由科学家Hunt于1962年提出，RossQuinlan在此基础上先后提出ID3（1986）、C4.5（1994）等决策树算法。（2）通过做出系列决策，选择特征对训练数据进行分割，完成分类。（3）树形结构，每个分支为一种判断，每个叶节点为一种分类结果。J.RossQuinlan.C4.5:ProgramsforMachineLearning.MorganKaufmann,SanFrancisco,CA,1993.澳大利亚悉尼

17、大学教授数据科学的学术泰斗2、人工神经网络（Artificial Neural Network）（1）最初起源于对大脑工作机理的研究。在Hinton提出将BP算法应用到神经网络，人工神经网络的发展进入了研究热潮。（2）神经网络由很多神经元组成，其中每个神经元都是一个逻辑回归模型。前馈神经网络卷积神经网络循环神经网络深度学习、强化学习、神经网络之父多伦多大学特聘教授Google首席科学家2018年图灵奖3、支持向量机（Support Vector Machine）（1）通过核函数，将实例的特征向量从低维空间映射到高维空间，通过寻找决策边界完成复杂的分类。（2）适合中小型数据样本、非线性、高维的分

18、类问题。（3）深度学习（2012）之前，SVM被认为机器学习中近十几年来最成功，表现最好的算法。Vapnik俄罗斯统计学家哥伦比亚大学特聘教授行为类推主义Cortes,C.andVapnik,V.Supportvectornetworks.MachineLearning,20,273-297,1995.4、聚类算法（1）分类：监督学习，将数据归于一系列已知类别之中的某个类的分类过程。（2）聚类：无监督学习，将物理或者抽象对象的集合，按照相似性分组成多个类。同一类中的个体有较大的相似性，不同类差异较大。（3）常见的聚类算法：K-Means、层次聚类等。（4）典型应用：异常检测、目标用户分割。5、

19、降维算法（1）特征值过多，易引发维度灾难，增大模型复杂性，导致过拟合，造成分析错误；（2）降维作用：降低数据集维度，保证有效信息不丢失，消除特征冗余、噪声，促进特征选择；（3）常见算法：主成分分析法PCA、线性判别分析LDA等。问题降维后数据应该包含更多的信息？降维后会损失多少信息？降维后对分类识别效果有多大影响？6.其他（1）14世纪逻辑学家奥卡姆提出，“切勿浪费较多东西去做，用较少的东西，同样可以做好的事情”。（2）关注模型复杂度，是选择机器学习模型的参照标准，即：尽量选择简单的模型。（3）模型越复杂，拟合数据能力越强，易导致过拟合（Overfitting）。但过于简单，易导致欠拟合（Underfitting）。奥卡姆剃刀原则机器学习常用的开发工具和第三方库技术不断进步，开发难度不断降低！