机器学习导论-第1章 机器学习概述.ppt

《机器学习导论-第1章 机器学习概述.ppt》由会员分享，可在线阅读，更多相关《机器学习导论-第1章 机器学习概述.ppt（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1章 机器学习概述n 熟悉机器学习的概念。n 理解人工智能、机器学习、深度学习三者之间的关系。n 掌握机器学习的三个基本要素，了解损失函数、代价函数和目标函数之间的区别和联系。n 了解数据清洗、归一化（标准化）等处理方法。n 掌握模型交叉验证法的步骤，熟悉混淆矩阵、分类准确率、错误率、查准率、查全率、F1-score、ROC 曲线及ROC 曲线下面积（AUC）等常用的分类模型评估指标及应用场合。n 理解模型欠拟合与过拟合的概念，掌握L1范数和L2范数正则化的方法 本章学习目标n 1.1 机器学习的概念与基本术语n 1.2 人工智能、机器学习、深度学习三者之间的关系n 1.3 机器学习的三个基

2、本要素n 1.4 机器学习模型的分类n 1.5 数据预处理n 1.6 模型选择与评估第1章 机器学习概述1.1 机器学习的概念与基本术语1.1.1 机器学习的概念n 机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。（Langley，1996 年）n 机器学习是对能通过经验自动改进的计算机算法的研究。（Tom Mitchell，1997 年）n 机器学习是用样本数据或以往的经验对计算机编程以优化性能指标。（Alpaydin，2004 年）1.1 机器学习的概念与基本术语1.1.2 基本术语n 特征（Feature）n 属性（Attribut

3、e）n 特征向量（Feature Vector）n 监督式学习（Supervised Learning）n 标签（Label）n 样本（Example）n 实例（Instance）n 回归（Regression）n 分类（Classification）n 标注（Tagging）1.1 机器学习的概念与基本术语1.1.2 基本术语n 数据集（Data Set)n 训练集（Training Set)n 测试集（Test Set）n 独立同分布（Independently and Identically Distributed，i.i.d）n 模型（Model）n 训练（Training）n 假设（

4、Hypothesis）n 学习器（Learner）n 输入空间（Input Space）n 输出空间（Output Space）n 假设空间（Hypothesis Space）1.1 机器学习的概念与基本术语1.1.3 机器学习与人类学习的类比1.1 机器学习的概念与基本术语1.1.3 机器学习与人类学习的类比婴儿通过识图卡或者实物学会了认识物体机器学习的一个形象描述101.1 机器学习的概念与基本术语机器学习的主要应用领域n 数据挖掘n 计算机视觉n 自然语言处理n 生物特征识别n 搜索引擎n 医学诊断n 信用卡欺诈检测n 证券市场分析n DNA 序列测序n 语音和手写识别n 机器人1.1

5、机器学习的概念与基本术语n 深 蓝 是 并 行 计 算 的 电 脑 系 统，建基 于RS/6000 SP，另 加 上480 颗 特别 制 造 的VLSI 象 棋 芯 片。下 棋 程式 以C 语 言 写 成，运 行AIX 操 作系 统。1997年 版 本 的 深 蓝 运 算 速度 为 每 秒2亿 步 棋，是 其1996年 版本 的2倍。1997 年 6月，深 蓝 在 世界 超 级 电 脑 中 排 名 第259位，计 算能力为11.38 gigaflops。1.1 机器学习的概念与基本术语n 1997年，IBM深蓝击败卡斯帕罗夫Text to speech and speech recogniti

6、on1.1 机器学习的概念与基本术语语音识别1.1 机器学习的概念与基本术语自动驾驶1.1 机器学习的概念与基本术语图像生成1.1 机器学习的概念与基本术语机器翻译1.1 机器学习的概念与基本术语推荐系统1.1 机器学习的概念与基本术语n 1.1 机器学习的概念与基本术语n 1.2 人工智能、机器学习、深度学习三者之间的关系n 1.3 机器学习的三个基本要素n 1.4 机器学习模型的分类n 1.5 数据预处理n 1.6 模型选择与评估第1章 机器学习概述1.2人工智能、机器学习、深度学习三者之间的关系人工智能：为机器赋予人类的智能机器学习：人工智能的核心深度学习：机器学习的一个分支n 1.1

7、机器学习的概念与基本术语n 1.2 人工智能、机器学习、深度学习三者之间的关系n 1.3 机器学习的三个基本要素n 1.4 机器学习模型的分类n 1.5 数据预处理n 1.6 模型选择与评估第1章 机器学习概述1.3 机器学习的三个基本要素1.3.1 模型模型概率模型（条件概率分布）非概率模型（决策函数）线性模型非线性模型1.3 机器学习的三个基本要素1.3.2 学习准则（策略）n 损失函数（Loss Function）：度量单样本预测的错误程度，损失函数值越小，模型就越好。n 代价函数（Cost Function）：度量全部样本集的平均误差。常用的代价函数包括均方误差、均方根误差、平均绝对误

8、差等。n 目标函数（Objective Function）：最终要优化的函数，包括代价函数和正则化函数。1.3 机器学习的三个基本要素n 损失函数（Loss Function）n 0-1 损失函数n 平方损失函数n 绝对损失函数 1.3 机器学习的三个基本要素n 损失函数（Loss Function）n 对数损失函数n 交叉熵损失函数n 合页损失函数 1.3 机器学习的三个基本要素1.3.3 优化算法n 梯度下降法（Gradient Descent，GD）n 随机梯度下降（Stochastic Gradient Descent，SGD）n 小批量梯度下降（Mini-Batch Gradient

9、 Descent，MBGD）n 牛顿法n 拟牛顿法n 坐标下降法n 1.1 机器学习的概念与基本术语n 1.2 人工智能、机器学习、深度学习三者之间的关系n 1.3 机器学习的三个基本要素n 1.4 机器学习模型的分类n 1.5 数据预处理n 1.6 模型选择与评估第1章 机器学习概述1.4 机器学习模型的分类1.4.1 按任务类型分类n 回归（Regression）n 分类（Classification）n 聚类（Clustering）n 维数约简（Dimensionality Reduction）1.4 机器学习模型的分类1.4.1 按学习方式分类n 监督式学习、监督学习（Supervis

10、ed Learning）n 利用一组带标签样本调整模型参数，提升模型性能的学习方式。n 非监督式学习、无监督学习（Unsupervised Learning）n 通过比较样本之间的某种联系实现对样本的数据分析。n 无监督学习最大特点是学习算法的输入是无标签样本。n 强化学习（Reinforcement Learning）n 根据反馈信息来调整机器行为以实现自动决策的一种机器学习方式。1.4 机器学习模型的分类1.4.1 按学习方式分类1.4 机器学习模型的分类1.4.1 按学习方式分类1.4 机器学习模型的分类1.4.1 按学习方式分类n 监督式学习（Supervised Learning）1

11、.4 机器学习模型的分类1.4.1 按学习方式分类n 强化学习（Reinforcement Learning）强 化 学 习 主 要 由 智 能 体 和 环 境两 个 部 分 组 成。智 能 体 是 行 为的 实 施 者，由 基 于 环 境 信 息 的评 价 函 数 对 智 能 体 的 行 为 做 出评 价，若 智 能 体 的 行 为 正 确，则 由 相 应 的 回 报 函 数 给 予 智 能体 正 向 反 馈 信 息 以 示 奖 励，反之 则 给 予 智 能 体 负 向 反 馈 信 息以示惩罚。n 1.1 机器学习的概念与基本术语n 1.2 人工智能、机器学习、深度学习三者之间的关系n 1.

12、3 机器学习的三个基本要素n 1.4 机器学习模型的分类n 1.5 数据预处理n 1.6 模型选择与评估第1章 机器学习概述1.5 数据预处理n 数据清洗（Data Cleaning）n 缺失数据的处理n 离群点数据的处理n 冗余、重复数据的处理n 数据类型转换n 构建新的变量 哑变量（Dummy Variable）n 特征数据的归一化n 线性归一化或最小最大归一化（Min-Max Normalization）n 零均值归一化（Z-score Normalization）n 1.1 机器学习的概念与基本术语n 1.2 人工智能、机器学习、深度学习三者之间的关系n 1.3 机器学习的三个基本要素

13、n 1.4 机器学习模型的分类n 1.5 数据预处理n 1.6 模型选择与评估第1章 机器学习概述1.6 模型选择与评估n 数据清洗（Data Cleaning）n 缺失数据的处理n 离群点数据的处理n 冗余、重复数据的处理n 数据类型转换n 构建新的变量 哑变量（Dummy Variable）n 特征数据的归一化n 线性归一化或最小最大归一化（Min-Max Normalization）n 零均值归一化（Z-score Normalization）1.6.1 数据集的划分n 训练集（Training Set)n 测试集（Test Set）n 验证集（Validation Set）1.6 模型

14、选择与评估1.6.2 模型选择与交叉验证法n 简单交叉验证n K-折交叉验证n 留一交叉验证n 留K 交叉验证1.6 模型选择与评估1.6.2 模型选择与交叉验证法1.6 模型选择与评估图1-6 10-折交叉验证示意图1.6.3 模型的性能度量n 混淆矩阵（Confusion Matrix）n 分类准确率（Accuracy）n 错误率（Error Rate）n 查准率（Precision）n 查全率（Recall）n P-R 曲线n F1 值（F1-Score）n 受试者工作特征（Receiver Operating Characteristic，ROC）曲线n ROC 曲线下面积（Area

15、Under the ROC Curve，AUC）1.6 模型选择与评估分类模型的评价指标n 混淆矩阵（Confusion Matrix）n 分类准确率（Accuracy）n 错误率（Error Rate）1.6 模型选择与评估n 查全率（Recall）n 查准率（Precision）n P-R 曲线1.6 模型选择与评估n F1 值（F1-Score）n 受试者工作特征（Receiver Operating Characteristic，ROC）曲线n ROC 曲线下面积（Area Under the ROC Curve，AUC）1.6 模型选择与评估1.6.4 欠拟合与过拟合1.6 模型选择与评估1.6.5 偏差与方差1.6 模型选择与评估1.6.6 模型的正则化1.6 模型选择与评估Question?