第11章 神经网络与支持向量机教学课件R语言数据分析与挖掘.pptx

《第11章 神经网络与支持向量机教学课件R语言数据分析与挖掘.pptx》由会员分享，可在线阅读，更多相关《第11章 神经网络与支持向量机教学课件R语言数据分析与挖掘.pptx（27页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第11章 神经网络与支持向量机教学课件R 语言数据分析与挖掘目录PAGE理解神经网络01202神经网络的R语言实现010103理解支持向量机0104支持向量机的R语言实现PAGE理解神经网络301PAGE4理解神经网络4R 语言数据分析与挖掘（微课版）人 工 神 经 网 络 对 一 组 输 入 信 号 和 一 组 输 出 信 号 之 间 的 关 系 建 模，使 用 的 模 型 来 源 于 人 类 大 脑 对 来 自 感 觉 输 入 的 刺 激 是 如 何 反 应 的理 解。就 像 大 脑 使 用 一 个 称 为 神 经 元(neuron)的 相 互 连 接 的 细 胞 网 络 来 创 建 一

2、个 巨 大 的 并 行 处 理 器 一 样，人 工 神 经 网 络 使 用 人 工 神经 元 或 者 节 点（node）的 网 络 来 解 决 学 习 问 题。从 广 义 上 讲，人 工 神 经 网 络 可 应 用 于 分 类、数 值 预 测，甚 至 是 无 监 督 的 模 式 识 别。人 工 神 经 网 络 最 好 应 用 于 下 列 问 题：输 入 数 据 和 输 出 数 据 都 很 好 理 解 或 者 至 少 相 对 简 单，但 其 涉 及 输 入 到 输 出 的 过 程 是 及 其 复 杂的。作为一种黑箱方法，对于这些类型的黑箱问题，它们运行得很好。虽然有很多种不同的神经网络，但是每一

3、种都可以由下面的特征来定义：（1）激活函数（activation function）：将神经元的净输入信号转换成单一的输出信号，以便进一步在网路中传播。（2）网络拓扑（network topology）（或结构）：描述了模型中神经元的数量以及层数和它们连接的方式。（3）训练算法（training algorithm）：指定如何设置连接权重，以便抑制或者增加神经元在输入信号中的比重。PAGE5激活函数5R 语言数据分析与挖掘（微课版）激 活 函 数 是 人 工 神 经 元 处 理 信 息 并 将 信 息 传 递 到 整 个 网 络 的 机 制。激 活 函 数 的 主 要 作 用 是 提 供 网

4、络 的 非 线 性 建 模 能 力，如 不 特 别说 明，激 活 函 数 一 般 而 言 是 非 线 性 函 数。假 设 一 个 神 经 网 络 中 仅 包 含 线 性 卷 积 和 全 连 接 运 算，那 么 该 网 络 仅 能 够 表 达 线 性 映 射，即 便 增 加 网 络 的 深 度 也 依 旧 还 是 线 性 映 射，难 以 有 效 对 实 际 环 境 中 非 线 性 分 布 的 数 据 建 模。加 入（非 线 性）激 活 函 数 之 后，神 经网 络 才 具 备 了 分 层 的 非 线 性 映 射 学 习 能 力。因 此，激 活 函 数 是 深 度 神 经 网 络 中 不 可 或

5、缺 的 部 分。常 用 激 活 函 数 有Identity（恒 等 函数）、Binary step（单 位 跳 跃 函 数）、Sigmoid（“S”形 函 数）、TanH（双 曲 正 切 函 数）、ReLU（整 流 线 性 单 元 函 数）等。接 下 来，我们详细了解下Sigmoid、TanH 和ReLU 激活函数的基本原理。PAGE6网络结构6R 语言数据分析与挖掘（微课版）神 经 网 络 的 学 习 能 力 来 源 于 它 的 拓 扑 结 构（topology），或 者 相 互 连 接 的 神 经 元 的 模 式 与 结 构。虽 然 有 无 数 的 网 络 结 构 形 式，但 是它们可以通

6、过3 个关键特征来区分：（1）层的数目。（2）网络中的信息是否允许向后传播。（3）网络中每一层内的节点数。拓 扑 结 构 决 定 了 可 以 通 过 网 络 进 行 学 习 任 务 的 复 杂 性。一 般 来 说，更 大、更 复 杂 的 网 络 能 够 识 别 更 复 杂 的 决 策 边 界。然 而，神 经网络的效能不仅是一个网络规模的函数，也取决于其构成元素的组织方式。在一个神经网络中通常会分成这样几层：输入层（input layer）、隐藏层（hidden layer）和输出层（output layer）。PAGE神经网络的R 语言实现702PAGE8神经网络的R 语言实现8R 语言数据分

7、析与挖掘（微课版）目 前 使 用R 语 言 构 建 神 经 网 络 主 要 包 括nnet、neuralnet、AMOTE 及RSNNS 扩 展 包，这 些 扩 展 包 均 可 以 通 过install.packages()命 令 进 行在 线 安 装。其 中nnet 提 供 了 最 常 见 的 前 馈 反 向 传 播 神 经 网 络 算 法；neuralnet 提 供 了 弹 性 反 向 传 播 算 法 和 更 多 的 激 活 函 数 形 式；AMOTE 则 更 进 一 步 提 供 了 更 为 丰 富 的 控 制 参 数，并 可 以 增 加 多 个 隐 藏 层。前 面 三 个 扩 展 包 主

8、 要 基 于BP 神 经 网 络，并 未 涉 及 到 神 经网络中的其他拓扑结构和网络模型。而RSNNS 扩展包则提供了更多的神经网络模型。PAGE9nnet 扩展包9R 语言数据分析与挖掘（微课版）nnet扩展包的nnet()函数实现了单隐藏层的前馈神经网络和多项对数线性模型。nnet()函数基本表达形式为：nnet(x,y,weights,size,Wts,mask,linout=FALSE,entropy=FALSE,softmax=FALSE,censored=FALSE,skip=FALSE,rang=0.7,decay=0,maxit=100,Hess=FALSE,trace=TR

9、UE,MaxNWts=1000,abstol=1.0e-4,reltol=1.0e-8,.)参数 参数说明size 隐藏层中的神经元数，设置为0时，表示没有隐藏层Wts 初始系数，如果不设定，则使用随机数设定linout如果等于TRUE，则模型的输出为连续实数，一般用于回归分析（目标变量为连续型）；如果等于FALSE（默认取值），则模型输出为逻辑数据，一般用于分类分析（目标变量为离散型）。entropy损失函数是否采用交叉熵，FALSE（默认）表示损失函数采用误差平方和的形式rang 初始权值设置maxit 最大迭代次数iterations，默认为100次abstol和reltolskip 是

10、否跳过隐藏层，如果为FALSE（默认），则不跳过decay 加权系数的衰减PAGE10neuralnet 扩展包10R 语言数据分析与挖掘（微课版）neuralnet扩展包的neuralnet()函数可实现传统B-P网络和弹性B-P网络建模。函数基本表达形式为：neuralnet(formula,data,hidden=1,threshold=0.01,stepmax=1e+05,rep=1,startweights=NULL,learningrate.limit=NULL,learningrate.factor=list(minus=0.5,plus=1.2),learningrate=NU

11、LL,lifesign=none,lifesign.step=1000,algorithm=rprop+,err.fct=sse,act.fct=logistic,linear.output=TRUE,exclude=NULL,constant.weights=NULL,likelihood=FALSE)PAGE11AMORE 扩展包11R 语言数据分析与挖掘（微课版）AMORE扩展包是一个更加灵活的包，该包实现了TAO稳健神经网络算法，对一些想自己训练算法的用户而言更有帮助。常用的函数包括创建网络的newff()函数和训练网络的train()函数。其中newff()函数的定义如下：newff

12、(n.neurons,learning.rate.global,momentum.global,error.criterium,Stao,hidden.layer,output.layer,method)train(net,P,T,Pval=NULL,Tval=NULL,error.criterium=LMS,report=TRUE,n.shows,show.step,Stao=NA,prob=NULL,n.threads=0L)PAGE12RSNNS 扩展包12R 语言数据分析与挖掘（微课版）Stuttgart Neural Network Simulator（SNNS）是德国斯图加特大学开

13、发的优秀神经网络仿真软件，为国外的神经网络研究者所广泛采用。其手册内容极为丰富，同时支持友好的Linux 平台。而RSNNS 则是连接R 语言和SNNS的工具，使用RSNNS的低级接口，SNNS中的所有算法的功能性和灵活性都能够访问。不仅如此，该包还包含了一个方便的高级接口，将最通用的神经网络拓扑和学习算法无缝集成到R 语言中，包括mlp（多层感知器）、dlvq（动态学习向量化网络）,rbf（径向基函数网络）,elman（elman神经网络）,jordan（jordan神经网络）,som（自组织映射神经网络）,art1（适应性共振神经网络）等等。其中mlp()函数用于创建一个多层感知器，并且对

14、它进行训练，多层感知器是全连接的前馈神经网络，它可能是目前最通用的神经网络结构。其定义如下：mlp(x,y,size=c(5),maxit=100,initFunc=Randomize_Weights,initFuncParams=c(-0.3,0.3),learnFunc=Std_Backpropagation,learnFuncParams=c(0.2,0),updateFunc=Topological_Order,updateFuncParams=c(0),hiddenActFunc=Act_Logistic,shufflePatterns=TRUE,linOut=FALSE,outpu

15、tActFunc=if(linOut)Act_Identity else Act_Logistic,inputsTest=NULL,targetsTest=NULL,pruneFunc=NULL,pruneFuncParams=NULL,.)PAGE13基于神经网络进行类别预测-nnet 包13R 语言数据分析与挖掘（微课版）首先利用nnet()函数对训练集构建神经网络模型，设置隐藏层的节点数为2，初始权值设置为0.1，加权系数的衰减为5e-4，最大迭代次数iterations为200。并调用summary()函数查看训练好的神经网络信息。#训练神经网络模型 set.seed(1234)lib

16、rary(nnet)iris.nnet#调用summary()函数查看训练好的神经网络信息 summary(iris.nnet)a 4-2-3 network with 19 weightsoptions were-softmax modelling decay=0.0005 b-h1 i1-h1 i2-h1 i3-h1 i4-h1-11.28-5.75-1.36 8.65 5.24 b-h2 i1-h2 i2-h2 i3-h2 i4-h2-0.27-0.59-1.87 2.93 1.43 b-o1 h1-o1 h2-o1 5.69-1.98-7.99 b-o2 h1-o2 h2-o2-2.1

17、5-10.39 8.97 b-o3 h1-o3 h2-o3-3.54 12.37-0.99#对生成的神经网络进行可视化 source(nnet_plot_update.r)plot.nnet(iris.nnet)PAGE14基于神经网络进行类别预测-neuralnet包14R 语言数据分析与挖掘（微课版）利用neuralnet扩展包训练神经网络模型，如果是进行分类预测，在建模前需将因子型的因变量进行哑变量处理，接下来，调用neuralnet()函数训练神经网络模型，在建模过程中，除了指明类标号（setosa、versicolor和virginica）以及函数中训练的自变量，还人为规定了隐藏层的

18、神经元的个数为3。模型构建好后，输出神经网络模型的结果矩阵result.matrix。#对因子型的因变量进行哑变量处理 dmy1 train_dmy test_dmy#训练神经网络模型 set.seed(1234)library(neuralnet)iris_neuralnet iris_neuralnet$result.matrix#输出结果矩阵 plot(iris_neuralnet)#模型可视化PAGE15基于神经网络进行预测-AMORE包15R 语言数据分析与挖掘（微课版）现基于数据集iris，使用AMORE扩展包建立变量Sepal.Length、Sepal.Width、Petal.L

19、ength对Petal.Width预测的神经网络模型。#回归问题的神经网络模型 iris1#对前三列进行标准化 iris1,1:3#加载AMORE包 library(AMORE)#建立神经网络模型，输入层有3个神经元，输出层有一个神经元，这里增加了两个隐藏层，分别具有10，5个神经元。newNet#使用train函数，基于训练数据对神经网络进行训练 newNet.train#基于训练好的模型，对iris1进行预测，并计算均方误差 pred error error1 1.634289PAGE16基于神经网络进行类别预测-RSNNS包16R 语言数据分析与挖掘（微课版）现基于iris数据集，使用R

20、SNNS扩展包的mlp()函数建立Sepal.Length、Sepal.Width、Petal.Length、Petal.Width对Species类别预测的神经网络模型。library(RSNNS)set.seed(12)#准备数据#将因变量进行哑变量处理 library(caret)dmy iris1#将自变量进行标准化处理 iris1,1:4#将数据进行分区 ind train test#使用mlp()函数，建立具有两个隐藏层，分别具有神经元数量为8，4的多层感知器网络 mlp.nnet#利用上面建立的模型进行预测,得到预测概率矩阵 pred_prob=predict(mlp.nnet,

21、test,1:4)head(pred_prob,3),1,2,31 0.9034182 0.09030057 0.0066713133 0.9033942 0.08900706 0.0067024599 0.9033228 0.08609876 0.006775069#然后，通过找到概率最大的那一列，得到其他可能的类别 pred_class#生成混淆矩阵，观察预测精度 table(actual=iris-ind,$Species,+prediction=pred_class)predictionactual setosa versicolor virginica setosa 10 0 0 v

22、ersicolor 0 9 1 virginica 0 0 10PAGE理解支持向量机1703PAGE18理解支持向量机18R 语言数据分析与挖掘（微课版）支持向量机（Support Vector Machine，SVM）是个非常强大并且有多种功能的机器学习模型，能够做线性或者非线性的分类、回归、异常值检测。支持向量机是机器学习领域中最为流行的模型之一，是任何学习机器学习的人必备的工具。支持向量机特别适合应用于复杂但中小规模数据集的分类问题。其基本原理是将特征空间通过非线性变换的方式映射到一个高维的特征空间，并在这个高维空间中找出最优线性分界超平面的一种方法。支持向量机算法的工作原理就是找到一

23、个最优的分界超平面，不仅需要这个分界超平面能够把两个类别的数据正确地分隔开来，还需要使这两类数据之间的分类间隔（Margin）达到最大。PAGE19理解支持向量机19R 语言数据分析与挖掘（微课版）PAGE20软边界、核函数20R 语言数据分析与挖掘（微课版）支持向量机还有另外两个关键名词：软边界、核函数。（1）软 边 界（Soft Margin）：在 线 性 不 可 分 情 况 下 就 要 考 虑 软 边 界 了。软 边 界 可 以 破 例 允 许 个 别 样 本 跑 到 其 他 类 别 地 盘 去。但 要 使 用参数来权衡两端，一个是要保持最大边缘的分离，另一个要使这种破例不能太离谱。这种

24、参数就是对错误分类的惩罚程度C。（2）核 函 数（Kernel Function）：为 了 解 决 完 美 分 离 的 问 题，SVM 还 提 出 一 种 思 路，就 是 将 原 始 数 据 映 射 到 高 维 空 间 中 去，直 觉 上 可以 感 觉 高 维 空 间 中 的 数 据 变 的 稀 疏，有 利 于“分 清 敌 我”。那 么 映 射 的 方 法 就 是 使 用“核 函 数”。如 果“核 函 数”选 择 得 当，高 维 空 间 中的数据就变得容易线性分离了。而且可以证明，总是存在一种核函数能将数据集映射成可分离的高维数据。常用的核函数有如下种类：Linear：线性支持向量机，效果基本

25、等价于Logistic 回归。但它可以处理变量极多的情况，例如文本挖掘。polynomial：多项式核函数，适用于图像处理问题。Radial basis，高斯核函数，参数包括了sigma，其值若设置过小，会有过度拟合出现。sigmoid：反曲核函数，多用于神经网络的激活函数。支 持 向 量 机 的 目 的 是 寻 找 一 个 超 平 面 来 对 样 本 进 行 分 割，分 割 的 原 则 是 边 界 最 大 化，最 终 转 化 为 一 个 凸 二 次 规 划 问 题 来 求 解。模 型 包括：（1）当训练样本线性可分时，通过硬边界（Hard Margin）最大化，学习一个线性可分支持向量机。（2）当训练样本近似线性可分时，通过软边界（Soft Margin）最大化，学习一个线性支持向量机。（3）当训练样本线性不可分时，通过核技巧和软边界最大化，学习一个非线性支持向量机。PAGE支持向量机的R 语言实现2104