(18.1)--第18讲神经网络和深度学习.pdf

《(18.1)--第18讲神经网络和深度学习.pdf》由会员分享，可在线阅读，更多相关《(18.1)--第18讲神经网络和深度学习.pdf（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据机器学习第十八讲：神经网络与深度学习目录 神经网络的发展历程 多层前馈神经网络 RBF径向基函数网络 ART自适应谐振理论网络 SOM 自组织映射网络 级联相关网络 Elman网络循环神经网络 Botzmann机 深度学习神经网络的发展 神经网络：人工神经网络（Artificial Neural Network,ANN)神经网络的发展神经网络作为一个计算模型的理论，1943年 最初由科学家 Warren McCulloch 和 Walter Pitts 提出。Frank Rosenblatt 1957年 提出的“感知器”(Perceptron)，是第一个用算法来精确定义神经网络。1969

2、 年，Marvin Minsky 和 Seymour Papert 出版了新书：“感知器：计算几何简介”第一，单层的神经网络无法解决不可线性分割的问题，典型例子如异或门，XOR Circuit;第二，更致命的问题是，当时的电脑完全没有能力完成神经网络模型所需要的超大的计算量。神经网络的发展 Geoffrey Hinton 1986年 Hinton 和 David Rumelhart 在自然杂志上发表：“Learning Representations by Back-propagating errors”，AlexNet卷积神经网络多层前馈神经网络 感知机只有输出层神经元进行激活函数处理,其学

3、习能力非常有限；多层前馈神经网络误差逆传播算法(error BackPropagation）BP算法不仅可用于多层前馈神经网络，还可用于其他神经网络；BP算法中的变量符号：训练集：D=(x1,y1),(x2,y2),(xm,ym)d个输入神经元、l个输出神经元，q隐层神经元、误差逆传播算法误差逆传播算法(error BackPropagation）对训练集(xk,yk),假定神经网络的输出为：即：则网络在(xk,yk)上的均方误差为：网络中参数的数量为：(d+l+1)q+l任意参数v的更新估计式：误差逆传播算法(error BackPropagation）BP基于梯度下降策略：误差逆传播算法(

4、error BackPropagation）类似可推导得：误差逆传播算法(error BackPropagation）BP算法 流程:误差逆传播算法(error BackPropagation）标准误差逆传播算法：累积误差逆传播(accumulated error backpropagation)算法：RBF网络RBF(Radial Basis Function,径向基函数)网络径向基函数：（x）=(x)；（x，c）=(x-c)径向基函数作为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合；它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。RBF网络RBF结构RBF网络RBF

5、基本思想网络参数RBF网络求解 方法一：通过非监督方法得到径向基函数的中心和方差，通过监督方法（最小均方误差）得到隐含层到输出层的权值。（1）在训练样本集中随机选择h个样本作为h个径向基函数的中心。更好的方法是通过聚类；（2）RBF神经网络的基函数为高斯函数时，（3）隐含层至输出层之间神经元的连接权值可以用最小均方误差LMS直接计算得到，计算公式如下：RBF网络求解 方法二：采用监督学习算法对网络所有的参数（径向基函数的中心、方差和隐含层到输出层的权值）进行训练。主要是对代价函数（均方误差）进行梯度下降，采用BP算法，然后修正每个参数：（1）随机初始化径向基函数的中心、方差和隐含层到输出层的权

6、值。当然了，也可以选用方法一中的（1）来初始化径向基函数的中心。（2）通过梯度下降来对网络中的三种参数都进行监督训练优化。代价函数是网络输出和期望输出的均方误差：然后每次迭代，在误差梯度的负方向以一定的学习率调整参数。RBF网络求解 方法二：ART网络 Adaptive Resonance Theory,自适应谐振理论)网络 1976年，Carpenter 提出自适应共振理论（Adaptive Resonance Theory，ART）目标：试图为人类的心理和认知活动建立统一的数学理论 1978年，G.A.Carpenter 又与 S.Grossberg 提出了ATR 网络。ART 网 三种形

7、式：ART型处理双极型或二进制信号；ART 型处理连续型模拟信号；ART 型分级搜索模型。ART网络是竞争型学习(competitive learning)的代表ART网络 竞争型学习(competitive learning)：“胜者通吃”（winner-take-all)原则 遗忘旧样本、旧知识的问题 无监督学习 有监督学习 ART网络：在过去记忆的模式和新输入的训练模式之间作出某种折中，最大限度地接收新知识（灵活性）的同时保证较少的影响过去的模式样本（稳定性），ART网络 基本思路：按照预设定的参考门限检查该输入模式与所有存储模式类典型向量之间的匹配程度以确定相似度，对相似度超过门限的所

8、有模式类，选择最相似的作为该模式的代表类，并调整与该类别相关的权值；ART网络：比较层、识别层、识别阈值和重置模块构成.比较层：负责接收输入样本，并将其传递给识别层神经元；识别层：每个神经元对应一个模式类，神经元数目可在训练过程中动增长以增加新的模式类。ART网络 网络系统结构SOM和竞争学习SOM(Self-Organizing Map,自组织映射)网络 Kohonen,1982：竞争学习型的无监督神经网络，降维方法；竞争学习的概念竞争学习竞争学习规则Winner-Take-All各神经元对应的权重向量全部进行归一化，归一化后，相似度最大就是内积最大；调整权重：SOM网络 SOM训练过程:在

9、接收到一个训练样本后，每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元(best matching unit);然后，最佳匹配单元及其邻近神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小;这个过程不断迭代，直至收敛级联相关网络 级联相关(Cascade-Correlation)网络 Fahlman and Lcbiere,1990是结构自适应网络的重要代表；把网络结构也当作学习的目标之一；两个主要成分：“级联”和“相关”；无需设置网络层数、隐层神经元数目，且训练速度较快，但其在数据较小时易陷入过拟合.Elman网络 El

10、man网络：Elman 1990年提出，属于“循环神经网络”(recurrent neural networks）允许网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输入信号；能处理与时间有关的动态变化，在语音处理中经常使用；Boltzmann机 Boltzmann机：全称是玻尔兹曼学习机，网络模型 发明者：Hinton和Ackley，几乎同时各自提出；1985 是一种随机递归神经网络，能够通过学习数据的固有内在表示解决困难学习问题的最早的人工神经网络之一，因样本分布遵循玻尔兹曼分布而命名为BM。玻尔兹曼是热力学和统计物理学的奠基人之一；Boltzmann机 Boltzmann机：为网

11、络状态定义一个“能量”(energy),能量最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数，是基于能量的模型；令向量 s 0,1n，表示 n 个神经元的状态 状态向量 s 所对应的BM能量定义为 网络最终将达到BM分布，此时状态s出现的概率Boltzmann机 标准的 Boltzmann 机是一个全连接图，训练网络的复杂度很高；受限 Boltzmann 机仅保留显层与隐层之间的连接Boltzmann机 受限 Boltzmann机常用“对比散度”（Contrastive Divergence,简 称CD)算法 Hinton,2010 进行训练 令 v和h分别表示显层与隐层的状态向

12、量 连接权的更新公式为深度学习 理论上：参数越多，“容量”（capacity)越大，能完成更复杂的学习任务，但训练效率低，易陷入过拟合；现实中：云计算、大数据时代的到来，计算能力的大幅提高可缓解训练低效性，训练数据的大幅增加则可降低过拟合风险；深度学习开始受到关注：深度学习 深度学习遇到的问题：多隐层神经网络难以直接用经典算法(例如标准 BP 算法)进行训练，因为误差在多隐层内逆传播时，往往会“发散”（diverge)而不能收敛到稳定状态；解决方法：无监督逐层训练(unsupervised layer-wise training)；“预训练”(pre-training);“微调”(finetuning)训练；深度学习 深度信念网络(deep belief network,简称DBN)Hinton et al,2006深度学习 卷积神经网络(Convolutional Neural Network,简称 CNN)LeCunand Bengio,1995;以 CNN 进行手写数字识别任务为例ENDQ&R