神经网络学习之BP神经网络.pdf

《神经网络学习之BP神经网络.pdf》由会员分享，可在线阅读，更多相关《神经网络学习之BP神经网络.pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络学习 之 BP 神经网络 目录 第一章 概 述 第二章 BP 算法的基本思想 第三章 BP 网络特性分析 3.1 BP 网络的拓扑结构 4 3.2 BP 网络的传递函数 5 3.3 BP 网络的学习算法 6 第四章 BP 网络的训练分解 4.1 前向传输（Feed-Forward 前向反馈）8 4.2 逆向反馈（Backpropagation）9 4.3 训练终止条件 10 第五章 BP 网络运行的具体流程 10 5.1 网络结构 10 5.2 变量定义 10 5.3 误差函数：11 第六章 BP 网络的设计 14 6.1 网络的层数 14 6.2 隐层神经元的个数 15 6.3 初始

2、权值的选取 15 6.4 学习速率 15 BP 网络的局限性 15 BP 网络的改进 16 第一章 概 述 神经网络是 1986 年由 Rumelhart 和 McCelland 为首的科研小组提出，参见他们发表在 Nature 上的论文 Learning representations by back-propagating errors。BP 神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP 网络能学习和存贮大量的 输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断 调整网络的权值和阈

3、值，使网络的误差平方和最小。第二章 BP 算法的基本思想 多层感知器在如何获取隐层的权值的问题上遇到了瓶颈。既然我们无法直接得到隐层的权值，能否先通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值呢？BP 算法就是采用这样的思想设计出来的算法，它的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出(教师信号)不符,则转入误差的反向传播阶段。反向传播时，将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元

4、权值的依据。这两个过程的具体流程会在后文介绍。BP 算法的信号流向图如下图所示 第三章 BP 网络特性分析 我们分析一个 ANN 时，通常都是从它的三要素入手，即 1)网络拓扑结构；2)传递函数；3)学习算法。每一个要素的特性加起来就决定了这个 ANN 的功能特性。所以，我们也从这三要素入手对 BP 网络的研究。3.1 BP 网络的拓扑结构 上一次已经说了，BP 网络实际上就是多层感知器，因此它的拓扑结构和多层感知器的拓扑结构相同。由于单隐层（三层）感知器已经能够解决简单的非线性问题，因此应用最为普遍。三层感知器的拓扑结构如下图所示。一个最简单的三层 BP：3.2 BP 网络的传递函数 BP

5、网络采用的传递函数是非线性变换函数Sigmoid 函数（又称 S 函数）。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。为什么要选择这个函数，等下在介绍 BP 网络的学习算法的时候会进行进一步的介绍。单极性 S 型函数曲线如下图所示。双极性 S 型函数曲线如下图所示。3.3 BP 网络的学习算法 BP 网络的学习算法就是 BP 算法，又叫 算法（在 ANN 的学习过程中我们会发现不少具有多个名称的术语），以三层感知器为例，当网络输出与期望输出不等时，存在输出误差 E，定义如下：将以上误差定义式展开至隐层，有 进一步展开至输入层，有 由上式可以看出，网络输入误差是各层权值 j、ij

6、的函数，因此调整权值可改变误差 E。显然，调整权值的原则是使误差不断减小，因此应使权值与误差的梯度下降成正比，即：对于一般多层感知器，设共有 h 个隐层，按前向顺序各隐层节点数分别记为 m1,m2,mh，各隐层输出分别记为 y1,y2,yh，各层权值矩阵分别记为 W1,W2,Wh,Wh+1，则各层权值调整公式为 输出层 第 h 隐层 按以上规律逐层类推，则第一隐层权值调整公式 容易看出，BP 学习算法中，各层权值调整公式形式上都是一样的，均由 3 个因素决定，即：1.学习率 2.本层输出的误差信号 3.本层输入信号 Y（或 X）其中输入层误差信号与网络的期望输出与实际输出之差有关，直接反应了输

7、出误差，而各隐层的误差信号与前面各层的误差信号有关，是从输出层开始逐层反传过来的。可以看出 BP 算法属于 学习规则类，这类算法常被称为误差的梯度下降算法。学习规则可以看成是 Widrow-Hoff(LMS)学习规则的一般化(generalize)情况。LMS 学习规则与神经元采用的变换函数无关，因而不需要对变换函数求导，学习规则则没有这个性质，要求变换函数可导。这就是为什么我们前面采用Sigmoid 函数的原因。综上所述，BP 三要素如下图所示。第四章 BP 网络的训练分解 训练一个 BP 神经网络，实际上就是调整网络的权重和偏置这两个参数，BP神经网络的训练过程分两部分：前向传输，逐层波浪

8、式的传递输出值；逆向反馈，反向逐层调整权重和偏置；我们先来看前向传输。4.1 前向传输（Feed-Forward 前向反馈）在训练网络之前，我们需要随机初始化权重和偏置，对每一个权重取?1,1的一个随机实数，每一个偏置取0,1的一个随机实数，之后就开始进行前向传输。神经网络的训练是由多趟迭代完成的，每一趟迭代都使用训练集的所有记录，而每一次训练网络只使用一条记录，抽象的描述如下：首先设置输入层的输出值，假设属性的个数为 100，那我们就设置输入层的神经单元个数为 100，输入层的结点 Ni 为记录第 i 维上的属性值 xi。对输入层的操作就这么简单，之后的每层就要复杂一些了，除输入层外，其他各

9、层的输入值是上一层输入值按权重累加的结果值加上偏置，每个结点的输出值等该结点的输入值作变换 前向传输的输出层的计算过程公式如下：对隐藏层和输出层的每一个结点都按照如上图的方式计算输出值，就完成前向传播的过程，紧接着是进行逆向反馈。4.2 逆向反馈（Backpropagation）逆向反馈从最后一层即输出层开始，我们训练神经网络作分类的目的往往是希望最后一层的输出能够描述数据记录的类别，比如对于一个二分类的问题，我们常常用两个神经单元作为输出层，如果输出层的第一个神经单元的输出值比第二个神经单元大，我们认为这个数据记录属于第一类，否则属于第二类。还记得我们第一次前向反馈时，整个网络的权重和偏置都

10、是我们随机取，因此网络的输出肯定还不能描述记录的类别，因此需要调整网络的参数，即权重值和偏置值，而调整的依据就是网络的输出层的输出值与类别之间的差异，通过调整参数来缩小这个差异，这就是神经网络的优化目标。对于输出层：其中 Ej 表示第 j 个结点的误差值，Oj 表示第 j 个结点的输出值，Tj 记录输出值，比如对于 2 分类问题，我们用 01 表示类标 1,10 表示类别 2，如果一个记录属于类别 1，那么其 T1=0，T2=1。中间的隐藏层并不直接与数据记录的类别打交道，而是通过下一层的所有结点误差按权重累加，计算公式如下：其中 Wjk 表示当前层的结点 j 到下一层的结点 k 的权重值，E

11、k 下一层的结点k 的误差率。计算完误差率后，就可以利用误差率对权重和偏置进行更新，首先看权重的更新：其中 表示表示学习速率，取值为 0 到 1，学习速率设置得大，训练收敛更快，但容易陷入局部最优解，学习速率设置得比较小的话，收敛速度较慢，但能一步步逼近全局最优解。更新完权重后，还有最后一项参数需要更新，即偏置：至此，我们完成了一次神经网络的训练过程，通过不断的使用所有数据记录进行训练，从而得到一个分类模型。不断地迭代，不可能无休止的下去，总归有个终止条件。4.3 训练终止条件 每一轮训练都使用数据集的所有记录，但什么时候停止，停止条件有下面两种：1.设置最大迭代次数，比如使用数据集迭代100

12、 次后停止训练 2.计算训练集在网络上的预测准确率，达到一定门限值后停止训练 第五章 BP 网络运行的具体流程 5.1 网络结构 输入层有 n 个神经元，隐含层有 p 个神经元，输出层有 q 个神经元。5.2 变量定义 输入变量：x=(x1,x2,xn)隐含层输入变量：hi=(hi1,hi2,hip)隐含层输出变量：ho=(ho1,ho2,hop)输出层输入变量：yi=(yi1,yi2,yiq)输出层输出变量：yo=(yo1,yo2,yoq)期望输出向量：do=(d1,d2,dq)输入层与中间层的连接权值：wih 隐含层与输出层的连接权值：who 隐含层各神经元的阈值：bh 输出层各神经元的阈值：bo 样本数据个数：