RBF神经网络概述(8页).doc

-RBF神经网络概述1 RBF神经网络的基本原理2 RBF神经网络的网络结构3 RBF神经网络的优点1 RBF神经网络的基本原理人工神经网络以其独特的信息处理能力在许多领域得到了成功的应用。它不仅具有强大的非线性映射能力，而且具有自适应、自学习和容错性等，能够从大量的历史数据中进行聚类和学习，进而找到某些行为变化的规律。 径向基函数(RBF)神经网络是一种新颖有效的前馈式神经网络，它具有最佳逼近和全局最优的性能，同时训练方法快速易行，不存在局部最优问题，这些优点使得RBF网络在非线性时间序列预测中得到了广泛的应用。 1985年，Powell提出了多变量插值的径向基函数(Radial-Basis Function, RBF)方法。1988年，Broomhead和Lowe首先将RBF应用于神经网络设计，构成了径向基函数神经网络，即RBF神经网络。用径向基函数(RBF)作为隐单元的“基”构成隐含层空间，对输入矢量进行一次变换，将低维的模式输入数据变换到高维空间内，通过对隐单元输出的加权求和得到输出，这就是RBF网络的基本思想。2 RBF神经网络的网络结构RBF网络是一种三层前向网络：第一层为输入层，由信号源节点组成。第二层为隐含层，隐单元的变换函数是一种局部分布的非负非线性函数，他对中心点径向对称且衰减。隐含层的单元数由所描述问题的需要确定。第三层为输出层，网络的输出是隐单元输出的线性加权。RBF网络的输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间的变换是线性。不失一般性，假定输出层只有一个隐单元，令网络的训练样本对为，其中为训练样本的输入，为训练样本的期望输出，对应的实际输出为;基函数为第个隐单元的输出为基函数的中心; 为第个隐单元与输出单元之间的权值。单输出的RBF网络的拓扑图如图1所示:图1RBF网络的拓扑图当网络输入训练样本时，网络的实际输出为: (1)通常使用的RBF有：高斯函数、多二次函数(multiquadric function)、逆多二次函数、薄板样条函数等。 普通RBF网络采用的是高斯函数。当“基函数”采用的高斯基函数具备如下的优点： 表示形式简单，即使对于多变量输入也不增加太多的复杂性； 径向对称； 光滑性好，任意阶导数均存在； 由于该基函数表示简单且解析性好，因而便于进行理论分析。RBF网络具有良好的逼近任意非线性函数和表达系统内在的难以解析的规律性的能力，并且具有极快的学习收敛速度。基于径向基函数网络的上述优点，我们将其应用于对非线性函数的模拟当中。3 RBF神经网络的优点RBF神经网络(Radial Basis Function Neural Network)是一种神经网络学习算法，全称基于误差反向传播算法的人工神经网络。拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层(也称隐层)和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。传统的RBF网络以及改进的RBF网络在时间序列预测中的应用较多，但是存在局部最优问题、训练速度慢、效率低，在某种程度上限制了其应用范围。 RBF神经网络的产生具有很强的生物学背景。在人的大脑皮层区域中，局部调节及交叠的感觉域(Receptive Field)是人脑反应的特点。 RBF网络具有以下特点： 前向网络； 隐单元的激活函数通常为具有局部接受域的函数，即仅当输入落在输入空间中一个很小的指定区域中时，隐单元才做出有意义的非零响应。因此，RBF网络有时也称为局部接受域网络(Localized Receptive Field Network)。 BRF网络的局部接受特性使得其决策时隐含了距离的概念，即只有当输入接近RBF网络的接受域时，网络才会对之做出响应。这就避免了BP网络超平面分割所带来的任意划分特性。在RBF网络中，输入层至输出层之间的所有权值固定为1，隐层RBF单元的中心及半径通常也预先确定，仅隐层至输出层之间的权值可调。RBF网络的隐层执行一种固定不变的非线性变换，将输入空间映射到一个新的隐层空间，输出层在该新的空间中实现线性组合。显然由于输出单元的线性特性，其参数调节极为简单，且不存在局部极小问题。 另外，研究还表明，一般BRF网络所利用的非线性激活函数形式对网络性能的影响并非至关重要，关键因素是基函数中心的选取。因此，与BP网络同属前馈神经网络的BRF网络在一定程度上克服了BP网络所存在的一些问题。径向基函数网络包括两层：隐单元层和线性单元层，下图为径向基函数网络的结构图: 输出线性单元层隐单元层输入 图2 RBF神经网络的结构图RBF网络具有最佳逼近的特性，它可以用局部逼近的总和达到对训练数据的全局逼近，因此利用低阶局部逼近的总和可以完成对训练数据的拟合。对于BRF网络而言，其输出节点计算由隐层节点给出的基函数的线性组合，其隐层中的基函数对输入激励产生一个局部化的响应，即每一个隐节点有一个参数矢量，称之为中心，该中心用来与网络输入样本矢量相比较，以产生径向对称响应，仅当输入样本落在输入空间的某个局部区域时，隐节点才做出有意义的非零响应值，响应值在0到1之间，输入与基函数中心的距离越近，隐节点响应越大，而输出单元一般是线性的，即输出单元对隐节点输出进行线性加权组合。因此只有少数几个权值影响网络的输出，在训练时也只有少数权值需要进行调整，从而使得RBF网络的学习速度大大提高。利用径向基函数网络来完成函数逼近任务，并且将结果与BP网络以及采用改进BP算法的前向网络的训练结果作比较，发现径向基函数网络所用时间最短。这个例子揭示了如何用径向基函数网络来进行函数逼近，当误差指标取0到1时，采用不同的方法逼近同一个函数，其性能对比结果如表2.1所示：表 1性能对比结果训练函数网络类型时间（秒）训练步数trainbpBP网络247.34127Trainbpx采用快速BP算法的前向网络41.2571trainlm采用LM算法的前向网络3.15solverb径向基函数网络1.75由对比结果可以看出，RBF网络确实比BP网络体现出更强的函数逼近和分类能力。而且训练速度明显提高，训练步数显著减少。由此，可以看出RBF网络具有下列优点:它具有唯一最佳逼近的特性，且无局部极小问题存在。RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。网络连接权值与输出呈线性关系。分类能力好。学习过程收敛速度快。从函数逼近功能来分，神经网络可分为全局逼近神经网络和局部逼近神经网络。如果网络的一个或多个权值或自适应可调参数在输入空间的每一个点对任何一个输出都有影响，则称神经网络为全局逼近神经网络。多层前馈网络是全局逼近网络的典型例子。对于每个输入输出数据，网络的每一个权值均需要调整，从而导致全局逼近网络学习速度很慢。若对与输入空间的某个局部区域，只有少数几个权值影响网络的输出，则称网络为局部逼近网络。径向基函数(RBF)网络是一种典型的局部逼近神经网络。即网络用于函数逼近时，权值的调整是用梯度下降法，存在局部极小和收敛速度慢等缺点。径向基函数(RBF)网络在逼近能力、分类能力和学习速度等方面均优于BP网络，所以本文选择RBF神经网络作为预测模型。第 8 页-