RBF神经网络-教程.ppt
RBF神经网络神经网络 信息工程学院信息工程学院 Alen Fielding1 RBF神经网络 径径向向基基函函数数(RBF-Radial(RBF-Radial Basis Basis Function)Function)神神经经网网络络是是由由J.MoodyJ.Moody和和C.DarkenC.Darken在在8080年年代代末末提提出出的的一一种种神神经经网网络络,它它是是具具有有单单隐隐层层的的三三层层前前馈馈网网络络。由由于于它它模模拟拟了了人人脑脑中中局局部部调调整整、相相互互覆覆盖盖接接收收域域（或或称称感感受受野野-Receptive Receptive FieldField）的的神神经经网网络络结结构构，因因此此，RBFRBF网网络络是是一一种种局局部部逼逼近近网网络络，它它能能够够以以任任意意精精度度逼逼近近任任意意连续函数，特别适合于解决分类问题。连续函数，特别适合于解决分类问题。2 RBF网络结构 RBF RBF网络的结构与多层前向网络类似，它是一网络的结构与多层前向网络类似，它是一种三层前向网络种三层前向网络。第一层即输。第一层即输入入层由信层由信号源节点组成；号源节点组成；第二层为隐含层，隐单元数视所描述的问题的需要而第二层为隐含层，隐单元数视所描述的问题的需要而定，隐单元的变换函数是定，隐单元的变换函数是RBFRBF，它是对称中心径向对，它是对称中心径向对称且衰减的非线性函数；第三层为输出层，它对输入称且衰减的非线性函数；第三层为输出层，它对输入模式的作用做出响应。模式的作用做出响应。由于输入到输出的映射是非线由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。而可以大大加快学习速度并避免局部极小问题。图图图图1 RBF1 RBF网络结构网络结构网络结构网络结构3 RBF网络特点前向网络；前向网络；RBFRBF网络的作用函数为高斯函数，是局部的，网络的作用函数为高斯函数，是局部的，BPBP网络的作用函数为网络的作用函数为S S函数，函数，是全局的；是全局的；如何确定如何确定RBFRBF网络隐层节点的中心及基宽度参数网络隐层节点的中心及基宽度参数是一个困难的问题；是一个困难的问题；RBFRBF网络具有唯一最佳逼近的特性，且无局部极网络具有唯一最佳逼近的特性，且无局部极小。小。4 RBF网络的逼近 采用RBF网络逼近一对象的结构如图2所示。图图2 RBF神经网络逼近神经网络逼近 在在RBFRBF网网络络结结构构中中，为为网网络络的的输输入入向向量。设量。设RBFRBF网络的径向基向量网络的径向基向量:其中其中h hj j为高斯基函数：为高斯基函数：式中，式中，表示欧式范数表示欧式范数网络的第网络的第j j个结点的中心矢量为：个结点的中心矢量为：其中，其中，i=1,2i=1,2,n,n；j=1,2,mj=1,2,m。设网络的基宽向量为：设网络的基宽向量为：为为节节点点的的基基宽宽度度参参数数，且且为为大大于于零零的的数数。网网络络的权向量为：的权向量为：k k时刻时刻网络的输出为：网络的输出为：设理想输出为设理想输出为y(k)y(k)，则性能指标函数为：则性能指标函数为：5 RBF网络的学习算法 RBF神经网络学习算法需要求解的参数有3个：基函数的中心、隐含层到输出层权值以及节点基宽参数。根据径向基函数中心选取方法不同，RBF网络有多种学习方法，如梯度下降法、随机选取中心法、自组织选区中心法、有监督选区中心法和正交最小二乘法等。下面根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下。其中其中,为学习速率，为学习速率，为动量因子。为动量因子。(雅雅克克比比阵阵)()(即即为为对对象象的的输输出出对对控控制制输输入入的灵敏度信息的灵敏度信息)算法为：算法为：其中取 。使用RBF网络逼近下列对象：6 RBF网络逼近仿真实例7 RBF网络的优点：神经网络有很强的非线性拟合能力，可映射任意复杂的非线性关系，而且学习规则简单，便于计算机实现。具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力，因此有很大的应用市场。它具有唯一最佳逼近的特性，且无局部极小问题存在。RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。网络连接权值与输出呈线性关系。分类能力好。学习过程收敛速度快。8 RBF网络的缺点最严重的问题是没能力来解释自己的推理过程和推理依据。不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。理论和学习算法还有待于进一步完善和提高。隐层基函数的中心是在输入样本集中选取的,这在许多情况下难以反映出系统真正的输入输出关系,并且初始中心点数太多;另外优选过程会出现数据病态现象。9 RBF神经网络的应用 图像处理，语音识别，时间系列预测，雷达原点定位，医疗诊断，错误处理检测，模式识别等。总之，RBF网络用得最多之处是用于分类。在分类之中，最广的还是模式识别问题。次之是时间序列分析问题。根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。常见的前馈神经网络有BP网络，RBF网络等.常见的反馈神经网络有Hopfield网络等.HopfieldHopfield网络模型网络模型网络模型网络模型
