《绝对经典RBF神经网络.ppt》由会员分享,可在线阅读,更多相关《绝对经典RBF神经网络.ppt(29页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、RBF网络特点网络特点l只只有有一一个个隐隐层层,且且隐隐层层神神经经元元与与输输出出层层神神经经元元的的模模型型不不同同。l隐隐层层节节点点激激活活函函数数为为径径向向基基函函数数,输输出出层层节节点点激激活活函函数数为为线线性性函函数数。l隐隐层层节节点点激激活活函函数数的的净净输输入入是是输输入入向向量量与与节节点点中中心心的的距距离离(范范数数)而而非非向向量量内内积积,且且节节点点中中心心不不可可调调。l隐隐层层节节点点参参数数确确定定后后,输输出出权权值值可可通通过过解解线线性性方方程程组组得得到到。l隐隐层层节节点点的的非非线线性性变变换换把把线线性性不不可可分分问问题题转转化化
2、为为线线性性可可分分问问题题。l局局部部逼逼近近网网络络(M ML LP P是是全全局局逼逼近近网网络络),这这意意味味着着逼逼近近一一个个输输入入输输出出映映射射时时,在在相相同同逼逼近近精精度度要要求求下下,R RB BF F所所需需的的时时间间要要比比M ML LP P少少。l具具有有唯唯一一最最佳佳逼逼近近的的特特性性,无无局局部部极极小小。l合合适适的的隐隐层层节节点点数数、节节点点中中心心和和宽宽度度不不易易确确定定。1.Gauss(高斯)函数:(高斯)函数:2.反演反演S型函数:型函数:3.拟多二次函数:拟多二次函数:称称为为基函数的基函数的扩扩展常数展常数或或宽宽度,度,越小,
3、径向基越小,径向基函数的函数的宽宽度越小,基函数度越小,基函数就越有就越有选择选择性。性。径向基函数(径向基函数(RBF)全局逼近和局部逼近全局逼近和局部逼近全局逼近网络全局逼近网络局部逼近网络局部逼近网络当神经网络的一个或多个可当神经网络的一个或多个可调参数调参数(权值和阈值权值和阈值)对任何对任何一个输出都有影响,则称该一个输出都有影响,则称该神经网络为全局逼近网络。神经网络为全局逼近网络。对网络输入空间的某个局对网络输入空间的某个局部区域只有少数几个连接部区域只有少数几个连接权影响网络的输出,则称权影响网络的输出,则称该网络为局部逼近网络该网络为局部逼近网络学习速度很慢,无法满足实时性要
4、求的应用学习速度很慢,无法满足实时性要求的应用学习速度快,有可能满足有实时性要求的应用学习速度快,有可能满足有实时性要求的应用RBF网络的工作原理网络的工作原理函数逼近:函数逼近:以任意精度逼近任一连续函数。一般函数都可表示成一组以任意精度逼近任一连续函数。一般函数都可表示成一组基函数的线性组合,基函数的线性组合,RBF网络相当于用隐层单元的输出构网络相当于用隐层单元的输出构成一组基函数,然后用输出层来进行线性组合,以完成成一组基函数,然后用输出层来进行线性组合,以完成逼近功能。逼近功能。分类:分类:解决非线性可分问题。解决非线性可分问题。RBF网络用隐层单元先将非线性可网络用隐层单元先将非线
5、性可分的输入空间设法变换到线性可分的特征空间(通常是高分的输入空间设法变换到线性可分的特征空间(通常是高维空间),然后用输出层来进行线性划分,完成分类功能。维空间),然后用输出层来进行线性划分,完成分类功能。RBF神经网络两种模型神经网络两种模型正规化网络正规化网络RN广义网络广义网络GN通用逼近器模式分类模式分类基本思想:基本思想:通过加入一个含有解的先验知识的约束来通过加入一个含有解的先验知识的约束来控制映射函数的光滑性,若输入一输出映射控制映射函数的光滑性,若输入一输出映射函数是光滑的,则重建问题的解是连续的,函数是光滑的,则重建问题的解是连续的,意味着相似的输入对应着相似的输出。意味着
6、相似的输入对应着相似的输出。基本思想:基本思想:用径向基函数作为隐单元的用径向基函数作为隐单元的“基基”,构成隐含,构成隐含层空间。隐含层对输入向量进行变换,将低维层空间。隐含层对输入向量进行变换,将低维空间的模式变换到高维空间内,使得在低维空间的模式变换到高维空间内,使得在低维空间内的线性不可分问题在高维空间内线性可分。空间内的线性不可分问题在高维空间内线性可分。两种模型的比较两种模型的比较隐节点隐节点=输入样本数输入样本数隐节点隐节点输入样本数输入样本数 所有输入样本设为所有输入样本设为径向基函数的中心径向基函数的中心径向基函数的中心径向基函数的中心由训练算法确定由训练算法确定径向基函数径
7、向基函数取统一的扩展常数取统一的扩展常数径向基函数的扩展常数径向基函数的扩展常数不再统一由训练算法确定不再统一由训练算法确定没有设置阈值没有设置阈值输出函数的线性中包含阈值参数,输出函数的线性中包含阈值参数,用于补偿基函数在样本集上的用于补偿基函数在样本集上的平均值与目标值之平均值之间的差别。平均值与目标值之平均值之间的差别。RNGN函数逼近问题(内插值)函数逼近问题(内插值)一般函数都可表示成一一般函数都可表示成一组组基函数的基函数的线线性性组组合,合,RBFRBF网网络络相当于用相当于用隐层单隐层单元的元的输输出构成一出构成一组组基函数,基函数,然后用然后用输输出出层层来来进进行行线线性性
8、组组合,以完成逼近功能。合,以完成逼近功能。给给定定样样本数据本数据 寻寻找函数,使其找函数,使其满满足:足:1.网网络络隐隐层层使使用用个个隐隐节节点点。2.把把所所有有个个样样本本输输入入分分别别作作为为个个隐隐节节点点的的中中心心。3.各各基基函函数数取取相相同同的的扩扩展展常常数数。4.确确定定权权值值可可解解线线性性方方程程组组:设设第第j j 个个隐隐节节点点在在第第i i个个样样本本的的输输出出为为:可可矩矩阵阵表表示示:,若若R R可可逆逆,则则解解为为根根据据M Mi ic cc ch he el ll li i定定理理可可得得,如如果果隐隐节节点点激激活活函函数数采采用用径
9、径向向基基函函数数,且且 各各不不相相同同,则则线线性性方方程程组组有有唯唯一一解解。RBF网络输出网络输出举例:举例:RBF网络实现函数逼近网络实现函数逼近 1.1.问题的提出:假设如下的输入输出样本,输入向量为问题的提出:假设如下的输入输出样本,输入向量为-1 1-1 1区间上等间隔的数组成的向量区间上等间隔的数组成的向量P,P,相应的期望值向量为相应的期望值向量为T T。P=-1:0.1:1;T=-0.9602-0.5770-0.0729 0.3771 0.6405 0.6600 0.4609 0.1336-0.2013-0.4344-0.5000-0.3930-0.1647 0.098
10、8 0.3072 0.3960 0.3449 0.1816-0.0312-0.2189-0.3201;%以输入向量为横坐标,期望值为纵坐标,绘制训练用样本的数据点。以输入向量为横坐标,期望值为纵坐标,绘制训练用样本的数据点。figure;plot(P,T,+)title(训练样本训练样本)xlabel(输入矢量输入矢量P)ylabel(目标矢量目标矢量T)grid on%目的是找到一个函数能够满足这目的是找到一个函数能够满足这21个数据点的输入个数据点的输入/输出关系,其中一个方法是通输出关系,其中一个方法是通过构建径向基函数网络来进行曲线拟合过构建径向基函数网络来进行曲线拟合2.2.网络设计
11、:设计一个径向基函数网络,网络有两层,隐含层网络设计:设计一个径向基函数网络,网络有两层,隐含层为径向基神经元,输出层为线性神经元。为径向基神经元,输出层为线性神经元。p=-3:0.1:3;a=radbas(p);figure;plot(p,a)title(径向基传递函数径向基传递函数)xlabel(输入输入p)ylabel(输出输出a)grid on%每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系,输出层的线性神经元将这每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系,输出层的线性神经元将这些径向基函数的权值相加。如果隐含层神经元的数目足够,每一层的权值和阈值正确,那些径向
12、基函数的权值相加。如果隐含层神经元的数目足够,每一层的权值和阈值正确,那么径向基函数网络就完全能够精确的逼近任意函数。么径向基函数网络就完全能够精确的逼近任意函数。a2=radbas(p-1.5);a3=radbas(p+2);a4=a+a2*1+a3*0.5;figure;plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-);title(径向基传递函数之和径向基传递函数之和)xlabel(输入输入p)ylabel(输出输出a)grid on%应用应用newb()函数可以快速构建一个径向基神经网络,并且网络自动根据输入向量和期望值函数可以快速构建一个径向基神经网络,并且网络
13、自动根据输入向量和期望值进行调整,从而进行函数逼近,预先设定均方差精度为进行调整,从而进行函数逼近,预先设定均方差精度为eg以及散布常数以及散布常数sc。eg=0.02;sc=1;net=newrb(P,T,eg,sc);3.网络测试:将网络输出和期望值随输入向量变化网络测试:将网络输出和期望值随输入向量变化的曲线绘制在一张图上,就可以看出网络设计是的曲线绘制在一张图上,就可以看出网络设计是否能够做到函数逼近。否能够做到函数逼近。figure;plot(P,T,+);xlabel(输入输入);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off
14、;legend(目标目标,输出输出)grid on分类问题分类问题低维空间:线性不可分低维空间:线性不可分 高维空间:线性可分高维空间:线性可分 空间转换空间转换关关于于对对单单层层感感知知器器的的讨讨论论可可知知,若若N维维输输入入样样本本空空间间的的样样本本模模式式是是线线性性可可分分的的,总总存存在在一一个个用用线线性性方方程程描描述述的的超超平平面面,使使两两类类线线性性可可分分样样本本截截然然分分开开。若若两两类类样样本本是是非非线线性性可可分分的的,则则不不存存在在一一个个这这样样的的分分类类超超平平面面。但但根根据据Cover定定理理,非非 线线 性性 可可 分分 问问 题题 可
15、可 能能 通通 过过 非非 线线 性性 变变 换换 获获 得得 解解 决决。Cover定理可以定性地表述为:将复杂的模式分类问题非线定理可以定性地表述为:将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更可能是线性可性地投射到高维空间将比投射到低维空间更可能是线性可分的分的1(x)X2X12(x)w11w11Output y举例:逻辑运算异或的分类举例:逻辑运算异或的分类X1X2X1X2000011101110XOR异或异或空间变换前X1X2000.13531010.36790.3679100.36790.36791110.1353基函数基函数空间变换后RBF学习算法学习算法RBF
16、学习的三个参数:学习的三个参数:基函数的中心基函数的中心 方差(扩展常数)方差(扩展常数)隐含层与输出层间的权值隐含层与输出层间的权值当采用当采用正归化正归化RBFRBF网络网络结构时,隐节点数即样本数,基函结构时,隐节点数即样本数,基函数的数据中心即为样本本身,参数设计只需考虑扩展常数数的数据中心即为样本本身,参数设计只需考虑扩展常数和输出节点的权值。和输出节点的权值。当采用当采用广义广义RBFRBF网络网络结构时,结构时,RBFRBF网络的学习算法应该解决网络的学习算法应该解决的问题包括:如何确定网络隐节点数,如何确定的问题包括:如何确定网络隐节点数,如何确定各径向基各径向基函数的数据中心
17、及扩展常数,以及如何修正输出权值。函数的数据中心及扩展常数,以及如何修正输出权值。两两种种方方法法中中心心的的选选取取1.中心从样本输入中选取中心从样本输入中选取2.中心自组织选取中心自组织选取常采用各种动态聚类算法对数据中心进行自组织选择,在常采用各种动态聚类算法对数据中心进行自组织选择,在学习过程中需对数据中心的位置进行动态调节。常用的方学习过程中需对数据中心的位置进行动态调节。常用的方法是法是K-means聚类,其优点是能根据各聚类中心之间的距聚类,其优点是能根据各聚类中心之间的距离确定各隐节点的扩展常数。由于离确定各隐节点的扩展常数。由于RBF网的隐节点数对其网的隐节点数对其泛化能力有
18、极大的影响,所以寻找能确定聚类数目的合理泛化能力有极大的影响,所以寻找能确定聚类数目的合理方法,是聚类方法设计方法,是聚类方法设计RBF网时需首先解决的问题。除聚网时需首先解决的问题。除聚类算法外,还有梯度训练方法、资源分配网络类算法外,还有梯度训练方法、资源分配网络(RAN)等等一般来说,样本密集的地方中心点可以适当多些,样本稀疏的地方一般来说,样本密集的地方中心点可以适当多些,样本稀疏的地方中心点可以少些;若数据本身是均匀分布的,中心点也可以均匀分中心点可以少些;若数据本身是均匀分布的,中心点也可以均匀分布。总之,选出的数据中心应具有代表性。径向基函数的扩展常数布。总之,选出的数据中心应具
19、有代表性。径向基函数的扩展常数是根据数据中心的散布而确定的,为了避免每个径向基函数太尖或是根据数据中心的散布而确定的,为了避免每个径向基函数太尖或太平,一种选择方法是将所有径向基函数的扩展常数设为太平,一种选择方法是将所有径向基函数的扩展常数设为一.自组织中心选取法 1 19 98 89 9年年,M Mo oo od dy y和和D Da ar rk ke en n提提出出了了一一种种由由两两个个阶阶段段组组成成的的混混合合学学习习过过程程的的思思路路。两两个个步步骤骤:无无监监督督的的自自组组织织学学习习阶阶段段 有有监监督督学学习习阶阶段段 其任务是用自组织聚类方法为隐其任务是用自组织聚类
20、方法为隐层节点的径向基函数确定合适的层节点的径向基函数确定合适的数据中心,并根据各中心之间的数据中心,并根据各中心之间的距离确定隐节点的扩展常数。距离确定隐节点的扩展常数。一般采用一般采用Duda和和Hart1973年提年提出的出的k-means聚类算法。聚类算法。其任务是用有监督其任务是用有监督学习算法训练输出学习算法训练输出层权值,一般采用层权值,一般采用梯度法进行训练。梯度法进行训练。在在聚聚类类确确定定数数据据中中心心的的位位置置之之前前,需需要要先先估估计计中中心心的的个个数数 (从从而而确确定定了了隐隐节节点点数数),一一般般需需要要通通过过试试验验来来决决定定。由由于于聚聚类类得
21、得到到的的数数据据中中心心不不是是样样本本数数据据 本本身身,因因此此用用 表表示示第第n次次迭迭代代时时的的中中心心。应应用用K-means聚聚类类算算法法确确定定数数据据中中心心的的过过程程如如下下。(1)初初始始化化。选选择择 个个互互不不相相同同的的向向量量作作为为初初始始聚聚类类中中心心(2)计计算算输输入入空空间间各各样样本本点点与与聚聚类类中中心心点点的的欧欧式式距距离离1.中心学习中心学习(3)相相似似匹匹配配。令令 代代表表竞竞争争获获胜胜隐隐节节点点的的下下标标,对对每每一一个个输输入入样样本本 根根据据其其与与聚聚类类中中心心的的最最小小欧欧式式距距离离确确定定其其归归类
22、类 ,即即当当 时时,被被归归为为第第 类类,从从而而将将全全部部样样本本划划分分为为 个个子子集集 每每个个子子集集构构成成一一个个以以聚聚类类中中心心为为典典型型代代表表的的聚聚类类域域。(4)更更新新各各类类的的聚聚类类中中心心。采采用用竞竞争争学学习习规规则则进进行行调调整整将将n值值加加1,转转到到第第(2)步步。重重复复上上述述过过程程直直到到。其他2.确定扩展常数确定扩展常数各各聚聚类类中中心心确确定定后后,可可根根据据各各中中心心之之间间的的距距离离确确定定对对应应径径向向基基函函数数的的扩扩展展常常数数。令令则则扩扩展展常常数数可可取取为为为重叠系数为重叠系数3.学习权值学习
23、权值权值的学习可以用权值的学习可以用LMS学习算法学习算法注意:注意:LMS算法的输入为算法的输入为RBF网络隐含层的输出网络隐含层的输出 RBF网络输出层的神经元只是对隐含层网络输出层的神经元只是对隐含层 神经元的输出加权和。神经元的输出加权和。因此因此RBF网络的实际输出为网络的实际输出为其中其中用用LMS方法求解方法求解用用伪逆伪逆方法求解方法求解为期望响应为期望响应 是矩阵是矩阵 的伪逆的伪逆伪逆的求法伪逆的求法奇异矩阵或非方阵的矩阵不奇异矩阵或非方阵的矩阵不存在逆矩阵,若存在逆矩阵,若XAX=A,AXA=X 则则X称为称为A的伪逆阵。在的伪逆阵。在matlab中用中用pinv(A)求
24、伪逆)求伪逆二.有监督选取中心算法RBF中心以及网络的其他自由参数都是通过有监督的学中心以及网络的其他自由参数都是通过有监督的学习来确定,以单输出的习来确定,以单输出的RBF为例为例定义目标函数定义目标函数误差信号误差信号寻求网络的自由参数寻求网络的自由参数 (与中心(与中心 有关)使目标有关)使目标函数函数 达到最小达到最小 N N是训练样本的个数是训练样本的个数1.输出层权值输出层权值2.隐含层隐含层RBF中心中心3.隐含层隐含层RBF的扩展的扩展其中其中 是是 的导数的导数三三.随机选取中心法随机选取中心法条件:典型的训练样本,隐含单元的中心是条件:典型的训练样本,隐含单元的中心是 随机
25、的在输入样随机的在输入样本中选取,且中心固定。因此此算法学习的参数只有两个:本中选取,且中心固定。因此此算法学习的参数只有两个:方差和权值方差和权值四四.OLS学习算法学习算法 RBF神经网络的性能严重依赖于所选择的中心数目和神经网络的性能严重依赖于所选择的中心数目和位置是否合适实际中,人们一般是随机地从输入模式中选位置是否合适实际中,人们一般是随机地从输入模式中选择中心,或用某种聚类算法择中心,或用某种聚类算法(如如:K均值算法均值算法)选择出确定数选择出确定数目的中心,这样通常导致所设计的网络性能不是很差就是目的中心,这样通常导致所设计的网络性能不是很差就是规模过大,甚至造成数值病态问题规模过大,甚至造成数值病态问题.Chen,Cowan,Grant(1992)提出的)提出的OLS(正交最小二乘正交最小二乘)前向选择算法将前向选择算法将RBF中心的选择归结为线性回归中子模型的选择问题这种算法中心的选择归结为线性回归中子模型的选择问题这种算法能自动地避免网络规模过大和随机选择中心带来的数值病能自动地避免网络规模过大和随机选择中心带来的数值病态问题,是一种有效的自动选择中心的算法。态问题,是一种有效的自动选择中心的算法。
限制150内