绝对经典神经网络精选文档.ppt

《绝对经典神经网络精选文档.ppt》由会员分享，可在线阅读，更多相关《绝对经典神经网络精选文档.ppt（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、绝对经典神经网络本讲稿第一页，共二十九页1.Gauss（高斯）函数：（高斯）函数：2.反演反演S型函数：型函数：3.拟多二次函数：拟多二次函数：称称为为基函数的基函数的扩扩展常数或展常数或宽宽度，度，越小，径向基函数的越小，径向基函数的宽宽度越小，基函数就越有度越小，基函数就越有选择选择性。性。径向基函数（径向基函数（RBF）本讲稿第二页，共二十九页全局逼近和局部逼近全局逼近和局部逼近全局逼近网络全局逼近网络局部逼近网络局部逼近网络当神经网络的一个或多个可当神经网络的一个或多个可调参数调参数(权值和阈值权值和阈值)对任何对任何一个输出都有影响，则称该一个输出都有影响，则称该神经网络为全局逼近网

2、络。神经网络为全局逼近网络。对网络输入空间的某个局对网络输入空间的某个局部区域只有少数几个连接部区域只有少数几个连接权影响网络的输出，则称权影响网络的输出，则称该网络为局部逼近网络该网络为局部逼近网络学习速度很慢，无法满足实时性要求的应用学习速度很慢，无法满足实时性要求的应用学习速度快，有可能满足有实时性要求的应用学习速度快，有可能满足有实时性要求的应用本讲稿第三页，共二十九页RBF网络的工作原理网络的工作原理函数逼近：函数逼近：以任意精度逼近任一连续函数。一般函数都可表示成一组以任意精度逼近任一连续函数。一般函数都可表示成一组基函数的线性组合，基函数的线性组合，RBF网络相当于用隐层单元的输

3、出构网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线性组合，以完成成一组基函数，然后用输出层来进行线性组合，以完成逼近功能。逼近功能。分类：分类：解决非线性可分问题。解决非线性可分问题。RBF网络用隐层单元先将非线性可网络用隐层单元先将非线性可分的输入空间设法变换到线性可分的特征空间（通常是高分的输入空间设法变换到线性可分的特征空间（通常是高维空间），然后用输出层来进行线性划分，完成分类功能。维空间），然后用输出层来进行线性划分，完成分类功能。本讲稿第四页，共二十九页RBF神经网络两种模型神经网络两种模型正规化网络正规化网络RN广义网络广义网络GN通用逼近器模式分类模式分类基本思

4、想：基本思想：通过加入一个含有解的先验知识的约束来通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入一输出映射控制映射函数的光滑性，若输入一输出映射函数是光滑的，则重建问题的解是连续的，函数是光滑的，则重建问题的解是连续的，意味着相似的输入对应着相似的输出。意味着相似的输入对应着相似的输出。基本思想：基本思想：用径向基函数作为隐单元的用径向基函数作为隐单元的“基基”，构成隐含，构成隐含层空间。隐含层对输入向量进行变换，将低维层空间。隐含层对输入向量进行变换，将低维空间的模式变换到高维空间内，使得在低维空间的模式变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分

5、。空间内的线性不可分问题在高维空间内线性可分。本讲稿第五页，共二十九页两种模型的比较两种模型的比较隐节点隐节点=输入样本数输入样本数隐节点输入样本数隐节点输入样本数 所有输入样本设为所有输入样本设为径向基函数的中心径向基函数的中心径向基函数的中心径向基函数的中心由训练算法确定由训练算法确定径向基函数径向基函数取统一的扩展常数取统一的扩展常数径向基函数的扩展常数径向基函数的扩展常数不再统一由训练算法确定不再统一由训练算法确定没有设置阈值没有设置阈值输出函数的线性中包含阈值参数，输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的用于补偿基函数在样本集上的平均值与目标值之平均值之间的差别。平均

6、值与目标值之平均值之间的差别。RNGN本讲稿第六页，共二十九页函数逼近问题（内插值）函数逼近问题（内插值）一般函数都可表示成一一般函数都可表示成一组组基函数的基函数的线线性性组组合，合，RBFRBF网网络络相当于用相当于用隐层单隐层单元的元的输输出构成一出构成一组组基函数，然后用基函数，然后用输输出出层层来来进进行行线线性性组组合，以完成逼近功能。合，以完成逼近功能。给给定定样样本数本数据据 寻寻找函数，使其找函数，使其满满足：足：本讲稿第七页，共二十九页1.网络隐层使用个隐节点。网络隐层使用个隐节点。2.把所有个样本输入分别作为个隐节点的中心。把所有个样本输入分别作为个隐节点的中心。3.各基

7、函数取相同的扩展常数。各基函数取相同的扩展常数。4.确定权值可解线性方程组：确定权值可解线性方程组：设第设第j j 个隐节点在第个隐节点在第i i个样本的输出为：个样本的输出为：可矩阵表示：可矩阵表示：,若若R R可逆，则解为可逆，则解为根据根据MicchelliMicchelli定理可得，如果隐节点激活函数采用定理可得，如果隐节点激活函数采用径向基函数，且径向基函数，且 各不相同，则线性方程组各不相同，则线性方程组有唯一解。有唯一解。RBF网络输出网络输出本讲稿第八页，共二十九页举例：举例：RBF网络实现函数逼近网络实现函数逼近 1.1.问题的提出：假设如下的输入输出样本，输入向量为问题的提

8、出：假设如下的输入输出样本，输入向量为-1 1-1 1区区间上等间隔的数组成的向量间上等间隔的数组成的向量P,P,相应的期望值向量为相应的期望值向量为T T。P=-1:0.1:1;T=-0.9602-0.5770-0.0729 0.3771 0.6405 0.6600 0.4609 0.1336-0.2013-0.4344-0.5000-0.3930-0.1647 0.0988 0.3072 0.3960 0.3449 0.1816-0.0312-0.2189-0.3201;%以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点

9、。figure;plot(P,T,+)title(训练样本训练样本)xlabel(输入矢量输入矢量P)ylabel(目标矢量目标矢量T)grid on%目的是找到一个函数能够满足这目的是找到一个函数能够满足这21个数据点的输入个数据点的输入/输出关系，其中一个方法是通过构输出关系，其中一个方法是通过构建径向基函数网络来进行曲线拟合建径向基函数网络来进行曲线拟合本讲稿第九页，共二十九页2.2.网络设计：设计一个径向基函数网络，网络有两层，隐含层为径向基神经网络设计：设计一个径向基函数网络，网络有两层，隐含层为径向基神经元，输出层为线性神经元。元，输出层为线性神经元。p=-3:0.1:3;a=ra

10、dbas(p);figure;plot(p,a)title(径向基传递函数径向基传递函数)xlabel(输入输入p)ylabel(输出输出a)grid on%每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将这些径向基函每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那么径向基函数网络就完全数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那么径向基函数网络就完全能够精确的逼近任意函数。能够精确的逼近任意函数。a2=radbas(p-1.5);

11、a3=radbas(p+2);a4=a+a2*1+a3*0.5;figure;plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-);title(径向基传递函数之和径向基传递函数之和)xlabel(输入输入p)ylabel(输出输出a)grid on%应用应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值进行调整，从而进行函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值进行调整，从而进行函数逼近，预先设定均方差精度为函数逼近，预先设定均方差精度为eg以及散布常数以及散布常数sc。eg=0.02;sc=1;net=newrb

12、(P,T,eg,sc);本讲稿第十页，共二十九页3.网络测试：将网络输出和期望值随输入向量变化的曲网络测试：将网络输出和期望值随输入向量变化的曲线绘制在一张图上，就可以看出网络设计是否能够做线绘制在一张图上，就可以看出网络设计是否能够做到函数逼近。到函数逼近。figure;plot(P,T,+);xlabel(输入输入);X=-1:0.01:1;Y=sim(net,X);hold on;plot(X,Y);hold off;legend(目标目标,输出输出)grid on本讲稿第十一页，共二十九页分类问题分类问题低维空间：线性不可分低维空间：线性不可分 高维空间：线性可分高维空间：线性可分 空

13、间转换空间转换关关于于对对单单层层感感知知器器的的讨讨论论可可知知，若若N维维输输入入样样本本空空间间的的样样本本模模式式是是线线性性可可分分的的，总总存存在在一一个个用用线线性性方方程程描描述述的的超超平平面面，使使两两类类线线性性可可分分样样本本截截然然分分开开。若若两两类类样样本本是是非非线线性性可可分分的的，则则不不存存在在一一个个这这样样的的分分类类超超平平面面。但但根根据据Cover定定理理，非非线线性性可可分分问问题题可可能能通通过过非非线线性性变变换换获获得得解解决决。Cover定理可以定性地表述为：将复杂的模式分类问题非线性地投射定理可以定性地表述为：将复杂的模式分类问题非线

14、性地投射到高维空间将比投射到低维空间更可能是线性可分的到高维空间将比投射到低维空间更可能是线性可分的本讲稿第十二页，共二十九页1(x)X2X12(x)w11w11Output y举例：逻辑运算异或的分类举例：逻辑运算异或的分类X1X2X1X2000011101110XOR异或异或空间变换前本讲稿第十三页，共二十九页X1X2000.13531010.36790.3679100.36790.36791110.1353基函数基函数空间变换后本讲稿第十四页，共二十九页RBF学习算法学习算法RBF学习的三个参数：学习的三个参数：基函数的中心基函数的中心 方差（扩展常数）方差（扩展常数）隐含层与输出层间的

15、权值隐含层与输出层间的权值当采用当采用正归化正归化RBFRBF网络网络结构时，隐节点数即样本数，基函数的数据结构时，隐节点数即样本数，基函数的数据中心即为样本本身，参数设计只需考虑扩展常数和输出节点的权值。中心即为样本本身，参数设计只需考虑扩展常数和输出节点的权值。当采用当采用广义广义RBFRBF网络网络结构时，结构时，RBFRBF网络的学习算法应该解决的问题网络的学习算法应该解决的问题包括：如何确定网络隐节点数，如何确定包括：如何确定网络隐节点数，如何确定各径向基函数的数据各径向基函数的数据中心及扩展常数，以及如何修正输出权值。中心及扩展常数，以及如何修正输出权值。本讲稿第十五页，共二十九页

16、两种方法中心的选取两种方法中心的选取1.中心从样本输入中选取中心从样本输入中选取2.中心自组织选取中心自组织选取常采用各种动态聚类算法对数据中心进行自组织选择，在学常采用各种动态聚类算法对数据中心进行自组织选择，在学习过程中需对数据中心的位置进行动态调节。常用的方法是习过程中需对数据中心的位置进行动态调节。常用的方法是K-means聚类，其优点是能根据各聚类中心之间的距离确定聚类，其优点是能根据各聚类中心之间的距离确定各隐节点的扩展常数。由于各隐节点的扩展常数。由于RBF网的隐节点数对其泛化能力网的隐节点数对其泛化能力有极大的影响，所以寻找能确定聚类数目的合理方法，是聚有极大的影响，所以寻找能

17、确定聚类数目的合理方法，是聚类方法设计类方法设计RBF网时需首先解决的问题。除聚类算法外，还网时需首先解决的问题。除聚类算法外，还有梯度训练方法、资源分配网络有梯度训练方法、资源分配网络(RAN)等等一般来说，样本密集的地方中心点可以适当多些，样本稀疏的地方中一般来说，样本密集的地方中心点可以适当多些，样本稀疏的地方中心点可以少些；若数据本身是均匀分布的，中心点也可以均匀分布。心点可以少些；若数据本身是均匀分布的，中心点也可以均匀分布。总之，选出的数据中心应具有代表性。径向基函数的扩展常数是根据总之，选出的数据中心应具有代表性。径向基函数的扩展常数是根据数据中心的散布而确定的，为了避免每个径向

18、基函数太尖或太平，一数据中心的散布而确定的，为了避免每个径向基函数太尖或太平，一种选择方法是将所有径向基函数的扩展常数设为种选择方法是将所有径向基函数的扩展常数设为本讲稿第十六页，共二十九页一.自组织中心选取法 19891989年，年，MoodyMoody和和DarkenDarken提出了一种由两个阶段组成的混合学习过提出了一种由两个阶段组成的混合学习过程的思路。程的思路。两个步骤：两个步骤：无监督的自组织学习阶段无监督的自组织学习阶段 有监督学习阶段有监督学习阶段 其任务是用自组织聚类方法为隐层其任务是用自组织聚类方法为隐层节点的径向基函数确定合适的数据节点的径向基函数确定合适的数据中心，并

19、根据各中心之间的距离确中心，并根据各中心之间的距离确定隐节点的扩展常数。定隐节点的扩展常数。一般采用一般采用Duda和和Hart1973年提出的年提出的k-means聚类算法。聚类算法。其任务是用有监督学习算其任务是用有监督学习算法训练输出层权值，一般法训练输出层权值，一般采用梯度法进行训练。采用梯度法进行训练。本讲稿第十七页，共二十九页 在聚类确定数据中心的位置之前，需要先在聚类确定数据中心的位置之前，需要先估计中心的个数估计中心的个数 (从而确定了隐节点数从而确定了隐节点数)，一，一般需要通过试验来决定。由于聚类得到的数据般需要通过试验来决定。由于聚类得到的数据中心不是样本数据中心不是样本

20、数据 本身，因此用本身，因此用 表示第表示第n次迭代时的中心。应用次迭代时的中心。应用K-means聚类算法确聚类算法确定数据中心的过程如下。定数据中心的过程如下。（1）初始化。选择）初始化。选择 个互不相同的向量作为初个互不相同的向量作为初始聚类中心始聚类中心（2）计算输入空间各样本点与聚类中心点的欧）计算输入空间各样本点与聚类中心点的欧式距离式距离1.中心学习中心学习本讲稿第十八页，共二十九页(3)相似匹配。令相似匹配。令 代表竞争获胜隐节点的下代表竞争获胜隐节点的下标，对每一个输入样本标，对每一个输入样本 根据其与聚类中根据其与聚类中心的最小欧式距离确定其归类心的最小欧式距离确定其归类

21、,即当即当 时，时，被归为第被归为第 类，从类，从而将全部样本划分为而将全部样本划分为 个子集个子集 每个子集构成一个以聚类中心为典型代表每个子集构成一个以聚类中心为典型代表的聚类域。的聚类域。本讲稿第十九页，共二十九页（4)更新各类的聚类中心。采用竞争学习规更新各类的聚类中心。采用竞争学习规则进行调整则进行调整将将n值加值加1，转到第，转到第(2)步。重复上述过程直到。步。重复上述过程直到。其他本讲稿第二十页，共二十九页2.确定扩展常数确定扩展常数各聚类中心确定后，可根据各中心之间的距各聚类中心确定后，可根据各中心之间的距离确定对应径向基函数的扩展常数。令离确定对应径向基函数的扩展常数。令则

22、扩展常数可取为则扩展常数可取为为重叠系数为重叠系数本讲稿第二十一页，共二十九页3.学习权值学习权值权值的学习可以用权值的学习可以用LMS学习算法学习算法注意：注意：LMS算法的输入为算法的输入为RBF网络隐含层的输出网络隐含层的输出 RBF网络输出层的神经元只是对隐含层网络输出层的神经元只是对隐含层 神经元的输出加权和。神经元的输出加权和。因此因此RBF网络的实际输出为网络的实际输出为其中其中用用LMS方法求解方法求解用用伪逆伪逆方法求解方法求解为期望响应为期望响应 是矩阵是矩阵 的伪逆的伪逆伪逆的求法伪逆的求法奇异矩阵或非方阵的矩阵不存在逆奇异矩阵或非方阵的矩阵不存在逆矩阵，若矩阵，若XAX

23、=A,AXA=X 则则X称为称为A的伪逆阵。在的伪逆阵。在matlab中用中用pinv（A）求伪逆）求伪逆本讲稿第二十二页，共二十九页本讲稿第二十三页，共二十九页二.有监督选取中心算法RBF中心以及网络的其他自由参数都是通过有监督的学习中心以及网络的其他自由参数都是通过有监督的学习来确定，以单输出的来确定，以单输出的RBF为例为例定义目标函数定义目标函数误差信号误差信号寻求网络的自由参数寻求网络的自由参数 （与中心（与中心 有关）使目标函数有关）使目标函数 达到达到最小最小 N N是训练样本的个数是训练样本的个数本讲稿第二十四页，共二十九页1.输出层权值输出层权值2.隐含层隐含层RBF中心中心

24、本讲稿第二十五页，共二十九页3.隐含层隐含层RBF的扩展的扩展其中其中 是是 的导数的导数本讲稿第二十六页，共二十九页本讲稿第二十七页，共二十九页三三.随机选取中心法随机选取中心法条件：典型的训练样本，隐含单元的中心是条件：典型的训练样本，隐含单元的中心是 随机的在输入样本随机的在输入样本中选取，且中心固定。因此此算法学习的参数只有两个：中选取，且中心固定。因此此算法学习的参数只有两个：方差和权值方差和权值四四.OLS学习算法学习算法 RBF神经网络的性能严重依赖于所选择的中心数目和位置神经网络的性能严重依赖于所选择的中心数目和位置是否合适实际中，人们一般是随机地从输入模式中选择中心，是否合适

25、实际中，人们一般是随机地从输入模式中选择中心，或用某种聚类算法或用某种聚类算法(如如:K均值算法均值算法)选择出确定数目的中心，这选择出确定数目的中心，这样通常导致所设计的网络性能不是很差就是规模过大，甚至造样通常导致所设计的网络性能不是很差就是规模过大，甚至造成数值病态问题成数值病态问题.Chen,Cowan,Grant(1992）提出的）提出的OLS(正正交最小二乘交最小二乘)前向选择算法将前向选择算法将RBF中心的选择归结为线性回归中中心的选择归结为线性回归中子模型的选择问题这种算法能自动地避免网络规模过大和随机子模型的选择问题这种算法能自动地避免网络规模过大和随机选择中心带来的数值病态问题，是一种有效的自动选择中心的选择中心带来的数值病态问题，是一种有效的自动选择中心的算法。算法。本讲稿第二十八页，共二十九页本讲稿第二十九页，共二十九页