神经网络(RBF)讲课.pptx

《神经网络(RBF)讲课.pptx》由会员分享，可在线阅读，更多相关《神经网络(RBF)讲课.pptx（27页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、RBF径向基函数神经网络汇报人：结构思路发展简史基本思想径向基函数（高斯函数）神经网络模型工作原理学习算法MATLAB实现发展简史 Broomhead和Lowe最早将RBF(Radical Basis Function）用于神经网络设计之中。他们在1988年发表的论文Multivariable functional interpolation and adaptive networks中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点，进而提出了一种三层结构的RBF神经网络。Moody和 Darken在 1989年 发 表 文 章 Fast learning in network

2、 of locally-tunedprocessing units，提出一种含有局部响应特性的神经网络，这种网络实际上与Broomhead和Lowe提出的RBF神经网络是一致的，他们还提出了RBF神经网络的训练方法。发展简史 以后的研究者针对以前研究中存在的问题与不足提出了许多改进的方法，比如 Chen提 出 的 OLS(Orthogonal Least Squares)算 法；S.Lee等 人 提 出 的 HSOL (Hierarchically Self-Organizing Learning)算法；Platt提出的RAN(Resource Allocating Network)在 线 学

3、 习 算 法；Kadirkamanathan和 Niranjan提 出 的 RANEKF(RAN via Extended Kalman Filter)算法等。RBF 神经网络主要用于解决模式分类和函数逼近等问题。在数学上，RBF神经网络结构的合理性可由Cover 定理得到保证，即对于一个模式问题，在高维数据空间中可能解决在低维空间中不易解决的分类问题。它以径向基函数作为隐节点的激活函数，具有收敛速度快、逼近精度高、网络规模小等特点。RBF网络的基本思想用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间当RBF的中心点确定后，映射关系也就确定隐含层空间到

4、输出空间的映射是线性的RBF神经网络模型径向基神经网络的神经元结构激活函数采用径向基函数以输入和权值向量之间的距离作为自变量径向基函数（径向基函数（RBF）1.Gauss（高斯）函数：（高斯）函数：2.反演反演S型函数：型函数：3.拟多二次函数：拟多二次函数：称为基函数的扩展常数称为基函数的扩展常数或宽度，或宽度，越小，径向基越小，径向基函数的宽度越小，基函数函数的宽度越小，基函数就越有选择性。就越有选择性。RBF神经网络模型径向基神经网络结构RBF神经网络模型RBF神经网络工作原理RBF的非线性分类能力是什么？RBF神经网络工作原理 空间1 空间2不易解决问题易解决问题变换 空间空间1 1

5、空间空间2 2线性不可分线性不可分 线性线性可分可分空空间变换RBF神经网络工作原理RBF解决异或问题RBF神经网络工作原理RBF解决异或问题RBF网络的学习算法学习算法需要求解的参数径向基函数的中心方差隐含层到输出层的权值学习方法分类（按RBF中心选取方法的不同分）固定中心法自组织选取中心法有监督选取中心法基于基于K-MEANS聚聚类方法求取基函数中心方法求取基函数中心K-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚类算法。算法首先随机地选择k个对象，每个对象初始地代表了一个簇的平均值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它赋给最近的簇。然后重新计算每个

6、簇的平均值。这个过程不断重复，直到准则函数收敛。准则函数常常使用最小平方误差MSEMinimumSquared-ErrorK-MEANS算法过程K-MEANS初值敏感K-MEANS聚类总结算法复杂度O(nkt)，其中t是迭代次数。优点：优点：是解决聚类问题的一种经典算法，简单、快速对处理大数据集，该算法保持可伸缩性和高效率当结果簇是密集的，而簇与簇之间区分明显时，它的效果较好常常用于其他聚类算法的一个阶段，如谱聚类K-MEANS聚类总结缺点：缺点：在簇的平均值被定义的情况下才能使用，不适涉及有分类属性的数据必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同的初始值，可能会导致不同结果

7、。不适合于发现非凸面形状的簇或者大小差别很大的簇对躁声和孤立点数据敏感算法常以局部最优结束RBF网络学习算法的MATLAB实现函函 数数 名名功功 能能newrb()newrb()新建一个径向基神经网络新建一个径向基神经网络newrbe()newrbe()新建一个严格的径向基神经网络新建一个严格的径向基神经网络newgrnn()newgrnn()新建一个广义回归径向基神经网络新建一个广义回归径向基神经网络newpnn()newpnn()新建一个概率径向基神经网络新建一个概率径向基神经网络RBF网络的MATLAB函数及功能RBF网络学习算法的MATLAB实现newrb()功能建立一个径向基神经网

8、络格式net=newrb(P，T，GOAL，SPREAD，MN，DF)说明P为输入向量，T为目标向量，GOAL为圴方误差，默认为0，SPREAD为径向基函数的分布密度，默认为1，MN为神经元的最大数目，DF为两次显示之间所添加的神经元神经元数目。RBF网络学习算法的MATLAB实现例 建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。RBF网络学习算法的MATLAB实现例 误差曲线和逼近曲线举例：例：RBF网网络实现函数逼近函数逼近1.问题的提出：假设如下的输入输出样本，输入向量为-1 1区间上等间隔的数组成的向量P,相应的期望值向量为T。3.网网络测试：将网：将网络输出和期望出和期望值随随输入向量入向量变化化的曲的曲线绘制在一制在一张图上，就可以看出网上，就可以看出网络设计是是否能否能够做到函数逼近。做到函数逼近。谢谢聆听