人工神经网络学习精.ppt

人工神经网络学习2022/10/251第1页，本讲稿共23页人工神经网络学习概述人工神经网络提供了一种普遍且实用的方法从样例中学习值为实数、离散值或向量的函数。人工神经网络对于训练数据中的错误健壮性很好。人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，机器人控制。其中，最流行的网络和算法是20世纪80年代提出的BP网络和BP算法，BP算法使用梯度下降法来调节BP网络的参数以最佳拟合由输入-输出对组成的训练集合。2022/10/252第2页，本讲稿共23页BP算法概述1、BP算法的出现非循环多级网络的训练算法UCSD PDP小 组 的 Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。3、优点：广泛的适应性和有效性。2022/10/253第3页，本讲稿共23页BP网络的基本结构2022/10/254第4页，本讲稿共23页确定BP网络的拓扑结构在开始训练之前，需要确定网络的拓扑结构：出入层神经元的个数、隐含层神经元的层数及每一层神经元的个数、输出层神经元的个数。对训练样本中的每一属性的值进行归一化，使其值落在（0，1）区间，有助于加快学习过程。对于离散的属性值，要进行合适的编码。BP网一般都选用二级网络。实验表明：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。2022/10/255第5页，本讲稿共23页神经元的M-P模型2022/10/256第6页，本讲稿共23页激活函数激活函数(ActivationFunction)激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也也可可以以称称为为激激励励函函数数、活活化函数：化函数：o=f（net）1、线性函数（、线性函数（LinerFunction）f（net）=k*net+c netooc2022/10/257第7页，本讲稿共23页2、非线性斜面函数、非线性斜面函数(RampFunction)ifnetf（net）=k*netif|net|0为一常数，被称为饱和值，为该神经元为一常数，被称为饱和值，为该神经元的最大输出。的最大输出。2022/10/258第8页，本讲稿共23页2、非线性斜面函数（、非线性斜面函数（RampFunction）-net o 2022/10/259第9页，本讲稿共23页3、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数ifnetf（net）=-ifnet、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1ifnetf（net）=0ifnet双极形式：双极形式：1ifnetf（net）=-1ifnet 2022/10/2510第10页，本讲稿共23页3、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数-onet02022/10/2511第11页，本讲稿共23页4、S形函数形函数 压压缩缩函函数数（SquashingFunction）和和逻逻辑辑斯斯特特函数（函数（LogisticFunction）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。S形函数有较好的增益控制形函数有较好的增益控制 2022/10/2512第12页，本讲稿共23页4、S形函数形函数 a+b o(0,c)netac=a+b/22022/10/2513第13页，本讲稿共23页BP算法2022/10/2514第14页，本讲稿共23页BP算法的基本思想BP算法的基本工作过程大概可以分为两个阶段：1）信号的向前传播，在这个阶段，要求计算出隐含层和输出层中每一神经元的净输入和输出。2）误差的向后传播，在这个阶段，要求计算出输出层和隐含层中每一神经元的误差。2022/10/2515第15页，本讲稿共23页初始化问题在BP算法中，权和偏置在网络学习之前，都将其初始化为不同的小随机数。“不同”保证网络可以学习；“小随机数”防止其值过大而提前进入饱和状态。2022/10/2516第16页，本讲稿共23页更新问题基本的BP算法采用的是实例更新，即每处理一个实例就更新一次权和偏置。实例更新的缺陷：实例的顺序对训练结果有较大影响。它更“偏爱”较后出现的实例。而给其中的实例安排一个适当的顺序，是非常困难的。解决的办法就是采用周期更新，即每处理一遍所有的实例才更新一次权和偏置。周期更新的好处是：可以消除实例顺序对结果的影响。2022/10/2517第17页，本讲稿共23页收敛速度问题BP算法的训练速度是非常慢的，尤其是当训练达到一定的程度后，甚至有时是发散的。2022/10/2518第18页，本讲稿共23页局部极小点问题避免修改初始值：并不是总有效。逃离统计方法：Wasserman，1986将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。2022/10/2519第19页，本讲稿共23页网络瘫痪问题在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛。2022/10/2520第20页，本讲稿共23页稳定性问题用修改量的综合实施权的修改（用消除样本顺序影响的算法4-2来训练）连续变化的环境，它将变成无效的（网络不可塑）2022/10/2521第21页，本讲稿共23页步长问题BP网络的收敛是基于无穷小的权修改量步长太小，收敛就非常慢步长太大，可能会导致网络的瘫痪和不稳定自适应步长，使得权修改量能随着网络的训练而不断变化。1988年，Wasserman 2022/10/2522第22页，本讲稿共23页BP算法适合问题的特征实例是用很多“属性-值”对表示的目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量训练数据可能包含错误可容忍长时间的训练可能需要快速求出目标函数值(分类速度快)人类能否理解学到的目标函数是不重要的2022/10/2523第23页，本讲稿共23页