BP神经网络的几种改进方法.ppt

《BP神经网络的几种改进方法.ppt》由会员分享，可在线阅读，更多相关《BP神经网络的几种改进方法.ppt（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、BP神经网络的几种改进方法神经网络的几种改进方法 研一队:张之武 2010年6月8日BP神经网络的几种改进方法神经网络的几种改进方法nB P网络存在的问题网络存在的问题:n1.1.对初始权值的选取很敏感对初始权值的选取很敏感n2.2.网络隐含层节点数选择的盲目性网络隐含层节点数选择的盲目性n3.3.收敛速度慢容易陷入局部极小而无法得到全局最优解收敛速度慢容易陷入局部极小而无法得到全局最优解n4.4.泛化能力较差泛化能力较差BP神经网络的几种改进方法神经网络的几种改进方法n主要的改进策略主要的改进策略:1.1.算法自身的改变算法自身的改变2.2.与其他优化算法的结合与其他优化算法的结合BP神经网

2、络的几种改进方法神经网络的几种改进方法n提高提高BPBP网络收敛速度的方法归纳为三类：网络收敛速度的方法归纳为三类：q优化网络学习率的变化方式来提高训练速度的方法。优化网络学习率的变化方式来提高训练速度的方法。如：动量项法、自适应学习率法、共轭梯度法、牛顿如：动量项法、自适应学习率法、共轭梯度法、牛顿迭代法等迭代法等q优化网络初始参数方式来提高训练速度的方法。如：优化网络初始参数方式来提高训练速度的方法。如：对输入初始参数和网络连接权重参数进行归一化等对输入初始参数和网络连接权重参数进行归一化等q优化网络学习结构的参数来提高训练速度的方法。如优化网络学习结构的参数来提高训练速度的方法。如 ：误

3、差函数修正法、激励函数选取法等：误差函数修正法、激励函数选取法等 BP神经网络的几种改进方法神经网络的几种改进方法一些具体改进方法一些具体改进方法:n1.修正BP算法的误差函数和激励函数n等效误差分量和的大小和正负的变化对收敛速度存在影等效误差分量和的大小和正负的变化对收敛速度存在影响响,修正误差函数可以定义为：修正误差函数可以定义为：n激励函数也是激励函数也是BPBP算法中影响收敛的重要因素，激励函数算法中影响收敛的重要因素，激励函数的选取影响着的选取影响着BPBP算法的收敛速度算法的收敛速度BP神经网络的几种改进方法神经网络的几种改进方法n2.网络初始参数归一化处理q由于输入样本属于不同量

4、纲，故对所有的输入样本，由于输入样本属于不同量纲，故对所有的输入样本，(如：如：网络初始数据网络初始数据)进行归一化处理并使之转化到进行归一化处理并使之转化到0,10,1之间。之间。这里利用比例压缩法，具体公式为：这里利用比例压缩法，具体公式为：q训练完成后，将最终得到的数据进行还原处理；其公式为训练完成后，将最终得到的数据进行还原处理；其公式为BP神经网络的几种改进方法神经网络的几种改进方法n3.隐含层节点数选择方法的改进n隐含层的神经元数可用以下公式计算：隐含层的神经元数可用以下公式计算：n式中式中k k为隐含层节点数，为隐含层节点数，n n为输入层节点数，为输入层节点数，m m为输为输

5、出层出层节点数，公式计算值需要用四舍五入法进行取整，在考节点数，公式计算值需要用四舍五入法进行取整，在考虑上述公式和比较仿真的效果后确定隐含层的节点数。虑上述公式和比较仿真的效果后确定隐含层的节点数。BP神经网络的几种改进方法神经网络的几种改进方法n4.改进的BP网络学习率n其中其中0.0001 0.0001 0.001,0.001,此算法认为此算法认为,如果网络误差处于如果网络误差处于下降状态下降状态,尤其下降趋势明显时尤其下降趋势明显时,则说明此时学习率可以按一则说明此时学习率可以按一定比例增大定比例增大.BP神经网络的几种改进方法神经网络的几种改进方法n与其他优化算法的结合与其他优化算法

6、的结合:q遗传算法、利用混沌运动遍历的特点的混沌算法、模拟退遗传算法、利用混沌运动遍历的特点的混沌算法、模拟退火算法火算法 其中与遗传算法结合的论文相对较多其中与遗传算法结合的论文相对较多,两者算法特性存两者算法特性存在明显互补性，前者利用梯度下降法，使权值向它的误差在明显互补性，前者利用梯度下降法，使权值向它的误差函数负梯度方向进行调整，函数负梯度方向进行调整，以实现最快减少误差，局部微以实现最快减少误差，局部微调性强，但容易陷于局部最优点。后者主要特点是群体搜调性强，但容易陷于局部最优点。后者主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖于梯度索策略和群体中个体之间的信息交换

7、，搜索不依赖于梯度信息，算法鲁棒性强，不易陷于局部最优，但是收敛到全信息，算法鲁棒性强，不易陷于局部最优，但是收敛到全局最优解所需的时间可能很长局最优解所需的时间可能很长 BP神经网络的几种改进方法神经网络的几种改进方法发展趋势发展趋势:n 人工神经网络正向模拟人类认知的道路上更加深入发展人工神经网络正向模拟人类认知的道路上更加深入发展,与模糊系统、遗传算法、进化机制等结合，形成计算智能，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。成为人工智能的一个重要方向，将在实际应用中得到发展。随着神经网络理论研究的深入以及网络计算能力的不断随着神经网络理论研究的深入以及网络计算能力的不断提高提高,神经网络的应用领域将会不断扩大神经网络的应用领域将会不断扩大,应用水平将会不应用水平将会不断提高断提高,最终达到神经网络系统可用来帮人做事的目的最终达到神经网络系统可用来帮人做事的目的,这这也是神经网络研究的最终目标。也是神经网络研究的最终目标。谢谢大家谢谢大家!