BP神经网络在分类与预测中的应用优秀PPT.ppt

《BP神经网络在分类与预测中的应用优秀PPT.ppt》由会员分享，可在线阅读，更多相关《BP神经网络在分类与预测中的应用优秀PPT.ppt（86页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一、一、BP神经网络神经网络二、二、徽章的分类徽章的分类三、三、光催化臭氧氧化处理自来水光催化臭氧氧化处理自来水BP神经网络在分类与预料中的应用BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的 利用机器仿照人类的智能是长期以来人们相识自然、利用机器仿照人类的智能是长期以来人们相识自然、改造自然和相识自身的志向。改造自然和相识自身的志向。(1)探究和模拟人的感觉、思维和行为的规律，设探究和模拟人的感觉、思维和行为的规律，设计具有

2、人类智能的计算机系统。计具有人类智能的计算机系统。(2)探讨人脑的智能活动，用物化了的智能来考察探讨人脑的智能活动，用物化了的智能来考察和探讨人脑智能的物质过程及其规律。和探讨人脑智能的物质过程及其规律。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法(1)(1)生生理结构的模拟理结构的模拟 用仿生学观点，探究人脑的生理结构，把对人脑的用仿生学观点，探究人脑的生理结构，把对人脑的微观结构及其智

3、能行为的探讨结合起来即人工神经网络微观结构及其智能行为的探讨结合起来即人工神经网络（Artificial Neural Netwroks，简称，简称ANN）方法。）方法。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法(1)(1)生生理结构的模拟理结构的模拟(2)(2)宏观功能的模拟宏观功能的模拟 从人的思维活动和智能行为的心理学特性动身，利从人的思维活动和智能行为的心理学特性动身，利用计算机

4、系统来对人脑智能进行宏观功能的模拟，即符用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。号处理方法。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容(1)(1)理论探讨理论探讨 ANN模型及其学习算法，试图从数学上描述模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的的动力学过程，建立相应的ANN模型，在该模型的基础模型，在该模型

5、的基础上，对于给定的学习样本，找出一种能以较快的速度和上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。态，满足学习要求的算法。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容(1)(1)理论探讨理论探讨(2)(2)实现技术的探讨实现技术的

6、探讨 探讨利用电子、光学、生物等技术实现神经计算机探讨利用电子、光学、生物等技术实现神经计算机的途径。的途径。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容(1)(1)理论探讨理论探讨(2)(2)实现技术的探讨实现技术的探讨(3)(3)应用的探讨应用的探讨 探讨如何应用探讨如何应用ANN解决实际问题，如模式识别、故解决实际问题，如模式识别、故障检测、智能

7、机器人等。障检测、智能机器人等。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容1.1.4 人工神经网络概述人工神经网络概述 人工神经网络是由具有适应性简洁的单元组成的广人工神经网络是由具有适应性简洁的单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对泛并行互连的网络，它的组织能够模拟生物神经系统对真实物体所作出的交互作用。真实物体所作出的交互作

8、用。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征(1)(1)巨量并行性巨量并行性(2)(2)信息处理和存储单元的有机结合信息处理和存储单元的有机结合(3)(3)自组织自学习功能自组织自学习功能 1.1.6 ANN探讨的目的和意义探讨的目的和意义BP神经网络

9、在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (1)通过揭示物理平面与认知平面之间的映射通过揭示物理平面与认知平面之间的映射,了解了解它们相互联系和相互作用的机理它们相互联系和相互作用的机理,揭示思维的本质，探揭示思维的本质，探究智能的本源。究智能的本源。1.1.6

10、ANN探讨的目的和意义探讨的目的和意义BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (2)争取构造出尽可能与人脑具有相像功能的计算争取构造出尽可能与人脑具有相像功能的计算机，即机，即ANN计算机。计算机。1.1.6 ANN探讨的目的和意义探讨的目的和意义B

11、P神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (3)探讨仿照脑神经系统的人工神经网络探讨仿照脑神经系统的人工神经网络,将在模式将在模式识别、组合优化和决策推断等方面取得传统计算机所难识别、组合优化和决策推断等方面取得传统计算机所难以达到的效果。以达到的效果。

12、1.1.6 ANN探讨的目的和意义探讨的目的和意义1.1.7 神经网络探讨的发展神经网络探讨的发展BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容1.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (1)第一次热潮第一次热潮(40-60年头未年头未)1943年，美国心理学家年，美国心理学家W.McCulloc

13、h和数学家和数学家W.Pitts在提出了一个简洁的神经元模型在提出了一个简洁的神经元模型,即即MP模型模型.1958年，年，F.Rosenblatt等研制出了感知机等研制出了感知机(Perceptron）。）。1.1.6 ANN探讨的目的和意义探讨的目的和意义1.1.7 神经网络探讨的发展神经网络探讨的发展BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.1 探讨探讨ANN目的目的1.1.2 探讨探讨ANN方法方法1.1.3 ANN的探讨内容的探讨内容1

14、.1.4 人工神经网络概述人工神经网络概述 1.1.5 脑神经信息活动的特征脑神经信息活动的特征 (2)低潮低潮(70-80年头初年头初)(3)其次次热潮其次次热潮 1982年，美国物理学家年，美国物理学家J.J.Hopfield提出提出Hopfield模型，它是一个互联的非线性模型，它是一个互联的非线性动力学网络，动力学网络，他解决问题的方法是一种反复运算的动态过程他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法这是符号逻辑处理方法所不具备的性质。所不具备的性质。1987年首届国际年首届国际ANN大会在圣地亚哥召开大会在圣地亚哥召开,国际国际ANN联合会成立，联合会成立，创办了

15、多种创办了多种ANN国际刊物。国际刊物。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1.9 人工神经网络探讨的局限性人工神经网络探讨的局限性1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型（1 1）ANNANN探讨受到脑科学探讨成果

16、的限制探讨受到脑科学探讨成果的限制（2 2）ANNANN缺少一个完整、成熟的理论体系缺少一个完整、成熟的理论体系（3 3）ANNANN探讨带有深厚的策略和阅历色调探讨带有深厚的策略和阅历色调（4 4）ANNANN与传统技术的接口不成熟与传统技术的接口不成熟BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1.9 人工神经网络探讨的局限性人工神经网络探讨的局限性1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型黑箱BP神经网络在分类与预料中的应用神经网络在分类与预料

17、中的应用一、一、BP神经网络神经网络1.1.9 人工神经网络探讨的局限性人工神经网络探讨的局限性1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.1.8 神经网络基本模型神经网络基本模型黑箱 一般而言一般而言,ANN与经典计算方法相比并非优越与经典计算方法相比并非优越,只只有当常规方法解决不了或效果不佳时有当常规方法解决不了或效果不佳时ANN方法才能显示方法才能显示出其优越性出其优越性.尤其对问题的机理不甚了解或不能用数学尤其对问题的机理不甚了解或不能用数学模型表示的系统模型表示的系统,如故障诊断如故障诊断,特征提取和预料等问题特征提取和预料等

18、问题,ANN往往是最有利的工具往往是最有利的工具.另一方面另一方面,ANN对处理大量对处理大量原始数据而不能用规则或公式描述的问题原始数据而不能用规则或公式描述的问题,表现出极大表现出极大的灵敏性和自适应性。的灵敏性和自适应性。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络 人工神经网络以其具有自学习、自组织、较人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性靠近实力，受到众多好的容错性和优良的非线性靠近实力，受到众

19、多领域学者的关注。在实际应用中，领域学者的关注。在实际应用中，80%80%90%90%的人的人工神经网络模型是接受误差反传算法或其变更形工神经网络模型是接受误差反传算法或其变更形式的网络模型式的网络模型(简称简称BPBP网络网络),),目前主要应用于函目前主要应用于函数靠近、模式识别、分类和数据压缩或数据挖掘。数靠近、模式识别、分类和数据压缩或数据挖掘。BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络 Rumelhart，Mc Cl

20、elland于于1985年提出了年提出了BP网网络的误差反向后传络的误差反向后传BP(Back Propagation)学习算法学习算法J.Mc Clelland David Rumelhart 1.2.1 BP神经网络概述神经网络概述BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络 BP BP算法基本原理算法基本原理 利用输出后的误差来估计输出利用输出后的误差来估计输出层的干脆前导层的误差，再用这个误差估计更前一层的层的干脆前导层

21、的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了全部其他各误差，如此一层一层的反传下去，就获得了全部其他各层的误差估计。层的误差估计。1.2.1 BP神经网络概述神经网络概述BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点神经网络能以随意精度靠神经网络能以随意精度靠近任何非线性连续函数。近任何非线性连续函数。在建模过程中的很多问题

22、在建模过程中的很多问题正是具有高度的非线性。正是具有高度的非线性。(1)(1)非线性映射实力非线性映射实力BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点在神经网络中信息是分布在神经网络中信息是分布储存和并行处理的，这使储存和并行处理的，这使它具有很强的容错性和很它具有很强的容错性和很快的处理速度。快的处理速度。(2)(2)并行分布处理方式并行分布处理方

23、式(1)(1)非线性映射实力非线性映射实力BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点神经网络在训练时，能从神经网络在训练时，能从输入、输出的数据中提取输入、输出的数据中提取出规律性的学问，记忆于出规律性的学问，记忆于网络的权值中，并具有泛网络的权值中，并具有泛化实力，即将这组权值应化实力，即将这组权值应用于一般情形的实力。神用于一般情形的实力。神经

24、网络的学习也可以在线经网络的学习也可以在线进行。进行。(2)(2)并行分布处理方式并行分布处理方式(3)(3)自学习和自适应实力自学习和自适应实力(1)(1)非线性映射实力非线性映射实力BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点神经网络可以同时处理定神经网络可以同时处理定量信息和定性信息，因此量信息和定性信息，因此它可以利用传统的工程技它可以利用传

25、统的工程技术（数值运算）和人工智术（数值运算）和人工智能技术（符号处理）能技术（符号处理）(2)(2)并行分布处理方式并行分布处理方式(3)(3)自学习和自适应实力自学习和自适应实力(4)(4)数据融合的实力数据融合的实力(1)(1)非线性映射实力非线性映射实力BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点(2)(2)并行分布处理方式并行分布处理方式(

26、3)(3)自学习和自适应实力自学习和自适应实力神经网络的输入和输出变神经网络的输入和输出变量的数目是随意的，对单量的数目是随意的，对单变量系统与多变量系统供变量系统与多变量系统供应了一种通用的描述方式应了一种通用的描述方式,不必考虑各子系统间的解不必考虑各子系统间的解耦问题。耦问题。(4)(4)数据融合的实力数据融合的实力(5)(5)多变量系统多变量系统(1)(1)非线性映射实力非线性映射实力BP神经网络在分类与预料中的应用神经网络在分类与预料中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络

27、神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点1.2.3 BP神经网络模型神经网络模型三层三层BP网络的拓扑结构网络的拓扑结构1.2.3 BP神经网络模型神经网络模型(1)(1)激活函数激活函数激活函数激活函数(传输函数）传输函数）传输函数）传输函数）必需到处可导必需到处可导必需到处可导必需到处可导 一般都运用一般都运用一般都运用一般都运用S S型函数型函数型函数型函数 Sigmoid函数函数对数对数Sigmoid函数函数1.2.3 BP神经网络模型神经网络模型(2)(2)运用运用运用运用S S型激活函数时型激活函数时型激活函数时型激活函数时BPBP网

28、络输入与输出关系网络输入与输出关系网络输入与输出关系网络输入与输出关系1.2.3 BP神经网络模型神经网络模型传输函数传输函数输入输入输入输入输出输出输出输出(2)(2)运用运用运用运用S S型激活函数时型激活函数时型激活函数时型激活函数时BPBP网络输入与输出关系网络输入与输出关系网络输入与输出关系网络输入与输出关系1.2.3 BP神经网络模型神经网络模型输出的导数输出的导数输出的导数输出的导数依据依据依据依据S S型激活函数的图形可型激活函数的图形可型激活函数的图形可型激活函数的图形可知知知知,对神经网络进行训练，对神经网络进行训练，对神经网络进行训练，对神经网络进行训练，应当将应当将应当

29、将应当将netnet的值尽量限制在的值尽量限制在的值尽量限制在的值尽量限制在收敛比较快的范围内收敛比较快的范围内收敛比较快的范围内收敛比较快的范围内.输入输入输入输入输出输出输出输出BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点1.2.3 BP神经网络模型神经网络模型1.2.4 BP神经网络神经网络的标准学习算法的标准学习算法1.2.4 BP网络的标准

30、学习算法网络的标准学习算法(1)(1)学习的过程学习的过程学习的过程学习的过程在外界输入样本的刺激下，不断变更网络连接的权值，在外界输入样本的刺激下，不断变更网络连接的权值，在外界输入样本的刺激下，不断变更网络连接的权值，在外界输入样本的刺激下，不断变更网络连接的权值，以使网络的输出不断地接近期望的输出。以使网络的输出不断地接近期望的输出。以使网络的输出不断地接近期望的输出。以使网络的输出不断地接近期望的输出。(2)(2)学习的本质学习的本质学习的本质学习的本质 对各连接权值的动态调整对各连接权值的动态调整对各连接权值的动态调整对各连接权值的动态调整(3)(3)学习规则学习规则学习规则学习规则

31、权值调整规则，即在学习过程中网络各神经元的连接权值调整规则，即在学习过程中网络各神经元的连接权值调整规则，即在学习过程中网络各神经元的连接权值调整规则，即在学习过程中网络各神经元的连接权值变更所依据的确定调整规则。权值变更所依据的确定调整规则。权值变更所依据的确定调整规则。权值变更所依据的确定调整规则。1.2.4 BP网络的标准学习算法网络的标准学习算法将误差分摊给各层的全将误差分摊给各层的全部单元部单元-各层单元的各层单元的误差信号误差信号修正各单元权值修正各单元权值 C.C.学习的过程：学习的过程：学习的过程：学习的过程：信号的正向传播信号的正向传播信号的正向传播信号的正向传播 误差的反向

32、传播误差的反向传播误差的反向传播误差的反向传播(4)(4)算法思想算法思想算法思想算法思想 A.A.学习的类型学习的类型学习的类型学习的类型 有导师学习有导师学习有导师学习有导师学习 B.B.核心思想核心思想核心思想核心思想 将输出误差将输出误差将输出误差将输出误差以某种形式以某种形式以某种形式以某种形式通过隐层向输入层逐层通过隐层向输入层逐层通过隐层向输入层逐层通过隐层向输入层逐层反传反传反传反传 A.A.正向传播正向传播正向传播正向传播 输入样本输入层各隐层输出层输入样本输入层各隐层输出层输入样本输入层各隐层输出层输入样本输入层各隐层输出层 B.B.推断是否转入反向传播阶段推断是否转入反向

33、传播阶段推断是否转入反向传播阶段推断是否转入反向传播阶段 若输出层的实际输出与期望的输出（老师信号）不若输出层的实际输出与期望的输出（老师信号）不若输出层的实际输出与期望的输出（老师信号）不若输出层的实际输出与期望的输出（老师信号）不符符符符.C.C.误差反传误差反传误差反传误差反传 误差以某种形式在各层表示修正各层单元误差以某种形式在各层表示修正各层单元误差以某种形式在各层表示修正各层单元误差以某种形式在各层表示修正各层单元的权值的权值的权值的权值.D.D.网络输出的误差削减到可接受的程度网络输出的误差削减到可接受的程度网络输出的误差削减到可接受的程度网络输出的误差削减到可接受的程度 进行到

34、预先设定的学习次数为止进行到预先设定的学习次数为止进行到预先设定的学习次数为止进行到预先设定的学习次数为止1.2.4 BP网络的标准学习算法网络的标准学习算法(5)(5)算法核心算法核心算法核心算法核心(6)(6)网络结构网络结构网络结构网络结构 输入层有输入层有输入层有输入层有n n个神经元，隐含层有个神经元，隐含层有个神经元，隐含层有个神经元，隐含层有p p个神经元个神经元个神经元个神经元,输出输出输出输出层有层有层有层有q q个神经元个神经元个神经元个神经元(7)(7)变量定义变量定义变量定义变量定义 1.2.4 BP网络的标准学习算法网络的标准学习算法输入向量输入向量输入向量输入向量隐

35、含层输入向量隐含层输入向量隐含层输入向量隐含层输入向量隐含层输出向量隐含层输出向量隐含层输出向量隐含层输出向量输出层输入向量输出层输入向量输出层输入向量输出层输入向量输出层输出向量输出层输出向量输出层输出向量输出层输出向量1.2.4 BP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值输入层与中间层的连接权值输入层与中间层的连接权值输入层与中间层的连接权值隐含层与输出层的连接权值隐含层与输出层的连接权值隐含层与输出层的连接权值隐含层与输出层的连接权值隐含层各神经元的阈值隐含层各神经元的阈值隐含层各神经元的阈值隐含层各神经元的阈值输出层各神经元的阈值输出层各神经元的阈值输出层各神经元

36、的阈值输出层各神经元的阈值样本数据个数样本数据个数样本数据个数样本数据个数激活函数激活函数激活函数激活函数误差函数误差函数误差函数误差函数期望输出向量期望输出向量期望输出向量期望输出向量(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法 第一步，网络初始化第一步，网络初始化第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间给各连接权值分别赋一个区间给各连接权值分别赋一个区间给各连接权值分别赋一个区间(-1(-1，1)1)内的随机数内的随机数内的随机数内的随机数,设定误差函数设定误差函数设定误差函数设定误差函数e e，给定计算精度值，给

37、定计算精度值，给定计算精度值，给定计算精度值和最高校习次数和最高校习次数和最高校习次数和最高校习次数MM。其次步，随机选取第其次步，随机选取第其次步，随机选取第其次步，随机选取第k k个输入样本及对应期望输出个输入样本及对应期望输出个输入样本及对应期望输出个输入样本及对应期望输出 (8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法第三步，计算隐含层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准

38、学习算法网络的标准学习算法 第四步，利用网络期望输出和实际输出，计算误差第四步，利用网络期望输出和实际输出，计算误差第四步，利用网络期望输出和实际输出，计算误差第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数函数对输出层的各神经元的偏导数函数对输出层的各神经元的偏导数函数对输出层的各神经元的偏导数 。第五步，第五步，第五步，第五步，利用隐含层到输出层的连接权值、利用隐含层到输出层的连接权值、利用隐含层到输出层的连接权值、利用隐含层到输出层的连接权值、输出输出输出输出层的层的层的层的 和隐含层的输出计算误差函数对隐含层各神和隐含层的输出计算误差函数对隐含层各神和隐含层的

39、输出计算误差函数对隐含层各神和隐含层的输出计算误差函数对隐含层各神经元的偏导数经元的偏导数经元的偏导数经元的偏导数 。(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法 第六步，利用输出层各神经元的第六步，利用输出层各神经元的第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和隐含层各神经和隐含层各神经和隐含层各神经和隐含层各神经元的输出来修正连接权值元的输出来修正连接权值元的输出来修正连接权值元的输出来修正连接权值 。(8)(8)算法步骤算法步

40、骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法 第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和输入层各和输入层各和输入层各和输入层各神经元的输入修正连接权。神经元的输入修正连接权。神经元的输入修正连接权。神经元的输入修正连接权。(8)(8)算法步骤算法步骤算法步骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法 第八步，计算全局误差第八步，计算全局误差第八步，计算全局误差第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达第九步，判断网络误差是否满足要求。当误差达第九步，判断网

41、络误差是否满足要求。当误差达第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束到预设精度或学习次数大于设定的最大次数，则结束到预设精度或学习次数大于设定的最大次数，则结束到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，算法。否则，选取下一个学习样本及对应的期望输出，算法。否则，选取下一个学习样本及对应的期望输出，算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。返回到第三步，进入下一轮学习。返回到第三步，进入下一轮学习。返回到第三步，进入下一轮学习。(8)(8)算法步骤算法步骤算法步

42、骤算法步骤1.2.4 BP网络的标准学习算法网络的标准学习算法whoe0，此时，此时who01.2.4 BP网络的标准学习算法网络的标准学习算法 状况始终观表达状况始终观表达状况始终观表达状况始终观表达 当误差对权值的偏导数当误差对权值的偏导数当误差对权值的偏导数当误差对权值的偏导数大于零时，权值调整量为负大于零时，权值调整量为负大于零时，权值调整量为负大于零时，权值调整量为负,实际输出大于期望输出，权实际输出大于期望输出，权实际输出大于期望输出，权实际输出大于期望输出，权值向削减方向调整，使得实值向削减方向调整，使得实值向削减方向调整，使得实值向削减方向调整，使得实际输出与期望输出的差削减。

43、际输出与期望输出的差削减。际输出与期望输出的差削减。际输出与期望输出的差削减。(9)BP(9)BP算法直观说明算法直观说明算法直观说明算法直观说明e0who(9)BP(9)BP算法直观说明算法直观说明算法直观说明算法直观说明1.2.4 BP网络的标准学习算法网络的标准学习算法 状况二直观表达状况二直观表达状况二直观表达状况二直观表达 误差对权值的偏导数小误差对权值的偏导数小误差对权值的偏导数小误差对权值的偏导数小于零时，权值调整量为正，于零时，权值调整量为正，于零时，权值调整量为正，于零时，权值调整量为正，实际输出少于期望输出，权实际输出少于期望输出，权实际输出少于期望输出，权实际输出少于期望

44、输出，权值向增大方向调整，使得实值向增大方向调整，使得实值向增大方向调整，使得实值向增大方向调整，使得实际输出与期望输出的差削减际输出与期望输出的差削减际输出与期望输出的差削减际输出与期望输出的差削减BP神经网络在分类与预测中的应用神经网络在分类与预测中的应用一、一、BP神经网络神经网络1.1 神经网络神经网络(Artificial Neural Netwroks,简称简称ANN)1.2 BP神经网络神经网络1.2.1 BP神经网络概述神经网络概述1.2.2 BP神经网络特点神经网络特点1.2.3 BP神经网络模型神经网络模型1.2.4 BP神经网络神经网络的标准学习算法的标准学习算法1.2.

45、5 BP神经网络神经网络的学习算法的的学习算法的MATLAB实现实现 函函函函 数数数数 名名名名功功功功 能能能能newff()newff()生成一个前生成一个前生成一个前生成一个前馈馈BPBP网网网网络络tansig()tansig()双曲正切双曲正切双曲正切双曲正切S S型型型型(Tan-Sigmoid)(Tan-Sigmoid)传输传输函数函数函数函数logsig()logsig()对对数数数数S S型型型型(Log-Sigmoid)(Log-Sigmoid)传输传输函数函数函数函数traingd()traingd()梯度下降梯度下降梯度下降梯度下降BPBP训练训练函数函数函数函数1.

46、2.4 BP网络学习算法的网络学习算法的MATLAB实现实现(1)(1)MATLAB MATLAB中中中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经网络的重要函数和基本功能1.2.4 BP网络学习算法的网络学习算法的MATLAB实现实现 newff()newff()功能功能功能功能 建立一个前向建立一个前向建立一个前向建立一个前向BPBP网络网络网络网络格式格式格式格式 net=newff(PRnet=newff(PR，S1 S2.SN1S1 S2.SN1，TF1 TF2.TFN1TF1 TF2.TFN1，BTF BTF，BLFBLF，PF

47、)PF)说明说明说明说明 net net为创建的新为创建的新为创建的新为创建的新BPBP神经网络；神经网络；神经网络；神经网络；PRPR为网络输入向量的为网络输入向量的为网络输入向量的为网络输入向量的取值范围的矩阵；取值范围的矩阵；取值范围的矩阵；取值范围的矩阵；S1 S2SNlS1 S2SNl表示网络隐含层和输出层表示网络隐含层和输出层表示网络隐含层和输出层表示网络隐含层和输出层神经元的个数；神经元的个数；神经元的个数；神经元的个数；TFl TF2TFN1 TFl TF2TFN1 表示网络隐含层和输表示网络隐含层和输表示网络隐含层和输表示网络隐含层和输出层的传输函数，出层的传输函数，出层的传

48、输函数，出层的传输函数，默认为默认为默认为默认为tansigtansig；BTFBTF表示网络的表示网络的表示网络的表示网络的训练函数，默认为训练函数，默认为训练函数，默认为训练函数，默认为trainlm;BLFtrainlm;BLF表示网络的权值学习表示网络的权值学习表示网络的权值学习表示网络的权值学习函数函数函数函数,默认为默认为默认为默认为learngdmlearngdm；PFPF表示性能数，默认为表示性能数，默认为表示性能数，默认为表示性能数，默认为msemse。(1)(1)MATLAB MATLAB中中中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能神经网络的重要

49、函数和基本功能神经网络的重要函数和基本功能tansig()tansig()功能功能功能功能 正切正切正切正切sigmoidsigmoid激活函数激活函数激活函数激活函数格式格式格式格式 a=tansig(n)a=tansig(n)说明说明说明说明 双曲正切双曲正切双曲正切双曲正切SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到映射到映射到(-1(-1，1)1)。它是可导函数，适用于。它是可导函数，适用于。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。训练的神

50、经元。训练的神经元。logsig()logsig()功能功能功能功能 对数对数对数对数SigmoidSigmoid激活函数激活函数激活函数激活函数格式格式格式格式 a=logsig(n)a=logsig(n)说明说明说明说明 对数对数对数对数SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射映射映射映射到到到到(0(0，1)1)。它是可导函数，适用于。它是可导函数，适用于。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。训练的神经元。训练的神经元。1.2.4 BP网络学