BP神经网络.ppt

《BP神经网络.ppt》由会员分享，可在线阅读，更多相关《BP神经网络.ppt（79页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、穆学文 西安电子科技大学 12，7，132主要内容主要内容o 神经网络介绍神经网络介绍o BP误差反向传播神经网络误差反向传播神经网络o BP神经网络的加速算法神经网络的加速算法o 数值试验数值试验穆学文 西安电子科技大学 12，7，133神经网络介绍神经网络介绍o 基本概念基本概念o 应用领域应用领域o 研究方向研究方向o 基本功能基本功能o 神经元基本模型神经元基本模型o 典型的神经网络结构典型的神经网络结构穆学文 西安电子科技大学 12，7，134基本概念基本概念人工神经网络人工神经网络ANN(ANN(Artificial Neural Network) )，或简称神经网络，是人们借助数

2、学方法对人脑或简称神经网络，是人们借助数学方法对人脑的神经网络进行抽象，并建立的简化模型。我的神经网络进行抽象，并建立的简化模型。我们希望人工神经网络可以像人脑一样学习并完们希望人工神经网络可以像人脑一样学习并完成特定的任务。成特定的任务。T.Koholen的定义：的定义：“人工神经网络人工神经网络是由具有适是由具有适应性的简单单元组成的广泛并行互连的网络，应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。体所作出的交互反应。”穆学文 西安电子科技大学 12，7，135神经网络研究的发展神经网络研究的发展

3、第一次热潮第一次热潮(40-60年代未年代未) 1943年年,美国心理学家美国心理学家W. McCulloch和数学家和数学家W. Pitts在在提出了一个简单的神经元模型，即提出了一个简单的神经元模型，即MP模型。模型。 1958年年,F. Rosenblatt等研制出了感知机等研制出了感知机(Perceptron)。低潮低潮(70-80年代初年代初): 1969年主要创始人年主要创始人Minsky从感知器的功能及局限性入手，从感知器的功能及局限性入手，在数学上进行了分析，证明了感知器不能实现在数学上进行了分析，证明了感知器不能实现XOR 逻辑逻辑函数问题，也不能实现其它的谓词函数。函数问题

4、，也不能实现其它的谓词函数。穆学文 西安电子科技大学 12，7，136神经网络研究的发展神经网络研究的发展( (续续) )第二次热潮第二次热潮 1982年年,美国物理学家美国物理学家J. J. Hopfield提出提出Hopfield模型模型,它它是一个互联的非线性动力学网络他解决问题的方法是一是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程种反复运算的动态过程,这是符号逻辑处理方法所不具备这是符号逻辑处理方法所不具备的性质的性质. 1987年首届国际年首届国际ANN大会在圣地亚哥召开，国际大会在圣地亚哥召开，国际ANN联联合会成立，创办了多种合会成立，创办了多种ANN国际

5、刊物。国际刊物。 1990年年12月，北京召开首届学术会议。月，北京召开首届学术会议。穆学文 西安电子科技大学 12，7，137神经网络模型的分类神经网络模型的分类按照网络拓朴结构分类按照网络拓朴结构分类(神经元之间的连接方式神经元之间的连接方式) 层次型结构和互联型结构。层次型结构和互联型结构。 层次型结构的神经网络将神经元按功能和顺序的不同分层次型结构的神经网络将神经元按功能和顺序的不同分为输入层、中间层（隐层）、输出层。输入层各神经元为输入层、中间层（隐层）、输出层。输入层各神经元负责接收来自外界的输入信息，并传给中间各隐层神经负责接收来自外界的输入信息，并传给中间各隐层神经元；隐层是神

6、经网络的内部信息处理层，负责信息变换。元；隐层是神经网络的内部信息处理层，负责信息变换。根据需要可设计为一层或多层；最后一个隐层将信息传根据需要可设计为一层或多层；最后一个隐层将信息传递给输出层神经元经进一步处理后向外界输出信息处理递给输出层神经元经进一步处理后向外界输出信息处理结果。结果。 在互连型网络结构中，任意两个节点之间都可能存在连在互连型网络结构中，任意两个节点之间都可能存在连接路径，因此可根据网络中节点的连接程度将互连型网接路径，因此可根据网络中节点的连接程度将互连型网络细分为三种：全互连型、局部互连型和稀疏连接型。络细分为三种：全互连型、局部互连型和稀疏连接型。穆学文 西安电子科

7、技大学 12，7，138神经网络模型的分类神经网络模型的分类(续续)按照网络信息流向分类按照网络信息流向分类: 前馈型网络和反馈前馈型网络和反馈(递归递归)型网络。型网络。单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易传递进行的方向性，一般不存在反馈环路

8、。因此这类网络很容易串联起来建立多层前馈网络。典型串联起来建立多层前馈网络。典型:多层感知器多层感知器反馈型网络的结构与单层全互连结构网络相同。神经元的输出被反馈型网络的结构与单层全互连结构网络相同。神经元的输出被反馈至同层或前层神经元，信号能够从正向和反向流通。因此，反馈至同层或前层神经元，信号能够从正向和反向流通。因此，在反馈型网络中的所有节点都具有信息处理功能，而且每个节点在反馈型网络中的所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。典型既可以从外界接受输入，同时又可以向外界输出。典型: Hopfield网络网络穆学文 西安电子科技大学 12，7，1

9、39神经网络模型的分类神经网络模型的分类(续续)按照训练规则按照训练规则(学习算法学习算法)分类分类: 监管的及非监管的。监管的及非监管的。 监管方式的训练规则需要监管方式的训练规则需要“教师教师”告诉他们特定的输入告诉他们特定的输入应该作出怎样的输出。然后训练规则会调整所有需要的应该作出怎样的输出。然后训练规则会调整所有需要的权重值（这在网络中是非常复杂的），而整个过程会重权重值（这在网络中是非常复杂的），而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有的训练模式包括有back-propagation及及delta

10、 rule(单层的单层的感知器感知器)。 非监管方式的规则无需教师，因为他们所产生的输出会非监管方式的规则无需教师，因为他们所产生的输出会被进一步评估。如被进一步评估。如:Hebb学习规则学习规则,竞争学习规则等竞争学习规则等 穆学文 西安电子科技大学 12，7，1310应用领域应用领域现在，神经网络的应用领域非常广阔，并且涉现在，神经网络的应用领域非常广阔，并且涉及了多种学科，它不仅可以应用于工程、科学及了多种学科，它不仅可以应用于工程、科学与数学领域，也可以应用于医学、商业、金融与数学领域，也可以应用于医学、商业、金融甚至是文学领域，吸引了来自不同专业的研究甚至是文学领域，吸引了来自不同专

11、业的研究者的关注，比如：工程学，物理学，神经学，者的关注，比如：工程学，物理学，神经学，心理学，医学，数学，计算机科学，化学和和心理学，医学，数学，计算机科学，化学和和经济学。经济学。穆学文 西安电子科技大学 12，7，1311研究方向研究方向o 神经生物学、神经解剖学神经生物学、神经解剖学o 神经网络相关的数学领域的研究与发展神经网络相关的数学领域的研究与发展o 神经网络应用的研究与发展神经网络应用的研究与发展o 神经网络硬件的研究与发展神经网络硬件的研究与发展o 新型神经网络模型的研究新型神经网络模型的研究穆学文 西安电子科技大学 12，7，1312基本功能基本功能o 分类与识别功能分类与

12、识别功能o 优化计算功能优化计算功能o 非线性映射功能非线性映射功能穆学文 西安电子科技大学 12，7，1313神经元基本模型神经元基本模型人工神经元模型人工神经元模型 穆学文 西安电子科技大学 12，7，1314模型由四个基本部分组成：模型由四个基本部分组成：(1)一组同突触权值相联系的突触，对突触输一组同突触权值相联系的突触，对突触输入的连续值是信号入的连续值是信号 ，的分量为，的分量为 ， ，即，即 。因此，每个向量分。因此，每个向量分量量 输入给第输入给第j个突触，并通过突触权值个突触，并通过突触权值 与神经元连接，即与神经元连接，即 用突触权值用突触权值 相乘。相乘。神经元基本模型神

13、经元基本模型1nxxjx1,2,jn12,Tnx xxxjxjwjxjw穆学文 西安电子科技大学 12，7，1315神经元基本模型神经元基本模型(2)求和装置，将叠加所有传播到加法器的信号，求和装置，将叠加所有传播到加法器的信号，即每个输入与它相联系的突触权值相乘，然后即每个输入与它相联系的突触权值相乘，然后再相加求和。包括加法器的输出再相加求和。包括加法器的输出 在内的所有运在内的所有运算构成一个线性的组合器算构成一个线性的组合器。 穆学文 西安电子科技大学 12，7，1316神经元基本模型神经元基本模型(3)激活函数激活函数 ，可以是线性或非线性函数。由神，可以是线性或非线性函数。由神经网

14、络所需解决的特定问题决定选择某类激活经网络所需解决的特定问题决定选择某类激活函数。我们给出三类最典型的激励函数。函数。我们给出三类最典型的激励函数。 o 线性函数。线性函数。o 硬限幅函数。硬限幅函数。 o S形函数，或形函数，或sigmoid函数函数。 f 1()1netyf nete穆学文 西安电子科技大学 12，7，1317S形函数，或形函数，或sigmoid函数函数穆学文 西安电子科技大学 12，7，1318神经元基本模型神经元基本模型（4）阀值或偏置。）阀值或偏置。穆学文 西安电子科技大学 12，7，1319神经网络的适用性神经网络的适用性一般而言一般而言, ANN与经典计算方法相比

15、并非优越与经典计算方法相比并非优越, 只有当常规只有当常规方法解决不了或效果不佳时方法解决不了或效果不佳时ANN方法才能显示出其优越性。方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题如故障诊断、特征提取和预测等问题,ANN往往是最有利的往往是最有利的工具。另一方面工具。另一方面, ANN对处理大量原始数据而不能用规则对处理大量原始数据而不能用规则或公式描述的问题或公式描述的问题, 表现出极大的灵活性和自适应性。表现出极大的灵活性和自适应性。穆学文 西安电子科技大学 12，7，1320

16、BP误差反向传播神经网络误差反向传播神经网络o BP网络介绍网络介绍o BP网络结构网络结构o 标准标准BP算法算法o BP网络的缺陷网络的缺陷o 算法改进算法改进穆学文 西安电子科技大学 12，7，1321BP网络介绍网络介绍Rumelhart，McClelland于于1985年提出了年提出了BP网络的网络的误差反向后传误差反向后传BP (Back Propagation)学习算法学习算法BP神经网络（神经网络（Error Back Propagation Network）是目前应用最为广泛和成功的神经网络之一。误差是目前应用最为广泛和成功的神经网络之一。误差反向传播算法（反向传播算法（BP

17、算法）的提出成功地解决了求算法）的提出成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问解非线性连续函数的多层前馈神经网络权重调整问题。它是一种多层网络的题。它是一种多层网络的“逆推逆推”学习算法。学习算法。David Rumelhart J. McClelland 穆学文 西安电子科技大学 12，7，1322BP网络结构网络结构穆学文 西安电子科技大学 12，7，1323BP网络的标准学习算法网络的标准学习算法-算法思想算法思想o学习的类型：有导师学习学习的类型：有导师学习o核心思想：核心思想：n 将输出误差将输出误差以某种形式以某种形式通过隐层向输入层逐层反传通过隐层向输入层逐层反

18、传o学习的过程：学习的过程：n 信号的正向传播信号的正向传播 误差的反向传播误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值穆学文 西安电子科技大学 12，7，1324 BP网络的标准学习算法网络的标准学习算法o学习的过程学习的过程：n 神经网络在外界输入样本的刺激下不断改变网络的连神经网络在外界输入样本的刺激下不断改变网络的连接权值接权值,以使网络的输出不断地接近期望的输出。以使网络的输出不断地接近期望的输出。o学习的本质：学习的本质：n 对各连接权值的动态调整对各连接权值的动态调整o学习规则：学习规则：n 权

19、值调整规则，即在学习过程中网络中各神经元的连权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则接权变化所依据的一定的调整规则。穆学文 西安电子科技大学 12，7，1325BP网络的标准学习算法网络的标准学习算法-学习过程学习过程o正向传播：正向传播：n 输入样本输入层各隐层输出层输入样本输入层各隐层输出层o判断是否转入反向传播阶段：判断是否转入反向传播阶段：n 若输出层的实际输出与期望的输出（教师信号）不符若输出层的实际输出与期望的输出（教师信号）不符o误差反传误差反传n 误差以某种形式在各层表示修正各层单元的权值误差以某种形式在各层表示修正各层单元的权值o网络输出的

20、误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止穆学文 西安电子科技大学 12，7，1326网络的标准学习算法网络的标准学习算法 o网络结构网络结构输入层输入层n个神经元个神经元,隐含层隐含层p个神经元个神经元,输出层输出层q个神经元个神经元o变量定义变量定义n输入向量输入向量;n隐含层输入向量；隐含层输入向量；n隐含层输出向量隐含层输出向量;n输出层输入向量输出层输入向量;n输出层输出向量输出层输出向量;n期望输出向量期望输出向量; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,q

21、yoyoyoyo12,qdddod穆学文 西安电子科技大学 12，7，1327BP网络的标准学习算法网络的标准学习算法n 输入层与中间层的连接权值输入层与中间层的连接权值:n 隐含层与输出层的连接权值隐含层与输出层的连接权值:n 隐含层各神经元的阈值隐含层各神经元的阈值:n 输出层各神经元的阈值输出层各神经元的阈值:n 样本数据个数样本数据个数:n 激活函数激活函数: n 误差函数：误差函数：ihw( )f howhb1,2,kmob211( )( )2qoooedkyo k穆学文 西安电子科技大学 12，7，1328BP网络的标准学习算法网络的标准学习算法o 第一步，网络初始化第一步，网络初

22、始化 n 给各连接权值分别赋一个区间（给各连接权值分别赋一个区间（-1，1）内的）内的随机数，设定误差函数随机数，设定误差函数e，给定计算精度值，给定计算精度值 和最大学习次数和最大学习次数M。o 第二步第二步,随机选取第随机选取第 个输入样本及对应期望个输入样本及对应期望输出输出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod穆学文 西安电子科技大学 12，7，1329BP网络的标准学习算法网络的标准学习算法o 第三步，计算隐含层各神经元的输入和输第三步，计算隐含层各神经元的输入和输出出1( )( )1,2,nhihihihi

23、kw x kbhp( )( )1,2,hhho kf hi khp1( )( )1,2,pohohohyi kw ho kboq( )( )1,2,ooyo kf yi koq穆学文 西安电子科技大学 12，7，1330BP网络的标准学习算法网络的标准学习算法o 第四步第四步,利用网络期望输出和实际输出，计算利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数误差函数对输出层的各神经元的偏导数 。 ohoohoyieewyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qo

24、oooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok穆学文 西安电子科技大学 12，7，1331BP网络的标准学习算法网络的标准学习算法( )( )oohhoohoyieek ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihihhi keewhi kww x kbhi kx kwwo 第五步，利用隐含层到输出层的连接权值、第五步，利用隐含层到输出层的连接权值、输出层的输出层的 和隐含层的输出计算误差函数和隐含层的输出计算误差函数对隐含层各神经元的偏导数对隐含层各神经元的偏导数 。 ( )hk( )ok穆学文

25、西安电子科技大学 12，7，1332BP网络的标准学习算法网络的标准学习算法21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qooohhhhqooohhhqpohohoohhhhdkyo kho kehi kho khi kdkyi kho kho khi kdkw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kdkyo kyi k whi kk whi kk 穆学文 西安电子科技大学 12，7，1333BP网络的标准

26、学习算法网络的标准学习算法o 第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和隐和隐含层各神经元的输出来修正连接权值含层各神经元的输出来修正连接权值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk穆学文 西安电子科技大学 12，7，1334BP网络的标准学习算法网络的标准学习算法o 第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和输和输入层各神经元的输入修正连接权入层各神经元的输入修正连接权。 ( )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhihi

27、 keew kk x kwhi kwwwk x k穆学文 西安电子科技大学 12，7，1335BP网络的标准学习算法网络的标准学习算法o第八步，计算全局误差第八步，计算全局误差o第九步，判断网络误差是否满足要求。当误差第九步，判断网络误差是否满足要求。当误差 达到预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学应的期望输出，返回到第三步，进入下一轮学习。习。 2111( )( )2qmookoEdkykm穆学文 西安电子科技大学 12，7，13

28、36标准标准BP算法算法网络的权值沿函数负梯度方向进行修正：网络的权值沿函数负梯度方向进行修正：其中，其中， 为与第为与第 层相关的学习率，也称为层相关的学习率，也称为步长。步长。 ikjiikjEww01ii穆学文 西安电子科技大学 12，7，1337标准标准BP算法算法BP算法的权值调整公式为： 第 层神经元： 11111111iikkkkijNijkiikikihikhijhdoooowoowo 层为输出层 层为隐层1i1ii111111ikkkkNikikikihikhhdooooow 层为输出层 层为隐层1i1i 11ijkijkijkijkikijwtwtwwo穆学文 西安电子科技

29、大学 12，7，1338BP网络的缺陷网络的缺陷o 收敛速度慢收敛速度慢 o 局部极小点局部极小点 o 不稳定性不稳定性 穆学文 西安电子科技大学 12，7，1339算法改进算法改进o 增加动量项增加动量项 （减少震荡，与前次迭代组合）（减少震荡，与前次迭代组合）o 可变学习速度的反向传播算法可变学习速度的反向传播算法 o 学习率的自适应调节学习率的自适应调节 o 引入陡度因子引入陡度因子 （转移函数）（转移函数）穆学文 西安电子科技大学 12，7，1340BP神经网络的加速算法神经网络的加速算法o 共轭梯度法共轭梯度法o LM算法算法o RPROP算法算法o B&B算法算法穆学文 西安电子科

30、技大学 12，7，1341共轭梯度法共轭梯度法误差的反向传播和网络权值更新是两个过程，误差的反向传播和网络权值更新是两个过程，并且这两个过程是分开的，而且本质上是相互并且这两个过程是分开的，而且本质上是相互独立的。这就允许了更为高级的权值更新算法独立的。这就允许了更为高级的权值更新算法而保持误差反向传播过程。共轭梯度方法只是而保持误差反向传播过程。共轭梯度方法只是改变了标准改变了标准BP算法中权值更新算法，而对误差算法中权值更新算法，而对误差反向传播过程没有影响。反向传播过程没有影响。 穆学文 西安电子科技大学 12，7，1342共轭梯度法共轭梯度法共轭梯度法迭代公式如下：共轭梯度法迭代公式如

31、下： 000Esgw 1w tw tt s t 1s tg tt s t Eg ttw 11TTg tg ttg tg t穆学文 西安电子科技大学 12，7，1343LM算法 LM算法是应用于训练算法是应用于训练BP网络问题的牛顿算法网络问题的牛顿算法的一个简单版本。的一个简单版本。LM算法的权值更新公式为：算法的权值更新公式为： edo111122221212nnnNNNNNNeeewwweeewwwJeeewww 11TTW tW tJ tJ tt IJ te t穆学文 西安电子科技大学 12，7，1344RPROP算法RPROP算法是一种简单而高效的训练算法。算法是一种简单而高效的训练算

32、法。RPROP算法克服了雅克比矩阵计算量大所带来算法克服了雅克比矩阵计算量大所带来的负面影响。在计算过程中，只考虑的负面影响。在计算过程中，只考虑 的正负的正负性，来确定权值更新的方向。性，来确定权值更新的方向。RPROP的迭代算的迭代算法如下：法如下： EtW ,0,00,1ikjikjikjikjikjikjikjikjEttwEwtttwwtwtwt 如果如果其他穆学文 西安电子科技大学 12，7，1345B&B算法它的基本迭代格式为：它的基本迭代格式为：其中其中 是梯度向量，放大系数是梯度向量，放大系数 由下式给出：由下式给出：其中其中 ， 1(1)ikjikjkkwtwgkgk111

33、1tkkktkksyss11kkkxxs11kkkggy穆学文 西安电子科技大学 12，7，1346BP神经网络学习算法的神经网络学习算法的MATLAB实现实现 o MATLAB中中BP神经网络的重要函数和基本功神经网络的重要函数和基本功能能 函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数穆学文 西安电子科技大学 12，7，1347BP神经网络学习算法的神经网络

34、学习算法的MATLAB实现实现o MATLAB中中BP神经网络的重要函数和基本功能神经网络的重要函数和基本功能n newff( )o 功能：建立一个前向功能：建立一个前向BP网络网络o 格式：格式： net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)o 说明说明: net为创建的新为创建的新BP神经网络；神经网络；PR为网络输入为网络输入取向量取值范围的矩阵；取向量取值范围的矩阵；S1 S2SNl表示网络隐表示网络隐含层和输出层神经元的个数；含层和输出层神经元的个数；TFl，TF2， TFN1表示网络隐含层和输出层的传输函数，默认表示网络隐含层和

35、输出层的传输函数，默认为为tansig；BTF表示网络的训练函数，默认为表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认表示网络的权值学习函数，默认为为learngdm；PF表示性能数，默认为表示性能数，默认为mse。 穆学文 西安电子科技大学 12，7，1348BP神经网络学习算法的神经网络学习算法的MATLAB实现实现oMATLAB中中BP神经网络的重要函数和基本功能神经网络的重要函数和基本功能ntansig()o功能功能 正切正切sigmoid激活函数激活函数o格式格式 a = tansig(n)o说明说明 双曲正切双曲正切Sigmoid函数把神经元的输入范围

36、从函数把神经元的输入范围从(-，+)映射到映射到(-1，1)。它是可导函数，适用于。它是可导函数，适用于BP训练的神训练的神经元。经元。nlogsig()o功能功能 对数对数Sigmoid激活函数激活函数o格式格式 a = logsig(N)o说明对数说明对数Sigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-，+)映射到映射到(0，1)。它是可导函数，适用于。它是可导函数，适用于BP训练的神经元训练的神经元。穆学文 西安电子科技大学 12，7，1349BP神经网络实际应用神经网络实际应用1o例例1，下表为某药品的销售情况，现构建一个如下的三层，下表为某药品的销售情况，现构建一个

37、如下的三层BP神经网神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为隐含层的激活函数为tansig；输出层结点数为；输出层结点数为1个，输出层的激活个，输出层的激活函数为函数为logsig，并利用此网络对药品的销售量进行预测，预测方法，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用量，如用1、2、3月的销售量为输入预测第月的销售量为输入预测第4个月的销售量，用个月的销售量，用2、3、

38、4月的销售量为输入预测第月的销售量为输入预测第5个月的销售量个月的销售量.如此反复直至满足如此反复直至满足预测精度要求为止。预测精度要求为止。 月份123456销量1339212526001900361282月份789101112销量9150977150020461556穆学文 西安电子科技大学 12，7，1350n%以每三个月的销售量经归一化处理后作为输入以每三个月的销售量经归一化处理后作为输入oP=0.51520.81731.0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.35

39、20; 0.10870.35200.0000;n%以第四个月的销售量归一化处理后作为目标向量以第四个月的销售量归一化处理后作为目标向量oT=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;n%创建一个创建一个BP神经网络，每一个输入向量的取值范围为神经网络，每一个输入向量的取值范围为0 ,1，隐含层有，隐含层有5个神经个神经%元，元，输出层有一个神经元，隐含层的激活函数为输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为，输出层的激活函数为%logsig，训，训练函数为梯度下降函数，即标准学习算法练函数为梯度下降函数，即标准学习算法one

40、t=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);onet.trainParam.epochs=15000;onet.trainParam.goal=0.01;n%设置学习速率为设置学习速率为0.1oLP.lr=0.1;onet=train(net,P,T); BP神经网络实际应用神经网络实际应用1穆学文 西安电子科技大学 12，7，1351oBP网络应用于药品预测对比图网络应用于药品预测对比图o由对比图可以看出预测效果与实际存在一定误差，此误差可以通过由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩

41、小增加运行步数和提高预设误差精度业进一步缩小BP神经网络实际应用神经网络实际应用1穆学文 西安电子科技大学 12，7，1352李一平李一平(河海大学环境科学与工程学院河海大学环境科学与工程学院).太湖生态系统的人太湖生态系统的人工神经网络模拟研究工神经网络模拟研究 , 环境科学与技术，环境科学与技术，2004年第二期年第二期 构造了具有构造了具有3层节点的人工神经网络模型层节点的人工神经网络模型,将太湖将太湖2001年年512月全湖月全湖共共26个采样点的实测值作为学习样本个采样点的实测值作为学习样本,一共有一共有268=208组数据。从这些组数据。从这些数据中分别随机抽取数据中分别随机抽取1

42、/4的数据各的数据各52组作为检验样本和测试样本组作为检验样本和测试样本,其余的其余的104组组(占占50%)数据作为训练样本。每个样本均含有数据作为训练样本。每个样本均含有12个输入因子个输入因子,分别是分别是风速、风向、水温、高锰酸钾指数、浊度、风速、风向、水温、高锰酸钾指数、浊度、叶绿素、透明度、叶绿素、透明度、5。以浮游植物作为输出因子。用。以浮游植物作为输出因子。用2002年年8月月的各点的浮游植物数据进行预测比较的各点的浮游植物数据进行预测比较，BP神经网络实际应用神经网络实际应用2穆学文 西安电子科技大学 12，7，1353穆学文 西安电子科技大学 12，7，1354o “异或”

43、问题o 连续函数拟合问题o 3-bit Parity 问题BP神经网络实际应用神经网络实际应用3穆学文 西安电子科技大学 12，7，1355“异或”问题“异或”（XOR）问题是典型的非线性划分问题。它的训练输入和期望输出如下 X1X2d1000011101110穆学文 西安电子科技大学 12，7，1356连续函数拟合问题一个神经网络最强大的用处之一是在函数逼近上。它可以用在诸如被控对象的模型辨识中，即将过程看成一个黑箱子，通过测量其输入/输出特性，然后利用所得实际过程的输入/输出数据训练一个神经网络，使其输出对输入的响应特性具有与被辨识过程相同的外部特性。 穆学文 西安电子科技大学 12，7，

44、13573-bit Parity 问题3-bit Parity问题被认为是“异或”问题的三位形式。这个问题描绘了三个二进制输入得到一个二进制输出的过程。如果输入中1的个数是奇数个，则输出是1。反之，输出为0。 3-bit Parity问题的训练输入和期望输出如下：穆学文 西安电子科技大学 12，7，13583-bit Parity 问题X1X2X3d100000011010101101001101011001111穆学文 西安电子科技大学 12，7，1359BP神经网络的特点神经网络的特点o非线性映射能力非线性映射能力能学习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事先了解输

45、出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由对供网络进行学习训练，它便能完成由n维输入空间到维输入空间到m维维输输出空间的非线性映射。出空间的非线性映射。o泛化能力泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。由输入空间向输出空间的正确映射。这种能力称为泛化能力。o容错能力容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规输入样本中带

46、有较大的误差甚至个别错误对网络的输入输出规律影响很小。律影响很小。穆学文 西安电子科技大学 12，7，1360BP神经网络的特点神经网络的特点o非线性映射能力非线性映射能力能学习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事先了解输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由对供网络进行学习训练，它便能完成由n维输入空间到维输入空间到m维维输输出空间的非线性映射。出空间的非线性映射。o泛化能力泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完

47、成当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。由输入空间向输出空间的正确映射。这种能力称为泛化能力。o容错能力容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。律影响很小。穆学文 西安电子科技大学 12，7，1361一些重点问题的讨论一些重点问题的讨论 样本数据样本数据 神经网络拓扑结构的确定神经网络拓扑结构的确定 神经网络的训练神经网络的训练 网络的初始连接权值网络的初始连接权值 网络模型的性能和泛化能力网络模型的性能和泛化能力 合理网络模型的确定合理

48、网络模型的确定穆学文 西安电子科技大学 12，7，13621.1 收集和整理分组收集和整理分组 采用采用BP神经网络方法建模的神经网络方法建模的首要和前提条件首要和前提条件是有足够多典型性好是有足够多典型性好和精度高的样本。而且，为监控训练（学习）过程使之不发生和精度高的样本。而且，为监控训练（学习）过程使之不发生“过拟过拟合合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（随机分成训练样本、检验样本（10%以上）和测试样本（以上）和测试样本（10%以上）以上）3部分。此外，数据分组时还应尽可能考虑样

49、本模式间的平衡。部分。此外，数据分组时还应尽可能考虑样本模式间的平衡。1. 样本数据样本数据穆学文 西安电子科技大学 12，7，13631.2 输入输入/输出变量的确定及其数据的预处理输出变量的确定及其数据的预处理 一般地，一般地，BP网络的输入变量即为待分析系统的内生变量网络的输入变量即为待分析系统的内生变量(影响影响因子或自变量因子或自变量)数，一般根据专业知识确定。若输入变量较多，一般数，一般根据专业知识确定。若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入

50、变量。输出变量的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量即为系统待分析的外生变量(系统性能指标或因变量系统性能指标或因变量)，可以是一个，可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。有一个输出的网络模型效果会更好，训练也更方便。1. 样本数据样本数据穆学文 西安电子科技大学 12，7，1364 由于由于BP神经网络的隐层一般采用神经网络的隐层一般采用Sigmoid转换函数，为提高转换函数，为提高训练速度和灵敏性以及有效避开训练