现代管理分析技术第五章 人工神经网络精品文稿.ppt

《现代管理分析技术第五章 人工神经网络精品文稿.ppt》由会员分享，可在线阅读，更多相关《现代管理分析技术第五章 人工神经网络精品文稿.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、现代管理分析技术第五章 人工神经网络第1页，本讲稿共63页22课程基本内容课程基本内容 介绍人工神经网络基本原理及介绍人工神经网络基本原理及BPBP网络模型网络模型 介绍人工神经网络在经济管理中典型案例介绍人工神经网络在经济管理中典型案例 介绍介绍MATLABMATLAB人工神经网络工具箱基本应用人工神经网络工具箱基本应用第五章第五章 BP人工神经网络导论人工神经网络导论第2页，本讲稿共63页3第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 什么是人工神经网络什么是人工神经网络 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。粗略地讲，大脑是由

2、大量神经细胞（或神经元）组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。第3页，本讲稿共63页4第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第4页，本讲稿共63页5 这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第5页，本讲稿共

3、63页6 美国神经网络学者Nielsen的定义 人工神经网络是一个并行、分布处理结构，它由处理单元 及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第6页，本讲稿共63页7 人工神经网络的两种操作过程 训练学习训练时，外部输入作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络

4、就能产生给定输出为止。回忆操作对训练好的网络输入一个信息，网络可以正确回忆出相应输出，得到结果。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第7页，本讲稿共63页88 人工神经网的基本概念人工神经网的基本概念 人工神经元人工神经元 人工神经网络的拓扑特性人工神经网络的拓扑特性 存储与回忆存储与回忆 人工神经网络的训练人工神经网络的训练第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第8页，本讲稿共63页99 人工神经元人工神经元 神神经经元元是是构构成成神神经经网网络络的的最最基基本本单单元元（构构件件），具具有有生生物神经元的六个基本特性：物神

5、经元的六个基本特性：1）神经元神经元及其及其联接联接；2）神经元之间的联接强度决定神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；3）神经元之间的联接强度可以随神经元之间的联接强度可以随训练训练改变的；改变的；4）信号可以起信号可以起刺激刺激作用的，也可以起作用的，也可以起抑制抑制作用的；作用的；5）神经元接受信号神经元接受信号累积效果累积效果决定神经元的状态；决定神经元的状态；6）每个神经元可以有一个每个神经元可以有一个“阈值阈值”。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第9页，本讲稿共63页1010p 人工神经元的基本构成人工神经元的基本构成 输入：

6、输入：X=X=（x x1 1，x x2 2，x xn n）联接权：联接权：W=W=（w w1 1，w w2 2，w wn n）T T网络输入：网络输入：net=xnet=xi iw wi i向量形式：向量形式：net=XWnet=XWxn wnx1 w1x2 w2net=XW第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第10页，本讲稿共63页1111p 激活函数激活函数(Activation Function)(Activation Function)执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也也可可称称为为激励函数：激励函数：o=fo

7、=f（netnet）1 1、线性函数（、线性函数（Liner FunctionLiner Function）f（net）=k*net+c netooc第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第11页，本讲稿共63页12122、S形函数形函数 f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。S形函数有较好的增益控制形函数有较好的增益控制 第一节第一节 人工神经网络基本原理及人工神经网络基本原

8、理及BP模型模型第12页，本讲稿共63页1313a+bo(0,c)netac=a+b/2第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第13页，本讲稿共63页14143、双曲正切函数第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第14页，本讲稿共63页1515 S型函数的特点：可以把该型函数看作为处理单元定义了一 个非线性增益，增益的大小决定于曲线在给定 s点的斜率。当s由负无穷增到0时，增益由0增至最大；当s由0增到正无穷时，增益又由最大返回到0。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第15页，本讲稿共63页16

9、16 Grossberg在1973年发现，用该函数可使同一网络既能处理小信号，也能处理大信号。该函数的中间高增益区解决了处理小信号的问题；伸向两边的低增益区正好适合于处理大的激励信号；这种现象正像生物神经元在输入电平范围很大的情况下能正常工作一样。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第16页，本讲稿共63页1717p M-P M-P模型模型 x2 w2fo=f（net）xn wnnet=XWx1 w1McCullochPitts（MP）模型，也称为）模型，也称为处理单元（处理单元（PE）第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第1

10、7页，本讲稿共63页18 人工神经网络的拓扑特性人工神经网络的拓扑特性 单个处理单元可以处理简单的图形检测功能，但更强的识别处理能力是来自多个结点“连成”的网络，即人工神经网络。这里的“连成”，是靠输入至结点或者结点至结点间的信号传输通路实现的，这一通路相当于生物神经系统中的轴突和突触，它们影响着输入信号。把这种传输通路称为“连接”，每一连接都具有一个加权值，称为“连接权”，反映连接的强度。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第18页，本讲稿共63页1919 连接的拓扑表示：连接的拓扑表示：ANiwijANj 用用正正号号（“+”，可可省省略略）表表示示传传送

11、送来来的的信信号号起起刺刺激激作作用用，它用于增加神经元的活跃度；它用于增加神经元的活跃度；用用负负号号（“-”）表表示示传传送送来来的的信信号号起起抑抑制制作作用用，它它用用于于降降低神经元的活跃度。低神经元的活跃度。层层次次（又又称称为为“级级”）的的划划分分，导导致致了了神神经经元元之之间间的的三三种种不同的不同的互连模式互连模式：第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第19页，本讲稿共63页20201、层（级）内联接层（级）内联接层层内内联联接接又又叫叫做做区区域域内内（Intra-field）联联接接或或侧侧联接（联接（Lateral）。）。用来加强和

12、完成层内神经元之间的竞争用来加强和完成层内神经元之间的竞争2 2、循环联接循环联接反馈信号。反馈信号。3、层（级）间联接、层（级）间联接 层层间间（Inter-field）联联接接指指不不同同层层中中的的神神经经元元之之间的联接。这种联接用来实现层间的信号传递间的联接。这种联接用来实现层间的信号传递前馈信号前馈信号反馈信号反馈信号 第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第20页，本讲稿共63页2121单层网络单层网络最简单的网络是把一组结点形成一层。左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。右边用圆圈表示的一组结点被看作一层。第一

13、节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第21页，本讲稿共63页2222输入信号表示为行向量：x x=(x1,x2,xN)，其中每一分量通过加权连接到各结点。每一个结点均可产生一个加权和。输入和结点间采用全连接，并且都是前馈连接。（实际的人工神经网络和生物神经网络中有些连接可能不存在）第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第22页，本讲稿共63页2323在这种单层网络中，可把各加权表示为加权矩阵WW。矩阵的维数是N x n，N是输入信号向量（也称输入图形）的分量数，n是该层内的结点数。由第三个输入连接到第二个结点的连接权表示为W32。第

14、一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第23页，本讲稿共63页2424输入信号的加权和表示为：s是各结点加权和的行向量，s=(s1,s2,sn)。输出向量 y=(y1,y2,yn)，其中yj=F(sj)。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第24页，本讲稿共63页2525W=（wij）输出层的第输出层的第j个神经元的网络输入记为个神经元的网络输入记为netj：netj=x1w1j+x2w2j+xnwnj 其中其中,1 j m。取。取NET=（net1，net2，netm）NET=XWO=F（NET）第一节第一节 人工神经网络基本原

15、理及人工神经网络基本原理及BP模型模型第25页，本讲稿共63页2626p 多级网多级网输出层输出层隐藏层隐藏层输入层输入层第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第26页，本讲稿共63页2727 层次划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层层号号确确定定层层的的高高低低：层层号号较较小小者者，层层次次较较低低，层号较大者，层次较高。层号较大者，层次较高。输输入入层层：被被记记作作第第0层层。该该层层负负责责接接收收来来自自网网络络外部的信息外部的信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn第一节第一节 人

16、工神经网络基本原理及人工神经网络基本原理及BP模型模型第27页，本讲稿共63页2828第第j层层：第第j-1层层的的直直接接后后继继层层（j0），它它直直接接接接受受第第j-1层的输出。层的输出。输输出出层层：它它是是网网络络的的最最后后一一层层，具具有有该该网网络络的的最最大大层层号，负责输出网络的计算结果。号，负责输出网络的计算结果。隐藏层隐藏层：除输入层和输出层以外的其它各层叫隐藏层。：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送隐藏层不直接接受外界的信号，也不直接向外界发送信号信号第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模

17、型模型第28页，本讲稿共63页29292929 约定约定:输输出出层层的的层层号号为为该该网网络络的的层层数数：n层层网网络络，或或n级级网络。网络。第第j-1层层到到第第j层层的的联联接接矩矩阵阵为为第第j层层联联接接矩矩阵阵，输输出出层层对对应应的的矩矩阵阵叫叫输输出出层层联联接接矩矩阵阵。今今后后，在在需需要要的时候，一般我们用的时候，一般我们用W（j）表示第表示第j层矩阵层矩阵。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第29页，本讲稿共63页303030 多层网络小

18、结多层网络中，接收输入信号的层称为输入层。它不计入网络层数，因为它只起着输入信号缓冲器的作用，没有处理功能。产生输出信号的层称为输出层。除此之外的中间层称为隐藏层（或隐蔽层），它不直接与外部环境打交道。隐藏层的层数可从零到若干层。实际情况中，层与层之间可能有部分连接的情况。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第30页，本讲稿共63页313131存储和回忆存储就是将信息或图形存在某种存储器中，而回忆则是将已存储的信息按某种方式恢复出来。为了与人类大脑的功能类比，我们把这种信息的恢复称为回忆。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第

19、31页，本讲稿共63页323232 人工神经网络中存储图形的类型在计算机中，数据和信息是存放在存贮器中（RAM或ROM)，以8比特字节作为存储单位。在人工神经网络中，信息或图形不再限定为8比特，它是多维的二进制数据或连续信息。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第32页，本讲稿共63页333333 人工神经网络中存储的两类图形空间图形的存储存储单个空间静态图像，如一幅画面。时空图形的存储存储一系列随时间变化的图像，比如电影。我们讨论的人工神经网络存储的图形大多是空间图形，因它是构成时空图形的基础。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模

20、型模型第33页，本讲稿共63页343434 回忆的概念联想的两种方式自联想：由本身的部分特征联想起整个事物的全部特征。他联想：由一件事情联想到另一件事情。在人工神经网络中，回忆操作也有两种联想变换自联想变换他联想变换第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第34页，本讲稿共63页353535 人工神经网络的训练（学习）人工神经网络的最主要特征之一是它可以学习。任何一个人工神经网络模型要实现某种功能的操作，就必须对它进行训练，让它学会要做的事情，并把这些知识记忆（存储）在网络的加权中。学习或训练的实质就是加权矩阵随外部激励（环境）做自适应的变化。第一节第一节 人工神

21、经网络基本原理及人工神经网络基本原理及BP模型模型第35页，本讲稿共63页3636361962年年，Rosenblatt给给出出了了人人工工神神经经网网络络著著名名的的学学习习定理：人工神经网络可以学会它可以表达的任何东西。定理：人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程人工神经网络的学习过程就是对它的训练过程第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第36页，本讲稿共63页373737 学习和训练的实质是变动加权值，因此很多文献中

22、学习和训练的概念是混用的。严格来说，两者是有区别的，训练通常是指调整网络加权的操作动作和过程，这个过程对网络来讲就是学习。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第37页，本讲稿共63页383838人工神经网络被训练后，它每加入一组输入就会产生一组要求的输出。一组输入（或输出）就是所谓的向量或图形。在进行训练后，网络的各加权都收敛到一个确定值，以便每个输入向量都会产生一个要求的输出向量。调整加权所遵循的预定规则就是训练算法。有指导的训练无指导的训练第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第38页，本讲稿共63页393939无导师学习无

23、导师学习(Unsupervised Learning)与无导师训与无导师训练练(Unsupervised Training)相对应相对应。抽抽取取样样本本集集合合中中蕴蕴含含的的统统计计特特性性，并并以以神神经经元元之之间间的联接权的形式存于网络中。的联接权的形式存于网络中。p 无导师学习无导师学习 第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第39页，本讲稿共63页404040Hebb学学 习习 律律、竞竞 争争 与与 协协 同同（Competitive and Cooperative）学学 习习、随随 机机 联联 接接 系系 统统（Randomly Connect

24、ed Learning）等。）等。训练算法之一 Hebb算法当当两两个个神神经经元元同同时时处处于于激激发发状状态态时时被被加加强强，否否则被减弱。则被减弱。数学表达式表示：数学表达式表示：Wij（t+1）=Wij（t）+yi（t）yj（t）第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第40页，本讲稿共63页414141其中，Wij(t)是第(t+1)次调节前从结点i到结点j的连接权值；Wij(t+1)是第(t+1)次调节后从结点i到结点j的连接权值；为训练速率系数；yi为结点i的输出，并输入到结点j；yj为结点j的输出。第一节第一节 人工神经网络基本原理及人工神经网

25、络基本原理及BP模型模型第41页，本讲稿共63页42 训练算法之二 梯度下降算法这是要求的输出与实际输出之差最小。在该方法中，加权的修正量正比于误差对加权的一阶导数，表示如下：其中，E是描述误差的误差函数，Wij(n)是结点i到结点j的连接权，为训练速率系数。该法收敛到稳定点较慢，但它是一种比较有效和普遍的训练算法。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第42页，本讲稿共63页43Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)算法J.McClelland David Rumelhart B

26、P神经网络模型神经网络模型第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第43页，本讲稿共63页44BP算法基本原理算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第44页，本讲稿共63页BP 神经网络模型三层BP网络第45页，本讲稿共63页46 激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP

27、模型模型第46页，本讲稿共63页47 输出的导数根根据据S S型型激激活活函函数数的的图图形形可可知知,对对神神经经网网络络进进行行训训练练，应应该该将将netnet的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内.第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第47页，本讲稿共63页48第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第48页，本讲稿共63页49第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 学习的过程：神经网络在外界输入样本的刺激下不断改变网络 的连接权值使网络的输出不断地接近期望输出。学

28、习的本质：对各连接权值的动态调整 学习规则：权值调整规则，即在学习过程中网络中各神经元 的连接权变化所依据的一定的调整规则。第49页，本讲稿共63页50第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 学习的类型：有导师学习 核心思想：将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有单将误差分摊给各层的所有单元各层单元的误差信号元各层单元的误差信号修正各单元权值修正各单元权值第50页，本讲稿共63页51第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 正向传播：输入样本输入层各隐层输出层

29、判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符 误差反传误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止第51页，本讲稿共63页52第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元 变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;第52页，本讲稿共63页53第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型输入层与中间层的连接权值:隐含层与输出层的连接权值:

30、隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：第53页，本讲稿共63页54第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。第二步,随机选取第 个输入样本及对应期望 输出 第54页，本讲稿共63页55第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 第三步，计算隐含层各神经元的输入和输出第55页，本讲稿共63页56第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 第四步，利用网络

31、期望输出和实际输出，计算 误差函数对输出层的各神经元的偏导数 。第56页，本讲稿共63页57第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 第五步，利用隐含层到输出层的连接权值、输出层的第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的和隐含层的输出计算误差函数对隐含层各神经元的偏导数偏导数 。第57页，本讲稿共63页58第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型第58页，本讲稿共63页59第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 第六步，利用输出层各神经元的 和隐含层

32、各神经元的输出来修正连接权值 。第59页，本讲稿共63页60第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 第七步，利用隐含层各神经元的 和输入层 各神经元的输入修正连接权。第60页，本讲稿共63页61第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达 到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对 应的期望输出，返回第三步，进入下一轮学习。第61页，本讲稿共63页62第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 BP算法直观解释 情况一直观表达 当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。whoe0，此时，此时who0第62页，本讲稿共63页63第一节第一节 人工神经网络基本原理及人工神经网络基本原理及BP模型模型 BP算法直解释 情况二直观表达 当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。e0who第63页，本讲稿共63页