线性判别函数人工神经元网络模型.ppt

《线性判别函数人工神经元网络模型.ppt》由会员分享，可在线阅读，更多相关《线性判别函数人工神经元网络模型.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工神经网络Artificial Neural Networks10.1人工神经网络概述p1概念 （1）人工神经网络人工神经网络 是集脑科学、神经心理是集脑科学、神经心理学和学和 信息科学等多学科的交叉研究领域，是近信息科学等多学科的交叉研究领域，是近年来年来 高科技领域的一个研究热点。高科技领域的一个研究热点。（2 2）它的研究目标）它的研究目标 是通过研究人脑的组成是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。类似人类的智能。（3 3）应用）

2、应用 它已在模式识别、机器学习、专它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研家系统等多个方面得到应用，成为人工智能研究中的活跃领域。究中的活跃领域。10.1人工神经网络概述p2 概念解释 （1）人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。（2）神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 (3)ANN力求从四个方面去模拟人脑的智能行为物理结构物理结构 计算模拟计算模拟

3、 存储与操作存储与操作 训练训练p3主要组成（1）一组处理单元（PE或AN）；（2）处理单元的激活状态（ai）；（3）每个处理单元的输出函数（fi）；（4）处理单元之间的联接模式；（5）传递规则（wijoi）；（6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；（7）通过经验修改联接强度的学习规则；（8）系统运行的环境（样本集合）。10.1 人工神经网络概述p4 人工神经网络的特点（1）信息的分布表示（2）运算的全局并行和局部操作（3）处理的非线性10.1 人工神经网络概述10.2 10.2 神经元的结构与功能特性1.生物神经元的结构 神经细胞是构成神经系统的基本单元，神经细

4、胞是构成神经系统的基本单元，称之为生物神经元，简称，简称神经元。神经。神经元主要由三部分构成（元主要由三部分构成（1 1）细胞体（）细胞体（2 2）轴突（轴突（3 3）树突（）树突（4 4）突触）突触 (如图如图10.1)10.1)10.2 10.2 神经元的结构与功能特性2.人工神经元的工作过程人工神经元的工作过程 对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi,i=0,1,n-1,处理单元的内部阈值为。10.2 10.2 神经元的结构与功能特性而处理单元的输出为那么本处理单元（神经元）的输入为10.3 BP10.

5、3 BP神经网络模型与学习算法神经网络模型与学习算法pRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的误差反网络的误差反向后传向后传BP(Back Propagation)BP(Back Propagation)学习算法学习算法pBPBP算法基本原理算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClelland David Rumelhart 1 BP1 BP神经网络模型神经网络模型p(1)(1)三层三层B

6、PBP网络结构网络结构1 BP1 BP神经网络模型神经网络模型p（2 2）激活函数）激活函数必须处处可导一般都使用一般都使用S S型函数型函数 p（3 3）使用）使用S S型激活函数时型激活函数时BPBP网络输入与输网络输入与输出关系出关系输入输出1 BP1 BP神经网络模型神经网络模型（4）输出的导数根据根据S S型激活函数的图形型激活函数的图形可知可知,对神经网络进行训对神经网络进行训练，应该将练，应该将netnet的值尽量的值尽量控制在收敛比较快的范控制在收敛比较快的范围内围内 2 BP2 BP网络的标准学习算法网络的标准学习算法p（1 1）学习的过程：）学习的过程：神经网络在外界输入样

7、本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。p（2 2）学习的本质：）学习的本质：对各连接权值的动态调整p（3 3）学习规则：）学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。2 BP2 BP网络的标准学习算法网络的标准学习算法-算法思想算法思想p（4 4）学习的类型：有导师学习）学习的类型：有导师学习p（5 5）核心思想：）核心思想：将输出误差以某种形式通过隐层向输入层逐层反传p（6 6）学习的过程：）学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差

8、信号修正各单元权修正各单元权值值2 BP2 BP网络的标准学习算法网络的标准学习算法-学习过程学习过程p正向传播：正向传播：输入样本输入层各隐层输出层p判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符p误差反传误差反传误差以某种形式在各层表示修正各层单元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止2 BP2 BP网络的标准学习算法网络的标准学习算法 p(7)(7)网络结构网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元p(8)(8)变量定义变量

9、定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;2 BP2 BP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：2 BP2 BP网络的标准学习算法网络的标准学习算法p(10)(10)标准学习算法的主要步骤标准学习算法的主要步骤p第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。p第二步第二步,随机选取第随机选取第 个输入样本及对应个输入样本及对应期

10、望输出期望输出 2 BP2 BP网络的标准学习算法网络的标准学习算法p第三步，计算各层各神经元的输入和输第三步，计算各层各神经元的输入和输出出2 BP2 BP网络的标准学习算法网络的标准学习算法p第四步，利用网络期望输出和实际输出，第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导计算误差函数对输出层的各神经元的偏导数数 。2 BP2 BP网络的标准学习算法网络的标准学习算法p第五步，利用隐含层到输出层的连接权第五步，利用隐含层到输出层的连接权值、输出层的值、输出层的 和隐含层的输出计算误和隐含层的输出计算误差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数 。

11、2 BP2 BP网络的标准学习算法网络的标准学习算法2 BP2 BP网络的标准学习算法网络的标准学习算法p第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和和隐含层各神经元的输出来修正连接权值隐含层各神经元的输出来修正连接权值 。2 BP2 BP网络的标准学习算法网络的标准学习算法p第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和和输入层各神经元的输入修正连接权。输入层各神经元的输入修正连接权。2 BP2 BP网络的标准学习算法网络的标准学习算法p第八步，计算全局误差第八步，计算全局误差p第九步，判断网络误差是否满足要求。当误差第九步，判断网络误差是否满足要求。当误差达到

12、预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学应的期望输出，返回到第三步，进入下一轮学习。习。2 BP2 BP网络的标准学习算法网络的标准学习算法p（1111）BPBP算法直观解释算法直观解释情况一直观表达 当误差对权值的偏当误差对权值的偏导数大于零时，权值导数大于零时，权值调整量为负，实际输调整量为负，实际输出大于期望输出，出大于期望输出，权值向减少方向调整，权值向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。输出的差减少

13、。whoe0，此时，此时who02 BP2 BP网络的标准学习算法网络的标准学习算法pBPBP算法直解释算法直解释情况二直观表达当误差对权值的偏导数当误差对权值的偏导数小于零时，权值调整量小于零时，权值调整量为正，实际输出少于期为正，实际输出少于期望输出，权值向增大方向望输出，权值向增大方向调整，使得实际输出与期调整，使得实际输出与期望输出的差减少。望输出的差减少。e0who回忆回忆p激发函数一般具有非线性特性,常用的非线性激发函数如图所示(a)(a)阈值型阈值型 (b)(b)分段线性型分段线性型 (c)Sigmoid (c)Sigmoid函数型函数型(d)(d)双曲正切、双曲正切、常用的激发

14、函数常用的激发函数 3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 p（1 1）MATLABMATLAB中中BPBP神经网络的重要函数和神经网络的重要函数和基本功能基本功能 函函 数数 名名功功 能能newff()生成一个前生成一个前馈馈BP网网络络tansig()双曲正切双曲正切S型型(Tan-Sigmoid)传输传输函数函数logsig()对对数数S型型(Log-Sigmoid)传输传输函数函数traingd()梯度下降梯度下降BP训练训练函数函数3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p（2 2）MATLA

15、BMATLAB中中BPBP神经网络的重要函数和基本功神经网络的重要函数和基本功能能newff()功能功能 建立一个前向建立一个前向BPBP网络网络格式格式 net=newff(PR net=newff(PR，S1 S1 S2.SN1S2.SN1，TF1 TF2.TFN1TF1 TF2.TFN1，BTFBTF，BLFBLF，PF)PF)说明说明 net net为创建的新为创建的新BPBP神经网络；神经网络；PRPR为网络输入取向量取值范围的矩阵；为网络输入取向量取值范围的矩阵；S1 S2SNlS1 S2SNl表示网络隐含层和输出表示网络隐含层和输出层神经元的个数；层神经元的个数；TFl TF2T

16、FN1TFl TF2TFN1表示网络隐含层和输表示网络隐含层和输出层的传输函数，默认为出层的传输函数，默认为tansigtansig；BTFBTF表示网络的训练函数，默认为表示网络的训练函数，默认为trainlmtrainlm；BLFBLF表示网络的权值学习函数，默认为表示网络的权值学习函数，默认为learngdmlearngdm；PFPF表示性能数，默认为表示性能数，默认为msemse。pnewff()newff()newff:Create a feed-forward newff:Create a feed-forward backpropagation network backpropa

17、gation networkpSyntaxSyntax net=newff net=newff net=newff(net=newff(PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF)PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF)pDescriptionDescription net=newff creates a new network with a net=newff creates a new network with a dialog box.dialog box.newff(PR,S1 S2.SNl,TF1 TF2.TFNl,ne

18、wff(PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF)takes BTF,BLF,PF)takes (1)PR-R x 2 matrix of min and max (1)PR-R x 2 matrix of min and max values for R input elements values for R input elements (2)Si-Size of ith layer,for Nl (2)Si-Size of ith layer,for Nl layers layers (3)TFi-Transfer function of ith (3)T

19、Fi-Transfer function of ith layer,default=tansig layer,default=tansig (4)BTF-Backpropagation network (4)BTF-Backpropagation network training function,default=traingdx training function,default=traingdx (5)BLF-Backpropagation weight/bias (5)BLF-Backpropagation weight/bias learning function,default=le

20、arngdm learning function,default=learngdm (6)PF-Performance function,default=(6)PF-Performance function,default=msemse3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p（3 3）MATLABMATLAB中中BPBP神经网络的重要函数和基本功能神经网络的重要函数和基本功能tansig()功能功能 正切正切sigmoidsigmoid激活函数激活函数格式格式 a=tansig(n)a=tansig(n)说明说明 双曲正切双曲正切SigmoidSi

21、gmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到(-1(-1，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。logsig()功能功能 对数对数SigmoidSigmoid激活函数激活函数格式格式 a=logsig(N)a=logsig(N)说明对数说明对数SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射映射到到(0(0，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。3 BP3 BP神经网络学习算法的神经网络学习算法的MAT

22、LABMATLAB实现实现p（4 4）例）例2-32-3，下表为某药品的销售情况，现构，下表为某药品的销售情况，现构建一个如下的三层建一个如下的三层BPBP神经网络对药品的销售进神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为行预测：输入层有三个结点，隐含层结点数为5 5，隐含层的激活函数为，隐含层的激活函数为tansigtansig；输出层结点数；输出层结点数为为1 1个，输出层的激活函数为个，输出层的激活函数为logsiglogsig，并利用此，并利用此网络对药品的销售量进行预测，预测方法采用网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测滚动

23、预测方式，即用前三个月的销售量来预测第四个月的销售量，如用第四个月的销售量，如用1 1、2 2、3 3月的销售量为月的销售量为输入预测第输入预测第4 4个月的销售量，用个月的销售量，用2 2、3 3、4 4月的销月的销售量为输入预测第售量为输入预测第5 5个月的销售量个月的销售量.如此反复直如此反复直至满足预测精度要求为止。至满足预测精度要求为止。月份月份123456销销量量205623952600229816341600月份月份789101112销销量量187314781900150020461556数据标准化：X=(x-min)/(max-min)3 BP3 BP神经网络学习算法的神经网络

24、学习算法的MATLABMATLAB实现实现%以每三个月的销售量经归一化处理后作为输入pP=0.5152P=0.51520.81730.81731.0000;1.0000;0.8173 0.81731.00001.00000.7308;0.7308;1.0000 1.00000.73080.73080.1390;0.1390;0.7308 0.73080.13900.13900.1087;0.1087;0.1390 0.13900.10870.10870.3520;0.3520;0.1087 0.10870.35200.35200.0000;0.0000;%以第四个月的销售量归一化处理后作为目标

25、向量pT=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即节中所描述的标准学习算法pnet=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);p=1

26、5000;=15000;p=0.01;=0.01;%设置学习速率为p=0.1;=0.1;pnet=train(net,P,T);net=train(net,P,T);3 BP3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pBPBP网络应用于药品预测对比图网络应用于药品预测对比图p由对比图可以看出预测效果与实际存在一定误差，此误差可以通过由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度也进一步缩小增加运行步数和提高预设误差精度也进一步缩小4 BP4 BP神经网络的特点神经网络的特点p（1 1）非线性映射能力）非线性映射能力能学

27、习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由进行学习训练，它便能完成由n n维输入空间到维输入空间到m m维输出空间的非线性维输出空间的非线性映射。映射。p（2 2）泛化能力）泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。入空间向输出空间的正确映射。这种能力称为泛

28、化能力。p（3 3）容错能力）容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。响很小。5 BP5 BP神经网络的优缺点神经网络的优缺点B-PB-P算法的优缺点：算法的优缺点：优点：理论基础牢固，推导过程严谨，物理概念清晰，优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较通用性好等。所以，它是目前用来训练前向多层网络较好的算法。好的算法。缺点：缺点：（1 1）该学习算法的收敛速度慢；（）该学习算法的收敛速度慢；（2 2）网络中）网络中隐节点个数的选取尚无理论上的指导

29、；隐节点个数的选取尚无理论上的指导；（3 3）从数学角）从数学角度看，度看，B-PB-P算法是一种梯度最速下降法，这就可能出现算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正差符合要求，但这时所得到的解并不一定是问题的真正解。所以解。所以B-PB-P算法是不完备的。算法是不完备的。小结小结pBPBP算法背景算法背景pBPBP神经网络模型神经网络模型pBPBP算法算法基本思想推导过程实现pBPBP神经网络的神经网络的MATLABMATLAB函数函数pBPBP神经网络的应用实例神经网络的应用实例pBPBP神经网络与感知器神经网络的对比神经网络与感知器神经网络的对比谢谢！谢谢！