神经网络与幻灯片.ppt

《神经网络与幻灯片.ppt》由会员分享，可在线阅读，更多相关《神经网络与幻灯片.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络与第1页，共32页，编辑于2022年，星期一第十一章第十一章 神经网络与神经网络与MATLABMATLAB第2页，共32页，编辑于2022年，星期一Neural Network Software Program in:Programming language(C+,Java,VB)Neural network package or NN programming toolTools(shells)incorporate:(MATLAB)Training algorithms Transfer and summation functionsMay still need to:Program

2、 the layout of the databasePartition the data(test data,training data)Transfer the data to files suitable for input to an ANN tool第3页，共32页，编辑于2022年，星期一MATLABMATLAB神经网络工具箱神经网络工具箱第4页，共32页，编辑于2022年，星期一MATLABMATLAB神经网络工具箱神经网络工具箱http:/ Network Toolbox(MathWorks)http:/ 的启动与退出的启动与退出SIMULINK 的启动的启动在在MATLAB的

3、命令窗口输入的命令窗口输入simulink单击单击MATLAB主窗口工具栏上的主窗口工具栏上的Simulink命令按钮命令按钮第12页，共32页，编辑于2022年，星期一第13页，共32页，编辑于2022年，星期一MATLABMATLAB的神经网络工具箱简介的神经网络工具箱简介 构造典型神经网络的激活函数，使设计者对所选网构造典型神经网络的激活函数，使设计者对所选网络输出的计算变成对激活函数的调用。络输出的计算变成对激活函数的调用。根据各种典型的修正网络权值的规则，再加上网络的训根据各种典型的修正网络权值的规则，再加上网络的训练过程，利用练过程，利用matlab编写各种网络设计和训练的子程序。

4、编写各种网络设计和训练的子程序。设计人员可以根据自己的需要去调用工具箱中有关的设计设计人员可以根据自己的需要去调用工具箱中有关的设计和训练程序，将自己从繁琐的编程中解脱出来，提高工作效和训练程序，将自己从繁琐的编程中解脱出来，提高工作效率。率。第14页，共32页，编辑于2022年，星期一 目前，神经网络工具箱中提供的神经网络模型主要目前，神经网络工具箱中提供的神经网络模型主要应用于：应用于：函数逼近和模型拟合函数逼近和模型拟合 信息处理和预测信息处理和预测 神经网络控制神经网络控制 故障诊断故障诊断第15页，共32页，编辑于2022年，星期一神经网络实现的具体操作过程：神经网络实现的具体操作过

5、程：确定信息表达方式；确定信息表达方式；网络模型的确定；网络模型的确定；网络参数的选择；网络参数的选择；训练模式的确定；训练模式的确定；网络测试网络测试第16页，共32页，编辑于2022年，星期一确定信息表达方式：确定信息表达方式：将领域问题抽象为适合于网络求解所能接受的某种将领域问题抽象为适合于网络求解所能接受的某种数据形式。数据形式。问题形式的种类：问题形式的种类：数据样本已知；数据样本已知；数据样本之间相互关系不明确；数据样本之间相互关系不明确；输入输入/输出模式为连续的或者离散的；输出模式为连续的或者离散的；输入数据按照模式进行分类，模式可能会具有平移、输入数据按照模式进行分类，模式可

6、能会具有平移、旋转或者伸缩等变化形式；旋转或者伸缩等变化形式；数据样本的预处理；数据样本的预处理；将数据样本分为训练样本和测试样本将数据样本分为训练样本和测试样本第17页，共32页，编辑于2022年，星期一网络模型的确定网络模型的确定 主要是根据问题的实际情况，主要是根据问题的实际情况，选择模型的类型、结选择模型的类型、结构构等。另外，还可以在典型网络模型的基础上，结合问等。另外，还可以在典型网络模型的基础上，结合问题的具体情况，题的具体情况，对原网络进行变形、扩充等对原网络进行变形、扩充等，同时，同时还还可以采用多种网络模型的组合形式可以采用多种网络模型的组合形式。网络参数的选择网络参数的选

7、择 确定网络的输入输出神经元的数目，如果是多确定网络的输入输出神经元的数目，如果是多层网络，还需要进一步确定隐含层神经元的个数。层网络，还需要进一步确定隐含层神经元的个数。第18页，共32页，编辑于2022年，星期一训练模式的确定训练模式的确定 包括选择合理的测试样本，对网络进行测试、或包括选择合理的测试样本，对网络进行测试、或者将网络应用于实际问题，检验网络性能。者将网络应用于实际问题，检验网络性能。网络测试网络测试 选择合理的测试样本，对网络进行测试，或者选择合理的测试样本，对网络进行测试，或者将网络应用于实际问题，检验网络性能。将网络应用于实际问题，检验网络性能。第19页，共32页，编辑

8、于2022年，星期一MATLABMATLAB的神经网络工具箱函数的神经网络工具箱函数函数类型函数类型函数名函数名称称函数用途函数用途仿真函数仿真函数SIM针对给定的输入，得到网络输出训练函数训练函数train调用其它训练函数，对网络进行训练trainh对权值和阈值进行训练adapt自适应函数学习函数learn网络权值和阈值的学习初始化函数int对网络进行初始化intlay对多层网络初始化通用函数通用函数第20页，共32页，编辑于2022年，星期一函数类型函数类型函数名函数名称称函数用途函数用途输入函数输入函数netsum输入求和函数netprcd输入求积函数 concur使权值向量和阈值向量的

9、结构一致其它dotprod权值求积函数第21页，共32页，编辑于2022年，星期一BPBP网络的神经网络工具箱函数网络的神经网络工具箱函数函数类型函数类型函数名称函数名称函数用途函数用途前向网络创建函数 传递函数学习函数第22页，共32页，编辑于2022年，星期一函数类型函数类型函数名函数名称称函数用途函数用途性能函数性能函数显示函数第23页，共32页，编辑于2022年，星期一一、一、BP网络创建函数网络创建函数 1）newcf 用于创建级联前向用于创建级联前向BP网络网络调用格式：调用格式：net=newcf net=newcf（PR,S1 S2.SN,TF1 TF2.TFN,BTF,BLF

10、,PF）PR:由每组输入（共有由每组输入（共有R组输入）元素的最大值和最小值组成的组输入）元素的最大值和最小值组成的R*2维的矩阵维的矩阵Si：第第i层的长度，共计层的长度，共计N层；层；TFi：第第i层的传递函数，默认为层的传递函数，默认为“tansig”BTF：BP网络的训练函数，默认为网络的训练函数，默认为“trainlm”BLF：权值和阈值的权值和阈值的BP学习算法，默认为学习算法，默认为learngdm PF：网络的性能函数，默认为网络的性能函数，默认为“mse”第24页，共32页，编辑于2022年，星期一 参数参数TFi可以采用任意的可微传递函数，比如可以采用任意的可微传递函数，比

11、如transig，logsig和和purelin等；等；训练函数可以是任意的训练函数可以是任意的BP训练函数，如训练函数，如trainm，trainbfg，trainrp和和traingd等。等。BTF默认采用默认采用trainlm是因为函数的速度很快，但是因为函数的速度很快，但该函数的一个重要缺陷是运行过程会消耗大量的内存资源。如果计算机该函数的一个重要缺陷是运行过程会消耗大量的内存资源。如果计算机内存不够大，不建议用内存不够大，不建议用trainlm，而建议采用训练函数，而建议采用训练函数trainbfg或或trainrp。虽然这两个函数的运行速度比较慢，但它们的共同特点是内存占用量小，虽

12、然这两个函数的运行速度比较慢，但它们的共同特点是内存占用量小，不至于出现训练过程死机的情况。不至于出现训练过程死机的情况。说明：说明：第25页，共32页，编辑于2022年，星期一二、神经元上的传递函数二、神经元上的传递函数 传递函数是传递函数是BP网络的重要组成部分，必须是连续可微的，网络的重要组成部分，必须是连续可微的，BP网络常采用网络常采用S型的对数或正切函数和线性函数。型的对数或正切函数和线性函数。1)Logsig 传递函数为传递函数为S型的对数函数。型的对数函数。调用格式为：调用格式为：A=logsig（N）N：Q个个S维的输入列向量；维的输入列向量；1)A：函数返回值，位于区间：函

13、数返回值，位于区间(0,1)中中第26页，共32页，编辑于2022年，星期一 info=logsig（code）依据依据code值的不同返回不同的信息，包括：值的不同返回不同的信息，包括：deriv返回微分函数的名称；返回微分函数的名称；name返回函数全程；返回函数全程；output返回输出值域；返回输出值域；active返回有效的输入区间返回有效的输入区间例如：例如：n=-10：0.1:10;a=logsig(n);plot(n,a)matlab按照来计算对数传递函数的值：按照来计算对数传递函数的值：n=2/(1+exp(-2n)函数函数logsig可将神经元的输入（范围为整个实数集）映射

14、到区可将神经元的输入（范围为整个实数集）映射到区间（间（0，1）中。）中。第27页，共32页，编辑于2022年，星期一learngd 该函数为梯度下降权值该函数为梯度下降权值/阈值学习函数，通过神经元的输阈值学习函数，通过神经元的输入和误差，以及权值和阈值的学习速率，来计算权值或阈入和误差，以及权值和阈值的学习速率，来计算权值或阈值的变化率。值的变化率。三、三、BP网络学习函数网络学习函数 dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)调用格式调用格式;第28页，共32页，编辑于2022年，星期一BP网络及网络及MATLAB实现实现 以一个单隐层的以一个单

15、隐层的BP网络设计为例，介绍利用神经网络工网络设计为例，介绍利用神经网络工具箱进行具箱进行BP网络设计及分析的过程网络设计及分析的过程1.问题描述问题描述P=-1：0.1:1;T=-0.9602-0.577.-0.0729 0.3771 0.6405 0.6600 0.4609 0.1336-0.2013-0.4344-0.5000-0.3930-0.1647 0.0988 0.3072 0.3960 0.3449 0.1816-0.0312-0.2189-0.3201 通过对函数进行采样得到了网络的输入变量通过对函数进行采样得到了网络的输入变量P和目标变量和目标变量T：第29页，共32页，编

16、辑于2022年，星期一2.网络的设计网络的设计 网络的输入层和输出层的神经元个数均为网络的输入层和输出层的神经元个数均为1，网络的，网络的隐含神经元个数应该在隐含神经元个数应该在38之间。之间。网络设计及运行的代码：网络设计及运行的代码：s=3:8;res=1:6;for i=1:6;net=newff(minmax(P),s(i),1,tansig,logsig,traingdx);net.trainParam.epachs=2000;net.trainParam.goal=0.001;net=train(net,P,T)y=sim(net,P)error=y-T;res(i)=norm(error);end第30页，共32页，编辑于2022年，星期一代码运行结果：代码运行结果：网络训练误差网络训练误差结论：隐含层节点设为结论：隐含层节点设为8 第31页，共32页，编辑于2022年，星期一第32页，共32页，编辑于2022年，星期一