神经网络数学建模模型以及算法简介.ppt

《神经网络数学建模模型以及算法简介.ppt》由会员分享，可在线阅读，更多相关《神经网络数学建模模型以及算法简介.ppt（97页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于神经网络数学建模模型及算法简介第一张，PPT共九十七页，创作于2022年6月一、引例一、引例 1981年生物学家格若根（W Grogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf

2、2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af第二张，PPT共九十七页，创作于2022年6月问：若抓到三只新的蚊子，它们的触角长和翼长分别为(1.24,1.80);(1.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类；用黑点“”表示；9个蚊子属 Af类；用小圆圈“。”表示得到的结果见图1 图1飞蠓的触角长和翼长 一、引例一、引例 1989年美国大学生数学建模问题第三张，PPT共九十七页，创作于2022年6月思路：例如；取A（1.44，2

3、.10）和 B(1.10，1.16)，过A B两点作一条直线：y 1.47x -0.017其中x表示触角长；y表示翼长 分类规则：设一个蚊子的数据为（x,y）如果y1.47x -0.017，则判断蚊子属Apf类；如果y1.47x -0.017；则判断蚊子属Af类 一、引例一、引例 作一直线将两类飞蠓分开第四张，PPT共九十七页，创作于2022年6月分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于 Apf类图2 分类直线图 一、引例一、引例 第五张，PPT共九十七页，创作于2022年6月缺陷：根据什么原则确定分类直线？若取A=(1.46,2.10),

4、B=(1.1,1.6)不变，则分类直线变为 y=1.39x+0.071分类结果变为：(1.24,1.80)，(1.40,2.04)属于Apf类；(1.28,1.84)属于Af类 哪一分类直线才是正确的呢？一、引例一、引例 A（1.44，2.10）第六张，PPT共九十七页，创作于2022年6月再如，如下的情形能不能用分类直线的办法呢？新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。一、引例一、引例 方法：方法：马氏距离判别法、马氏距离判别法、Bayes判别法等判别法等第七张，PPT共九十七页，创作于2022年6月人工神经网络模型第八张，PPT共九十七页，

5、创作于2022年6月前言 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。粗略地讲，大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。第九张，PPT共九十七页，创作于2022年6月生物神经网基本工作机制：一个神经元有两种状态兴奋和抑制平时处于抑制状态的神经元，当接收到其它神经元经由突触传来的冲击信号时，多个输入在神经元中以代数和的方式叠加。进入突触

6、的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负。如果叠加总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递给其它神经元。第十张，PPT共九十七页，创作于2022年6月人工神经网络的生物学基础人工神经网络的生物学基础第十一张，PPT共九十七页，创作于2022年6月人工神经网络的生物学基础人工神经网络的生物学基础信息输入信息输入信息传播与处理信息传播与处理信息传播与处理（整合）信息传播与处理（整合）信息传播与处理结果：兴奋与抑制信息传播与处理结果：兴奋与抑制信息输出信息输出第十二张，PPT共九十七页，创作于2022年6月神经网络的基本思想人工神经元的基本构

7、成：第十三张，PPT共九十七页，创作于2022年6月人工神经元信息处理单元人工神经元信息处理单元第十四张，PPT共九十七页，创作于2022年6月人工神经元信息处理单元人工神经元信息处理单元信息输入信息输入第十五张，PPT共九十七页，创作于2022年6月人工神经元信息处理单元人工神经元信息处理单元信息传播与处理：加权求和信息传播与处理：加权求和第十六张，PPT共九十七页，创作于2022年6月人工神经元信息处理单元人工神经元信息处理单元信息传播信息传播第十七张，PPT共九十七页，创作于2022年6月人工神经元信息处理单元人工神经元信息处理单元信息传播与处理信息传播与处理第十八张，PPT共九十七页，

8、创作于2022年6月人工神经元信息处理单元人工神经元信息处理单元信息输出信息输出第十九张，PPT共九十七页，创作于2022年6月神经元的传递函数神经元的传递函数f（X）是激发函数；它可以是线性函数，也可以是非线性函数例如，若取激发函数为符号函数 第二十张，PPT共九十七页，创作于2022年6月神经元的传递函数神经元的传递函数S型传递函数型传递函数第二十一张，PPT共九十七页，创作于2022年6月注：一个神经元含有与输入向量维数相同个数的权系数，若将阈值看作是一个权系数，-1是一个固定的输入，另有n-1个正常的输入，则式也可表示为：参数识别：假设函数形式已知，则可以从已有的输入输出数据确定出权系

9、数及阈值。ojx1-1x2第二十二张，PPT共九十七页，创作于2022年6月简单原理 人工神经网络是根据人的认识过程而开发出的一种算法。假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。第二十三张，PPT共九十七页，创作于2022年6月神经网络的作用神经网络的作用网络说话网络说话人

10、们把一本教科书用网络把它读出来（当然需要通过光电，电声的信号转换）；开始网络说的话像婴儿学语那样发出“巴、巴、巴”的声响；但经过BP算法长时间的训练竟能正确读出英语课本中 90的词汇从此用神经网络来识别语言和图象形成一个新的热潮。第二十四张，PPT共九十七页，创作于2022年6月人工神经网络基本特点人工神经网络基本特点（1）可处理非线性（2）并行结构对神经网络中的每一个神经元来说；其运算都是同样的这样的结构最便于计算机并行处理（3）具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规则（4）对数据的可容性大在神经网络中可以同时使用量化数据和质量数据（如好、中、差、及格、不

11、及格等）（5）神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码第二十五张，PPT共九十七页，创作于2022年6月人工神经网络的分类按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连单单纯纯型型层层次次型型结结构构第二十六张，PPT共九十七页，创作于2022年6月人工神经网络的分类按网络内部的信息流向分类：前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行前前馈馈型型网网络络第二十七张，PPT共九十七页，创作于2022年6月神经网络的学习规则神经网络的学习规则 关键

12、在于如何决定每一神经元的权值。常用的学习规则有以下几种：(1)Hebb规则(2)Delta规则(最小均方差规则)(3)反向传播学习方法(4)Kohonen学习规则(用于无指导训练网络)(5)Grosberg学习方法第二十八张，PPT共九十七页，创作于2022年6月神经网络常用模型神经网络常用模型共70多种，具有代表性的有：（1）感知器（Perceptron）（2）多层前馈（BP）网络（3）Hopfield网络(优化)（4）Boltzmann机（在BP中加入噪声）（5）双向联想记忆网络（快速存储）第二十九张，PPT共九十七页，创作于2022年6月人工神经网络的工作原理人工神经网络的工作原理到底是

13、怎样的，我们可以从一个最简单的网络来剖析，一定程度上打开这个黑匣子。1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，常作为学习神经网络的起点。第三十张，PPT共九十七页，创作于2022年6月人工神经网络的工作原理感知器模型(单层前向神经网络）j=1,2,m 输出类别指示输入样本第三十一张，PPT共九十七页，创作于20

14、22年6月人工神经网络的工作原理感知器模型净输入：输出为：Tj为阀值，sgn为符号函数第三十二张，PPT共九十七页，创作于2022年6月人工神经网络的工作原理(C.)感知器模型具体的：设输入向量设输入向量X=(x1,x2)T输出：输出：则由方程则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分界线确定了二维平面上的一条分界线ojx1-1x2第三十三张，PPT共九十七页，创作于2022年6月人工神经网络的工作原理感知器模型具体的：则由方程则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分界线确定了二维平面上的一条分界线(Why?)w1j x1+w2j x2 Tj=0

15、w1j x1=Tj -w2j x2 x1=(Tj-w2j x2)/w1j =-(w2j/w1j)x2+Tj/w1j =a x2+c第三十四张，PPT共九十七页，创作于2022年6月人工神经网络的工作原理感知器模型具体的：这样的话，我们就可以得到 第三十五张，PPT共九十七页，创作于2022年6月思路：例如；取A（1.44，2.10）和 B(1.10，1.16)，过A B两点作一条直线：y 1.47x -0.017其中x表示触角长；y表示翼长 分类规则：设一个蚊子的数据为（x,y）如果y1.47x -0.017，则判断蚊子属Apf类；如果y1.47x -0.017；则判断蚊子属Af类 一、引例一

16、、引例 作一直线将两类飞蠓分开第三十六张，PPT共九十七页，创作于2022年6月人工神经网络的工作原理感知器模型一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。ojx1-1x2单层感知器的局限性是：仅对线性可分问题具有分类能力。第三十七张，PPT共九十七页，创作于2022年6月神经网络研究的发展神经网络研究的发展(1)(1)第一次热潮第一次热潮(40-60(40-60年代未年代未)1943 1943年年,美国心理学家美国心理学家W.McCullochW.McCulloch和数学家和数学家W.Pi

17、ttW.Pitt 在提出了一个简单的神经元模型，即在提出了一个简单的神经元模型，即MPMP模型。模型。19581958年，年，F.RosenblattF.Rosenblatt等研制出了感知机等研制出了感知机(Perceptron(Perceptron）。）。(2)低潮低潮(70-80年代初年代初):(3)第二次热潮第二次热潮 1982年，美国物理学家年，美国物理学家J.J.Hopfield提出提出Hopfield模型，它模型，它是一个互联的非线性动力学网络是一个互联的非线性动力学网络,他解决问题的方法是一种他解决问题的方法是一种反复运反复运算的动态过程算的动态过程,这是符号逻辑处理方法所不具备

18、的性质这是符号逻辑处理方法所不具备的性质.1987年首届国际年首届国际A ANN大会在圣地亚哥召开，国际大会在圣地亚哥召开，国际A ANN联合会成立，创联合会成立，创办了多种办了多种A ANN国际刊物。国际刊物。第三十八张，PPT共九十七页，创作于2022年6月经典的人工神经网络算法BP算法BP(Error Back Proragation，BP)误差反向传播算法它是有指导训练的前馈多层网络训练算法，是靠调节各层的加权，使网络学会由输入输出对组成的训练组执行优化的方法是梯度下降法BP算法是使用非常广泛的一种算法，最常用的转移函数是Sigmoid函数第三十九张，PPT共九十七页，创作于2022年

19、6月梯度法考虑无约束问题，其中函数f(x)一阶连续可导，梯度指对各个自变量的偏导数依次排列所成的向量。梯度法就是在点x处以f(x)的负梯度方向进行搜索的一种优化方法，其迭代公式，其中，是从 出发的搜索方向，取最速下降方向第四十张，PPT共九十七页，创作于2022年6月经典的人工神经网络算法BP算法BP 网络模型输入层输入层隐层隐层输出层输出层第四十一张，PPT共九十七页，创作于2022年6月 网络学习的目的是要使网络产生尽可能逼近理想的反应。网络受训练时，不断将网络的输出数据与理想数据相比较，并按学习规格改变权重，直到网络的输出数据对所有训练数据与理想输出数据之差在要求的误差范围之内。BPBP

20、神经网络模型神经网络模型 简单网络第四十二张，PPT共九十七页，创作于2022年6月经典的人工神经网络算法BP算法学习的过程：正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止第四十三张，PPT共九十七页，创作于2022年6月假设有P个训练样本，即有P个输入输出对（Ip,Tp）,p=1,P,其中输入向量为 目标输出向量为（理论上的）网络输出向量为（实际上的）简单网络的简单网络的B-P算法算法第四十四张，PPT共九十七页，创作于

21、2022年6月（p=1,P）（2）通常理论与实际有误差，网络学习则是指不断比较，并根据极小原则修改参数wij，使误差平方和达最小：记Delta学习规则:（4）（3）表示递推一次的修改量，则有称为学习的速率学习的速率一般取值为0.10.3 简单网络的简单网络的B-P算法算法记wij为从输入向量的第j(j=1,m)个分量到输出向量的第i(i=1,n)个分量的权重。第四十五张，PPT共九十七页，创作于2022年6月ipm=-1,wim=(第i个神经元的阈值)（5）注：由（1）式，第i个神经元的输出可表示为特别当f是线性函数时（6）简单网络的简单网络的B-P算法算法第四十六张，PPT共九十七页，创作于

22、2022年6月训练用的性能指标为最小求E的最小值，只需考虑EP达到最小的递推算法第四十七张，PPT共九十七页，创作于2022年6月求E的最小值的梯度下降法就是Delta学习规则。第四十八张，PPT共九十七页，创作于2022年6月多层前馈网络多层前馈网络（l）输入层不计在层数之内，它有N0个神经元设网络共有L层；输出层为第L层；第 k层有Nk个神经元假设：假设：(2)设表示第k层第i神经元所接收的信息 wk(i,j)表示从第k-1层第j个元到第k层第i个元的权重，表第k层第i个元的输出 有些文献将输入层作为一层第四十九张，PPT共九十七页，创作于2022年6月（3）设层与层间的神经元都有信息交换

23、（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输(4)设信息传输的方向是从输入层到输出层方向；因此称为前向网络没有反向传播信息（5）表示输入的第j个分量 假设：假设：第五十张，PPT共九十七页，创作于2022年6月在上述假定下网络的输入输出关系可以表示为：（7）其中k(i)表示第k层第i个元的阈值.，f为S函数第五十一张，PPT共九十七页，创作于2022年6月定理 对于具有多个隐层的前馈神经网络；设激发函数为S函数；且指标函数取 则每个训练循环中按梯度下降时；其权重迭代公式为其中第五十二张，PPT共九十七页，创作于2022年6月证明思路与简单模型相同。不不同同的的是是这这里里具

24、具有有隐隐层层第五十三张，PPT共九十七页，创作于2022年6月2层前馈神经网络单个神经元节点第五十四张，PPT共九十七页，创作于2022年6月反向一层传播第五十五张，PPT共九十七页，创作于2022年6月反向二层传播某一隐层节点受所有输出层节点影响第五十六张，PPT共九十七页，创作于2022年6月B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。（2）从训练样例集中取一样例，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层节点的输出。（4）计算网络的实际输出和期望输出的误差。反向传播模型及其学习算法反向传播模型及其学习算法第五十七张，

25、PPT共九十七页，创作于2022年6月（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。（6）对训练样例集中的每一个样例重复35的步骤，直到对整个训练样例集的误差达到要求时为止。在以上的学习过程中，第（5）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。反向传播模型及其学习算法反向传播模型及其学习算法第五十八张，PPT共九十七页，创作于2022年6月应用应用 已知的两类蚊子的数据如表1：翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1

26、.72 1.24 Af2.00 1.26 Apf2.00 1.28 Apf1.96 1.30 Apf1.74 1.36 Af目标值目标值0.90.90.90.10.90.90.90.1 翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af目标t0.10.10.10.10.10.10.1 BP采用S函数，输出不宜设为1或0，可设为0.9或0.1。第五十九张，PPT共九十七页，创作于2022年6月输入数据有15个建模：两层神经网络建立神经网络第六十张，

27、PPT共九十七页，创作于2022年6月规定目标为：当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。设两个权重系数矩阵为：为阈值 其中第六十一张，PPT共九十七页，创作于2022年6月分析如下：为第一层的输出，同时作为第二层的输入。其中，为阈值，为传递函数若令（作为一固定输入）（阈值作为固定输入神经元相应的权系数）第六十二张，PPT共九十七页，创作于2022年6月则有：取传递函数为=则同样，取 第六十三张，PPT共九十七页，创作于2022年6月（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：令p=0具体算法如下：具体算法如下：=rand(2,3);

28、=rand(1,3);(2)根据输入数据利用公式算出网络的输出=第六十四张，PPT共九十七页，创作于2022年6月取取（3）计算 因为 所以 L=2计算 第六十五张，PPT共九十七页，创作于2022年6月(5)计算 和 j=1,2,3,i=1,2,3,j=1,2,3（4）取（或其他正数，可调整大小）第六十六张，PPT共九十七页，创作于2022年6月(6)p=p+1，转（2）注：仅计算一圈（p=1，2，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：第六十七张，PPT共九十七页，创作于2022年6月如何分类？如何分类？规定目标为：当t(1)=0

29、.9 时表示属于叉类，t(2)=0.1表示属于圆点类。22对训练样本第六十八张，PPT共九十七页，创作于2022年6月（1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：令p=0具体算法如下：具体算法如下：=rand(2,3);=rand(1,3);(2)根据输入数据利用公式算出网络的输出=第六十九张，PPT共九十七页，创作于2022年6月取取（3）计算 因为 所以 L=2计算 第七十张，PPT共九十七页，创作于2022年6月(5)计算 和 j=1,2,3,i=1,2,3,j=1,2,3（4）取（或其他正数，可调整大小）第七十一张，PPT共九十七页，创作于2022年6月直到

30、当各权重变化很小时停止，本例中，共计算了200圈，迭代了4400次。最后结果是：第七十二张，PPT共九十七页，创作于2022年6月 数学建模中有很多题目都可以用神经网络加以解决。比较典型的题目有：DNA序列分类题（2000年全国赛A题），癌症判断题（2001年北京大学数学建模竞赛），乳房癌的诊断题（2001年全国大学生数学建模夏令营C题）神经网络在数学建模中的应用第七十三张，PPT共九十七页，创作于2022年6月 DNA序列模式分类问题 假定已知两组人工已分类的DNA序列（20个已知类别的人工制造的序列），其中序列标号110 为A类，11-20为B类。要求我们从中提取已经分类了的DNA序列片段

31、的特征和构造分类方法，并且还要衡量所用分类方法的好坏，从而构造或选择一种较好的分类方法。测试对象是20个未标明类别的人工序列（标号2140）和182个自然DNA序列。例如A类：第七十四张，PPT共九十七页，创作于2022年6月a1=aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg;b1=gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagt

32、aatccaacgtttttattactttttaaaattaaatatttatt;我们用前20组数据对网络进行训练，再用训练好的网络来计算未知数据，便能得到分类的结果。第七十五张，PPT共九十七页，创作于2022年6月 文件给出了一个114个基因,60个人的基因表达水平的样本.其中前20个是癌症病人的基因表达水平的样本(其中还可能有子类),其后的是20个正常人的基因表达信息样本,其余的20个是待检测的样本(未知它们是否正常).(1).试设法找出描述癌症与正常样本在基因表达水平上的区别,建立数学模型,及识别方法,去预测待检测样本是癌症还是正常样本.癌症判断题（癌症判断题（2001年北京大学数学

33、建模竞赛）年北京大学数学建模竞赛）我们用前40组数据对网络进行训练，再用训练好的网络来计算后20组数据，便能得到分类的结果。第七十六张，PPT共九十七页，创作于2022年6月神经的网络应用神经的网络应用神经网络的应用领域 语音识别语音识别娃娃图像识别与理解人脸检测第七十七张，PPT共九十七页，创作于2022年6月(1)采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。(2)尽量获取足够多的样本，它

34、的多少直接关系到所建模型的可靠性。建议建议第七十八张，PPT共九十七页，创作于2022年6月(3)建模时尽量减少隐含层神经元的个数。由于隐含层神经元个数的确定是凭经验的，而个数的多少直接关系到网络的性能。个数太少，网络容易陷入局部极小值；太多，则网络的预测结果不稳定。为此隐含层神经元个数的确定利用“试错法”来实现，即先给定一个较小的值，根据训练的结果逐渐增加，这样可找到适合该模型隐含层神经元个数的最小值，从而提高了网络的稳定性。(4)将神经网络与其它方法(如遗传算法)相结合。由于每种方法都有其各自的特点，多种方法的结合可改善单一方法所存在的缺陷。第七十九张，PPT共九十七页，创作于2022年6

35、月前馈网络隐层节点数经验公式 分类数特征向量维数+1/2分类数（特征向量维数2+特征向量维数）-1隐层节点数=分类数+特征向量维数第八十张，PPT共九十七页，创作于2022年6月遥感图像的BP神经网络分类1、学习样本的获取2、网络系统的确定3、网络的训练4、图像的分类第八十一张，PPT共九十七页，创作于2022年6月遥感图像的BP神经网络分类学习样本的获取 类别：森林、峡谷、河流 学习样本：每个类别人工选取64个 特征向量：第八十二张，PPT共九十七页，创作于2022年6月遥感图像的BP神经网络分类网络系统的确定 网络层数：一般取为2层 输入节点：与特征个数相同，取3 隐节点数量：根据经验公式

36、取为5 输出节点：分为3类，取3第八十三张，PPT共九十七页，创作于2022年6月遥感图像的BP神经网络分类隐层节点数的计算 分类数特征向量维数+1/2分类数（特征向量维数2+特征向量维数）-1隐层节点数=分类数+特征向量维数向上取整，保证分类性能！第八十四张，PPT共九十七页，创作于2022年6月遥感图像的BP神经网络分类图像信息图像变换与特征提取特征数据规格化分类判决图像分类结果神经网络图像分类过程经过训练的神经网络第八十五张，PPT共九十七页，创作于2022年6月MATLAB神经网络工具箱的应用神经网络工具箱的应用 在网络训练过程中使用的是Matlab 7.0 for Windows软件

37、，对于BP神经元网络的训练可以使用Neural Networks Toolbox for Matlab。美国的Mathwork公司推出的MATLAB软件包既是一种非常实用有效的科研编程软件环境，又是一种进行科学和工程计算的交互式程序。MATLAB本身带有神经网络工具箱，可以大大方便权值训练，减少训练程序工作量，有效的提高工作效率.第八十六张，PPT共九十七页，创作于2022年6月MATLAB交互界面第八十七张，PPT共九十七页，创作于2022年6月BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能 函 数 名功 能newff()生成一个前馈BP网络tansi

38、g()双曲正切S型(Tan-Sigmoid)传输函数logsig()对数S型(Log-Sigmoid)传输函数traingd()梯度下降BP训练函数第八十八张，PPT共九十七页，创作于2022年6月 BP神经网络学习算法的MATLAB实现MATLAB中BP神经网络的重要函数和基本功能newff()功能 建立一个前向BP网络格式 net=newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)说明 net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神经元的个数；TFl TF2TFN1表示网络隐含层和输出层的传输函

39、数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数默认为mse，误差。第八十九张，PPT共九十七页，创作于2022年6月 BP神经网络学习算法的MATLAB实现给定4组学习数据为输入-1-1 2 2;0 5 0 5,理想输出-1-1 1 1，试建立一个2层前向神经网络，第一层（隐层）由3个神经元组成且用tansig函数，第二层用purelin函数。学习规则为traind。输入数据得PR=-1 2;0 5,隐层和输出层分别有3个和1个神经元，S1 S2=3 1,Net=newff(PR，S1 S2，tans

40、ig,purelin，traingd)P=-1-1 2 2;0 5 0 5,t=-1-1 1 1net,tr=train(net,p,t);a=sim(net,p)输出命令第九十张，PPT共九十七页，创作于2022年6月输入向量 P=0 1 2 3 4 5 6 7 8 9 10;期望输出 T=0 1 2 3 4 3 2 1 2 3 4;例：net=newff(0 10,5 1,tansig,purelin);Y=sim(net,P);plot(P,T,P,Y,o)创建两层的BP网络第九十一张，PPT共九十七页，创作于2022年6月Y=-2.3431 -2.7532 -2.4510 -1.278

41、4 -0.8590 -0.2981 0.2495 0.4811 1.0375 1.2268 1.4232T=0 1 2 3 4 3 2 1 2 3 4;%期望输出第一种情况的输出结果：误差很大！未训练，非线性映射能力差。第九十二张，PPT共九十七页，创作于2022年6月修改程序：P=0 1 2 3 4 5 6 7 8 9 10;T=0 1 2 3 4 3 2 1 2 3 4;net=newff(0 10,5 1,tansig purelin);net.trainparam.show=50;%每次循环50次net.trainParam.epochs=500;%最大循环500次net.trainp

42、aram.goal=0.01;%期望目标误差最小值net=train(net,P,T);%对网络进行反复训练Y=sim(net,P)plot(P,T,P,Y,o)第九十三张，PPT共九十七页，创作于2022年6月Y=0.0005 1.0026 1.9947 3.0134 3.9429 3.1211 1.8482 1.1755 1.8568 3.1150 3.9595第二种情况的输出结果：第九十四张，PPT共九十七页，创作于2022年6月下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为

43、1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。月份123456销量205623952600229816341600月份789101112销量187314781900150020461556第九十五张，PPT共九十七页，创作于2022年6月%以每三个月的销售量经归一化处理后作为输入P=0.51520.81731.0000;0.8173 1.00000.7308;1.

44、0000 0.73080.1390;0.73080.13900.1087;0.1390 0.10870.3520;0.1087 0.35200.0000;%以第四个月的销售量归一化处理后作为目标向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;net=train(net,P,T);Y=sim(net,P)plot(P,T,P,Y,o)可以加快网络的训练速度将每组数据都变为-1至1之间的数第九十六张，PPT共九十七页，创作于2022年6月感谢大家观看第九十七张，PPT共九十七页，创作于2022年6月