(47)--非线性分类器模式识别.pdf

《(47)--非线性分类器模式识别.pdf》由会员分享，可在线阅读，更多相关《(47)--非线性分类器模式识别.pdf（87页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 分分段段线线性性判判别别函函数数 二二次次判判别别函函数数 神神经经网网络络的的基基础础知知识识 B BP P神神经经网网络络 神神经经网网络络参参数数的的确确定定 多多层层神神经经网网络络在在模模式式识识别别中中的的典典型型应应用用 B BP P神神经经网网络络的的m ma at tl la ab b实实例例主主要要内内容容分分段段线线性性判判别别函函数数 分分段段线线性性判判别别函函数数的的基基本本思思想想：分分段段线线性性判判别别函函数数是是一一种种特特殊殊的的非非线线性性判判别别函函数数，它它确确定定的的决决策策面面是是由由若若干干超超平平面面段段组组成成的的。由由于于它它的的基基本

2、本组组成成仍仍然然是是超超平平面面，因因此此，与与一一般般超超曲曲面面相相比比是是简简单单的的；又又由由于于它它是是由由多多段段超超平平面面组组成成的的，所所以以它它能能逼逼近近各各种种形形状状的的超超曲曲面面，具具有有很很强强的的适适应应能能力力。【分分段段线线性性距距离离分分类类器器】2211220()g xxxx 决决策策面面是是两两类类均均值值连连线线的的垂垂直直平平分分面面（1 1）当当两两类类都都是是单单峰峰分分布布最最小小距距离离分分类类器器单单峰峰时时有有效效如如服服从从正正态态分分布布且且两两类类的的方方差差相相等等时时,基基于于最最小小距距离离的的判判别别法法为为1xx21

3、2xo(2 2)当当两两类类都都是是多多峰峰分分布布时时如如图图第第一一类类的的分分布布有有两两个个峰峰(红红色色区区域域)第第二二类类的的分分布布有有三三个个峰峰(黄黄色色区区域域)只只取取一一个个代代表表点点不不能能反反映映类类分分布布信信息息 对对每每一一峰峰取取一一个个代代表表点点如如图图所所示示,折折线线即即为为分分段段线线性性分分界界面面,它它是是有有多多段段超超平平面面组组成成的的.将将每每一一类类分分成成若若干干子子集集,取取每每一一子子集集的的中中心心为为代代表表点点.(2 2)当当两两类类都都是是多多峰峰分分布布时时,.,21liiiiiRRRR 1,2,.,()minil

4、iillgxx 如如果果对对于于 i i 类类取取 l l I I 个个代代表表点点，或或者者说说,把把属属于于 i i类类的的样样本本区区域域 R Ri i 分分为为 l l i i个个子子区区域域，即即 l li i为为各各子子区区域域中中样样本本的的均均值值向向量量，并并以以此此作作为为该该子子区区域域的的代代表表点点，这这样样可可以以在在 i i 类类上上定定义义如如下下判判别别函函数数决决策策规规则则是是：数数学学语语言言描描述述:若若1,2,.,()min()jiicgxgx则则把把 x x 归归到到 j j类类决决策策规规则则是是：若若1,2,.,()min()jiicgxgx决

5、决策策规规则则是是：若若则则把把 x x 归归到到 j j类类1,2,.,()min()jiicgxgx决决策策规规则则是是：若若1x2x12分分段段线线性性距距离离分分类类器器在在类类别别的的各各个个维维度度不不对对称称的的情情况况下下，分分类类结结果果是是不不准准确确的的12,.,liiiii,)(0lililiwxwxgTill,.,2,1ci,.,2,1对对于于每每个个子子类类定定义义一一个个线线性性判判别别函函数数.将将上上述述基基于于距距离离的的分分段段线线性性判判别别函函数数概概念念加加以以推推广广,把把每每一一类类分分为为若若干干个个子子类类，即即令令式式中中 w wl li

6、i 和和 w wl li i0 0分分别别称称为为对对子子类类 l li i的的权权向向量量和和阈阈值值权权.定定义义 i i类类的的线线性性判判别别函函数数为为)(max)(,.2,1xgxglillii假假如如具具有有最最大大值值的的判判别别函函数数是是g gn ni i(x x)则则把把 x x归归到到子子类类 n ni i所所属属的的类类，即即 i i 类类。这这样样得得到到的的决决策策面面也也是是分分段段线线性性的的。如如果果第第 i i 类类的的第第 n n个个子子类类和和第第 j j 类类的的mm 个个子子类类相相邻邻，则则该该段段的的决决策策面面方方程程是是:gin(x)=gj

7、m(x)i类类21()()ijgx xgx有有了了分分段段线线性性判判别别函函数数的的定定义义，关关键键的的问问题题是是 如如何何利利用用样样本本集集确确定定子子类类数数目目.如如何何求求得得各各子子类类的的权权向向量量和和阈阈值值权权.分分段段线线性性分分类类器器设设计计的的一一般般考考虑虑 分分类类器器设设计计的的基基本本问问题题是是，在在一一定定判判别别函函数数类类内内利利用用训训练练样样本本集集确确定定分分类类器器的的参参数数，即即确确定定判判别别函函数数中中的的系系数数。设设计计线线性性分分类类器器，就就是是确确定定权权向向量量 w w 和和阈阈值值权权 w w0 0 或或广广义义权

8、权向向量量 a a。而而设设计计分分段段线线性性分分类类器器，则则是是利利用用样样本本集集确确定定一一组组 w wi il l 和和 w wi i0 0l l 。下下面面我我们们分分几几种种不不同同的的情情况况来来讨讨论论这这个个问问题题。(1 1)子子类类数数及及子子类类划划分分已已知知 若若已已知知样样本本的的子子类类划划分分情情况况，可可把把子子类类看看作作独独立立的的类类，然然后后利利用用多多类类线线性性判判别别函函数数算算法法把把各各个个子子类类分分开开，自自然然也也就就把把各各类类分分开开了了。前前提提：已已知知子子类类划划分分。划划分分子子类类的的方方法法：1 1)根根据据先先验

9、验知知识识直直观观判判定定，如如字字符符识识别别中中，可可把把同同一一字字符符看看作作一一类类，而而把把其其中中不不同同的的字字体体看看作作它它的的不不同同子子类类。2 2)借借助助于于聚聚类类分分析析方方法法来来解解决决。用用下下面面的的错错误误修修正正法法在在设设计计分分类类的的同同时时确确定定出出子子类类的的划划分分。这这里里我我们们用用增增广广的的线线性性判判别别函函数数形形式式来来描描述述这这个个算算法法。将将权权向向量量w w与与阈阈值值权权w w0 0合合起起来来用用一一个个向向量量a a表表示示，a a的的维维数数为为d d+1 1维维，d d为为样样本本的的维维数数，这这时时

10、第第i i类类中中第第l l个个子子类类的的判判别别函函数数就就可可以以写写作作：g gi il l(y y)=a ai il l.y y,l l=1 1，,l li i,i i=1 1,.,c c 在在这这个个算算法法里里，条条件件是是：已已知知共共有有c c个个类类别别w wi i，i i=1 1，2 2，.,c c,并并且且已已知知w wi i类类应应该该划划分分为为l li i个个子子类类。对对每每个个类类都都有有一一定定数数量量的的训训练练样样本本。2 2)子子类类数数已已知知,子子类类划划分分未未知知2 2)子子类类数数已已知知,子子类类划划分分未未知知利利用用错错误误修修正正算算

11、法法设设计计分分段段线线性性分分类类器器当当样样本本集集对对于于给给定定的的子子类类数数目目能能用用分分段段线线性性判判别别函函数数完完全全正正确确分分类类时时，算算法法将将在在有有限限步步内内收收敛敛，否否则则算算法法将将不不收收敛敛。步步骤骤1 1 首首先先给给定定各各子子类类的的初初始始权权向向量量。步步骤骤2 2 利利用用训训练练样样本本集集进进行行迭迭代代，并并按按一一定定规规则则修修改改权权向向量量。步步骤骤3 3 重重复复上上面面的的迭迭代代过过程程，直直到到算算法法收收敛敛或或达达到到规规定定的的时时限限（或或迭迭代代次次数数）为为止止2 2)子子类类数数已已知知,子子类类划划

12、分分未未知知下下面面考考察察当当前前权权值值对对样样本本y yk k的的分分类类情情况况：如如果果a aj jmm(t t)T Ty yk k a ai il l(t t)T Ty yk k ,i i=1 1,.，c c，表表示示y yk k分分类类正正确确，则则所所有有子子类类的的权权值值均均不不变变。如如果果对对于于某某个个类类别别i i来来说说，它它不不等等于于类类别别j j，但但是是却却存存在在一一个个子子类类l l使使得得a aj jmm(t t)T Ty yk k 0 a4Tx0 a3Tx0 a2Tx0 YNYYNN1 2 NY1 二二次次判判别别判判别别函函数数 当当概概率率密密

13、度度函函数数满满足足高高斯斯分分布布或或正正态态分分布布的的情情况况，贝贝叶叶斯斯决决策策的的分分类类面面就就是是一一个个二二次次函函数数，二二次次判判别别函函数数也也是是一一种种比比较较常常用用的的固固定定函函数数类类型型的的分分类类方方法法，它它确确定定的的决决策策面面是是一一个个超超二二次次曲曲面面，包包括括超超球球面面、超超椭椭球球面面、超超双双曲曲面面等等。定定义义：二二次次函函数数的的一一般般表表达达式式为为:0)(wxwWxxxgTT dkdjdjkdjjjkjjkkkkwxwxxwxw1111102211(1)1(3)122Ld ddd d其其中中 WW 是是 d dd d 实

14、实对对称称矩矩阵阵，w w 为为 d d 维维向向量量。为为确确定定判判别别函函数数 g g(x x)，需需要要确确定定 L L 个个不不同同系系数数。121 2()()(),TiiiiigxKxxi 1jjijxixN 11()()jjTijijixixxN 12()()()g xgxgx)(xg120 x2 2)对对于于一一类类 (设设 1 1类类)样样本本分分布布比比较较成成团团，而而另另一一类类样样本本均均匀匀地地散散布布在在其其周周围围的的两两类类问问题题，我我们们可可用用下下述述方方法法构构造造一一个个二二次次判判别别函函数数：（1 1）计计算算 1 1 类类样样本本均均值值 和和

15、样样本本协协方方差差阵阵1111jjxxN 1111111()()jTjjxxxN （2 2）定定义义二二次次判判别别函函数数12111()()()Tg xKxx g g(x x)=0 0 在在 X X 空空间间确确定定了了一一个个超超椭椭球球面面.选选择择适适当当的的K K可可调调整整两两类类的的错错误误率率)(xg120 x决决策策规规则则表表示示为为 神神经经网网络络的的基基础础知知识识 单个感知器能够完成线性可分数据的分类问题，是一种最简单的可以“学习”的机器。但他无法解决非线性问题。比如下面的“异或”问题【神经网络的基本概念和思想】将两层感知器按照一定的结构和系数进行组合，第一层感知

16、器实现两个线性分类器，把特征空间分割，而在这两个感知器的输出之上再加一层感知器，就可以实现异或运算。神神经经元元的的作作用用是是将将这这些些输输入入信信号号加加权权求求和和,当当求求和和超超过过一一定定的的阈阈值值后后神神经经元元即即进进入入激激活活状状态态;否否则则神神经经元元处处于于抑抑制制状状态态。在在模模式式识识别别里里，输输入入单单元元提提供供特特征征量量，而而输输出出单单元元激激发发的的信信号号则则为为用用来来分分类类的的判判别别函函数数的的值值。在在这这个个异异或或问问题题里里，有有两两个个特特征征，每每一一个个特特征征对对应应一一个个输输入入单单元元，所所以以有有两两个个输输入

17、入单单元元，输输入入单单元元的的输输出出结结果果则则等等于于相相应应的的特特征征。隐隐藏藏层层的的每每个个单单元元对对它它的的各各个个输输入入进进行行加加权权求求和和运运算算而而形形成成标标量量的的值值，这这个个值值是是输输入入信信号号与与隐隐藏藏层层权权值值的的内内积积，这这个个值值也也被被称称为为“净净激激活活”（简简称称n ne et t）。如如果果我我们们将将输输入入向向量量增增广广化化处处理理，即即输输入入向向量量增增加加一一个个特特征征值值x x0 0=1 1，权权向向量量也也增增加加一一个个值值w w0 0，就就可可以以把把净净激激活活写写成成：每每一一个个隐隐含含层层单单元元激

18、激发发出出一一个个输输出出分分量量，这这个个分分量量是是它它激激活活的的非非线线性性函函数数，f f（n ne et t），即即 Yj=f(netj)这这个个f f（.）函函数数也也被被称称为为激激活活函函数数。激激活活函函数数可可以以是是线线性性函函数数、阈阈值值函函数数、s si ig gmmo oi id d函函数数等等多多种种形形式式。0011)(kkknetifnetifnetfnetk0)(knetf输输出出单单元元的的输输出出可可以以看看成成是是输输入入特特征征向向量量x x的的函函数数，当当有有c c各各输输出出单单元元时时，计计算算c c个个判判别别函函数数，并并通通过过使使

19、判判别别函函数数最最大大来来将将输输入入信信号号分分类类。在在只只有有两两种种类类别别的的情情况况下下，一一般般只只采采用用单单个个输输出出单单元元，而而用用输输出出值值的的符符号号来来对对输输入入样样本本进进行行分分类类。在在图图中中隐隐藏藏层层的的两两个个单单元元的的输输出出分分别别为为y y1 1和和y y2 2只只有有y y1 1和和y y2 2都都等等于于+1 1，最最终终的的输输出出单单元元才才会会输输出出+1 1，否否则则输输出出单单元元输输出出-1 1，这这也也就就得得到到了了图图中中所所示示的的适适当当的的非非线线性性判判别别区区域域，解解决决了了异异或或问问题题。【一般前馈

20、网络】把之前的讨论推广为更多的输入单元、其他的非线性函数、任意多个输出单元。在分类方面，我们有c个输出单元，每个类别一个，每个输出单元产生的信号就是判别式函数gk(x).判别函数如下：任何期望函数都可以通过一个三层网络来执行，条件是给定足够数量的隐单元、适当的非线性函数和权值。B BP P神神经经网网络络 BP（Back Propagation）网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的

21、误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。每层都包含若干个神经元。【BP神经网络模型拓扑结构】第j个基本BP神经元（节点）的模型，它只模仿了生物神经元所具有的三个最基本也是最重要的功能：加权、求和与转移。图中第j个神经元的净输入值sj为：净输入Sj通过传递函数（Transfer Function）f()后，便得到第j个神经元的输出yj:【BP网络的算法】BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层隐层输出层，每层神经元的状态只影响下一层神经元。若在输

22、出层得不到期望的输出，则转向误差信号的反向传播流程。【正向传播】输出层节点的输出为：至此B-P网络就完成了n维空间向量对m维空间的近似映射。j=1,2,m隐层的传递函数为f1()，输出层的传递函数为f2()，则隐层节点的输出为（将阈值写入求和项中）：k=1,2,q 输输入入P P个个学学习习样样本本，用用x x1 1，x x2 2，.,x xp p来来表表示示。第第p p个个样样本本输输入入到到网网络络后后得得到到输输出出y yj jp p（j j=1 1,2 2,mm）。采采用用平平方方型型误误差差函函数数，于于是是得得到到第第p p个个样样本本的的误误差差E Ep p：【反向传播】21)(

23、21pjmjpjpytE式式中中：t tj jp p为为期期望望输输出出对于P个样本，全局误差为：PpppjmjpjPpEytE1211)(21采用累计误差BP算法调整wjk，使全局误差E变小，即式中：学习率定义误差信号为：其中第一项：第二项：是输出层传递函数的偏微分。于是：由链定理得：于是输出层各神经元的权值调整公式为：定义误差信号为：其中第一项：依链定理有：第二项：是隐层传递函数的偏微分。于于是是：从而得到隐层各神经元的权值调整公式为：由链定理得：(1)从训练样例中取出一样例，把输入信息输入到网络中；(2)由网络分别计算各层节点的输出；(3)计算网络的实际输出和期望输出的误差；(4)从输出

24、层反向计算到第一隐层，根据一定原则向减小误差方向调整网络的各个连接权值；(5)对训练样例集中的每一个样例重复以上步骤，直到对整个训练样集的误差达到要求为止。【BP算法的改进】1）利用动量法改进BP算法动动量量法法权权值值调调整整算算法法的的具具体体做做法法是是：将将上上一一次次权权值值调调整整量量的的一一部部分分迭迭加加到到按按本本次次误误差差计计算算所所得得的的权权值值调调整整量量上上，作作为为本本次次的的实实际际权权值值调调整整量量，即即：其中：为动量系数，通常00.9；学习率，范围在0.00110之间。2 2）自自适适应应调调整整学学习习速速率率 调调整整的的基基本本指指导导思思想想是是

25、：在在学学习习收收敛敛的的情情况况下下，增增大大，以以缩缩短短学学习习时时间间；当当 偏偏大大致致使使不不能能收收敛敛时时，要要及及时时减减小小，直直到到收收敛敛为为止止。3 3）动动量量-自自适适应应学学习习速速率率调调整整算算法法 采采用用动动量量法法时时，B BP P算算法法可可以以找找到到更更优优的的解解；采采用用自自适适应应学学习习速速率率法法时时，B BP P算算法法可可以以缩缩短短训训练练时时间间。将将以以上上两两种种方方法法结结合合起起来来，就就得得到到动动量量-自自适适应应学学习习速速率率调调整整算算法法。神神经经网网络络参参数数的的确确定定 【神经网络的三要素】神神经经网网

26、络络有有三三个个要要素素：神神经经元元的的传传递递函函数数、网网络络结结构构（神神经经元元的的数数量量和和相相互互间间的的连连接接形形式式）和和连连接接权权值值的的学学习习。这这三三个个因因素素的的不不同同就就定定义义了了不不同同的的神神经经网网络络模模型型。神神经经网网络络的的学学习习过过程程用用含含有有一一定定数数量量学学习习样样本本的的样样本本集集和和相相应应期期望望输输出出值值的的集集合合来来训训练练网网络络神神经经网网络络的的学学习习可可以以理理解解为为：对对确确定定的的网网络络结结构构，寻寻找找一一组组满满足足要要求求的的权权系系数数，使使给给定定的的误误差差函函数数最最小小。训训

27、练练过过程程实实际际上上是是根根据据目目标标值值与与网网络络输输出出值值之之间间误误差差的的大大小小反反复复调调整整权权值值和和阈阈值值，直直到到此此误误差差达达到到预预定定值值为为止止。隐隐层层数数目目和和节节点点的的确确定定基基本本步步骤骤：对对任任何何实实际际问问题题先先都都只只选选用用一一个个隐隐层层；使使用用很很少少的的隐隐层层节节点点数数；不不断断增增加加隐隐层层节节点点数数，直直到到获获得得满满意意性性能能为为止止；否否则则再再采采用用两两个个隐隐层层重重复复上上述述过过程程。采采用用三三层层神神经经网网络络（一一个个隐隐层层）就就可可以以比比较较满满意意的的完完成成各各种种常常

28、见见任任务务。输输入入层层节节点点数数目目就就是是样样本本特特征征的的维维数数，输输出出层层节节点点数数目目也也是是根根据据问问题题确确定定的的。隐隐层层节节点点数数量量太太少少 “欠欠学学习习”；隐隐层层节节点点数数量量太太多多 增增加加训训练练时时间间+“过过学学习习”多多层层感感知知器器结结构构的的选选择择，实实际际上上就就是是通通过过选选择择适适当当的的隐隐层层节节点点数数来来取取得得在在过过学学习习与与欠欠学学习习之之间间的的平平衡衡。一一般般原原则则是是：在在能能正正确确反反映映输输入入输输出出关关系系的的基基础础上上，应应选选用用较较少少的的隐隐层层节节点点数数，以以使使网网络络

29、结结构构尽尽量量简简单单。隐隐层层节节点点数数量量确确定定的的一一般般原原则则选选择择隐隐层层节节点点数数目目的的三三种种做做法法：第第一一种种方方法法是是根根据据具具体体问问题题进进行行试试探探选选择择。选选择择几几个个不不同同的的隐隐层层节节点点数数目目，分分别别对对训训练练样样本本集集进进行行试试算算，采采用用留留一一法法或或其其他他方方法法交交叉叉验验证证，根根据据交交叉叉验验证证的的错错误误率率来来选选择择较较好好的的节节点点数数量量。通通常常隐隐层层节节点点数数目目应应该该小小于于输输入入维维数数当当训训练练样样本本数数较较小小时时应应该该适适当当采采用用少少的的隐隐层层节节点点，

30、有有人人建建议议采采用用输输入入节节点点数数的的一一半半左左右右。第第二二种种方方法法是是根根据据对对问问题题的的先先验验知知识识去去精精心心地地设设计计隐隐层层节节点点的的层层 数数和和节节点点数数目目。第第三三种种方方法法是是试试图图用用算算法法来来确确定定隐隐层层节节点点数数目目-裁裁剪剪法法初初始始时时采采用用较较多多的的隐隐层层节节点点在在采采用用B BP P算算法法进进行行权权值值学学习习时时要要求求所所有有权权值值的的绝绝对对值值和和或或平平方方和和尽尽可可能能小小。在在学学习习到到一一定定阶阶段段时时，将将权权值值过过小小的的隐隐层层节节点点删删除除，对对剩剩余余的的神神经经网

31、网络络重重新新进进行行学学习习。这这一一裁裁剪剪过过程程可可以以进进行行多多次次，最最后后得得到到一一个个比比较较合合理理的的网网络络结结构构。神神经经网网络络用用于于模模式式识识别别的的典典型型方方法法对对于于一一个个模模式式识识别别问问题题，我我们们的的任任务务是是根根据据样样本本的的特特征征向向量量x x来来预预测测样样本本的的分分类类。多多层层感感知知器器的的输输出出y y是是连连续续变变量量，要要用用它它来来实实现现分分类类，就就需需要要用用神神经经网网络络输输出出对对类类别别进进行行适适当当的的编编码码。常常见见的的做做法法是是：神神经经网网络络采采用用一一个个输输出出节节点点；在

32、在训训练练阶阶段段把把其其中中一一类类样样本本的的期期望望输输出出指指定定为为0 0，另另一一类类的的期期望望输输出出指指定定为为1 1；在在对对新新样样本本进进行行分分类类决决策策时时，根根据据某某一一阈阈值值来来判判断断类类别别，如如果果大大于于阈阈值值则则决决策策为为1 1一一类类，反反之之决决策策为为0 0一一类类。两两类类问问题题多多类类问问题题两两种种拓拓扑扑结结构构：A AC COON N:a al ll l c cl la as ss se es s o on ne e n ne et t，多多输输出出型型OOC COON N:o on ne e c cl la as ss s

33、 o on ne e n ne et t，单单输输出出型型ACONOCON多多输输出出型型的的典典型型方方法法：u网网络络的的每每个个输输入入节节点点对对应应于于样样本本的的一一个个特特征征u输输出出层层单单元元采采用用“c c中中取取1 1”编编码码，每每个个输输出出节节点点对对应应一一个个类类，即即输输出出层层单单元元数数=模模式式类类数数l训训练练样样本本数数据据的的期期望望输输出出：0 0,0 0,1 1,0 0,即即其其所所属属类类的的相相应应输输出出节节点点为为1 1，其其他他节节点点均均为为0 0l识识别别阶阶段段：未未知知样样本本的的类类别别判判定定为为与与输输出出值值最最大大

34、的的节节点点对对应应的的类类别别 把把每每个个输输出出节节点点看看作作一一个个0 0、1 1二二值值变变量量，用用mm个个输输出出节节点点来来编编码码c c类类，如如3 3个个节节点点即即可可编编码码8 8类类：0 00 00 0，0 00 01 1，0 01 10 0，0 01 11 1，1 10 00 0，1 10 01 1，1 11 10 0，1 11 11 1。多多输输出出型型的的其其他他编编码码方方式式单单输输出出型型应应用用典典型型方方法法：每每一一类类别别建建立立一一个个网网络络u输输入入：每每个个输输入入节节点点对对应应样样本本的的一一个个特特征征u输输出出：输输出出层层节节点

35、点只只有有一一个个u训训练练：输输入入训训练练样样本本的的类类别别是是i i，则则第第i i个个网网络络的的期期望望输输出出设设为为1 1，其其余余网网络络输输出出节节点点均均为为0 0u识识别别：输输出出值值最最大大的的网网络络对对应应的的类类别别u减减少少隐隐层层节节点点，克克服服类类别别之之间间的的耦耦合合，各各网网络络的的隐隐层层节节点点数数可可以以不不同同。B BP P神神经经网网络络的的m ma at tl la ab b实实例例实验题目：使使用用I IR RI IS S的的数数据据集集数数据据集集，来来训训练练一一个个B BP P神神经经网网络络。该该数数据据集集中中一一共共有有

36、1 15 50 0个个样样本本，分分为为3 3个个类类别别，每每个个样样本本有有4 4个个特特征征，要要求求将将I Ir ri is s数数据据集集分分为为2 2组组，一一组组为为训训练练样样本本，另另一一组组为为测测试试样样本本，每每组组各各7 75 5个个样样本本，每每组组中中每每种种花花各各有有2 25 5个个样样本本。为为了了方方便便训训练练，将将3 3类类花花分分别别编编号号为为1 1，2 2，3 3 。使使用用这这些些数数据据训训练练一一个个4 4输输入入（分分别别对对应应4 4个个特特征征），3 3输输出出（分分别别对对应应该该样样本本属属于于某某一一品品种种的的可可能能性性大大

37、小小）的的前前向向网网络络。1 1.读读取取数数据据，采采用用t te ex xt tr re ea ad d函函数数来来读读取取文文本本数数据据%读读取取训训练练数数据据 class,f1,f2,f3,f4=textread(trainData.txt,%f%f%f%f%f,75);2 2.第第二二步步是是特特征征值值归归一一化化，归归一一化化就就是是将将数数据据映映射射到到 0 0,1 1 或或-1 1,1 1 区区间间或或更更小小的的区区间间。%特特征征值值归归一一化化 input,minI,maxI=premnmx(f1,f2,f3,f4);3 3.第第三三步步是是构构造造输输出出矩矩

38、阵阵，用用来来对对训训练练数数据据的的目目标标输输出出结结果果进进行行存存储储%构构造造输输出出矩矩阵阵 s=length(class);output=zeros(s,3);for i=1:s output(i,class(i)=1;End4 4.第第四四步步就就是是创创建建神神经经网网络络，mma at tl la ab b提提供供了了一一个个n ne ew wf ff f函函数数来来实实现现神神经经网网络络的的创创建建，在在这这个个函函数数里里，可可以以设设置置网网络络的的层层数数，节节点点的的数数量量，激激活活函函数数的的形形式式、采采用用的的学学习习方方式式等等主主要要结结构构参参数数

39、.%创创建建神神经经网网络络 net=newff(minmax(input),10 3,logsig purelin ,traingdx);5 5.第第五五步步是是设设置置训训练练参参数数，可可以以设设置置神神经经网网络络训训练练的的次次数数、显显示示频频率率、训训练练目目标标最最小小误误差差以以及及学学习习速速率率%设设置置训训练练参参数数 net.trainparam.show=50;net.trainparam.epochs=500;net.trainparam.goal=0.01;net.trainParam.lr=0.01;6 6.第第六六步步是是通通过过t tr ra ai in

40、n函函数数进进行行训训练练%开开始始训训练练 net=train(net,input,output);7 7.第第七七步步是是读读取取测测试试数数据据，并并将将数数据据归归一一化化%读读取取测测试试数数据据 t1 t2 t3 t4 c=textread(testData.txt,%f%f%f%f%f,150);%测测试试数数据据归归一一化化 testInput=tramnmx(t1,t2,t3,t4,minI,maxI);8 8.第第八八步步就就是是利利用用s si imm函函数数，使使用用训训练练好好的的神神经经网网络络，对对测测试试数数据据进进行行仿仿真真%仿仿真真 Y=sim(net,t

41、estInput)9 9.第第九九步步是是对对测测试试结结果果的的正正确确率率进进行行统统计计和和识识别别%统统计计识识别别正正确确率率 s1,s2=size(Y);hitNum=0;for i=1:s2 m,Index=max(Y(:,i);if(Index=c(i)hitNum=hitNum+1;end end sprintf(识识别别率率是是%3.3f%,100*hitNum/s2)1 10 0.第第十十步步是是对对训训练练后后的的权权值值和和阈阈值值进进行行输输出出显显示示，其其中中n ne et t.i iw w显显示示网网络络的的权权值值；n ne et t.b b显显示示训训练练后后神神经经网网络络的的偏偏置置值值%输输出出训训练练后后的的权权值值和和阈阈值值iw1=net.IW1;b1=net.b1;lw2=net.LW2;b2=net.b2;以以上上程程序序的的识识别别率率稳稳定定在在95%左左右右训练曲线【小小结结】分段线性判别函数二次判别函数BP神经网络神经网络结构的确定方法神经网络在模式识别中的应用本本章章结结束束