模式识别理论及应用 人工神经网络.ppt

《模式识别理论及应用 人工神经网络.ppt》由会员分享，可在线阅读，更多相关《模式识别理论及应用 人工神经网络.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、武汉大学电子信息学院第八章 人工神经网络模式识别理论及应用Pattern Recognition-Methods and Application内容目录第八章 人工神经网络 引言3245 8.2 人工神经元模型8.3 神经网络学习方法8.4 前馈神经网络及其主要方法8.5 神经网络模式识别典型方法18.6 Matlab神经网络工具箱介绍及应用6模式识别与神经网络8.1 引言uu生物神经网络(biological neural network,BNN)，特别是人脑的模拟。uu人工神经网络(artificial neural network,ANN)：由大量神经元经广泛互联组成的非线性网络（功能模

2、块，数学模型）uu自底向上的综合方法：基本单元基本单元功能模块功能模块系统系统3神经元4神经网络5神经网络发展历史简介uuM-P神经元模型(McCulloch&Pitts 1943)uuHebb神经元学习准则(Hebb,1949)uu感知机Perceptron(Rosenblatt 1958)Adaline(Widrow and Hoff)uuPerceptron(Minsky&Papert,1969)uuHopfield模型(Hopfield，1982)uu多层感知机MLP与反向传播算法BP(Rumelhart,1986)引言引言6神经网络的特点uu自学习uu自适应uu并行处理uu分布表达与

3、计算引言引言7神经网络的应用uuNN本质上可以理解为函数逼近，可以应用到众多领域：优化计算优化计算信号处理信号处理智能控制智能控制模式识别模式识别机器视觉等机器视觉等引言引言8神经网络的应用uuAerospaceHigh performance aircraft autopilots,flight High performance aircraft autopilots,flight path simulations,aircraft control systems,path simulations,aircraft control systems,autopilot enhancements

4、,aircraft autopilot enhancements,aircraft component simulations component simulations uuAutomotiveAutomobile automatic guidance systems,Automobile automatic guidance systems,warranty activity analyzerswarranty activity analyzersuuBankingCheck and other document readers,credit Check and other documen

5、t readers,credit application evaluatorsapplication evaluators引言引言9神经网络的应用uuDefenseDefenseTarget tracking,object discrimination,facial Target tracking,object discrimination,facial recognition,new kinds of sensors,sonar,radar recognition,new kinds of sensors,sonar,radar and image signal processingand

6、image signal processinguuElectronicsElectronicsCode sequence prediction,integrated circuit chip Code sequence prediction,integrated circuit chip layout,chip failure analysis,machine vision,voice layout,chip failure analysis,machine vision,voice synthesissynthesisuuRoboticsRoboticsTrajectory control,

7、manipulator controllers,vision Trajectory control,manipulator controllers,vision systemssystemsuuSpeechSpeechSpeech recognition,speech compression,speech Speech recognition,speech compression,speech synthesis synthesis 引言引言10神经网络的应用uuSecuritiesMarket analysis,stock trading advisory systemsuuTelecomm

8、unicationsImage and data compression,automated information services,real-time translation of spoken languageuuTransportationTruck brake diagnosis systems,vehicle scheduling,routing systems引言引言118.2 神经元uu生物神经网络：生物神经网络：Biological Neural Biological Neural NetworkNetwork（BNNBNN）uu神经元：神经元：n neuroneuron 神

9、经元经突触传递信号给神经元经突触传递信号给其他神经元（胞体或树突）其他神经元（胞体或树突）10101111个神经元个神经元/人脑人脑 10104 4个连接个连接/神经元神经元uu神经元基本工作机制：神经元基本工作机制：状态：兴奋与抑制状态：兴奋与抑制 互联，激励，处理，互联，激励，处理，阈值阈值12神经元模型uu常用神经元模型（常用神经元模型（Neuron Model)Neuron Model)：多输入，单输出，带偏置多输入，单输出，带偏置 R R个输入个输入p pi iRR，即，即R R维输入矢量维输入矢量p p n:net input,n:net input,n n=WpWp+b b。R

10、R个个权值权值wwi iRR，即，即R R维维权矢量权矢量ww阈值阈值b b 输出输出a a=f f(n n),),f f:transfer function:transfer function神经元神经元模型模型13常用输出函数uu阈值函数：阈值函数：神经元神经元模型模型aWp-b1-114线性输出函数 神经元神经元模型模型uuPurelin Transfer Function Purelin Transfer Function：an15Sigmoid函数uuSigmoid Function Sigmoid Function：uu特性：特性：值域值域a a(0,1)(0,1)非线性，单调性非

11、线性，单调性 无限次可微无限次可微|n|n|较小时可近似线性函数较小时可近似线性函数|n|n|较大时可近似阈值函数较大时可近似阈值函数神经元神经元模型模型168.3 神经网络的学习方法uu神经网络的学习：从环境中获取知识并改进自身性神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又能，主要指调节网络参数使网络达到某种度量，又称为网络的训练称为网络的训练uu学习方式：学习方式：监督学习监督学习 非监督学习非监督学习 再励学习再励学习uu学习规则学习规则(learning rule)learning rule)：误差纠正学习算法误差纠正学习算法 HebbHeb

12、b学习算法学习算法 竞争学习算法竞争学习算法17监督学习教师神经网络比较环境实际输出输入期望输出误差信号uu对训练样本集中的每一组输入能提供一组目标输出对训练样本集中的每一组输入能提供一组目标输出uu网络根据目标输出与实际输出的误差信号来调节网网络根据目标输出与实际输出的误差信号来调节网络参数络参数p(n)t(n)a(n)e(n)18非监督学习与再励学习uu非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性uu再励学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能学习学习方法方法神经网络环境输入神经网络环

13、境输入输出评价信息19Hebb学习uuHebb学习规则：uuHebb学习规则的物理解释：输入输出同时兴奋时，相应的权值得到加强uu几乎所有的神经网络学习算法可看成Hebb学习规则的变形学习常数学习学习方法方法20误差纠正学习uu对于输出层第对于输出层第k k个神经元的个神经元的实际输出实际输出:a ak k(n n)目标输出目标输出:t tk k(n n)误差信号误差信号:e ek k(n n)=)=t tk k(n n)-)-a ak k(n n)目标函数为基于目标函数为基于误差信号误差信号e ek k(n n)的函数，如误差平方的函数，如误差平方和判据和判据(sum squared err

14、or,SSEsum squared error,SSE)，或均方误差判据，或均方误差判据(mean squared error,MSE,(mean squared error,MSE,即即SSESSE对所有样本的对所有样本的期望期望)学习学习方法方法21误差纠正学习uu梯度下降法：学习学习方法方法uu对于感知器和线性网络：delta学习规则uu对于多层感知器网络：扩展的delta学习规则，bp算法22竞争学习uu输出神经元之间有侧向抑制性连接，较强单元获胜并抑制其他单元，独处激活状态（Winner takes all,WTA）学习学习方法方法wkjkj238.4 前馈神经网络及其主要方法uu前

15、馈神经网络(feed forward NN)：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。uu前馈网络通常分为不同的层(layer)，第i层的输入只与第i-1层的输出联结。uu可见层：输入层(input layer)和输出层(output layer)uu隐层(hidden layer)：中间层2425感知器uu感知器(perceptron)：单层网络，通过监督学习建立模式识别能力前馈前馈网络网络26感知器目标输出的编码方法前馈前馈网络网络uu一个输出单元对应一个类别，如果输入训练样本的类别标号是i，则对应的目标输出编码为：第i个输出节点为1，其余节点均为027感知器学

16、习算法uu感知器学习算法：感知器学习算法：前馈前馈网络网络uu对应于线性判别函数对应于线性判别函数uu对线性可分问题，算对线性可分问题，算法收敛，对线性不可法收敛，对线性不可分的数据，算法不收分的数据，算法不收敛敛28多层感知器uu多层感知器多层感知器:Multi-Layer Perceptron,MLPMulti-Layer Perceptron,MLPuuArchitectureArchitecture：前馈前馈网络网络29多层感知器的一致逼近性uu单个阈值神经元可以实现任意多输入的与、或及与非、或非逻辑门uu任何逻辑函数可由两层前馈网络实现uu当神经元的输出函数为Sigmoid等函数时，

17、两层前馈网络可以逼近任意的多元非线性函数uuMLP的适用范围大大超过单层网络前馈前馈网络网络30XOR问题任何一个逻辑电路都可以只用任何一个逻辑电路都可以只用XORXOR门来实现，门来实现，XORXOR是通用门是通用门 (universal logic gate)(universal logic gate)感知器不能解决感知器不能解决XORXOR问题问题两层感知器可以解决两层感知器可以解决XORXOR问题问题前馈前馈网络网络31反向传播(BP)算法uu多层感知器的中间隐层不直接与外界连接，其误差无法估计uu反向传播算法：从后向前（反向）逐层“传播”输出层的误差，以间接算出隐层误差。分两个阶段：

18、正向过程正向过程：从输入层经隐层逐层正向计算各单：从输入层经隐层逐层正向计算各单元的输出元的输出反向过程反向过程：由输出层误差逐层反向计算隐层各：由输出层误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值单元的误差，并用此误差修正前层的权值前馈前馈网络网络32正向过程uu正向过程:前馈前馈网络网络33梯度下降(gradient decent)法前馈前馈网络网络uu准则函数:sum squared error,SSE uu权值修正:梯度下降法34Case 1:输出层权值修正前馈前馈网络网络uu对于sigmoid函数:局部梯度扩展delta学习规则35Case 2:隐层权值修正前馈前馈网络

19、网络后层的全部单元都受nj的影响iwjinjajnijwjii36BP算法的步骤1.1.初始值选择2.2.前向计算，求出所有神经元的输出3.3.对输出层计算4.4.从后向前计算各隐层5.5.计算并保存各权值修正量：6.6.修正权值：7.7.判断是否收敛，如果收敛则结束，不收敛则转至Step 2前馈前馈网络网络37多层感知器的设计uu两层感知器可以逼近任意的多元非线性函数两层感知器可以逼近任意的多元非线性函数uu输入层单元数输入层单元数=输入变量输入变量/特征特征 维数维数uu输出层单元数输出层单元数=模式类数模式类数/待逼近的函数个数待逼近的函数个数uu隐层单元数：无有效方法隐层单元数：无有效

20、方法uu网络初始化对结果有影响，通常用较小的随机数网络初始化对结果有影响，通常用较小的随机数uu学习率学习率的选择的选择:(0.1,3)0.1,3)uu增加惯性项的增加惯性项的BPBP算法：算法：前馈前馈网络网络38径向基函数网络uu径向基函数：径向基函数：radial basis function,RBFradial basis function,RBFuu只有一个隐层，隐层单元采用径向基函数。隐层把只有一个隐层，隐层单元采用径向基函数。隐层把原始的非线性可分的特征空间变换到另一个空间原始的非线性可分的特征空间变换到另一个空间（通常是高维空间），使之可以线性可分（通常是高维空间），使之可以线

21、性可分uu输出为隐层的线性加权求和。采用基函数的加权和输出为隐层的线性加权求和。采用基函数的加权和来实现对函数的逼近来实现对函数的逼近uu径向基函数：径向对称的标量函数径向基函数：径向对称的标量函数k(|k(|x x-x xc c|)|)，最常，最常用的用的RBFRBF是高斯核函数是高斯核函数前馈前馈网络网络39径向基函数网络结构前馈前馈网络网络40径向基函数网络的训练uu三组可调参数：隐单元的个数，隐单元基函数中心与方差隐单元的个数，隐单元基函数中心与方差x xc c,输出层权值输出层权值 wwij ijuu估计方法：聚类的方法估计聚类的方法估计x xc c,LMSLMS方法估计方法估计ww

22、ij ij前馈前馈网络网络41C-Means算法双层神经网络实现前馈前馈网络网络uu采用双层神经网络结构，采用双层神经网络结构，如图所示：如图所示：输入节点数等于输入模式矢输入节点数等于输入模式矢量的维数量的维数 隐层计算样本与各聚类中心隐层计算样本与各聚类中心的距离，其单元数等于类数的距离，其单元数等于类数(c)(c)，节点，节点j j与输入节点与输入节点i i的的连接权值为连接权值为wwij ij，wwj j代表第代表第j j类聚类中心类聚类中心 输出层为输出层为“c“c中选中选1 1个最大个最大”：输入层输出层C-1MAXNETx1x2xRw1w2wcl42C-Means算法uu神经网络

23、的训练：神经网络的训练：前馈前馈网络网络1.1.初始化：选择前初始化：选择前c c个样本个样本x x1 1,x x2 2,x xc c初始化初始化ww1 1,ww2 2,wwc c，并建立，并建立c c个空聚类列表：个空聚类列表：K K1 1,K K2 2,K Kc c2.2.依次把样本依次把样本x x馈入网络并计算输出馈入网络并计算输出l l（即（即按照最小距离法按照最小距离法则对样本则对样本x x进行分类），把该样本存入聚类列表进行分类），把该样本存入聚类列表K Kl l中：中：3.3.更新权值更新权值ww1 1,ww2 2,wwc c：用各聚类列表计算聚类均：用各聚类列表计算聚类均值，并

24、用来更新相应权值（即作为各聚类新的代表点）值，并用来更新相应权值（即作为各聚类新的代表点）4.4.若所有权值未发生变化，则停止。否则转若所有权值未发生变化，则停止。否则转2 2。438.5 神经网络模式识别典型方法uuMLP是模式识别中应用最多的的网络模型uu两种拓扑结构：ACON:all classes one netACON:all classes one net，多输出型，多输出型OCON:one class one netOCON:one class one net，单输出型，单输出型ACONOCON44ACON应用典型方法uuACON应用最多，典型方法是：网络的每个输入节点对应于样本

25、的一个特征网络的每个输入节点对应于样本的一个特征输出层单元采用输出层单元采用“c“c中取中取1”1”编码，每个输出节点编码，每个输出节点对应一个类，即对应一个类，即输出层单元数输出层单元数=模式类数模式类数训练样本数据的期望输出：训练样本数据的期望输出：0,0,1,0,0,0,1,0,即其即其所属类的相应输出节点为所属类的相应输出节点为1 1，其他节点均为，其他节点均为0 0识别阶段：未知样本的类别判定为与输出值最大的识别阶段：未知样本的类别判定为与输出值最大的节点对应的类别节点对应的类别前馈网前馈网络应用络应用45前馈神经网络与模式识别uu前馈神经网络与统计模式识别在方法上具有一定的等价关系

26、：单层感知器 vs.线性分类器多层感知器 vs.非线性分类器径向基函数网络 vs.Parzen窗密度估计分类器前馈网前馈网络应用络应用46前馈神经网络与模式识别uu多层感知器集特征提取与分类于一体：隐层进行非线性特征提取，将输入空间变换到隐层进行非线性特征提取，将输入空间变换到隐层输出空间，使样本在此空间具有最好的可隐层输出空间，使样本在此空间具有最好的可分性分性输出层进行分类决策（有时仅需线性分类）输出层进行分类决策（有时仅需线性分类）前馈网前馈网络应用络应用47神经网络与贝叶斯分类器uu已证明当神经网络输出采用已证明当神经网络输出采用“c“c中取中取1”1”编码，隐层和输出层编码，隐层和输

27、出层神经元均采用神经元均采用SigmoidSigmoid函数，训练准则函数为最小函数，训练准则函数为最小MSEMSE，则则MLPMLP的输出就是对贝叶斯后验概率的估计的输出就是对贝叶斯后验概率的估计uu以两类情况为例：输入样本以两类情况为例：输入样本x x，网络只有一个输出节点，输，网络只有一个输出节点，输出为出为f(f(x x,ww)，如果，如果x x类类类类1 1 1 1，则期望输出为，则期望输出为d=1d=1，如果，如果x x类类类类2 2 2 2，则期望输出为，则期望输出为d=0d=0。则训练的均方误差为：。则训练的均方误差为：前馈网前馈网络应用络应用48神经网络与贝叶斯分类器前馈网前

28、馈网络应用络应用498.6 Matlab神经网络工具箱介绍uuIntroductionuuNeuron Model and Network ArchitecturesuuPerceptronsuuLinear FiltersuuRadial Basis NetworksuuApplications50讨论uu人工神经网络是由大量神经元经广泛互联组成的非线性网络，单元间的连接强度从样本中学习uu神经网络模型决定于神经元类型，神经元间的连接方式和学习算法uuMLP、RBF和SOFM是模式识别中应用最多的几种模型51习题1.1.解释解释HebbHebb学习规则的基本思想学习规则的基本思想2.2.浏览

29、浏览MatlabMatlab的的neural network toolboxneural network toolbox的帮助的帮助文档（文档（perceptron,linear filter,bp)perceptron,linear filter,bp)3.3.写出写出C-MeansC-Means算法双层神经网络实现的算法描算法双层神经网络实现的算法描述或画出流程图述或画出流程图4.4.以两类情况为例，证明当神经网络输出采用以两类情况为例，证明当神经网络输出采用“c c中取中取1”1”编码，隐层和输出层神经元均采用编码，隐层和输出层神经元均采用SigmoidSigmoid函数，训练准则函数为最小函数，训练准则函数为最小MSEMSE，则，则MLPMLP的输出就是对贝叶斯后验概率的估计的输出就是对贝叶斯后验概率的估计52