神经网络三种模型综述(反馈,模糊和小脑).ppt

《神经网络三种模型综述(反馈,模糊和小脑).ppt》由会员分享，可在线阅读，更多相关《神经网络三种模型综述(反馈,模糊和小脑).ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主要内容主要内容反馈神经网络反馈神经网络模糊神经网络模糊神经网络小脑模型神经网络小脑模型神经网络反馈神经网络反馈神经网络根据神经网络运行过程中的信息流向，可分为根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关，与前馈网络不同，反馈网络的输出状态无关，与前馈网络不同，反馈网络考虑了输出与输入间的延迟因素。考虑了输出与输入间的延迟因素。反馈神经网络反馈神经网络lHopfield网络网络l双向联想记忆神经网络双向联想记忆神经网络l随机神

2、经网络随机神经网络lBoltzmann机机Hopfield网络l美国加州理工学院物理学家美国加州理工学院物理学家J.J.Hopfield教授于教授于1982年提出一种年提出一种单层反馈神经网络，后来人们将这种反馈网络称作单层反馈神经网络，后来人们将这种反馈网络称作Hopfield网。网。lJJHopfield教授在反馈神经网络中引入了教授在反馈神经网络中引入了“能量函数能量函数”的概的概念，这一概念的提出对神经网络的研究具有重大意义，它使神经念，这一概念的提出对神经网络的研究具有重大意义，它使神经网络运行稳定性的判断有了可靠依据。网络运行稳定性的判断有了可靠依据。lHopfield网络分为离散

3、型和连续型两种网络模型，网络分为离散型和连续型两种网络模型，分别记作分别记作DHNN(DiscreteHopfieldNeuralNetwork)和和CHNN(ContinuesHopfieldNeuralNetwork)。反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 离散型Hopfield神经网络l在离散在离散Hopfield网络中，所采用的神经元是二值神经元，故而，所网络中，所采用的神经元是二值神经元，故而，所输出的离散值输出的离散值1和和0分别表示神经元处于激活和抑制状态。分别表示神经元处于激活和抑制状态。这是一种单层全反馈网络，共有n个神经元。其特点是任一神经元

4、的输出xi均通过连接权wij反馈至所有神经元xj作为输入。反馈回来的信息目的是为了让任一神经元的输出都能受所有神经元输出的控制，相互制约。每个神经元均设有一个阈值Tj，以反映对输入噪声的控制。DHNN网可简记为N=(W,T)。反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为网中的每个神经元都有相同的功能，其输出称为状态状态，用，用xj 表示。表示。所有神经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT 反馈网络的输入就是网络的反馈网络的输入就是网络的状态初始值状态初

5、始值，表示为，表示为X(0)=x1(0),x2(0),xn(0)T基本概念：基本概念：反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 j=1,2,nj=1,2,n 式中，式中，f（）（）为转为转移函数，移函数，DHNN网的网的转转移函数常采用移函数常采用 符号函数：符号函数：式中式中净输净输入入为为 反馈网络在外界输入激发下，从初始状态进入动态演反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为变过程，变化规律为j=1,2,n 对于对于DHNN网，一般有网，一般有wii=0，wij=wji反馈网络稳定时每个神经元的状态都不再改变，此时的反馈网络稳定时每个神经

6、元的状态都不再改变，此时的稳定状态就是稳定状态就是网络的输出网络的输出,表示为表示为：反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 网络的工作方式网络的工作方式l网络的异步工作方式网络的异步工作方式 网络运行时每次只有一个神经元网络运行时每次只有一个神经元i进行状态的调整计算，其它神经元的状态均保持不变，进行状态的调整计算，其它神经元的状态均保持不变，即即l网络的同步工作方式网络的同步工作方式j=1,2,n 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即 反馈神经网络反馈神经网络反馈神经网络反馈神

7、经网络Hopfield网络 网络的稳定性DHNN网实质上是一个离散的非线性动力学系统。网络从初态网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若开始，若能经有限次递归后，其状态不再发生变化，即能经有限次递归后，其状态不再发生变化，即X(t+1)X(t)，则称该网络是，则称该网络是稳定的稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态：如图如图a)所示所示 若网络是不稳定的，由于若网络是不稳定的，由于DHNN网每个节点的状态只有网每个节点的状态只有1和和-1两种情况，网两种情况，网络不可能出现无限发散的情况，而只可能出现限

8、幅的自持振荡，这种网络称为络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络有限环网络，如图，如图b)所示所示如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌混沌，如图，如图c)所示，对所示，对于于DHNN网，由于网络的状网，由于网络的状 反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 吸引子与能量函数l网络达到稳定时的状态网络达到稳定时的状态X，称为网络的，

9、称为网络的吸引子吸引子，其中，其中X=f(WX-T)。l定义网络的定义网络的能量函数能量函数为：为：网络的稳定性与能量函数密切相关，利用网络的能网络的稳定性与能量函数密切相关，利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状量函数可实现优化求解功能。网络的能量函数在网络状态按一定规则变化时，能自动趋向能量的极小点。态按一定规则变化时，能自动趋向能量的极小点。如果如果把一个待求解问题的目标函数以网络能量函数的形式表把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态就是达出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。问题的最优解。

10、反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 连续型Hopfield神经网络1984年年Hopfield把把DHNN进一步发展成连续型进一步发展成连续型Hopfield网络，缩写为网络，缩写为CHNN网，网，CHNN的基的基本结构与本结构与DHNN相似，但相似，但CHNN中所有神经元中所有神经元都同步工作，各输入输出均是随时间连续变化都同步工作，各输入输出均是随时间连续变化的模拟量，这使得的模拟量，这使得CHNN比比DHNN在信息处理在信息处理的并行性、实时性等方面更接近于实际生物神的并行性、实时性等方面更接近于实际生物神经网络的工作机理。经网络的工作机理。反馈神经网络

11、反馈神经网络反馈神经网络反馈神经网络Hopfield网络 Hopfield网络应用Hopfield网络在图像、语音和信号处理、模式分类与识别、网络在图像、语音和信号处理、模式分类与识别、知识处理、自动控制、容错计算和数据查询等领域已经有知识处理、自动控制、容错计算和数据查询等领域已经有许多成功的应用。许多成功的应用。Hopfield网络的应用主要有联想记忆和网络的应用主要有联想记忆和优化计算两类，优化计算两类，DHNN网主要用于联想记忆。网主要用于联想记忆。CHNN网主要用于优化计算，为解决网主要用于优化计算，为解决TSP难题开辟了一条难题开辟了一条崭新的途径。其崭新的途径。其基本思想基本思想

12、是把是把TSP问题映射到问题映射到CHNN网络网络中去，并设法用网络能量代表路径总长。这样，当网络的中去，并设法用网络能量代表路径总长。这样，当网络的能量随着模拟电子线路状态的变迁，最终收敛于极小值时，能量随着模拟电子线路状态的变迁，最终收敛于极小值时，问题的最佳解便随之求得。其外，由于模拟电子线路中的问题的最佳解便随之求得。其外，由于模拟电子线路中的全部元件都是并行工作的，所以求解时间与城市数的多少全部元件都是并行工作的，所以求解时间与城市数的多少无关，仅是运算放大器工作所需的微秒级时间，显著地提无关，仅是运算放大器工作所需的微秒级时间，显著地提高了求解速度，充分展示了神经网络的巨大优越性。

13、高了求解速度，充分展示了神经网络的巨大优越性。反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 贡献贡献lJ.J.Hopfield的别具匠心的贡献在于，他把能量函数的概念引入了神经的别具匠心的贡献在于，他把能量函数的概念引入了神经网络，从而把网络的拓扑结构与所要解决的问题联系起来，把待优化的网络，从而把网络的拓扑结构与所要解决的问题联系起来，把待优化的目标函数与网络的能量函数联系起来，通过网络运行时能量函数自动最目标函数与网络的能量函数联系起来，通过网络运行时能量函数自动最小化而得到问题的最优解，从而开辟了求解优化问题的新途径。小化而得到问题的最优解，从而开辟了求解优化问题

14、的新途径。反馈神经网络反馈神经网络反馈神经网络反馈神经网络Hopfield网络 双向联想记忆神经网络B.Kosko于于1988年提出双向联想记忆年提出双向联想记忆(bidirectionalassociativememory,缩写为缩写为BAM)。与与Hopfield网可实现自联想不同，网可实现自联想不同，BAM网可实现双向网可实现双向异联想，是一种双层的反馈网络。异联想，是一种双层的反馈网络。BAM网有离散型、网有离散型、连续型和自适应型等多种形式。连续型和自适应型等多种形式。反馈神经网络反馈神经网络反馈神经网络反馈神经网络双向联想记忆神经网络双向联想记忆神经网络BAM网结构网结构BAM网的

15、拓扑结构如图所示，是一种双层双向网络，当其中网的拓扑结构如图所示，是一种双层双向网络，当其中一层加入输入信号时，另一层可得到输出。由于初始模式可以作一层加入输入信号时，另一层可得到输出。由于初始模式可以作用于网络的任一层，信息可以双向传播，所以没有明确的输入层用于网络的任一层，信息可以双向传播，所以没有明确的输入层或输出层，可将其中的任一层称为或输出层，可将其中的任一层称为X层，另一层为层，另一层为Y层。层。对网络一段的输入信号，可在另一端得到输出，该输出有反馈回来，如对网络一段的输入信号，可在另一端得到输出，该输出有反馈回来，如此反复，直到网络稳定为止。此反复，直到网络稳定为止。反馈神经网络

16、反馈神经网络反馈神经网络反馈神经网络双向联想记忆神经网络双向联想记忆神经网络BAM网的应用网的应用l功率谱密度函数分类功率谱密度函数分类l汽车牌照识别汽车牌照识别反馈神经网络反馈神经网络反馈神经网络反馈神经网络双向联想记忆神经网络双向联想记忆神经网络 由于图像采集质量受天气阴晴、拍摄角度与距离及车速等诸多因素由于图像采集质量受天气阴晴、拍摄角度与距离及车速等诸多因素的影响，分割出来的牌照往往带有很大的噪声，用传统方法进行识别效的影响，分割出来的牌照往往带有很大的噪声，用传统方法进行识别效果较差。采用果较差。采用BAMBAM网络将汽车牌照涉及的汉字、英文字母及数字作为记忆网络将汽车牌照涉及的汉字

17、、英文字母及数字作为记忆模式存入模式存入24*2424*24的权值矩阵，对严重噪声的汽车牌照进行识别，取得了较的权值矩阵，对严重噪声的汽车牌照进行识别，取得了较好的效果。好的效果。随机神经网络随机神经网络Hopfield网络通过动态演变过程使网络的能量函网络通过动态演变过程使网络的能量函数沿着梯度单调下降，容易导致网络陷入数沿着梯度单调下降，容易导致网络陷入局部极小点局部极小点而达不到全局最小点。而达不到全局最小点。导致这种原因是，网络的能量函数是具有多个极导致这种原因是，网络的能量函数是具有多个极小点的非线性空间，而所用的算法却一味追求能量函小点的非线性空间，而所用的算法却一味追求能量函数的

18、单调下降，也就是只会数的单调下降，也就是只会“下山下山”而不会而不会“爬山爬山”。为了有效克服上述缺陷，提出为了有效克服上述缺陷，提出随机神经网络随机神经网络。反馈神经网络反馈神经网络反馈神经网络反馈神经网络随机神经网络随机神经网络 主要区别主要区别在学习阶段，随机网络不像在学习阶段，随机网络不像Hopfield那样基于某那样基于某种确定性算法调整权值，而是按某种概率分布进种确定性算法调整权值，而是按某种概率分布进行修改。行修改。在运行阶段，随机网络不是按某种确定性的网络在运行阶段，随机网络不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其方程进行状态演变，而是按某种概率分布决定

19、其状态的转移。状态的转移。反馈神经网络反馈神经网络反馈神经网络反馈神经网络随机神经网络随机神经网络 模拟退火原理模拟退火原理l模拟退火算法是随机网络中解决能量局部极小问题的一个有效方法，其基本模拟退火算法是随机网络中解决能量局部极小问题的一个有效方法，其基本思想是模拟金属退火过程。思想是模拟金属退火过程。l金属退火过程大致是，先将物体加热至高温，使其原子处于高速运动状态，金属退火过程大致是，先将物体加热至高温，使其原子处于高速运动状态，此时物体具有较高的内能；然后，缓慢降温，随着温度的下降，原子运动速此时物体具有较高的内能；然后，缓慢降温，随着温度的下降，原子运动速度减慢，内能下降；最后，整个

20、物体达到内能最低的状态。模拟退火过程相度减慢，内能下降；最后，整个物体达到内能最低的状态。模拟退火过程相当于沿水平方向晃动托盘，温度高则意味着晃动的幅度大，小球肯定会从任当于沿水平方向晃动托盘，温度高则意味着晃动的幅度大，小球肯定会从任何低谷中跳出，而落入另一个低谷。何低谷中跳出，而落入另一个低谷。如图所示，模拟退火如图所示，模拟退火算法赋予小球既能算法赋予小球既能“下坡下坡”，也能，也能“爬山爬山”的本领，有效地克的本领，有效地克服局部最优缺陷。服局部最优缺陷。反馈神经网络反馈神经网络反馈神经网络反馈神经网络随机神经网络随机神经网络 Boltzmann机G.E.Hinton等于等于19831

21、986年提出一种称为年提出一种称为Boltzmann机的随机神经网络。它是建立在模机的随机神经网络。它是建立在模拟退火和使用随机神经元基础上，并满足平行拟退火和使用随机神经元基础上，并满足平行约束的网络。约束的网络。Boltzmann机能够学习集合所示机能够学习集合所示的一组模式的潜在约束特性。的一组模式的潜在约束特性。Boltzmann机网机网络也有同步和异步运行方式。络也有同步和异步运行方式。反馈神经网络反馈神经网络反馈神经网络反馈神经网络随机神经网络随机神经网络 Boltzmann机网络结构和工作方式机网络结构和工作方式 Boltzmann机网络是一个相互连接的神经网络模型，具有对称的连

22、接权系数，及wijwji且wii=0。网络由可见单元（Visible Unit）和隐单元（Hidden Unit）构成。可见单元由输入、输出部分组成。每个单元节点只取1或0两种状态。1代表接通或接受，0表示断开或拒绝。当神经元的输入加权和发生变化时，神经元的状态随之更新。各单元之间状态的更新是异步的。反馈神经网络反馈神经网络反馈神经网络反馈神经网络随机神经网络随机神经网络 主要内容主要内容反馈神经网络反馈神经网络模糊神经网络模糊神经网络小脑模型神经网络小脑模型神经网络模糊神经网络l历史l为了解决大系统、复杂系统中难以精确化的问题，美国控制论学者查德为了解决大系统、复杂系统中难以精确化的问题，美

23、国控制论学者查德（Z.A.Zadeh）在）在1965年提出了模糊集。年提出了模糊集。l1966年马利诺斯发表了模糊逻辑的内部研究报告。接着查德提出了模糊年马利诺斯发表了模糊逻辑的内部研究报告。接着查德提出了模糊语言变量这一重要概念。语言变量这一重要概念。l1974年，年，S.C.Lee和和E.T.Lee在在Cybernetics杂志上发表了杂志上发表了Fuzzysetsandneuralnetworks一文，首次把模糊集和神经网络联系在一起。接一文，首次把模糊集和神经网络联系在一起。接着，在着，在1975年，他们又在年，他们又在Math.Biosci杂志上发表了杂志上发表了Fuzzyneura

24、lnetworks一文，明确地对模糊神经网络进行了研究。一文，明确地对模糊神经网络进行了研究。l在这以后，由于神经网络的研究仍处于低潮，所以在这方面的研究没有在这以后，由于神经网络的研究仍处于低潮，所以在这方面的研究没有什么进展。什么进展。模糊神经网络模糊神经网络模糊神经网络模糊神经网络模糊神经网络模型模糊神经网络模型lKosko(1992)出版了该领域的第一本专著出版了该领域的第一本专著NeuralNetworkandFuzzySystems，并在这本专著中提出了模糊联想记忆、模糊认知图，并在这本专著中提出了模糊联想记忆、模糊认知图等重要概念等重要概念,促进了模糊神经网络的研究向着多元化深入

25、发展。促进了模糊神经网络的研究向着多元化深入发展。l1993年，年，Jane提出了基于网络结构的模糊推理的概念，并设计了网络提出了基于网络结构的模糊推理的概念，并设计了网络结构模型，这种网络结构便是模糊神经网络的雏形。自此以后，研究人结构模型，这种网络结构便是模糊神经网络的雏形。自此以后，研究人员设计了各种各样的模糊神经网络结构和学习算法。员设计了各种各样的模糊神经网络结构和学习算法。l模糊理论和神经网络是两个不同的领域，它们的基础理论相差较远，但模糊理论和神经网络是两个不同的领域，它们的基础理论相差较远，但是它们都是智能信息处理的方法将模糊逻辑和神经网络这两种软计算方是它们都是智能信息处理的

26、方法将模糊逻辑和神经网络这两种软计算方法相结合，取长补短，形成一种协作体法相结合，取长补短，形成一种协作体模糊神经网络。模糊神经网络。模糊神经网络模糊神经网络模糊神经网络模糊神经网络模糊神经网络模型模糊神经网络模型第一层为输入层，第一层为输入层，缓存输入信号。它的作用是将输入值直接传递到第二层。缓存输入信号。它的作用是将输入值直接传递到第二层。第二层为模糊化层，也称为隶属度函数层，实现输入变量的模糊化。第二层为模糊化层，也称为隶属度函数层，实现输入变量的模糊化。第三层为模糊规则层。第三层为模糊规则层。第四层为模糊决策层，第四层为模糊决策层，主要针对满足一定条件的量进行分类并将模糊量去模糊化。主

27、要针对满足一定条件的量进行分类并将模糊量去模糊化。第五层为输出层，输出运算结果。第五层为输出层，输出运算结果。模糊神经网络模糊神经网络模糊神经网络模糊神经网络上图只是典型的上图只是典型的FNN结构，事实上由于不同的需要，结构，事实上由于不同的需要，要求建立的模糊神经网络模型也不同，有的主要要求精度高，要求建立的模糊神经网络模型也不同，有的主要要求精度高，而有的主要要求模型尽可能简单。而有的主要要求模型尽可能简单。典型的模糊神经网络有典型的模糊神经网络有BP模糊神经网络、自适应神经模糊神经网络、自适应神经模糊推理系统模糊推理系统(ANFIS)、B样条模糊神经网络、样条模糊神经网络、RBF模糊神模

28、糊神经网络、模糊小脑模型神经网络经网络、模糊小脑模型神经网络(FCMAC)、随机模糊神、随机模糊神经网络经网络(SFNN)、小波模糊神经网络。下表列出了几种模糊、小波模糊神经网络。下表列出了几种模糊神经网络的特点。神经网络的特点。模糊神经网络模糊神经网络模糊神经网络模糊神经网络模糊神经网络模型模糊神经网络模型模糊神经网络模糊神经网络模糊神经网络模糊神经网络模糊神经网络的学习算法模糊神经网络的学习算法l神经模糊网络结构的多样性导致其学习算法也具有多样性的特点。神经模糊网络结构的多样性导致其学习算法也具有多样性的特点。模糊神经网络的学习主要包括结构学习和参数学习。模糊神经网络的学习主要包括结构学习

29、和参数学习。模糊神经网络模糊神经网络模糊神经网络模糊神经网络模糊神经网络的应用模糊神经网络的应用模糊神经网络结合了模糊逻辑与神经网络模糊神经网络结合了模糊逻辑与神经网络的优点，避免了二者的缺点，既可以具有模糊的优点，避免了二者的缺点，既可以具有模糊逻辑的不确定信息处理能力，又可以有神经网逻辑的不确定信息处理能力，又可以有神经网络的自学习能力，因此在控制领域有很广泛的络的自学习能力，因此在控制领域有很广泛的应用前景。应用前景。l模糊神经网络在银行内部信用评级中的应用l模糊神经网络用于复杂系统辨识模糊神经网络模糊神经网络模糊神经网络模糊神经网络信用等级评估是通过对企业或个人的某些单一财务指标进行加

30、权信用等级评估是通过对企业或个人的某些单一财务指标进行加权平均确定的。该方法的最大缺陷在于指标和加权值的确定带有很平均确定的。该方法的最大缺陷在于指标和加权值的确定带有很大的主观性，使得评估结果和实际状况有很大的出入。大的主观性，使得评估结果和实际状况有很大的出入。模糊理论和人工神经网络具有逻辑推理和数值计算的功能和模糊理论和人工神经网络具有逻辑推理和数值计算的功能和较强的非线性函数近似能力，而且它们都不需要建立精确的数学较强的非线性函数近似能力，而且它们都不需要建立精确的数学模型，可以处理不精确甚至不准确的信息实现平滑推理，模糊神模型，可以处理不精确甚至不准确的信息实现平滑推理，模糊神经网络

31、就是汇集二者的优点，集训练、联想、自适应及模糊信息经网络就是汇集二者的优点，集训练、联想、自适应及模糊信息处理于一体的一种特殊的人工神经网络。处理于一体的一种特殊的人工神经网络。模糊神经网络在银行内部信用评级中的应用模糊神经网络在银行内部信用评级中的应用模糊神经网络模糊神经网络模糊神经网络模糊神经网络应用应用模糊神经网络模糊神经网络(FuzzyNeuralNetwork)由于由于吸取了模糊逻辑和神经网络的优点，部分避免吸取了模糊逻辑和神经网络的优点，部分避免了两者的缺点，己经成为当今智能控制研究的了两者的缺点，己经成为当今智能控制研究的热点之一。将模糊化概念和模糊推理引入神经热点之一。将模糊化

32、概念和模糊推理引入神经元的模糊神经网络，提高了原有网络的可解释元的模糊神经网络，提高了原有网络的可解释性和灵活性，将性和灵活性，将“领域知识领域知识”用模糊集合表示，用模糊集合表示，提高了网络的透明度和解释能力。提高了网络的透明度和解释能力。模糊神经网络模糊神经网络模糊神经网络模糊神经网络应用应用模糊神经网络在银行内部信用评级中的应用模糊神经网络在银行内部信用评级中的应用在考虑到神经网络用于商业银行信用风险评估的进步性和局在考虑到神经网络用于商业银行信用风险评估的进步性和局限性的基础上，提出了用模糊神经网络来评估商业银行信用风险。限性的基础上，提出了用模糊神经网络来评估商业银行信用风险。首先，

33、模糊神经网络可以对模糊向量进行分析预测，如很多首先，模糊神经网络可以对模糊向量进行分析预测，如很多经济指标可能为如下形式经济指标可能为如下形式“:贷款企业管理者经营管理能力高、贷款企业管理者经营管理能力高、中、低中、低”;“贷款企业规模大、中、小贷款企业规模大、中、小”等，运用模糊神经网络等，运用模糊神经网络就可以在一定程度上克服神经网络的片面性就可以在一定程度上克服神经网络的片面性;其次模糊神经网络的运算不完全是黑箱操作，信用分析人员其次模糊神经网络的运算不完全是黑箱操作，信用分析人员可以根据实际经验，调整模糊运算规则，这样可以在一定程度上可以根据实际经验，调整模糊运算规则，这样可以在一定程

34、度上解决神经网络的盲目性问题，故将模糊神经网络用于商业银行信解决神经网络的盲目性问题，故将模糊神经网络用于商业银行信用风险问题的评估，具有一定的进步性，是一种有益的尝试，同用风险问题的评估，具有一定的进步性，是一种有益的尝试，同其他方法相比，此评价方法具有科学、简洁、可操作性强等特点，其他方法相比，此评价方法具有科学、简洁、可操作性强等特点，而且应用前景广阔而且应用前景广阔模糊神经网络在银行内部信用评级中的应用模糊神经网络在银行内部信用评级中的应用模糊神经网络模糊神经网络模糊神经网络模糊神经网络应用应用模糊神经网络用于复杂系统辨识模糊神经网络用于复杂系统辨识模糊神经网络模糊神经网络模糊神经网络

35、模糊神经网络应用应用系统的数学模型在系统的性能分析中，发挥着不可或缺的作系统的数学模型在系统的性能分析中，发挥着不可或缺的作用。一般意义上的建模是以对系统的物理、机械特性深入了解为用。一般意义上的建模是以对系统的物理、机械特性深入了解为前提条件的。然而，对于复杂系统而言，要建立系统准确的数学前提条件的。然而，对于复杂系统而言，要建立系统准确的数学模型非常困难。过去常用的方法有两种模型非常困难。过去常用的方法有两种:1.一是利用线性模型来近似描述复杂系统一是利用线性模型来近似描述复杂系统(对于有严重非线性的系统误差较大对于有严重非线性的系统误差较大)2.根据研究对象己知的信息，选择与之相近的非线

36、性数学模根据研究对象己知的信息，选择与之相近的非线性数学模型型(有很大的局限性有很大的局限性)因此，对于复杂系统，我们需要采取其他非传统的方法建模。因此，对于复杂系统，我们需要采取其他非传统的方法建模。模糊神经网络是一种本质非线性模型，易于表达模糊神经网络是一种本质非线性模型，易于表达非线性系统的动态特性，而且从理论上已经证明了模糊非线性系统的动态特性，而且从理论上已经证明了模糊神经网络可以作为万能逼近器，可以以任意精度逼近非神经网络可以作为万能逼近器，可以以任意精度逼近非线性系统。线性系统。这使得它在系统控制和辨识上都得到了广泛应用这使得它在系统控制和辨识上都得到了广泛应用因此模糊神经网络被

37、认为是解决复杂系统建模的一种可因此模糊神经网络被认为是解决复杂系统建模的一种可行的方法。行的方法。迄今为止，主要有基于如下模糊模型的模糊神经网迄今为止，主要有基于如下模糊模型的模糊神经网络。络。模糊神经网络模糊神经网络模糊神经网络模糊神经网络应用应用模糊神经网络用于复杂系统辨识模糊神经网络用于复杂系统辨识l基于Mamdani模糊模型的模糊神经网络 如模糊基函数网络模型，其主要目的是构造一个模糊基函数网络来近似理想的系统行为。这种网络结构可以看作是从输入空间到输出空间的一个模糊映射。l基于T-S模糊模型的模糊神经网络 其主要思想是用网络模型中的前件网络来处理系统的模糊知识，用后件网络构造一系列的

38、线性方程来表示每个子系统，然后通过前件网络的输出将这些子系统模糊连接为一个全局模型。模糊神经网络用于复杂系统辨识模糊神经网络用于复杂系统辨识模糊神经网络模糊神经网络模糊神经网络模糊神经网络应用应用模糊神经网络理论和应用存在的问题模糊神经网络理论和应用存在的问题虽然模糊神经网络在复杂系统控制和建模等应用中已虽然模糊神经网络在复杂系统控制和建模等应用中已经取得了很大的成功，但是作为一门新技术，它在理论和经取得了很大的成功，但是作为一门新技术，它在理论和应用中仍然存在一些问题应用中仍然存在一些问题:l有关网络中包含的模糊知识的获取方祛有关网络中包含的模糊知识的获取方祛。从众多纷繁复杂。从众多纷繁复杂

39、规则中选取若干能有效反映对象特性的模糊规则仍然没有规则中选取若干能有效反映对象特性的模糊规则仍然没有一个通用、有效的方法一个通用、有效的方法;l模糊神经网络模型结构的确定模糊神经网络模型结构的确定。网络中模糊化层和模糊推。网络中模糊化层和模糊推理层节点个数的选取、模糊合成和推理算法的选取以及反理层节点个数的选取、模糊合成和推理算法的选取以及反模糊化问题的计算方法等至今在理论界还存在争议模糊化问题的计算方法等至今在理论界还存在争议;l与神经网络类似，模糊神经网络也存在模型复杂性与模型与神经网络类似，模糊神经网络也存在模型复杂性与模型泛化能力之间的矛盾，即泛化能力之间的矛盾，即模糊神经网络的结构优

40、化问题还模糊神经网络的结构优化问题还远没有解决远没有解决;l如何将模糊神经网络与传统的控制策略有效的结合是目前如何将模糊神经网络与传统的控制策略有效的结合是目前函待解决的问题。函待解决的问题。模糊神经网络模糊神经网络模糊神经网络模糊神经网络应用问题应用问题主要内容主要内容反馈神经网络反馈神经网络模糊神经网络模糊神经网络小脑模型神经网络小脑模型神经网络小脑神经网络小脑神经网络1975年，年，J.S.Albus提出一种模拟小脑功能提出一种模拟小脑功能的神经网络模型，称为的神经网络模型，称为CerebellarModelArticulationController，简称，简称CMAC。CMAC网络是

41、仿照小脑控制肢体运动的原理而建立的神网络是仿照小脑控制肢体运动的原理而建立的神经网络模型。小脑指挥运动时具有不假思索地作经网络模型。小脑指挥运动时具有不假思索地作出条件反射式迅速响应的特点，这种条件反射式出条件反射式迅速响应的特点，这种条件反射式响应是一种迅速联想。响应是一种迅速联想。小脑神经网络小脑神经网络小脑神经网络小脑神经网络CMAC网络具有三个特点l作为一种具有联想功能的神经网络，它的联想具有局作为一种具有联想功能的神经网络，它的联想具有局部推广能力，相似的输入将产生相似的输出，远离的部推广能力，相似的输入将产生相似的输出，远离的输入将产生独立的输出。输入将产生独立的输出。l对于网络的

42、每一输出，只有很少的神经元所对应的权对于网络的每一输出，只有很少的神经元所对应的权值对其有影响，哪些神经元对输出有影响则由输入决值对其有影响，哪些神经元对输出有影响则由输入决定。定。lCMAC的每个神经元的输入输出是一种线性关系，但的每个神经元的输入输出是一种线性关系，但其总体上可看作一种表达非线性映射的表格系统。其总体上可看作一种表达非线性映射的表格系统。小脑神经网络小脑神经网络小脑神经网络小脑神经网络CMAC网络的结构简单的简单的CMAC结构如图所示，结构如图所示，图中图中X表示表示n维维输入状态空间，输入状态空间，A为具有为具有m个个单元的存储区单元的存储区 CMAC网网络络用用Xp=(

43、)T表示，表示，对应对应的的输输出向量用出向量用Yp=F()表表示，示，图图中中p=1,2,3。输输入空入空间间的一个点的一个点Xp将同将同时时激活激活A中的中的C个元素，使其同个元素，使其同时时为为1，而其他大多数元素，而其他大多数元素为为0，网，网络络的的输输出出Yp即即为为A中中4个被激活个被激活单单元元对应对应的的权值权值累加和。累加和。C值与泛化能力有关，称为泛化参数。值与泛化能力有关，称为泛化参数。小脑神经网络小脑神经网络小脑神经网络小脑神经网络CMAC网络的特点l由于由于CMAC网络的学习只在线性映射部分，因此可采用简网络的学习只在线性映射部分，因此可采用简单的单的算法，其收敛速

44、度比算法，其收敛速度比BP算法快得多，且不存在局部算法快得多，且不存在局部极小问题。极小问题。lCMAC网络的泛化能力与感知器的泛化范围网络的泛化能力与感知器的泛化范围C相关，相关，C值值增大则网络泛化能力增强。增大则网络泛化能力增强。lCMAC网络与网络与RBF(径向基函数径向基函数)网络同为局部逼近网，但网络同为局部逼近网，但隐层的接收阈函数不同，且隐层的接收阈函数不同，且CMAC网络主要用于机器人控网络主要用于机器人控制中，而制中，而RBF网络的应用范围与网络的应用范围与BP网络类似。网络类似。l在非线性逼近方面，在非线性逼近方面，CMACCMAC网络用多个局部超平面拟合非线网络用多个局

45、部超平面拟合非线性超曲面，性超曲面，RBFRBF网络用多个局部超曲面拟合非线性超曲面，网络用多个局部超曲面拟合非线性超曲面，而而BPBP网络用一个整体超曲面拟合非线性超曲面。网络用一个整体超曲面拟合非线性超曲面。小脑神经网络小脑神经网络小脑神经网络小脑神经网络CMAC网络的应用l小脑模型应用于控制领域小脑模型应用于控制领域小脑模型最早应用在机器人控制中。机器人行走、小脑模型最早应用在机器人控制中。机器人行走、视觉跟踪、机器人控制运动学、动力学、机械手等中视觉跟踪、机器人控制运动学、动力学、机械手等中都用到小脑模型。都用到小脑模型。Hu等人把小脑模型引入控制双足行等人把小脑模型引入控制双足行走的

46、机器人控制中，提高了它的抗干扰性。走的机器人控制中，提高了它的抗干扰性。Hwang等等人利用了一个自组织的小脑模型来跟踪在平滑轨道的人利用了一个自组织的小脑模型来跟踪在平滑轨道的三个连接的机器人。三个连接的机器人。Kara等将多层的小脑模型应用在等将多层的小脑模型应用在机器人的视觉跟踪中，神经控制器的敏感度和精度都机器人的视觉跟踪中，神经控制器的敏感度和精度都得到提高。当然小脑模型还可以应用于优化控制、模得到提高。当然小脑模型还可以应用于优化控制、模糊控制等控制领域。糊控制等控制领域。小脑神经网络小脑神经网络小脑神经网络小脑神经网络小脑模型应用于网络入侵检测系统入侵检测系统入侵检测系统(Int

47、rusionDetectionSystem，简称，简称IDS)技术，是发现外部攻击和合法用户技术，是发现外部攻击和合法用户滥用特权的一种方法。滥用特权的一种方法。Cannady将小脑模型将小脑模型应用引入应用引入IDS系统中，充分利用了小脑模型在系统中，充分利用了小脑模型在线学习的能力，使线学习的能力，使IDS更加快速、准确、自动更加快速、准确、自动识别网络的入侵。基于小脑模型在线学习能力识别网络的入侵。基于小脑模型在线学习能力的的IDS被称为下一代检测入侵系统。被称为下一代检测入侵系统。小脑模型应用于神经网络建模l小脑模型作为逼近器，常常可以用于建立系统小脑模型作为逼近器，常常可以用于建立系

48、统的输入输出模型。的输入输出模型。Gabor等人通过改善小脑模等人通过改善小脑模型的泛化性能，用来系统建模，于乃功等人也型的泛化性能，用来系统建模，于乃功等人也把小脑模型应用在把小脑模型应用在CSTR系统建模中，都取得系统建模中，都取得了较好的应用效果了较好的应用效果 小脑神经网络小脑神经网络小脑神经网络小脑神经网络小脑模型在其它方面的应用l小脑模型还应用在地图方面的处理、物理探测小脑模型还应用在地图方面的处理、物理探测仪、超声波信号的辨别、颜色校正、信号处理、仪、超声波信号的辨别、颜色校正、信号处理、模式识别、图像的恢复等中。总之，小脑模型模式识别、图像的恢复等中。总之，小脑模型的应用是相当广泛，且很有应用潜力。的应用是相当广泛，且很有应用潜力。小脑神经网络小脑神经网络小脑神经网络小脑神经网络