计算智能人工神经网络精选文档.ppt

《计算智能人工神经网络精选文档.ppt》由会员分享，可在线阅读，更多相关《计算智能人工神经网络精选文档.ppt（53页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、计算智能人工神经网络本讲稿第一页，共五十三页本讲稿第二页，共五十三页本讲稿第三页，共五十三页本讲稿第四页，共五十三页本讲稿第五页，共五十三页本讲稿第六页，共五十三页计算智能的概念n计算智能计算智能（Computational Intelligence）1992贝兹德克(Bezdek)：CI取决于数据，不依赖知识；AI应用知识精品.n计算智能计算智能:生命科学生命科学+信息科学信息科学 计算智能是信息科学、生命科学、认知科学等不同学科相互交计算智能是信息科学、生命科学、认知科学等不同学科相互交叉的产物。它主要叉的产物。它主要借鉴仿生学的思想借鉴仿生学的思想，基于人们，基于人们对生物体智能对生物体

2、智能机理的认识机理的认识，采用数值计算的方法采用数值计算的方法去模拟和实现人类的智能。去模拟和实现人类的智能。n计算智能的主要研究领域包括：计算智能的主要研究领域包括：神经计算、进化计算、模糊计算、神经计算、进化计算、模糊计算、蚂群计算蚂群计算等。等。本讲稿第七页，共五十三页计算智能的主要研究领域计算智能的主要研究领域n神经网络神经网络是一种对人类智能的是一种对人类智能的结构模拟结构模拟方法，它是通过对大量方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。神经系统的智能机理的。n进化计算进化

3、计算是一种对人类智能的是一种对人类智能的演化模拟演化模拟方法，它是通过对生物方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。的。n模糊计算模糊计算是一种对人类智能的是一种对人类智能的逻辑模拟逻辑模拟方法，它是通过对人方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。类的智能行为的。本讲稿第八页，共五十三页人工智能与计算智能 AI：基于知识处理 CI：基于数值计算 高级认知形式 低级认知形式 逻辑计算 自然计算 推理学习 优化

4、适应n计算复杂度：CI -AI -BI(Biological)n大量实践证明，只有把大量实践证明，只有把AI和和CI很好地结合起来，才能很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确更好地模拟人类智能，才是智能科学技术发展的正确方向。方向。本讲稿第九页，共五十三页CNNCPRCIANNAPRAIBNNBPRBI人类知识人类知识(+)传传 感感 输输入入知识知识(+)传传 感感 数数据据计算计算(+)传感器传感器B生物的生物的A符号的符号的C数值的数值的复复杂杂性性复杂性复杂性输入输入层次层次 贝慈德克的智能的贝慈德克的智能的3个层次个层次本讲稿第十页，共五十三页 组合优化问

5、题求解n局部搜索（LS：Local Search）n遗传算法遗传算法 (GA(GA：Genetic Algorithm)Genetic Algorithm)n人工神经网络人工神经网络（ANN:Artificial Neural Network ANN:Artificial Neural Network）n模拟退火算法模拟退火算法（SASA：Simulated Annealing Simulated Annealing）n蚂蚁群算法蚂蚁群算法 (ACA(ACA：Ant Colony Algorithm)Ant Colony Algorithm)n免疫算法免疫算法 (IA(IA：Immune Al

6、gorithm)Immune Algorithm)n粒子群优化算法粒子群优化算法（PSOPSO：Particle Swarm Optimization Particle Swarm Optimization）n本讲稿第十一页，共五十三页第六章 人工神经网络(ANN:Artificial Neural Network)n人工神经网络概述n多层前馈神经网络(BP网络)nHOPFIELD神经网络nHOPFIELD网络应用本讲稿第十二页，共五十三页6.1 人工神经网络概述(一)n人工神经网络(Artificial Neural Network:ANN):抽象,简化与模拟大脑生物结构的计算模型,也称连接

7、主义或并行分布处理(Paralell Distributed Processing:PDP)模型n人工神经元nANN的三大要素:神经元，网络拓扑结构,学习算法n拓扑结构:分层结构,互连结构n学习算法:监督型(有指导),非监督型(没指导)本讲稿第十三页，共五十三页生物神经元结构本讲稿第十四页，共五十三页神经元的工作机制n神经元组成：细胞体（处理器）、树突（输入端）、轴突（输出端）n神经元有两种工作状态：兴奋和抑制n神经元间的连接权是可以接受外界刺激而改变的，这构成了学习机能的基础。本讲稿第十五页，共五十三页什么是神经元网络n神经元网络(Neural Net)指由大量神经元互连而成的网络，有点象服

8、务器互连而成的国际互连网(Internet).n人脑有1000亿个神经元，每个神经元平均与10000个其他神经元互连，这就构成了人类智慧的直接物质基础。本讲稿第十六页，共五十三页人工神经元的基本结构x1xnxiF()yi=f(uj)=f（wixi-）ujw1wnwi激励函数(或传播函数)n要素:权值(wi),门限值(),非线性激励函数(f)n状态:被激活的兴奋状态(ui=)没被激活的抑制状态(ui )本讲稿第十七页，共五十三页常用神经元激励函数(一)1-1a 阶跃函数1-1b 斜坡函数f(x)=1 x1 kx -1 x 1 -1 x-1f(x)=1 x0 -1 x 0本讲稿第十八页，共五十三页

9、常用神经元激励函数(二)1-1Sigmoid函数f(x)=1/(1+exp(-x)本讲稿第十九页，共五十三页nyj=f(wijhi)-j)激励函数为Sigmoid多层神经网络输入层隐层1x1xny1yn隐层2输出层Hj=f(wijxi)-j)hj=f(wijhi)-j)本讲稿第二十页，共五十三页6.1 人工神经网络概述(二)ANN的突出特点n信息的分布存储：即使局部损坏，通过联想可恢复。n自适应,自组织,自学习：根据环境自动改变网络及结构。n 并行处理：速度快。n非线性映射：任意精度逼近。n从训练样本中自动获得知识：特别是针对复杂环境。ANN的应用-走向实用化n诊断与检测：疾病诊断、故障检测等

10、。n识别：图像、文字、指纹、语音等。n分析与预测：天气、市场、股票，决策控制、管理等。本讲稿第二十一页，共五十三页6.1 人工神经网络概述(二)ANN的分类n拓扑结构：无反反馈/有反馈、层次/全连接n学习方法：有教师/无教师n网络性能：连续型/离散型、线性/非线性n确定性 ：确定性/随机型ANN的发展到50年代中期前 到60年代末期 到80年代初期 至今 产生时期-高潮时期-低潮时期-蓬勃发展时期 神经元模型 双层感知器模型 69年Minsky论著 1982年Hopfield的成功 求解TSP NP难题本讲稿第二十二页，共五十三页6.2 单层感知机神经网络(一)n单层感知机神经网络:1957年

11、Rosenblatt提出,可实现二分类学习算法(为二分类问题)Step1 初始化劝值(wi)以及阀值Step2 提交训练示例(x1,xn,d),如 x 属于A类,d=1;否则x 属于B类,d=0;Step3 计算输出Step4 修正数值:wij(t+1)=wij(t)+kdj(t)-yj(t)yj(t)Step5 goto 2,直到w对一切样本都稳定不变.当f=sgn(wx-)时,以上学习算法一定收敛.本讲稿第二十三页，共五十三页nyj=f(wijxi)-j)单层感知机神经网络基本结构输入部分输出层x1xny1ymwij可解决的问题 两类线性可分模式的分类问题不能解决的问题复杂的模式分类问题本

12、讲稿第二十四页，共五十三页 使用感知机的主要目的是为了对外部输入进行分类。罗森勃拉特使用感知机的主要目的是为了对外部输入进行分类。罗森勃拉特已经证明，如果外部输入是线性可分的（指存在一个已经证明，如果外部输入是线性可分的（指存在一个超平面超平面可以将可以将它们分开），则单层感知器一定能够把它划分为两类。其判别超它们分开），则单层感知器一定能够把它划分为两类。其判别超平面由如下判别式确定：平面由如下判别式确定：作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知器可以很好地实现层感知器可以很好地实现“与与”、“或或”、“非

13、非”运算，但却不能解决运算，但却不能解决“异或异或”问题。问题。本讲稿第二十五页，共五十三页 y=f(w1x1+w2x2-)单层感知机分类器实例输入部分输出层x1x2yw2w1本讲稿第二十六页，共五十三页例例1“与与”运算（运算（x1x2）(0,0)(1,1)(0,1)(1,0)与运算问题图示与运算问题图示输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1x2w1*x1+w2*x2-=0 000w1*0+w2*0-0 0 010w1*0+w2*1-0 w2 100w1*1+w2*0-0 w1 111w1*1+w2*1-0 w1+w2 可以证明此表有解，例如取可以证明此表有解，例如取w1=

14、1，w2=1，=1.5，其分类结果如右图所示。，其分类结果如右图所示。其中，输出为其中，输出为1的用实心圆，输出为的用实心圆，输出为0的用的用空心圆。后面约定相同。空心圆。后面约定相同。本讲稿第二十七页，共五十三页例例2“或或”运算（运算（x1x2）输入输入输出输出超平面超平面阈值条件阈值条件x1x2x1x2w1*x1+w2*x2-=0 000w1*0+w2*0-0 0 011w1*0+w2*1-0 w2 101w1*1+w2*0-0 w1 111w1*1+w2*1-0 w1+w2 此表也有解，例如取此表也有解，例如取w1=1，w2=1，=0.5，其分类结果如右图所示。，其分类结果如右图所示。

15、(0,1)(0,0)(1,0)与运算问题图示与运算问题图示(1,1)本讲稿第二十八页，共五十三页例例3“非非”运算（运算（x1）输入输入输出输出超平面超平面阈值条件阈值条件x1x1w1*x1-=0 01w1*0-0 0 10w1*1 w1 此表也有解，例如取此表也有解，例如取w1=-1，=-0.5，其，其分类结果如右图所示。分类结果如右图所示。非运算问题图示非运算问题图示01本讲稿第二十九页，共五十三页例例4“异或异或”运算（运算（x1 XOR x2）输入输入输出输出超平面超平面阈值条件阈值条件x1x2X1 XOR x2w1*x1+w2*x2-=0 000w1*0+w2*0-0 0 011w1

16、*0+w2*1-0 w2 101w1*1+w2*0-0 w1 110w1*1+w2*1-w1+w2 此表无解，即无法找到满足条件的此表无解，即无法找到满足条件的w1、w2和和，如右图所示。因为异或问题是一个非，如右图所示。因为异或问题是一个非线性可分问题，需要用多层感知器来解决。线性可分问题，需要用多层感知器来解决。(0,1)(0,0)(1,0)异或运算问题图示异或运算问题图示(1,1)本讲稿第三十页，共五十三页XOR问题A2(1,1)A1(0,0)B1(1,0)B2(0,1)无法用一条直线把节点正确分开-非线性问题本讲稿第三十一页，共五十三页XOR问题A2(1,1)A1(0,0)B1(1,0

17、)B2(0,1)可以用二条直线把节点正确分开-多层网络本讲稿第三十二页，共五十三页6.2 多层前馈网络(二)n多层感知机神经网络(MPNN)nMPNN的计算能力:激励函数为S型函数时,二层MPNN:足可以解决任意分类判定问题.三层MPNN:可形成任意复杂决策区域,以任意精度逼近任何连续函数.nMPNN的应用领域:函数逼近,模式识别,分类等.nBP学习算法:本讲稿第三十三页，共五十三页nyj=f(wijhi)-j)激励函数为Sigmoid三层感知机神经网络基本结构简化图输入层隐层1x1xny1yn隐层2输出层Hj=f(wijxi)-j)hj=f(wijhi)-j)本讲稿第三十四页，共五十三页x1

18、1y=x1 XOR x2x1X2x121-1111-1输入层隐层输出层权值权值图5.14“异或”问题的多层感知器阈值0.5阈值-1.5阈值1.5(0,1)(0,0)(1,0)图5.15异或问题的解决(1,1)隐层神经元隐层神经元x11所确定的所确定的直线方程为直线方程为 它可以识别一个半平它可以识别一个半平面。隐层神经元面。隐层神经元x12所确定所确定的直线方程为的直线方程为它也可以识别一个半平面。它也可以识别一个半平面。输出层神经元所确定的直线方程为输出层神经元所确定的直线方程为 它相当于对隐层神经元它相当于对隐层神经元x11和和x12的输出作的输出作“逻辑与逻辑与”运算，因此可识别由隐层已

19、识别的运算，因此可识别由隐层已识别的两个半平面的交集所构成的一个凸多边形，两个半平面的交集所构成的一个凸多边形，如图所示。如图所示。y=x1 XOR x2 =(x1Vx2)AND(-x1V-x2)本讲稿第三十五页，共五十三页反向传播法反向传播法(Back Propagation)(一一)n反向传播法反向传播法(BP):1985年年 Rumellart等提出等提出.正向计算:正向计算各层输出,计算最终输出与目标输出间的误差.反向计算:逐层传播误差信号,修正劝值,直到误差小于给定值.Step1 初始化劝值(wij)及阀值为小的随机数.Step2 施加输入(x0,x1,xn-1),期待输出(d0,d

20、1,dn-1)Step3 正向计算:各层的输出y0,y1,yn-1Step4 反向计算:wij(t+1)=wij(t)+ki Xi(t)Step5 goto 3,直到w对一切样本都稳定不变.输出层:i=yi(1-yi)(di-yi)中间层:i=xi(1-xi)kwik本讲稿第三十六页，共五十三页反向传播法反向传播法(BP)(二二)n优点:算法推导清楚,精度高.计算能力强.训练后的网络运行速度块.n缺点:非线性优化,可能陷入局部最小区间.学习算法的收敛速度慢，可能不收敛.网络中隐含节点的设置无理论指导.本讲稿第三十七页，共五十三页基于神经网络的知识表示与推理基于神经网络的知识表示与推理 n基于神

21、经网络的知识表示并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表某一问题的若干知识在同一网络中表示（分布式）。示（分布式）。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。本讲稿第三十八页，共五十三页异或逻辑的神经网络异或逻辑的神经网络本讲稿第三十九页，共五十三页邻接矩阵本讲稿第四十页，共五十三页n如果用产生式规则描述，则该网络代表下述四条规则：nIF x1=0 AND x2=0 THEN y=0nIF x1=0 AND x2=1 THEN y=1nIF x1=1 AND x2=0 THEN y=1nIF x1=1

22、AND x2=1 THEN y=0本讲稿第四十一页，共五十三页基于神经网络的推理基于神经网络的推理 n基于神经网络的推理是通过网络计算实现的。把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。本讲稿第四十二页，共五十三页正向神经网络推理的特征n同层神经元完全并行，层间的信息传递串行。n计算的数据结果是确定的，不会出现推理冲突。n学习训练的模式是自适应推理。n每个神经元的计算可以分为已知输入加权和与未知输入加权和，如果前者大于后者，则未知输入的输入不影响结果判断，从而在信息不完全时，照样可以进行推理。本讲稿第四十三页，共五十三页6.3 HOPFIELD神经网络(一)nHOPFIE

23、LD神经网络(HOP网络):全连接网络n同步离散HOP网络:S(t+1)=sgn WS(t)+I W:权值矩阵 S:状态向量 当神经元不断更新状态使 S(t+1)=S(t)时,网络收敛.n主要用于:组合优化,记忆与联想.n验证HOP网络的稳定性:能量函数是下降函数 E=-1/2 wijvivj+ivi wii=0,wij=wji 设只有一个神经元的状态变化(1-0),那么E的增量:Ei=1/2 wijvj i 系统的稳定条件为：i=wij本讲稿第四十四页，共五十三页6.3 HOPFIELD神经网络(二)节点间的权值：wij 每个节点的状态：si si=1 如果 WS(t)+I 0 0 其他情况

24、wij本讲稿第四十五页，共五十三页6.3 HOPFIELD神经网络(三)n能量函数:决定网络的平衡状态,函数的极小点就是网络的平衡状态.n设计能量函数,利用极小点(平衡状态)存储信息.m Wij=k(2xi-1)(2xj-1)ij 其它 wij=0;s=1 本讲稿第四十六页，共五十三页6.3 HOP网络应用(一)1 N皇后问题 n问题表示:矩阵n能量函数:E=A/2(sij-1)2+A/2(sij-1)2+(A+B)/2sij(1-sij)+C/2sij(si+k,j+k+si+k,j-k)ijiiijjj本讲稿第四十七页，共五十三页6.3 HOP网络应用(二)2 二分图问题 n问题表示:连接

25、矩阵 C si=1 若 节点 i 属于节点集合A -1 若 节点 i 属于节点集合B 问题可转化为：在si=0的条件下，最小化-cijsisjn能量函数:?本讲稿第四十八页，共五十三页6.3 HOP网络应用(二)2 二分图问题 n问题表示:连接矩阵 C si=1 若 节点 i 属于节点集合A -1 若 节点 i 属于节点集合B 问题可转化为：在si=0的条件下，最小化-cijsisjn能量函数:E=-0.5 cijsisj+0.5k si2 =0.5Nk 0.5 wijsisj (wij=cij-k)本讲稿第四十九页，共五十三页6.3 HOP网络应用(三)3 行商问题 n问题表示:1 2 3

26、4 顺序号 A 0 1 0 0城市B 0 0 1 0C 1 0 0 0D 0 0 0 1 n能量函数:E=?本讲稿第五十页，共五十三页6.3 HOP网络应用(三)3 行商问题 n能量函数:E=行限制+列限制+通过城市限制+成本限制 =A/2sxi sxj =B/2sxi syi =C/2(sxi-N)2 =D/2dxysxi(sx,(I+1)+sx（I-1）)xi本讲稿第五十一页，共五十三页6.4 ANN的局限n 受脑科学研究的限制n没有完整成熟的理论体系n还带有浓厚的经验色彩n与传统技术的接口不成熟本讲稿第五十二页，共五十三页练习题n计算智能有什么特点?包括哪些领域？n什么是人工神经网络？主要特点是什么？n人工神经网络三大要素是什么？nBP网络的工作原理是什么？n什么是HOP网络和能量函数？nHOP网络有什么主要特点？本讲稿第五十三页，共五十三页