我的人工神经网络-2基础.ppt

《我的人工神经网络-2基础.ppt》由会员分享，可在线阅读，更多相关《我的人工神经网络-2基础.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第2章章 人工神经网络基础人工神经网络基础主要内容主要内容n生物神经网生物神经网 n人工神经元人工神经元 n单级单级神经网络结构神经网络结构 n示例示例生物体的神经系统生物体的神经系统图图1 生物体的神经元生物体的神经元n根据一个简化的统计，人脑由百亿条神经组成根据一个简化的统计，人脑由百亿条神经组成 每条神经平均连结到其它几千条神经。通过每条神经平均连结到其它几千条神经。通过这种连结方式，神经可以收发不同数量的能量。这种连结方式，神经可以收发不同数量的能量。n神经的一个非常重要的功能是它们对能量的接神经的一个非常重要的功能是它们对能量的接受并不是立即作出响应，而是将它们累加起来，受并不是立

2、即作出响应，而是将它们累加起来，当这个累加的总和达到某个临界阈值时，它们当这个累加的总和达到某个临界阈值时，它们将它们自己的那部分能量发送给其它的神经。将它们自己的那部分能量发送给其它的神经。n大脑通过调节这些连结的数目和强度进行学习。大脑通过调节这些连结的数目和强度进行学习。尽管这是个生物行为的简化描述。但同样可以尽管这是个生物行为的简化描述。但同样可以充分有力地被看作是神经网络的模型。充分有力地被看作是神经网络的模型。n根据生物神经系统的工作过程，我们可以大概根据生物神经系统的工作过程，我们可以大概理解以下这个图所要表达的含义：理解以下这个图所要表达的含义：图图2 生物体的神经系统工作原理

3、生物体的神经系统工作原理生活中的神经网络生活中的神经网络n大家可以想象这样一种情形：寒冷的冬大家可以想象这样一种情形：寒冷的冬天，我们伸手到火炉边烤火，慢慢地，天，我们伸手到火炉边烤火，慢慢地，你觉得自己快要睡着了，这个时候，突你觉得自己快要睡着了，这个时候，突然发现自己伸在火炉边的手特别烫得疼，然发现自己伸在火炉边的手特别烫得疼，然后马上将手缩回去。然后马上将手缩回去。生活中的神经网络生活中的神经网络n这就是一个神经网络的工作实例，火对这就是一个神经网络的工作实例，火对手产生的温度就是图手产生的温度就是图2的输入层。的输入层。（Input），而缩手或不缩手就是图），而缩手或不缩手就是图2的的

4、输出层（输出层（Output）。）。n但是缩手只有在手的温度达到一定的程但是缩手只有在手的温度达到一定的程度才发生的，比如说度才发生的，比如说40度。度。数学解释数学解释n用图用图2来表示上面所说的情形：来表示上面所说的情形：nX1=火对手产生的温度火对手产生的温度 nw1=火对手产生的温度的权值（对火对火对手产生的温度的权值（对火对手产生的温度的放大或是缩小，我们让手产生的温度的放大或是缩小，我们让这个值为这个值为1）n激活函数（激活函数（Active Function）=如果如果 x1*w1 40 激活（缩手），否则抑激活（缩手），否则抑制（不缩手）制（不缩手）n这是单输入的情况，如果有多

5、个输入，这是单输入的情况，如果有多个输入，则输出为则输出为 f(x1*w1+x2*w2+x3*w3)n其中，其中，f(x)为激活函数。为激活函数。示例示例nAND运算：运算：常用的求和运算，如：常用的求和运算，如：1 AND 0=0 nOR运算：运算：常用的求并运算，如：常用的求并运算，如：1 OR 0=1 2个（多）输入的神经网络结构图个（多）输入的神经网络结构图nAND运算运算 其中其中f(x)=If(x=2)return 1;Else return 0;阈值为阈值为2。检验检验n我们可以利用这个结构图来检验一下是否正确：我们可以利用这个结构图来检验一下是否正确：nX1=0,x2=0,x=

6、x1*w1+x2*w2=0 f(x)=0;正确正确 nX1=0,x2=1,x=x1*w1+x2*w2=1 f(x)=0;正确正确 nX1=1,x2=0,x=x1*w1+x2*w2=1 f(x)=0;正确正确 nX1=1,x2=1,x=x1*w1+x2*w2=2 f(x)=1;正确正确 OR运算运算 其中其中f(x)=If(x=1)return 1;Else return 0;阈值为阈值为1。2个（多）输入的神经网络结构图个（多）输入的神经网络结构图n我们可以利用这个结构图来检验一下是否正确：我们可以利用这个结构图来检验一下是否正确：nX1=0,x2=0,x=x1*w1+x2*w2=0 f(x)

7、=0;正确正确 nX1=0,x2=1,x=x1*w1+x2*w2=1 f(x)=1;正确正确 nX1=1,x2=0,x=x1*w1+x2*w2=1 f(x)=1;正确正确 nX1=1,x2=1,x=x1*w1+x2*w2=2 f(x)=1;正确正确生物神经网生物神经网/人工神经网络人工神经网络的基本特性的基本特性n六个基本特征：n1）神经元及其联接；n2）神经元之间的联接强度决定信号传递的强弱；n3）神经元之间的联接强度是可以随学习改变的；n4）信号可以是起刺激作用的，也可以是起抑制作用的；n5）一个神经元接受的信号的累积效果决定该神经元的状态；n6)每个神经元可以有一个“阈值”。学习学习n上

8、面上面2个实例，就是我们需要建立的一个个实例，就是我们需要建立的一个神经网络模型。神经网络模型。n但是我们如何确定但是我们如何确定w1,w2和阈值呢？和阈值呢？n这就需要通过神经网络来学习，从而确这就需要通过神经网络来学习，从而确定定w1,w2和阈值。和阈值。学习学习n拿计算拿计算AND运算的模型来说，需要运算的模型来说，需要2个输个输入入1个输出是肯定的。关键就是如何确定个输出是肯定的。关键就是如何确定2个输入的权值和激活函数的阈值。个输入的权值和激活函数的阈值。n为了计算激活函数的阈值，我们可以增为了计算激活函数的阈值，我们可以增加一个输入层，变成这个样子加一个输入层，变成这个样子：其中其

9、中f(x)=If(x=2)return 1;Else return 0;阈值让阈值让w3去定去定。原先的问题就转化成了求解原先的问题就转化成了求解w1,w2,w3的大小的问题了。的大小的问题了。学习律（规则）学习律（规则）n我们制定这样的学习规律：我们制定这样的学习规律：nW(i)=W(i)+(正确值正确值-实际计算的实际计算的值值)*x(i).通过一定次数的训练，我们就可以让通过一定次数的训练，我们就可以让(正确值正确值-实际计算的值实际计算的值)变得相当下，这样最后的结果变得相当下，这样最后的结果也就稳定了，同时求出了我们需要的也就稳定了，同时求出了我们需要的w1,w2,w3的近似值。的近

10、似值。实际执行过程实际执行过程n得到训练集合（合理的输入和期望的输得到训练集合（合理的输入和期望的输出（如：输入出（如：输入x1=1，x2=1输出输出1）n随机给随机给w1,w2,w3赋值赋值 n执行一定次数的训练执行一定次数的训练 人工神经网络的学习 n人工神经网络最具有吸引力的特点是它的学习能力。n1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。n人工神经网络的表达能力大大地限制了它的学习能力。n人工神经网络的学习过程就是对它的学习过程人工神经网络的学习 n n关联权值的确定关联权值的确定n确定的内容权值wi和n确定的方式学习（训

11、练）有监督的学习：已知一组正确的输入输出结果的条件下，神经网络依据这些数据，调整并确定权值；无监督的学习：只有输入数据，没有正确的输出结果情况下，确定权值。无监督学习 n无监督学习(UnsupervisedLearning)与无监督学习(UnsupervisedTraining)相对应 n抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。无监督学习无监督学习nHebb学习律、竞争与协同（Competitiveand Cooperative）学习、随机联接系统（RandomlyConnectedLearning）等。nHebb算法算法D.O.Hebb在在1961年年的核心的核

12、心：n当两个神经元同时处于激发状态时被加强，否则被减弱。n数学表达式表示：nWij（t+1）=Wij（t）+Vi（t）Vj（t）HebbHebb学习规则学习规则n如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 na为学习速率，Vi,Vj为神经元i和j的输出nHebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形 有监督学习有监督学习 n有监督学习(SupervisedLearning)与有监督学习(SupervisedTraining)相对应。n输入向量与其对应的输出向量构成一个“学习对”。n有监督学习的学习算法的主要步骤包括

13、：1）从样本集合中取一个样本（Ai，Bi）；2）计算出网络的实际输出O；3）求D=Bi-O；4）根据D调整权矩阵W；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。人工神经网络的学习人工神经网络的学习 n学习与工作的关系先学习再工作阈值逻辑单元（阈值逻辑单元（Threshold Logic Unit，TLU）n理解神经网络的第一步是从对抽象生物神经理解神经网络的第一步是从对抽象生物神经开始，并把重点放在开始，并把重点放在阈值逻辑单元（阈值逻辑单元（TLU）这一特征上。一个这一特征上。一个 TLU 是一个对象，它可是一个对象，它可以输入一组加权系数的量，对它们进行求和，以输

14、入一组加权系数的量，对它们进行求和，如果这个和达到或者超过了某个阈值，输出如果这个和达到或者超过了某个阈值，输出一个量。一个量。阈值逻辑单元（阈值逻辑单元（Threshold Logic Unit，TLU）n用符号标注这些功能：用符号标注这些功能：输入值：输入值：X1,X2,.,Xn 权系数：权系数：W1,W2,.,Wn激发层激发层 a：求和计算出的求和计算出的 Xi*Wi，即：，即：a=(X1*W1)+(X2*W2)+.+(Xi*Wi)+.+(Xn*Wn)阈值逻辑单元（阈值逻辑单元（Threshold Logic Unit，TLU）n阈值：阈值：thetan输出结果：输出结果：y当当 a=t

15、heta 时时 y=1，反之，反之 y=0。n注意：注意：输出可以是连续的，因为它也可以由输出可以是连续的，因为它也可以由一个一个 squash 函数函数 s（或（或 sigma）判定，）判定，该函数的自变量是该函数的自变量是 a，函数值在，函数值在 0 和和 1 之之间，间，y=s(a)。/初始化训练集合初始化训练集合TrainSetsets=newTrainSetnewTrainSet(0,0,0),newTrainSet(0,1,0),newTrainSet(1,0,0),newTrainSet(1,1,1);/构造单层神经网络构造单层神经网络2个输入节点个输入节点1个输出节点个输出节点

16、NeuralNetworknn=newNeuralNetwork(2,1);slnn=newSingleLayerNeuralNetworks(nn,sets);/训练训练slnn.Train();MessageBox.Show(AND运算训练结束运算训练结束);this.button2.Enabled=true;this.button3.Enabled=true;this.button4.Enabled=true;this.button1.Enabled=true;this.Text=AND运算运算;AND计计算的算的总总体运行体运行过过程程 n阈值逻辑单元，带有 sigma 函数（顶部）和

17、 cutoff 函数（底部）激活函数(ActivationFunction)n激活函数执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）n1、线性函数（LinerFunction）f（net）=k*net+c netooc非线性斜面函数(RampFunction)ifnetf（net）=k*netif|net|0为一常数，被称为饱和值，为该神经元的最大输出。非线性斜面函数（RampFunction）-neto阈值函数（ThresholdFunction）阶跃函数ifnetf（net）=-ifnet、均为非负实数，为阈值二值形式：1ifnetf（net）=0if

18、net双极形式：1ifnetf（net）=-1ifnet 3、阈值函数（ThresholdFunction）阶跃函数-onet04、S形函数 压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为0和1。nS形函数有较好的增益控制 4、S形函数 a+bo(0,c)netac=a+b/2n 这三个点正处在两个区间的中间，数学方程式无法判断。为此用人工神经网络判断。输入信号为x，y。但要求取

19、值都在0，1之间。由于x，y均在1.12.1，所有数都减去1.1，归一化就完成了。n 处理的基本思路是：自15个已知样品中找出规律，将此规律用于处理三个未确认的样本。n 解决实际问题时要根据具体情况确定隐含层的层数和输入层、隐含层、输出层各自的结点数，以使构成的网络达到最优效果。本例中，隐含层取1，输入结点数为2，分别代表触角与翼长；中间隐含层的结点数取3个就够了。输出的结点数取2，设Af样品的输出是（1，0）；Apf的输出是（0，1）时为理想输出。由15个已知样品进行训练，选出合适的权值。对于任一未知样品，输出元后，和靠近（1，0）还是靠近（0，1）对比，就可以判断其归属了。输入信号为输入信

20、号为x-1.1，y-1.1Af样品的输出是（样品的输出是（1，0）；）；Apf的输出是（的输出是（0，1）学习）学习,检验检验,预测预测n结构McCulloch-Pitts输出函数定义为：McCulloch-PittsMcCulloch-Pitts神经元神经元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-总结总结 M-P模型模型 总结总结n介绍了神经网络的简单最最基本的原理介绍了神经网络的简单最最基本的原理和实例原理。和实例原理。习习 题题1.解释人工神经网络的概念以及它常常用解释人工神经网络的概念以及它常常用来解决哪些方面的问题？来解决哪些方面的问题？2.2.解释人工神经元模型应该具有生物神经解释人工神经元模型应该具有生物神经元哪六个基本特性？元哪六个基本特性？3.图解图解M-P模型。模型。4.释释Hebb学习规则的基本思想。学习规则的基本思想。