第四章-反馈网络-智能系统课件.ppt

《第四章-反馈网络-智能系统课件.ppt》由会员分享，可在线阅读，更多相关《第四章-反馈网络-智能系统课件.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章 反馈网络反馈网络4.1 霍普菲尔德网络模型霍普菲尔德网络模型4.2 状态轨迹状态轨迹4.3 离散型霍普菲尔德网络离散型霍普菲尔德网络4.4 离散型反馈网络的稳定点与稳定域离散型反馈网络的稳定点与稳定域4.5 连续型霍普菲尔德网络连续型霍普菲尔德网络 4.1 霍普菲尔德网络模型霍普菲尔德网络模型图4.1 反馈网络结构图 图4.2 DHNN中的激活函数 图4.3 CHNN中的激活函数4.2 状态轨迹状态轨迹图4.4 三维空间中的状态轨迹2）不稳定平衡点Nen：在某些特定的轨迹演化过程中，网络能够到达稳定点Nen，但对于其它方向上的任意一个小的区域，不管 取多么小，其轨迹在时间t以后总

2、是偏离 Nen；3）网络的解：如果网络最后稳定到设计人员期望的稳定点，且该稳定点又是渐近稳定点，那么这个点称为网络的解；4）网络的伪稳定点：网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解，这个稳定点为伪稳定点。4.2.2 状态轨迹为极限环状态轨迹为极限环 如果在某些参数的情况下，状态N(t)的轨迹是一个圆，或一个环，状态N(t)沿着环重复旋转，永不停止，此时的输出A(t)也出现周期变化，即出现振荡。对于DHNN，轨迹变化可能在两种状态下来回跳动，其极限环为2。如果在r种状态下循环变化，称其极限环为r。霍普菲尔德网络是利用稳定吸引子来对信息进行储存的，利用从初始状态到稳定吸引

3、子的运行过程来实现对信息的联想存取的。通过对神经元之间的权和阀值的设计，要求单层的反馈网络达到下列目标：（1）网络系统能够达到稳定收敛 （2）网络的稳定点 （3）吸引域的设计 对于以符号函数为激活函数的网络，网络的方程可写为：4.3.2 联想记忆联想记忆 联想记忆功能是DHNN的一个重要应用范围。要想实现联想记忆，反馈网络必须具有两个基本条件：网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。DHNN实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回忆阶段。反馈网络有两种基本的工作方式：串行异步和并行同步方式。对于s个神经元的

4、反馈网络DHNN有2s个状态的可能性。4.3.4 影响记忆容量的因素影响记忆容量的因素 设计DHNN网络的目的，是希望通过所设计的权值矩阵W储存多个期望模式。从海布学习公式的推导过程中可以看出：当网络只记忆一个稳定模式时，该模式肯定被网络准确无误地记忆住。但当需要记忆的模式增多时，情况则发生了变化，主要表现在下面两点上：（1）权值移动 （2）交叉干扰 当k=2时，为了记忆样本T2，需要在记忆了样本T1的权值基础上产生了移动。在此情况下，所求出的新的W为：，对于样本T1来说，网络的输出为：此输出有可能不再对所有的s个输出均满足加权输入和与输出符号一致的条件。网络有可能部分地遗忘了以前已记忆住的模

5、式。另一方面，由于在学习样本T2时，权矩阵W是在已学习了T1的基础上进行修正的。此时，因W起始值不再为零，所以由此调整得出的新的W值，对记忆样本T2来说，也未必对所有的s个输出同时满足符号函数的条件，即难以保证网络对T2的精确的记忆。上加上对样本T2的记忆项。将权值在原来值的4.3.6 正交化的权值设计正交化的权值设计这一方法的基本思想和出发点是为了满足下面四个要求：a)保证系统在异步工作时的稳定性，即它的权值是对称的，满足,i,j=1,2,.,s；b)保证所有要求记忆的稳定平衡点都能收敛到自己；c)使伪稳定点的数目尽可能的少；d)使稳定点的吸引力尽可能的大。%T将被用在设计函数newhop.

6、m中以求出网络：net=newhop(T);%newhop.m函数返回网络的权值与偏差为：W=net.lw1,1,b=net.b1W=0.6925-0.4694;-0.4694 0.6925 b=0;0%给出六组输入矢量为：P=0.5621 0.3577 0.8694 0.0388-0.9309 0.0594;-0.9059 0.3586-0.2330 0.6619 09.8931 0.3423;%在经过25次循环运行后，得到输出为：A=1.0000 -0.0191 1.0000 -1.0000 -0.8036 -1.0000;-1.0000 0.0191 -1.0000 1.0000 0.8

7、036 1.0000;4.4 离散型反馈网络的稳定点与稳定域离散型反馈网络的稳定点与稳定域4.4.1 两个输入神经元的情况两个输入神经元的情况图4.7 反馈网络的激活函数图4.8 平衡点为1,-1和 图4.9 平衡点为1,1和 图4.10 平衡点为-1,-1和-1,1时的稳定域 -1,-1 时的稳定域 1,-1 时的稳定域(a)(b)(c)图4.11 网络记忆的平衡点多于两个时收敛域的情况图4.11a给出平衡点为-1；-1，-1；1和1；-1时情况图4.11b给出平衡点为-1；1，1；-1和-1；-1时情况图4.11c给出平衡点为-1；-1，-1；1，1；-1和1；1时情况4.4.2 网络输入

8、神经元为三个时的情况分析网络输入神经元为三个时的情况分析1)当网络只记忆两个平衡点时，其收敛域应为由两点连线的垂直平分面所截成的两点所在的空间，垂直平分面上的点均收敛到对应的含有0的坐标点上，这些坐标点均是不稳定的平衡点。2)当网络记忆三个平衡点时，其收敛域为由三个点所组成的三角形平面上，从每条边上垂直截下的平面所组成的三个子空间。同样，三个垂直平面上的点均收敛到某个含0的坐标点上，这些坐标点均为不稳定的平衡点。3)当网络记忆四个以及多于四个平衡点时，其收敛域为空间上的八个象限，且有未被记忆的平衡点，在网络运行工作时，可能会以伪稳定点的形式出现。正交化设计方法的另一个优点则是使网络工作时，尽量

9、少地出现伪稳定点。4.4.3 小结小结 通过以上实验可以的出结论：对于具有r个输入神经元、输出函数为 反馈网络，当采用正交权值设计法，所设计的网络最多具有 个平衡点，其中，个是稳定的平衡点，另外 个是不稳定的平衡点。每个稳定点的稳定域（吸引域）为以该点为中心，棱长为2的多边体（形），各平衡域的边界部分为不稳定平衡点的吸引域，不稳定的平衡点在两两稳定平衡点连线的中点上。4.5 连续型霍普菲尔德网络 霍普菲尔德网络可以推广到输入和输出都取连续数值的情形。这时网络的基本结构不变，状态输出方程形式上也相同。若定义网络中第i个神经元的输入总和为ni，输出状态为，则网络的状态转移方程可写为：其中神经元的激

10、活函数f为S型的函数（或线性饱和函数）：或图4.13 连续霍普菲尔德网络激活函数图4.15 网络输出vi与状态ui的关系图根据克西霍夫电流定律，有下列方程成立：对上式进行移项及合并，可得：若令则可得：由此可得电路输入的累加值为：此式与人工神经网络模型的加权值一致。电路状态值与加权输入值之间的关系可用一阶微分方程式电路输出与状态之间的关系为一个单调上升的有界函数：表示：4.5.2 CHNN方程的解及稳定性分析方程的解及稳定性分析1）当系统的状态方程可写成标准形式：其中：A=此系统的特征方程为：通过特征值的不同情况，可以得到系统解的情况时：a)若的实部均小于0，则系统稳定 b)中若出现异号同值实根

11、，系统则出现鞍点 c)中若有零实部，且有零虚部，则系统在其状态空间上出现极限环d)中若有大于零的实部，则系统发散 2）对于为非线性的情况时，状态方程可写为：在平衡点附近对系统进行线性化处理。设平衡点为Ue，如果 G(U,t)在Ue附近连续可微，且存在多阶导数，那么状态矢量中的任意元素满足：若忽略高次微分项，因，则上式可写为：将非线性方程线性化后，则可用线性方法来分析其稳定性。图4.16 线性反馈网络系统解的情况【例4.4】图4.17为由两个运算放大器组成的人工神经网络的分析网络在不同情况下的稳定性。互联网电路，其中，图4.17 两个神经元的互联电路 解：由网络结构图，可得其状态方程为：当很小时

12、，可近似为：为放大器增益，因网络。将代入上式，并整理可得：若取RC=1，则上式的特征方程为：完全相同，有根据的不同值，系统状态轨迹可有下列几种情况：及时，有为鞍点。点(0,0)为系统的一个平衡点。只有当初始值处于的直线上，才能使系统最终收敛到平衡点上。时，有状态为何值，均能收敛到唯一的平衡点(0,0)上。当，系统的状态轨迹 当，此时不论系统的初始(a)(b)图4.18 网络解的情况【例4.5】将【例4.4】中的第二个运算放大器的输出取反，即，如图4.19所示，重新分析系统的稳定性。图4.19 稳定的网络结构图解：状态方程得：其特征方程为：解上述方程得：特征根具有负实部和非零虚部，所以该系统的状

13、态轨迹是一个螺旋递减直至为0的曲线。任何初始状态经过系统的运行后，最终趋于稳定的平衡点 图4.20 稳定网络状态轨迹图4.5.3 霍普菲尔德能量函数及其稳定性分析霍普菲尔德能量函数及其稳定性分析对于连续反馈网络的电路实现其状态方程组为：当系统达到稳定输出时，霍普菲尔德能量函数定义为：对于理想放大器，能量函数可以被简化为：(a)(b)(c)图4.21 能量函数中各函数之间的函数关系式下面首先分析一下能量函数的单调递减。；b)为单调递增连续函数。已知：a)几点说明：根据能量函数，可以很方便的判定系统的稳定性。能量函数与李雅普诺夫函数的区别在于：李氏函数被限定在大于零的范围内，而能量函数无此要求，但

14、要求负向有界；李氏函数要求在零点值为零，即v(0)=0，而能量函数无此要求。霍普菲尔德选择的能量函数，它只是保证系统稳定和渐近稳定的充分条件，而不是必要条件，其能量函数也不是唯一的。4.5.4 能量函数与优化计算能量函数与优化计算能量函数设计的一般方法 设优化人目标函数为f(u,v)优化的约束条件为：g(u,v)=0 优化问题归结为：在满足约束的条件下，使目标函数最小 设计出等价最小的能量函数E为：根据霍普菲尔德能量函数的要求：只有E在负的方向上有界，同时对能量E的一阶时间导数不大于零，则系统最后总能达到E的最小点，此点同时又是系统稳定点。由于求解优化问题的E往往是状态u的函数，所以，为了求解

15、方便，常常将对能量函数求时间的导数的条件转化为对状态求导的条件为：这是因为，当 同理可得另一个等价的条件为：所以在用霍普菲尔德能量函数求解优化问题时，首先应把问题转化为目标函数和约束条件，然后构造出能量函数，并利用条件式求出能量函数中的参数，由此得到人工神经网络的连接权值。具体设计步骤 (1)根据要求的目标函数，写出能量函数的第一项f(u,v)；(2)根据约束条件g(u,v)=0，写出惩罚函数，使其在满足 约 束条件时为最小，作为能量函数的第二项；(3)加上一项，此项是人为加上的，因为在，它是在人工神经网络的电路实现中产生的。为了 使设计出的优化结果能够在电路中得以实现而加上此项。它是一个正值函数。在运行放大增益足够大时，此项可以忽略。(4)根据能量函数E求出状态方程，并使下式成立：(5)根据条件与参数之间的关系，求出 和bi。(6)求出对应的电路参数，并进行模拟电路的实现。作业试设计一个反馈网络存储下列目标平衡点：T=1-1;-1 1;并用6组任意随机初始列矢量，包括一组在目标平衡点连线的垂直平分线上的一点作为输入矢量对所设计的网络的平衡点进行测试，观察3次循环的每一次的输出结果。给出最后收敛到各自平衡点（或不稳定的平衡点）结果的次数。