神经网络 第五章精品文稿.ppt

《神经网络 第五章精品文稿.ppt》由会员分享，可在线阅读，更多相关《神经网络 第五章精品文稿.ppt（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络 第五章第1页，本讲稿共55页5.1 随机型神经网络的基本思想 误差反向传播算法的基本思想:通过对网络参数(连接权、输出阈值)的逐步调整实现网络学习的。它是在提供给网络的学习模式集合的全局误差按梯度下降的条件下达到网络记忆目的。当学习过程进行到全局误差开始有上升的趋势时就停止了，这往往导致网络误差陷入局部极小值，而达不到全局最小点。这种算法被形象地称为“贪心”算法，即急于找到最小解结果则是欲速则不达。第2页，本讲稿共55页 对于Hopfield网络，其工作规则也是使网络的能量函数朝梯度下降的力向变化，即随着网络状态的不断更新，网络能能量函数单调下降，其结果也往往是是使网络陷入局部极小值

2、，最终得不到网络的最优解。分析以上两种网络结构与算法的特点：导致网络学习过程陷入局部极小点的原因主要有：结构上:存在着输入与输出之间的非线性函数关系,从而使网络误差或能量函数所构成的空 间是一个含有多极点的非线性空间；第3页，本讲稿共55页算法上:网络的误差或能量函数只能按单方向减 小而不能有丝毫的上升趋势。对于第一点，是为保证、网络具有非线性映衬能力而必不可少的。解决网络收敛问题的途径就只能从第二点入手，即不但让网络的误差或能量函数向减小的方向变化，而且，还可按某种方式向增大的方向变化，目的是使网络有可能跳出局部极小值而向全局最小点收敛。这就是随机型神经网络算法的基本思想。第4页，本讲稿共5

3、5页第5页，本讲稿共55页4.2 模拟退火算法 模拟退火算法(Simulated Annealing Algorithm)，就是模拟金属构件退火过程的一种算法。第6页，本讲稿共55页 金属或某类固体物质退火处理过程是：先用高温将其加热熔化，使其中的粒子可以自由运动；逐渐降低温度，粒子的自由运动趋势也逐渐减弱，并逐渐形成低能态晶格。若在凝结点附近温度下降的速度足够慢，则金属或固体物质一定会形成最低能量的基态，即最稳定结构状态。实际上，在整个降温的过程中，各个粒子都可能经历了由高能态向低能态、有时又暂时由低能态向高能态最终趋向低能态的变化过程。第7页，本讲稿共55页启发：n 如果把神经网络的状态看

4、作金属内部的“粒子”，把网络在各个状态下的能量函数E看作是粒子所处的能态；n 在算法中设置一种控制参数T，当T较大时，网络能量由低向高变化的可能性也较大；随着T的减小，这种可能性也减小。如 果 把这 个参 数 看 作 温 度，让 其 由 高 慢 慢 地 下 降，则 整 个 网络 状态变 化过程就完全模拟了金属的退火过程，当参数了下降到一定程度时，网络将收敛于能量的最小值。第8页，本讲稿共55页在模拟退火算法中，有两点是算法的关键：控制参数T；能量由低向高变化的可能性。这 两 点 必须结 合 起 来 考虑，当T大时，可 能 性 也 大，T小时，可能性也小，把“可能性”当作参数T的函数。“可能性”

5、用数学模型来表示就是概率。由此可以得到模拟退火算法如下：第9页，本讲稿共55页第10页，本讲稿共55页 上式表明：在模拟退火算法中，某神经元的输出不象Hopfield算法中那样，是由以内部状态Hi为输入的非线性函数的输出(阶跃函数)所决定的，而是由Hi为变量的概率PHi(1)或PHi(0)所决定的。不同的Hi，对应不同的概率)PHi(1)或PHi(0)。第1 1页，本讲稿共55页 以上各式体现了模拟退火算法的两个关键点。将Hopfield网络能量函数的变化式重写:第12页，本讲稿共55页 这在Hopfield算法中是不允许的。而这里却允许比较小的概率(负横轴所对应的概率)接受这种变化。从图还可

6、以看出：n 当温度T较高时，PHi(1)相对于Hi的变化反应迟钝，曲线趋于平坦，特别是当 时曲线变为一条恒为05的直线。此时ui取1和0的概率相等，这意味着在T较高的期间，网络各神经元有更多的机会进行状态选择，相当于金属内部的粒子作激烈的自由运动；n 当温度降低时，PHi(1)曲线变陡 PHi(1)相对于Hi的变化相当敏感。当 时，曲线退化为一阶跃函数，则算法也从模拟退火算法过渡到Hopfield算法。可以说：Hopfield算法是模拟退火算法在 时 的特例。第13页，本讲稿共55页 反复进行网络的状态更新，且更新次数N足够大以后，网络某状态出现的概率将服从分布：式中，Ei为状态ui所对应的网

7、络能量。第14页，本讲稿共55页 这 一 概 率 分 布 就 是 由 统 计 力 学 家 Ludwig Boltzmann(18441906年)提出的Boltzmann分布。式中的Z是为使分布规一化而设置的常数(网络所有状态的能量之和为常数)。由这一分布可以看出:状态的能量越小，这一状态出现的概率就越大。这是Boltzmann分布的一大特点，即“最小能量状态以最大的概率出现”。第15页，本讲稿共55页5.3 Boltzmann机与Boltzmann机工作规则 按模拟退火算法实现网络状态的更新时，网络各状态出现的概率将服从Boltzmann分布。实际上，模拟退火算法的提出并不是针对神经网络的，它

8、最早是由Metrpolis于1953年针对模拟统计物理中液体结晶问题而提出的一种算法思想。1985年，Hinton等人把模拟退火算法引入神经网络中，提出了Boltzman机模型，简称BM网络(Boltzmann Machine)。第16页，本讲稿共55页 Boltzmann机网络结构基本上与离散型Hopfield网络结构相似，由N个神经元构成，每个神经元取0、1二值输出，且神经元之间以对称连接权相互连接。与Hopfield网络所不同的是:Boltzmann机网络一般把整个神经元分为可视层与隐含层两大部分，可视层又可分为输入部分和输出部分。但它与一般的阶层网络结构不同之处是网络没有明显的层次界限

9、，且神经元之间不是单向连接而是双向连接的，如图所示。第17页，本讲稿共55页第18页，本讲稿共55页Bo1tzmann机网络的算法根据其两大用途分为：工作规则：也就是网络的状态更新规则，主要用于 优化组合问题。学习规则：也就是网络连接权和输出阈值的修正规 则，主要用于以网络作为一种外界概率 分布的模拟机。这也是Boltzmann机网络 的一个独特的用途。第19页，本讲稿共55页 Boltzmann机网络工作规则与Hopfield网络工作规则十分相似，只是以概率方式取代阶跃函数方式来决定网络根据其神经元的内部状态而进行的状态更新，并且网络的温度参数随着网络状态更新的进行而逐渐减小。实际上，可以说

10、Boltzmann机网络工作规则就是模拟退火算法的具体体现。现将其步骤归纳如下：第20页，本讲稿共55页第21页，本讲稿共55页第22页，本讲稿共55页第23页，本讲稿共55页4)关于降温策略，由于在Boltzmann机工作规则中引入了概率，所以网络不是收敛于1个状态而是收敛于平衡状态。即在N次网络状态更新过程中，网络各个状态出现的概率分布保持不变，符合Boltzmann分布。由这一分布可知，温度参数T对收敛概率分布有很大影响。当温度参数 时，最小能量的状态实现概率为1，这也正是我们所期望的。第24页，本讲稿共55页 但是如果开始就以T0进行状态更新，则网络状态很可能陷入局部极小点。因此需采用

11、逐渐降温法实现状态更新，而且只有降温速度合适才能保证网络状态收敛于全局最小点。现己证明：按所示降温方案能够保证网络收敛于全局最小值。但用此方法也存在着一个很大缺陷，即网络的收敛时间太长。为此，也可用下式所示方法实施降温 这种降温方法称为快速降温方案。第25页，本讲稿共55页 同Hopfield网络在优化组合中的应用一样，当把问题的约束条件及目标函数转化为网络的目标函数之后，按Boltzmann工作规则进行网络的状态转移，最终能得到问题的最优解。由于Boltzmann机网络的工作规则可使网络的状态转移，无论从任何初始状态出发，都可以收敛到网络能量函数的最小值，能量函数的各个局部极小值无法被利用来

12、作为记忆模式的存贮点。所以Boltzmann机网络不能充当一般意义上的多记忆模式的联想记忆器使用。第26页，本讲稿共55页5.4 Boltzmann机学习规则 Boltzmann 机 网络 除 了 可 以 解 决优 化组 合问题 外，还可 以 通过网络训练模拟外界给出的概率分布，Boltzmann网络训练模拟外界给出的概率分布，实现概率意义上的联想记忆。第27页，本讲稿共55页什么是概率意义上的联想记忆呢?简单地讲,就是网络所记忆的并不是记忆模式本身，而是记忆模式出现的概率。提供给网络训练的也不仅仅是学习模式，而且还有学习模式出现的概率。在上节中曾经指出，Boltzmann机网络可划分为可视层

13、与隐含层两大部分。可视层：主要作为网络记忆的外部表现，即学习模 式及用于回想的输入棋式都是通过可视层 提供给网络的；隐含层：主要用于网络记忆的内部运算。第28页，本讲稿共55页 当把一组记忆模式 及这组记忆模式中每一个模式应出现的概率(即这组记模式的概率分布函数)提供给网络的可视层之后，让网络按将介绍的学习规则进行学习；学习结束之后，当网络按上节介绍的工作规则进行不断地状态转移时，网络的各个状态将按记亿的学习模式的概率分布出现，即概率大的状态出现的频率高，概率小的状态出现的频率低。这时的网络相当于一个按既定概率分布输出的“概率发生器”。这种概率意义上的联想记忆称为自联想记忆。第29页，本讲稿共

14、55页 进一步分析互联记忆方式，把网络的可视层分为输入部分和输出部分，且按下述方式提供给网络学习模式：把某个记忆模式加到网络的输入部分。同时，在网络的输出部分按一给定概率分布给出一组希望输出模式。此时所给出的概率分布函数实际上是输出模式相对于输入模式的条件概率分布。网络正是通过记忆这种条件概率分布函数来完成互联想记忆。第30页，本讲稿共55页 例如，一个由Boltzmann机网络组成的柴油机故障诊断系统，当给网络提供一个表示排气筒有黑烟的故障输入模式后，在网络的输出部分(即故障诊断系统的诊断输出端)按产生这种故障现象的原因的概率的大小提供一系列输出模式，如汽缸点火位置不准、油料中含有杂质等等。

15、从此构成网络的学习模式对。第31页，本讲稿共55页 无论是自联想记亿还是互联想记忆，其实质就是：网络通过学习目标概率分布函数，将其记忆并在以后的回想过程中将这一概率分布再现出来。应该注意的是，Boltzmann机网络与一般的阶层网络不同，它没有明显的层次界限。一般是根据问题的需要，在全互连接的各个神经元中选择一些作为可视层，另一些作为隐含层。可视层：神经元的个数可以根据记忆模式的形式确 定；隐含层：神经元的个数目前则需凭经验确定。第32页，本讲稿共55页 Boltzmann机网络是怎样记忆目标分布函数的呢?按Boltzmann机工作规则进行网络的状态转移，当转移的次数足够大时，网络的状态出现将

16、服从于Boltzmann分布。Boltzmann分布函数是由网络状态的能量函数决定的，而状态的能量函数又是由网络的连接权和输出阈值所决定的。因此，通过适当地调整网络的连接权和输出阀值，就可实现所希望的Boltzmann概率分布。连接权和阈值的调整过程也就是网络的学习过程。第33页，本讲稿共55页第34页，本讲稿共55页第35页，本讲稿共55页第36页，本讲稿共55页第37页，本讲稿共55页 式中 表示网络的可视层各神经元的输出按所希望的概率分布固定在某一状态下，仅让隐含层的各神经元按Boltzmann工作规则进行状态更新，当更新次数足够大并认为网络已达到平衡状态之后神经元i和j同时输出为1的概

17、率(也称ui与uj之间的对称概率)。式中 表示当整个神经元按Boltzmann工作规则进行状态更新、并达到平衡状态之后，神经元i与j同时输出为l的概率。第38页，本讲稿共55页第39页，本讲稿共55页第40页，本讲稿共55页第41页，本讲稿共55页第42页，本讲稿共55页第43页，本讲稿共55页 学习结束后的网络在进行回想时，可使网络从任何初始状态出发，技工作规则进行若干次状态转移，则网络可视层各个状态的出现概率分布将符合网络学习时所希望的概率分布。下面介绍Boltzmann机网络的互联想记忆学习规则。这一规则与自联想记忆学习规则十分相似。第44页，本讲稿共55页第45页，本讲稿共55页第46

18、页，本讲稿共55页第47页，本讲稿共55页第48页，本讲稿共55页 在对 每 一组 学习 模 式进 行训练时，输 入 部 分 的 状 念总是固定在某个输入模式的状态。学习结束后的网络在进行回想时，当给网络的输入部分提供一输入模式后，对网络除输入部分按网络工作规则进行状态更新，在网络的输出部分各状态出现的概率分布将符合学习过的希望概率分布。第49页，本讲稿共55页5.5 网络小结 介绍模拟退火算法及Boltzmann机网络的工作和学习规则时曾多次指出：这一算法可使网络的能量函数收敛于全局最小值，从而可以得到应用问题的最优解。但是实际情况有时并不是这样，所得到的解是近似的最优解。这是什么原因呢?第

19、50页，本讲稿共55页只不过前两种出现的概率较小而已。第51页，本讲稿共55页 由于算法的这一特点，使网络在陷入局部最小时有机会跳出来；但也正是由于这一点，使得当前状态所对应的网络能量有可能比前一个状态所对应的网络能量大。尤其是当网络的初始温度不够大、降温过程太快且结束温度不够小的情况下，这种可能性会更大。甚至会产生当前解比中间所经历的最好解差得多的现象。这就是为什么有时模拟退火算法的结果反不如其它算法结果好的原因。针对模拟退火算法存在的这种缺点，人们又提出了一种改进的算法(Improved Annealing Procedure，简称IAP算法)。可参考有关文献。第52页，本讲稿共55页 尽

20、管模拟退火算法仍然存在着一些不足，但它比快速下降的“贪心”算法：n 得到最优解的概率高得多；n 算法具有很强的通用性；n 除了适用于神经网络之外，还可以应用于图像识别、大规模集成电路设计等众多的组合优化问题；n 特别是当待解决的问题复杂 性较 高、规 模较 大，对问题所处 的领 域 的 有 关 知识 了 解 甚 少 的 情 况 下，这 一 算 法 具有 明显 的优 越 性。因为 它 不 象 其 它 算 法 那样，需 要过 多的依赖于问题所处领域的知识来提高算法的性能。第53页，本讲稿共55页 但是也应当看到：当 已 知 了 大 量 有 关待 解问题 的 背 景 知识 之 后，这 一 算 法却 无 法 充 分 利 用 它们，算 法 的优 点变 成 了 缺 点：另 外，在Boltzmann 学习规则 中，包 含 着 其 工 作规则，学习 与 反 学习 交 替进 行，因 此，网络计 算 量 猛 增。特别 是 当 温 度下降速 度较 慢时，网络 收敛过 程十 分缓 慢，这 也 是 制约这 种网络应用的主要障碍。第54页，本讲稿共55页第55页，本讲稿共55页