2023年-遗传算法与智能算法综述.docx

《2023年-遗传算法与智能算法综述.docx》由会员分享，可在线阅读，更多相关《2023年-遗传算法与智能算法综述.docx（19页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、智能算法综述摘要：随着计算机技术的飞速发展，智能计算方法的应用领 域也越来越广泛，本文介绍了当前存在的一些智能计算方法, 阐述了其工作原理和特点，同时对智能计算方法的发展进行 了展望。关键词：人工神经网络 遗传算法 模拟退火算法 群集智能 蚁群算法粒子群算1什么是智能算法智能计算也有人称之为“软计算”，是们受自然（生物界）规 律的启迪，根据其原理，模仿求解问题的算法。从自然界得 到启迪，模仿其结构进行发明创造，这就是仿生学。这是我 们向自然界学习的一个方面。另一方面，我们还可以利用仿 生原理进行设计（包括设计算法），这就是智能计算的思想。这 方面的内容很多，如人工神经网络技术、遗传算法、模拟退

2、 火算法、模拟退火技术和群集智能技术等。2人工神经网络算法“人工神经网络”（ARTIFICIAL NEURAL NETWORK,简称 ANN）是在对人脑组织结构和运行机制的认识理解基础之上 作。这种特殊的组合方式将遗传算法与其它搜索算法区别开 来。遗传算法还具有以下几方面的特点：遗传算法从问题解的串集开始嫂索，而不是从单个解开始。 这是遗传算法与传统优化算法的极大区别。传统优化算法是 从单个初始值迭代求最优解的；容易误入局部最优解。遗传 算法从串集开始搜索，覆盖面大，利于全局择优。(2)许多传 统搜索算法都是单点搜索算法，容易陷入局部的最优解。遗 传算法同时处理群体中的多个个体，即对搜索空间中

3、的多个 解进行评估，减少了陷入局部最优解的风险，同时算法本身 易于实现并行化。遗传算法基本上不用搜索空间的知识或其它辅助信息，而 仅用适应度函数值来评估个体，在此基础上进行遗传操作。 适应度函数不仅不受连续可微的约束，而且其定义域可以任 意设定。这一特点使得遗传算法的应用范围大大扩展。(4)遗传算法不是采用确定性规则，而是采用概率的变迁规则 来指导他的搜索方向。具有自组织、自适应和自学习性。遗传算法利用进化过程 获得的信息自行组织搜索时，硬度大的个体具有较高的生存 概率，并获得更适应环境的基因结构。3.2运用领域前面描述是简单的遗传算法模型，可以在这一基本型上加以 改进，使其在科学和工程领域得

4、到广泛应用。下面列举了一 些遗传算法的应用领域： 优化：遗传算法可用于各种优 化问题。既包括数量优化问题，也包括组合优化问题。 程 序设计：遗传算法可以用于某些特殊任务的计算机程序设计。 机器学习：遗传算法可用于许多机器学习的应用，包括分 类问题和预测问题等。 经济学：应用遗传算法对经济创 新的过程建立模型，可以研究投标的策略，还可以建立市场 竞争的模型。免疫系统：应用遗传算法可以对自然界中 免疫系统的多个方面建立模型，研究个体的生命过程中的突 变现象以及发掘进化过程中的基因资源。 进化现象和学 习现象：遗传算法可以用来研究个体是如何学习生存技巧的, 一个物种的进化对其他物种会产生何种影响等等

5、。 社会 经济问题：遗传算法可以用来研究社会系统中的各种演化现 象，例如在一个多主体系统中，协作与交流是如何演化出来 的。4模拟退火算法模拟退火算法来源于固体退火原理，将固体加温至充分高， 再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状, 内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到 平衡态，最后在常温时达到基态，内能减为最小。根据 Metropolis准则，粒子在温度T时趋于平衡的概率为e- A E/(kT),其中E为温度T时的内能，AE为其改变量，k为 Boltzmann常数。用固体退火模拟组合优化问题，将内能E模 拟为目标函数值f ,温度T演化成控制参数3即得到解组合 优化

6、问题的模拟退火算法：由初始解i和控制参数初值t开始, 对当前解重复“产生新解一计算目标函数差一接受或舍弃” 的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似 最优解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜 索过程。退火过程由冷却进度表(Cooling Schedule)控制，包括 控制参数的初值t及其衰减因子 t、每个t值时的迭代次数L 和停止条件S。5 群体(群集)智能(Swarm Intelligence)受社会性昆虫行为的启发，计算机工作者通过对社会性昆虫 的模拟产生了一系列对于传统问题的新的解决方法，这些研 究就是群集智能的研究。群集智能(Swarm Intelligenc

7、e)中的群 体(Swarm)指的是“一组相互之间可以进行直接通信或者间接 通信(通过改变局部环境)的主体，这组主体能够合作进行分布 问题求解”。而所谓群集智能指的是“无智能的主体通过合作 表现出智能行为的特性”。群集智能在没有集中控制并且不提 供全局模型的前提下，为寻找复杂的分布式问题的解决方案 提供了基础。群集智能的特点和优点：群体中相互合作的个体是分布式的 (Distributed),这样更能够适应当前网络环境下的工作状态；没 有中心的控制与数据，这样的系统更具有鲁棒性(Robust),不 会由于某一个或者某几个个体的故障而影响整个问题的求 解。可以不通过个体之间直接通信而是通过非直接通信

8、 (Stimergy)进行合作，这样的系统具有更好的可扩充性 (Scalability)。由于系统中个体的增加而增加的系统的通信开销 在这里十分小。系统中每个个体的能力十分简单，这样每个 个体的执行时间比较短，并且实现也比较简单，具有简单性 (Simplicity)o因为具有这些优点，虽说群集智能的研究还处于 初级阶段，并且存在许多困难，但是可以预言群集智能的研 究代表了以后计算机研究发展的一个重要方向。在计算智能(Computational Intelligence)领域有两种基于群智 能的算法，蚁群算法(Ant Colony Optimization)和粒子群算法 (Particle Sw

9、arm Optimization),前者是对蚂蚁群落食物采集过 程的模拟，已经成功运用在很多离散优化问题上。5.1 蚁群优化算法受蚂蚁觅食时的通信机制的启发，90年代Dorigo提出了蚁群 优化算法(Ant Colony Optimization, ACO)来解决计算机算法 学中经典的“货郎担问题”。如果有n个城市，需要对所有n 个城市进行访问且只访问一次的最短距离。在解决货郎担问题时，蚁群优化算法设计虚拟的“蚂蚁”将 摸索不同路线，并留下会随时间逐渐消失的虚拟“信息素”。 虚拟的“信息素”也会挥发，每只蚂蚁每次随机选择要走的 路径，它们倾向于选择路径比较短的、信息素比较浓的路径。 根据“信息

10、素较浓的路线更近”的原则，即可选择出最佳路线。 由于这个算法利用了正反馈机制，使得较短的路径能够有较 大的机会得到选择，并且由于采用了概率算法，所以它能够 不局限于局部最优解。蚁群优化算法对于解决货郎担问题并不是目前最好的方法， 但首先，它提出了一种解决货郎担问题的新思路；其次由于 这种算法特有的解决方法，它已经被成功用于解决其他组合 优化问题，例如图的着色(Graph Coloring)以及最短超串 (Shortest Common Supersequence)等问题。5.2 粒子群优化算法粒子群优化算法(PSO)是一种进化计算技术(Evolutionary Computation),有 E

11、berhart 博士和 Kennedy 博士发明。源于对 鸟群捕食的行为研究。PSO同遗传算法类似，是一种基于叠代的优化工具。系统初 始化为一组随机解，通过叠代搜寻最优值。但是并没有遗传 算法用的交叉(crossover)以及变异(mutation)。而是粒子在解空 间追随最优的粒子进行搜索。同遗传算法比较，PSO的优势在于简单容易实现并且没有许 多参数需要调整。目前已广泛应用于函数优化，神经网络训 练，模糊系统控制以及其他遗传算法的应用领域。粒子群优化算法(PSO)也是起源对简单社会系统的模拟，最 初设想是模拟鸟群觅食的过程，但后来发现PSO是一种很好 的优化工具。5.2.1 算法介绍PSO

12、模拟鸟群的捕食行为。一群鸟在随机搜索食物，在这个 区域里只有一块食物。所有的鸟都不知道食物在那里。但是 他们知道当前的位置离食物还有多远。那么找到食物的最优 策略是什么呢。最简单有效的就是搜寻目前离食物最近的鸟 的周围区域。PSO从这种模型中得到启示并用于解决优化问题。PSO中， 每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒 子”。所有的粒子都有一个由被优化的函数决定的适应值 (fitness value),每个粒子还有一个速度决定他们飞翔的方向和 距离。然后粒子们就追随当前的最优粒子在解空间中搜索。PSO初始化为一群随机粒子(随机解)，然后通过叠代找到最优 解，在每一次叠代中，粒子

13、通过跟踪两个“极值”来更新自 己。第一个就是粒子本身所找到的最优解，这个解叫做个体 极值pBest,另一个极值是整个种群目前找到的最优解，这个 极值是全局极值gBesto另外也可以不用整个种群而只是用其 中一部分最优粒子的邻居，那么在所有邻居中的极值就是局 部极值。5.2.2 PSO算法过程种群随机初始化。对种群内的每一个个体计算适应值(fitness value)o适应值 与最优解的距离直接有关。种群根据适应值进行复制。如果终止条件满足的话，就停止，否则转步骤。 从以上步骤，我们可以看到PSO和遗传算法有很多共同之处。 两者都随机初始化种群，而且都使用适应值来评价系统，而 且都根据适应值来进

14、行一定的随机搜索。两个系统都不是保 证一定找到最优解。但是,PSO没有遗传操作如交叉(crossover) 和变异(mutation),而是根据自己的速度来决定搜索。粒子还 有一个重要的特点，就是有记忆。与遗传算法比较，PSO的信息共享机制是很不同的。在遗传 算法中，染色体(chromosomes)互相共享信息，所以整个种群 的移动是比较均匀的向最优区域移动。在PSO中，只有gBest (orIBest)给出信息给其他的粒子，这是单向的信息流动。整 个搜索更新过程是跟随当前最优解的过程。与遗传算法比较, 在大多数的情况下，所有的粒子可能更快的收敛于最优解。 现在已经有一些利用PSO代替反向传播

15、算法来训练神经网络 的论文。研究表明PSO是一种很有潜力的神经网络算法，同 时PSO速度比较快而且可以得到比较好的结果。6展望目前的智能计算研究水平暂时还很难使“智能机器”真正具 备人类的常识，但智能计算将在21世纪蓬勃发展。不仅仅只 是功能模仿要持有信息机理一致的观点。即人工脑与生物脑 将不只是功能模仿，而是具有相同的特性。这两者的结合将 开辟一个全新的领域，开辟很多新的研究方向。智能计算将 探索智能的新概念，新理论，新方法和新技术，而这一切将 在以后的发展中取得重大成就。参考文献1 Ant-Colony Optimization Algorithms(ACO)2 “Swarm intell

16、igence-what is it and why is it interesting3 Tony White/Swarm Intelligence: A Gentle Introduction With Application,4胡守仁等.神经网络导论M.长沙：国防科技大学出版 社,1993.113117.5姚新,陈国良，徐惠敏等.进化算法研究进展J.计算机学 报,1995,18(9):694-706.6张晓，戴冠中,徐乃平.一种新的优化搜索算法一遗传算法.控制理论与应用田.1995, 12(3):265-273.7杨志英.B P神经网络在水质评价中的应用J.中国农村水 利水电,2001,9

17、:27-29.模拟其结构和智能行为的一种工程系统。早在本世纪40年代 初期，心理学家McCulloch、数学家Pitts就提出了人工神经 网络的第一个数学模型，从此开创了神经科学理论的研究时 代。其后，F Rosenblatt、Widrow 和 J. J .Hopfield 等学者又先 后提出了感知模型，使得人工神经网络技术得以蓬勃发展。 神经系统的基本构造是神经元（神经细胞），它是处理人体内各 部分之间相互信息传递的基本单元。据神经生物学家研究的 结果表明，人的一个大脑一般有10101011个神经元。每个 神经元都由一个细胞体，一个连接其他神经元的轴突和一些 向外伸出的其它较短分支一一树突组

18、成。轴突的功能是将本 神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神 经末梢使得兴奋可以同时传送给多个神经元。树突的功能是 接受来自其它神经元的兴奋。神经元细胞体将接受到的所有 信号进行简单处理（如：加权求和，即对所有的输入信号都加 以考虑且对每个信号的重视程度一一体现在权值上一一有所 不同）后由轴突输出。神经元的树突与另外的神经元的神经末 梢相连的部分称为突触。2.1 人工神经网络的特点人工神经网络是由大量的神经元广泛互连而成的系统，它的 这一结构特点决定着人工神经网络具有高速信息处理的能 力。人脑的每个神经元大约有103104个树突及相应的突触, 一个人的大脑总计约形成1014-

19、1015个突触。用神经网络的 术语来说,即是人脑具有1014-1015个互相连接的存储潜力。 虽然每个神经元的运算功能十分简单，且信号传输速率也较 低（大约100次/秒），但由于各神经元之间的极度并行互连功 能，最终使得一个普通人的大脑在约1秒内就能完成现行计 算机至少需要数10亿次处理步骤才能完成的任务。人工神经网络的知识存储容量很大。在神经网络中，知识与 信息的存储表现为神经元之间分布式的物理联系。它分散地 表示和存储于整个网络内的各神经元及其连线上。每个神经 元及其连线只表示一部分信息，而不是一个完整具体概念。 只有通过各神经元的分布式综合效果才能表达出特定的概念 和知识。由于人工神经网

20、络中神经元个数众多以及整个网络存储信息 容量的巨大，使得它具有很强的不确定性信息处理能力。即 使输入信息不完全、不准确或模糊不清，神经网络仍然能够 联想思维存在于记忆中的事物的完整图象。只要输入的模式 接近于训练样本，系统就能给出正确的推理结论。正是因为人工神经网络的结构特点和其信息存储的分布式特 点，使得它相对于其它的判断识别系统，如：专家系统等， 具有另一个显著的优点：健壮性。生物神经网络不会因为个 别神经元的损失而失去对原有模式的记忆。最有力的证明是, 当一个人的大脑因意外事故受轻微损伤之后，并不会失去原 有事物的全部记忆。人工神经网络也有类似的情况。因某些 原因，无论是网络的硬件实现还

21、是软件实现中的某个或某些 神经元失效，整个网络仍然能继续工作。人工神经网络是一种非线性的处理单元。只有当神经元对所 有的输入信号的综合处理结果超过某一门限值后才输出一个 信号。因此神经网络是一种具有高度非线性的超大规模连续 时间动力学系统。它突破了传统的以线性处理为基础的数字 电子计算机的局限，标志着人们智能信息处理能力和模拟人 脑智能行为能力的一大飞跃。2.2 几种典型神经网络简介2.2.1 多层感知网络（误差逆传播神经网络）在1986年以Rumelhart和McCelland为首的科学家出版的 Parallel Distributed Processing一书中，完整地提出了误差逆传播学习

22、算法，并被广泛接受。多层感知网络是一种具有 三层或三层以上的阶层型神经网络。典型的多层感知网络是 三层、前馈的阶层网络，即：输入层I、隐含层（也称中间层）J 和输出层Ko相邻层之间的各神经元实现全连接，即下一层 的每一个神经元与上一层的每个神经元都实现全连接，而且 每层各神经元之间无连接。但BP网并不是十分的完善，它存在以下一些主要缺陷：学习 收敛速度太慢、网络的学习记忆具有不稳定性，即：当给一 个训练好的网提供新的学习记忆模式时，将使已有的连接权 值被打乱，导致已记忆的学习模式的信息的消失。2.2.2 竞争型（KOHONEN）神经网络它是基于人的视网膜及大脑皮层对剌激的反应而引出的。神 经生

23、物学的研究结果表明：生物视网膜中，有许多特定的细 胞，对特定的图形（输入模式）比较敏感，并使得大脑皮层中的 特定细胞产生大的兴奋，而其相邻的神经细胞的兴奋程度被 抑制。对于某一个输入模式，通过竞争在输出层中只激活一 个相应的输出神经元。许多输入模式，在输出层中将激活许 多个神经元，从而形成一个反映输入数据的“特征图形”。竞 争型神经网络是一种以无教师方式进行网络训练的网络。它 通过自身训练，自动对输入模式进行分类。竞争型神经网络 及其学习规则与其它类型的神经网络和学习规则相比，有其 自己的鲜明特点。在网络结构上，它既不象阶层型神经网络 那样各层神经元之间只有单向连接，也不象全连接型网络那 样在

24、网络结构上没有明显的层次界限。它一般是由输入层（模 拟视网膜神经元）和竞争层（模拟大脑皮层神经元，也叫输出层） 构成的两层网络。两层之间的各神经元实现双向全连接，而 且网络中没有隐含层。有时竞争层各神经元之间还存在横向 连接。竞争型神经网络的基本思想是网络竞争层各神经元竞 争对输入模式的响应机会，最后仅有一个神经元成为竞争的 胜者，并且只将与获胜神经元有关的各连接权值进行修正， 使之朝着更有利于它竞争的方向调整。神经网络工作时，对 于某一输入模式，网络中与该模式最相近的学习输入模式相 对应的竞争层神经元将有最大的输出值，即以竞争层获胜神 经元来表示分类结果。这是通过竞争得以实现的，实际上也 就

25、是网络回忆联想的过程。除了竞争的方法外，还有通过抑制手段获取胜利的方法，即 网络竞争层各神经元抑制所有其它神经元对输入模式的响应 机会，从而使自己“脱颖而出”，成为获胜神经元。除此之外 还有一种称为侧抑制的方法，即每个神经元只抑制与自己邻 近的神经元，而对远离自己的神经元不抑制。这种方法常常 用于图象边缘处理，解决图象边缘的缺陷问题。竞争型神经网络的缺点和不足：因为它仅以输出层中的单个 神经元代表某一类模式。所以一旦输出层中的某个输出神经 元损坏，则导致该神经元所代表的该模式信息全部丢失。2.2.3 Hopfield 神经网络1986年美国物理学家陆续发表几篇论文，提出了 Hopfield神经

26、网络。他利用非线性动力学系统理论中的能量函 数方法研究反馈人工神经网络的稳定性，并利用此方法建立 求解优化计算问题的系统方程式。基本的Hopfield神经网络 是一个由非线性元件构成的全连接型单层反馈系统。网络中的每一个神经元都将自己的输出通过连接权传送给所 有其它神经元，同时又都接收所有其它神经元传递过来的信 息。即：网络中的神经元t时刻的输出状态实际上间接地与自 己的t-1时刻的输出状态有关。所以Hopfield神经网络是一个 反馈型的网络。其状态变化可以用差分方程来表征。反馈型 网络的一个重要特点就是它具有稳定状态。当网络达到稳定 状态的时候，也就是它的能量函数达到最小的时候。这里的 能

27、量函数不是物理意义上的能量函数，而是在表达形式上与 物理意义上的能量概念一致，表征网络状态的变化趋势，并 可以依据Hopfield工作运行规则不断进行状态变化，最终能 够达到的某个极小值的目标函数。网络收敛就是指能量函数 达到极小值。如果把一个最优化问题的目标函数转换成网络 的能量函数，把问题的变量对应于网络的状态，那么Hopfield 神经网络就能够用于解决优化组合问题。对于同样结构的网络，当网络参数（指连接权值和阀值）有所变 化时，网络能量函数的极小点（称为网络的稳定平衡点）的个数 和极小值的大小也将变化。因此，可以把所需记忆的模式设 计成某个确定网络状态的一个稳定平衡点。若网络有M个平

28、衡点，则可以记忆M个记忆模式。当网络从与记忆模式较靠近的某个初始状态（相当于发生了某 些变形或含有某些噪声的记忆模式，也即：只提供了某个模 式的部分信息）出发后，网络按Hopfield工作运行规则进行状 态更新，最后网络的状态将稳定在能量函数的极小点。这样 就完成了由部分信息的联想过程。Hopfield神经网络的能量函数是朝着梯度减小的方向变化，但 它仍然存在一个问题，那就是一旦能量函数陷入到局部极小 值，它将不能自动跳出局部极小点，到达全局最小点，因而 无法求得网络最优解。3遗传算法遗传算法（Genetic Algorithms）是基于生物进化理论的原理发 展起来的一种广为应用的、高效的随机

29、搜索与优化的方法。 其主要特点是群体搜索策略和群体中个体之间的信息交换， 搜索不依赖于梯度信息。它是在70年代初期由美国密执根（Michigan）大学的霍兰（Holland）教授发展起来的。1975 年霍兰教授发表了第一本比较系统论述遗传算法的专著自 然系统与人工系统中的适应性(Adaptation in Natural and Artificial Systems)o遗传算法最初被研究的出发点不是为专 门解决最优化问题而设计的，它与进化策略、进化规划共同 构成了进化算法的主要框架，都是为当时人工智能的发展服 务的。迄今为止，遗传算法是进化算法中最广为人知的算法。 近几年来，遗传算法主要在复杂

30、优化问题求解和工业工程领 域应用方面，取得了一些令人信服的结果，所以引起了很多 人的关注。在发展过程中，进化策略、进化规划和遗传算法 之间差异越来越小。遗传算法成功的应用包括：作业调度与 排序、可靠性设计、车辆路径选择与调度、成组技术、设备 布置与分配、交通问题等等。3.1特点遗传算法是解决搜索问题的一种通用算法，对于各种通用问 题都可以使用。搜索算法的共同特征为： 首先组成一组 候选解； 依据某些适应性条件测算这些候选解的适应度; 根据适应度保留某些候选解，放弃其他候选解；对保 留的候选解进行某些操作，生成新的候选解。在遗传算法中, 上述几个特征以一种特殊的方式组合在一起：基于染色体群 的并行搜索，带有猜测性质的选择操作、交换操作和突变操