智能算法及应用.ppt
《智能算法及应用.ppt》由会员分享,可在线阅读,更多相关《智能算法及应用.ppt(67页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、智能优化算法及应用智能优化算法及应用Intelligent Optimization Algorithms西安工程大学贺兴时西安工程大学贺兴时智能优化算法智能优化算法 智能优化算法又称为现代启发式算智能优化算法又称为现代启发式算法,是一种具有全局优化性能、通用性法,是一种具有全局优化性能、通用性强、且适合于并行处理的算法。这种算强、且适合于并行处理的算法。这种算法一般具有严密的理论依据,而不是单法一般具有严密的理论依据,而不是单纯凭借专家经验,理论上可以在一定的纯凭借专家经验,理论上可以在一定的时间内找到最优解或近似最优解。时间内找到最优解或近似最优解。智能优化算法的特点智能优化算法的特点 它
2、们的共同特点:都是从任一解出发,它们的共同特点:都是从任一解出发,按照某种机制,以一定的概率在整个求解按照某种机制,以一定的概率在整个求解空间中探索最优解。由于它们可以把搜索空间中探索最优解。由于它们可以把搜索空间扩展到整个问题空间,因而具有全局空间扩展到整个问题空间,因而具有全局优化性能。优化性能。背背 景景传统实际问题的特点:传统实际问题的特点:连续性问题主要以微积分为基础,且问题规模较小传统的方法(运筹学)传统的方法(运筹学):线性与非线性规划、动态规划、多目标规划、整数规划等;排队论、库存论、对策论、决策论等。追求准确精确解 理论的完美结果漂亮传统的评价方法:传统的评价方法:算法收敛性
3、(从极限角度考虑)收敛速度(线性、超线性、二次收敛等)传统方法面临的挑战传统方法面临的挑战现代问题的特点 离散性问题主要以组合优化理论为基础 不确定性问题随机性数学模型 半结构或非结构化的问题计算机模拟、决策支持系统 大规模问题并行计算、大型分解理论、近似理论现代优化方法追求满意近似解;实用性强解决实际问题现代优化算法的评价方法 算法复杂性内容简介内容简介1 1、组合优化问题是组合优化问题是解决离散问题的优化问题运筹学分支。通过数学方法的研究去寻找离散事件的最优编排、分组、次序或筛选等,可以涉及信息技术、经济管理、工业工程、交通运输和通信网络等许多方面。典型的优化问题:典型的优化问题:0-10
4、-1背包问题,旅行商问题,背包问题,旅行商问题,机器排序问题等机器排序问题等内容简介内容简介2 2、模拟退火算法模拟退火算法(simulated annealing)退火是一种物理过程,金属物体在加热至一退火是一种物理过程,金属物体在加热至一定的温度后,它的所有分子在状态空间中自定的温度后,它的所有分子在状态空间中自由运动。随着温度的下降,这些分子逐渐停由运动。随着温度的下降,这些分子逐渐停留在不同的状态。在温度最低时,分子重新留在不同的状态。在温度最低时,分子重新以一定的结构排列。模拟退火算法的直观理以一定的结构排列。模拟退火算法的直观理解是:在一个给定的温度,搜索从一个状态解是:在一个给定
5、的温度,搜索从一个状态随机的变化到另一个状态,每一个状态到达随机的变化到另一个状态,每一个状态到达的次数服从一个概率分布。当温度很低时,的次数服从一个概率分布。当温度很低时,以概率以概率1 1停留在最优解。停留在最优解。内容简介内容简介3 3、遗传算法遗传算法(genetic algorithms)遗传算法主要借用生物进化中遗传算法主要借用生物进化中“适者生存适者生存”的规律而设计。遗传算法包含以下主要的规律而设计。遗传算法包含以下主要步骤:第一是对优化问题的解进行编码;步骤:第一是对优化问题的解进行编码;第二是适应函数的构造和应用,适应函数第二是适应函数的构造和应用,适应函数基本上依据优化问
6、题的目标函数而定;基本上依据优化问题的目标函数而定;第三是染色体的结合;最后是变异。第三是染色体的结合;最后是变异。内容简介内容简介3 3、蚁群优化算法(蚁群优化算法(Ant_Algorithm)的基本)的基本思想是模仿蚂蚁依赖信息素进行通信而显示出思想是模仿蚂蚁依赖信息素进行通信而显示出的社会行为。蚂蚁在行动中,会在他们经过的的社会行为。蚂蚁在行动中,会在他们经过的地方留下一些化学物质,称之为地方留下一些化学物质,称之为“信息素信息素”,这些物质能被同一蚁群中后来的蚂蚁感受到,这些物质能被同一蚁群中后来的蚂蚁感受到,并作为一种信号影响后者的行动,蚂蚁选择这并作为一种信号影响后者的行动,蚂蚁选
7、择这条路径的可能性比选择没有这些物质的路径的条路径的可能性比选择没有这些物质的路径的可能性大,后到者留下的信息素会对原有的信可能性大,后到者留下的信息素会对原有的信息素进行加强,这样越短的路径会被越多的蚂息素进行加强,这样越短的路径会被越多的蚂蚁访问,这个过程一直持续到所有的蚂蚁都走蚁访问,这个过程一直持续到所有的蚂蚁都走最短的那一条路径为止。最短的那一条路径为止。内容简介内容简介4 4、粒子群优化算法粒子群优化算法(Particle Swarm optimization)是是一种进化计算技术一种进化计算技术(Evolutionary Computation),由,由Eberhart博士和博士
8、和Kennedy博士发明。源于对博士发明。源于对鸟群捕食的行为研究。鸟群捕食的行为研究。PSO中,每个优化问题的中,每个优化问题的解都是搜索空间中的一只鸟。我们称之为解都是搜索空间中的一只鸟。我们称之为“粒子粒子”。所有的粒子都有一个由被优化的函数决定的。所有的粒子都有一个由被优化的函数决定的适应值适应值(fitness value),每个粒子还有一个速度决,每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。前的最优粒子在解空间中搜索。内容简介内容简介5 5、人工神经网络人工神经网络(ARTIFICIAL NE
9、URAL(ARTIFICIAL NEURAL NETWORKNETWORK,简称,简称ANN)ANN)是在对人脑组织结构和运是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。神经网络的基本原理为:行为的一种工程系统。神经网络的基本原理为:大脑皮层每一点的活力是由其他点势能释放的大脑皮层每一点的活力是由其他点势能释放的综合效能产生。这一势能同下面的因数有关:综合效能产生。这一势能同下面的因数有关:相关其他点的兴奋次数;兴奋的强度;与其不相关其他点的兴奋次数;兴奋的强度;与其不相连的其他点所接受的能量。人工神经网络的相连的其他
10、点所接受的能量。人工神经网络的建立和应用可以归结为三个步骤:网络结构的建立和应用可以归结为三个步骤:网络结构的确定,关联权的确定和工作阶段。确定,关联权的确定和工作阶段。参考资料1.吴启迪吴启迪 智能蚁群算法及应用智能蚁群算法及应用,上海科技出版社,上海科技出版社 从基本结构、算法特点、改进方法、突破途径、从基本结构、算法特点、改进方法、突破途径、实现模式及应用模式等方面进行了论述。实现模式及应用模式等方面进行了论述。主要内容:蚁群算法的由来、研究成果、应用综主要内容:蚁群算法的由来、研究成果、应用综述、算法的具体描述及改进、算法的典型优化问述、算法的具体描述及改进、算法的典型优化问题求解模式
11、、算法的典型应用及拓展应用。题求解模式、算法的典型应用及拓展应用。参考资料2.李士勇李士勇 蚁群算法及其应用,蚁群算法及其应用,哈工大出版社哈工大出版社 系统地阐述蚁群算法的基本原理、基本蚁群算系统地阐述蚁群算法的基本原理、基本蚁群算法及改进算法,蚁群算法与遗传、免疫算法的法及改进算法,蚁群算法与遗传、免疫算法的融合,自适应蚁群算法,并行蚁群算法,蚁群融合,自适应蚁群算法,并行蚁群算法,蚁群算法的收敛性与理论模型及其在优化问题中的算法的收敛性与理论模型及其在优化问题中的应用。应用。参考资料3.王凌王凌 微粒子群优化与调度算法,微粒子群优化与调度算法,清华大学出清华大学出版社版社 系统地阐述粒子
12、群算法的基本原理、特点、流系统地阐述粒子群算法的基本原理、特点、流程和相关研究进展,程和相关研究进展,PSOPSO的收敛问题和应用。的收敛问题和应用。参考资料4.邢文训,谢金星邢文训,谢金星 现代优化计算方法,清华大现代优化计算方法,清华大学出版社,学出版社,2005。5.康立山,谢云尤矢勇等康立山,谢云尤矢勇等 模拟退火算法,科学模拟退火算法,科学出版社,出版社,19946.朱大奇朱大奇 人工神经网络原理及应用,科学出版人工神经网络原理及应用,科学出版社,社,2006一、现代优化计算方法概述一、现代优化计算方法概述1.1 组合优化问题1.2 计算复杂性的概念1.3 启发式算法1.1 组合优化
13、问题组合优化问题组合优化的数学模型:1.1 组合优化问题组合优化问题组合优化问题的三参数表示:1.1 组合优化问题组合优化问题 例例1 0-1背包问题(背包问题(0-1 knapsack problem)1.1 组合优化问题组合优化问题1.1 组合优化问题组合优化问题例2 旅行商问题(TSP,traveling salesman problem)管梅谷教授1960年首先提出,国际上称之为中国邮递员问题。问题描述:一商人去n个城市销货,所有城市走一遍再回到起点,使所走路程最短。1.1 组合优化问题组合优化问题1.1 组合优化问题组合优化问题例例3 装箱问题(装箱问题(bin packing)尺寸
14、为尺寸为1的箱子有若干个,怎样用最少的箱的箱子有若干个,怎样用最少的箱子装下子装下n个尺寸不超过个尺寸不超过1 的物品,物品集合的物品,物品集合为:为:。1.1 组合优化问题组合优化问题1.2 计算复杂性的概念计算复杂性的概念对该研究有兴趣可参考如下文献:计算复杂性,作者:作者:Christos,Papadimitriou清华大学出版社,清华大学出版社,2004年年9月第月第1版版计算复杂性导论,作者:堵丁柱等,作者:堵丁柱等,高等教育出版社,高等教育出版社,2002年年8月第月第1版版1.2 计算复杂性的概念计算复杂性的概念评价算法的好坏计算时间的多少、解的偏离程度例:非对称距离TSP问题的
15、算法实现,所有路径枚举。计算时间:n个城市,固定1个为起终点需要(n-1)!个枚举,设计算机1秒能完成24个城市的枚举,则城市数与计算时间的关系如下表:1.2 计算复杂性的概念计算复杂性的概念 随城市增多,计算时间增加很快。到随城市增多,计算时间增加很快。到随城市增多,计算时间增加很快。到随城市增多,计算时间增加很快。到3131个城市时,个城市时,个城市时,个城市时,要计算要计算要计算要计算325325年。描述算法的好坏年。描述算法的好坏年。描述算法的好坏年。描述算法的好坏计算复杂性计算复杂性计算复杂性计算复杂性讨论计算时间与问题规模之间的关系。以目前二讨论计算时间与问题规模之间的关系。以目前
16、二讨论计算时间与问题规模之间的关系。以目前二讨论计算时间与问题规模之间的关系。以目前二进制计算机中的存储和计算为基础,以理论的形式进制计算机中的存储和计算为基础,以理论的形式进制计算机中的存储和计算为基础,以理论的形式进制计算机中的存储和计算为基础,以理论的形式系统描述,是评估算法性能的基础。系统描述,是评估算法性能的基础。系统描述,是评估算法性能的基础。系统描述,是评估算法性能的基础。城市城市城市城市数数数数2 24 42525262627272828292930303131计算计算计算计算时间时间时间时间1 1secsec2424secsec1010minmin4.34.3hourhour
17、4.94.9dayday136.5136.5dayday10.810.8yearyear325325yearyear1.3 启发式算法启发式算法 启发式算法(启发式算法(heuristic algorithmheuristic algorithm)定义1.基于基于直观或经验构造的算法,在可接受构造的算法,在可接受的花费(时间、空间)下,给出待解组合优化的花费(时间、空间)下,给出待解组合优化问题的每个实例的一个问题的每个实例的一个可行解,该可行解与最,该可行解与最优解偏差事先不一定可以预计优解偏差事先不一定可以预计.定义2.启发式算法是一种技术,在可接受的计启发式算法是一种技术,在可接受的计算
18、费用内寻找最好解,但不保证该解的可行性算费用内寻找最好解,但不保证该解的可行性与最优性,无法描述该解与最优解的近似程度。与最优性,无法描述该解与最优解的近似程度。特点(与传统优化方法不同):凭直观和经验给出算法;不考虑所得解与最优解的偏离程度.1.3 启发式算法启发式算法 优点:(1)有可能比简化数学模型解的误差小;)有可能比简化数学模型解的误差小;(2)对有些难题,计算时间可接受;)对有些难题,计算时间可接受;(3)可用于某些最优化算法(如分支定界算)可用于某些最优化算法(如分支定界算 法)之中的估界;法)之中的估界;(4)直观易行;()直观易行;(5)速度较快;)速度较快;(6)程序简单,
19、易修改。)程序简单,易修改。1.3 启发式算法启发式算法不足:(1)不能保证求得全局最优解;)不能保证求得全局最优解;(2)解的精度不稳定,有时好有时坏;)解的精度不稳定,有时好有时坏;(3)算法设计与问题、设计者经验、技术)算法设计与问题、设计者经验、技术 有关,有关,缺乏规律性;缺乏规律性;(4)不同算法之间难以比较。)不同算法之间难以比较。1.3 启发式算法启发式算法分类:(1)一步算法(2)改进算法(迭代算法)(3)数学规划算法(4)解空间松弛法1.3 启发式算法启发式算法(5)现代优化算法:80年代初兴起年代初兴起 禁忌搜索(禁忌搜索(tabu search)模拟退火(模拟退火(si
20、mulated annealing)遗传算法(遗传算法(genetic algorithms)神经网络(神经网络(neural networks)蚂蚁算法(蚂蚁算法(Ant Algorithm,群体(群集)智能,群体(群集)智能,Swarm Intelligence)(6)其他算法:多种启发式算法的集成多种启发式算法的集成.1.3 启发式算法启发式算法性能分析:性能分析:(1)最坏情形分析)最坏情形分析(worst case analysis)利用最坏实例分析计算复杂性、解的效果。利用最坏实例分析计算复杂性、解的效果。(2)概率分析)概率分析(probability analysis)用最坏情
21、况分析,会因一个最坏实例影响总体用最坏情况分析,会因一个最坏实例影响总体评价评价.在实例数据服从一定概率分布情形下,研究算在实例数据服从一定概率分布情形下,研究算法复杂性和解的效果法复杂性和解的效果.(3)大规模计算分析大规模计算分析 通过大量实例计算,评价算法效果通过大量实例计算,评价算法效果.注意数据的随机性和代表性注意数据的随机性和代表性.二、二、蚁群优化算法蚁群优化算法2.1 蚁群优化算法概念2.2 蚁群优化算法研究现状2.3 带精英策略的蚂蚁系统带精英策略的蚂蚁系统2.4 算法模型和收敛性分析2.5 算法实现的技术问题2.6 应用蚁群优化算法20202020世纪世纪世纪世纪90909
22、090年代意大利学者年代意大利学者年代意大利学者年代意大利学者M M M MDorigoDorigoDorigoDorigo,V V V VManiezzoManiezzoManiezzoManiezzo,A A A AColorniColorniColorniColorni等从生物进化的机制中受到启发,通过模等从生物进化的机制中受到启发,通过模等从生物进化的机制中受到启发,通过模等从生物进化的机制中受到启发,通过模拟自然界蚂蚁搜索路径的行为,提出来一种新型的模拟自然界蚂蚁搜索路径的行为,提出来一种新型的模拟自然界蚂蚁搜索路径的行为,提出来一种新型的模拟自然界蚂蚁搜索路径的行为,提出来一种新型
23、的模拟进化算法拟进化算法拟进化算法拟进化算法 蚁群算法,是群智能理论研究领域蚁群算法,是群智能理论研究领域蚁群算法,是群智能理论研究领域蚁群算法,是群智能理论研究领域的一种主要算法。用该方法求解的一种主要算法。用该方法求解的一种主要算法。用该方法求解的一种主要算法。用该方法求解TSPTSPTSPTSP问题、分配问题、问题、分配问题、问题、分配问题、问题、分配问题、job-shopjob-shopjob-shopjob-shop调度问题,取得了较好的试验结果特别蚁调度问题,取得了较好的试验结果特别蚁调度问题,取得了较好的试验结果特别蚁调度问题,取得了较好的试验结果特别蚁群算法在求解复杂优化问题(
24、特别是离散优化问题)群算法在求解复杂优化问题(特别是离散优化问题)群算法在求解复杂优化问题(特别是离散优化问题)群算法在求解复杂优化问题(特别是离散优化问题)方面有一定优势,方面有一定优势,方面有一定优势,方面有一定优势,2.1 蚁群优化算法概念 蚁群算法是对自然界蚂蚁的寻径方式进行模似而得出的一种仿生算法。蚂蚁在运动过程中,能够在它所经过的路径上留下一种称之为外激素(pheromone)的物质进行信息传递,而且蚂蚁在运动过程中能够感知这种物质,并以此指导自己的运动方向,因此由大量蚂蚁组成的蚁群集体行为便表现出一种信息正反馈现象:某一路径上走过的蚂蚁越多,则后来者选择该路径的概率就越大。2.1
25、 蚁群优化算法概念蚂蚁搜寻食物的具体过程:蚂蚁搜寻食物的具体过程:在蚁群寻找食物时,它们总能找到一条从食物在蚁群寻找食物时,它们总能找到一条从食物到巢穴之间的最优路径。这是因为蚂蚁在寻找路径到巢穴之间的最优路径。这是因为蚂蚁在寻找路径时会在路径上释放出一种特殊的信息素。当它们碰时会在路径上释放出一种特殊的信息素。当它们碰到一个还没有走过的路口时就随机地挑选一条路到一个还没有走过的路口时就随机地挑选一条路径前行。与此同时释放出与路径长度有关的信息素。径前行。与此同时释放出与路径长度有关的信息素。路径越长,释放的激索浓度越低路径越长,释放的激索浓度越低.当后来的蚂蚁再当后来的蚂蚁再次碰到这个路口的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 算法 应用
限制150内