人工智能原理第4章知识表示(共85张PPT).pptx

《人工智能原理第4章知识表示(共85张PPT).pptx》由会员分享，可在线阅读，更多相关《人工智能原理第4章知识表示(共85张PPT).pptx（85页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工智能原理人工智能原理第第2 2章章 搜索技术搜索技术（下）（下）1培训专用本章内容本章内容2.1 搜索与问题求解2.2 无信息搜索策略2.3 启发式搜索策略2.4 局部搜索算法2.5 约束满足问题2.6 博弈搜索参考书目附录 A*算法可采纳性的证明第2章 搜索技术2培训专用2.4 局部搜索算法2.4.1 局部搜索与最优化2.4.2 爬山法搜索2.4.3 模拟退火搜索2.4.4 局部剪枝搜索2.4.5 遗传算法第2章 搜索技术3培训专用局部搜索算法局部搜索算法前面的搜索算法都是保留搜索路径的，到达目标的路径就是问题的解然而许多问题中到达目标的路径是无关紧要的与系统地搜索状态空间(保留各种路径

2、)相对，不关心路径的搜索算法就是局部搜索算法局部搜索从一个单独的当前状态出发，通常只移动到相邻状态典型情况下搜索的路径不保留第2章 搜索技术4培训专用局部搜索算法的应用局部搜索算法的应用集成电路设计工厂场地布局车间作业调度自动程序设计电信网络优化车辆寻径文件夹管理第2章 搜索技术5培训专用2.4.1 2.4.1 局部搜索与最优化问题局部搜索与最优化问题局部搜索算法的优点：只使用很少的内存(通常是一个常数)经常能在不适合系统化算法的很大或无限的状态空间中找到合理的解最优化问题根据一个目标函数找到最佳状态/只有目标函数，而不考虑(没有)“目标测试”和“路径耗散”局部搜索算法适用于最优化问题第2章

3、搜索技术6培训专用状态空间地形图状态空间地形图(1)(1)第2章 搜索技术山肩目 标 函数全局最大值局部最大值“平坦”局部最大值状 态 空间当 前 状态7培训专用状态空间地形图状态空间地形图(2)(2)在状态图中，既有“位置”(用状态表示)又有“高度”(用耗散值或目标函数值表示)如果高度对应于耗散值，则目标是找到全局最小值，即图中最低点如果高度对应于目标函数，则目标是找到全局最大值，即图中最高峰如果存在解，则完备的局部搜索算法能够找到解而最优的局部搜索算法能够找到全局最大或最小值第2章 搜索技术8培训专用局部搜索算法局部搜索算法本节简要介绍以下4种局部搜索算法/介绍其算法思想爬山法搜索模拟退火

4、搜索局部剪枝搜索遗传算法从搜索的角度看遗传算法也是搜索假设空间的一种方法(学习问题归结为搜索问题)生成后继假设的方式第2章 搜索技术9培训专用2.4.2 2.4.2 爬山法搜索爬山法搜索爬山法(hill-climbing)就是向值增加的方向持续移动登高过程/如果相邻状态中没有比它更高的值，则算法结束于顶峰爬山法搜索算法思想：(1)令初始状态S0为当前状态(2)若当前状态已经达标，则算法运行结束，搜索成功(3)若存在一个动作可以作用于当前状态以产生一个新状态，使新状态的估计值优于当前状态的估计值，则放弃当前状态，并令刚产生的新状态为当前状态，转(2)(4)取当前状态为相对最优解，停止执行算法第2

5、章 搜索技术10培训专用爬山法搜索的局限爬山法搜索的局限爬山法是一种局部贪婪搜索，不是最优解算法(或是不完备的)/其问题是：局部极大值比其邻居状态都高的顶峰，但是小于全局最大值(参照状态空间地形图)山脊一系列的局部极大值高原评价函数平坦的一块区域(或者山肩)第2章 搜索技术11培训专用爬山法搜索的变形爬山法搜索的变形爬山法的变形随机爬山法随机选择下一步首选爬山法随机选择直到有优于当前节点的下一步随机重新开始爬山法随机生成初始状态，进行一系列爬山法搜索这时算法是完备的概率接近1第2章 搜索技术12培训专用2.4.3 2.4.3 模拟退火搜索模拟退火搜索将爬山法(停留在局部山峰)和随机行走以某种方

6、式结合，以同时获得完备性和效率模拟退火的思想想象在不平的表面上如何使一个乒乓球掉到最深的裂缝中如果只让其在表面滚动，则它只会停留在局部极小点/如果晃动平面，可以使乒乓球弹出局部极小点/技巧是晃动足够大使乒乓球弹出局部极小点，但又不能太大把它从全局极小点中赶出第2章 搜索技术13培训专用模拟退火的解决思路模拟退火的解决思路(1)(1)思路开始使劲晃动(先高温加热)然后慢慢降低摇晃的强度(逐渐降温)退火过程算法的核心移动选择选择随机移动，如果评价值改善，则移动被接受，否则以某个小于1的概率接受概率按照移动评价值变坏的梯度E而呈指数级下降/同时也会随着作为控制的参数“温度”T的降低(数值减小)而降低

7、接受概率=eE/T(注意此时E 0)第5章 搜索技术14培训专用模拟退火的解决思路模拟退火的解决思路(2)(2)温度T是时间的函数，按照模拟退火的思想，数值应该逐渐减小(降温)因为接受概率=eE/T且E n则此约束不能被满足相应算法删除约束中只有单值值域的变量，将其取值从其余变量值域中删去；对单值变量重复此过程；如果得到空值域或剩下的变量数大于取值数，则产生矛盾其他约束资源约束/边界约束第2章 搜索技术44培训专用2.5.5 2.5.5 关于失败变量的启发式关于失败变量的启发式在回溯算法中，当发现不满足约束即搜索失败时，则回到上一个变量并尝试下一个取值称为历时回溯/在很多情况下这样做是效率很低

8、的因为问题并不决定于上一个(甚至几个)变量的取值所以，回溯应该倒退到导致失败的变量集合中的一个变量该集合称为冲突集变量X的冲突集是通过约束与X相连接的先前已赋值变量的集合第2章 搜索技术45培训专用冲突集冲突集对于地图染色问题，设有不完全赋值Q=red,NSW=green,V=blue,T=red/此时，SA赋值将发现不满足任何约束SA的冲突集=Q,NSW,V对于前向检验算法，可以很容易得到冲突集基于X赋值的前向检验从变量Y的值域中删除一个值时，说明X和Y存在冲突，则显然X是Y的冲突集中的一个变量当到达Y时，可知回溯到哪个变量第2章 搜索技术46培训专用后向跳转后向跳转回溯检验导致失败的变量的

9、赋值后向跳转：回溯到冲突集中时间最近(最后赋值)的变量每个被后向跳转剪枝的分支在前向检验算法中也被剪枝简单的后向跳转在前向检验(弧相容性检验)搜索中是多余的因为都是做取值相容的检测，只要在弧相容检验时增加一个变量集合记录即可第2章 搜索技术47培训专用冲突指导的后向跳转冲突指导的后向跳转变量的冲突集更一般的情况前面的变量集合中全部变量(不是其中一个变量)使得当前变量与之冲突冲突指导的后向跳转处理令Xj是当前变量，conf(Xj)是其冲突集，如果Xj每个可能取值都失败了，则后向跳转到conf(Xj)中最近的一个变量Xi令conf(Xi)=conf(Xi)conf(Xj)-Xi从Xi向前是无解的/

10、从Xi回到某个以前的变量赋值(参考p116例子)第2章 搜索技术48培训专用2.6 博弈搜索2.6.1 极大极小决策2.6.2-剪枝第2章 搜索技术49培训专用博弈搜索问题与方法博弈搜索问题与方法从智能体角度看，博弈是多智能体之间的竞争和对抗/在竞争的环境中，每个智能体的目的是冲突的，由此引出对抗搜索问题称为博弈本节探讨两个问题如何搜索到取胜的路径/如何提高搜索效率相应的方法最优策略(极大极小决策)/-剪枝第2章 搜索技术50培训专用博弈游戏的描述博弈游戏的描述两个游戏者的博弈可以定义为一类搜索问题，其中包括：初始状态棋盘局面和哪个游戏者出招后继函数返回(招数,状态)对的一个列表，其中每对表示

11、一个合法招数和相应的结果状态终止测试判断游戏是否结束效用函数或称目标函数，对终止状态给出一个数值如输赢和平局(以-1/+1/0表示)双方的初始状态和合法招数定义了游戏的博弈树此为博弈搜索第2章 搜索技术51培训专用井字棋的博弈树井字棋的博弈树第2章 搜索技术XXXXXXXXXX OOXXOX O XX OXX OXX O XXOOX OOX XXXOOXX OXOOXMAX(X)MIN(O)MAX(X)MIN(O)TERMINAL效用-10+152培训专用2.6.1 2.6.1 极大极小决策极大极小决策博弈搜索中，最优解是导致取胜的终止状态的一系列招数在井字棋搜索树中，因为MAX先行，所以MA

12、X的任务是利用搜索树确定最佳招数/但是另一方MIN也有发言权因此MAX制定取胜策略时必须不断地考虑MIN应对条件下如何取胜即MAX初始状态下应该采取什么招数，然后是MIN应对造成的状态下MAX采取的招数，接着继续考虑下一步应对后的招数.第2章 搜索技术53培训专用极大极小值极大极小值(1)(1)假设一个两层的博弈树(因为即使是井字棋的博弈树也太复杂了)，其中有MAX节点和MIN节点博弈树中，每个单方的招数(或称走步)是一层/双方各走一招称为一步(博弈树的深度是一步的)给定一棵博弈树，最优策略可以通过检查每个节点的极大极小值来决定记为MAX-MIN(n)，所以也称为极大极小决策第2章 搜索技术5

13、4培训专用极大极小值极大极小值(2)(2)如果博弈双方都按照最优策略进行，那么一个节点的极大极小值就是对应状态的效用值(对应MAX)对于某个节点，极大极小函数如下定义MAX优先选择有极大值的状态/MIN则选择有极小值的状态第5章 搜索技术55培训专用极大极小值极大极小值(3)(3)第2章 搜索技术 3 12 8 2 4 6 14 5 2ABDC3223MAXMINMAX56培训专用极大极小值极大极小值(4)(4)图中MAX先行，有3个后继MIN节点，此时MAX的取值必须看MIN如何取值每个MIN节点亦有3个后继MAX节点，假设其取值已知因为MIN节点只取其后继节点中之最小者(让MAX效用最小)

14、，故B=3/C=2/D=2MAX节点取A/B/C中最大者，故A=3最后根节点A的极大极小函数值=3引向具有最高极大极小值的后继第2章 搜索技术57培训专用极大极小值算法说明极大极小值算法说明简单的递归算法按照定义计算每个后继节点的极大极小值/搜索是从目标到初始节点的反向推导算法对博弈树实行了深度优先搜索如果博弈树的最大深度为m，每个节点的合法招数为b，则算法的时间复杂度是O(bm)每次生成全部后继节点的空间复杂度是O(bm)每次只生成一个后继节点的空间复杂度是O(m)第2章 搜索技术58培训专用极大极小值算法极大极小值算法Function MAX-MIN-DECISION(state)retu

15、rns an actioninputs:state(current state in game)v MAX-VALUE(state)return the action in SUCCESSORS(state)with value vFunction MAX-VALUE(state)returns a utility valueif TERMINAL-TEST(state)then return UTILITY(state)v-for a,s in SUCCESSORS(state)do v MAX(v,MIN-VALUE(s)return v(a=action招数)Function MIN-V

16、ALUE(state)returns a utility valueif TERMINAL-TEST(state)then return UTILITY(state)v+for a,s in SUCCESSORS(state)do v MIN(v,MAX-VALUE(s)return v第2章 搜索技术59培训专用2.6.2 2.6.2 -剪枝剪枝极大极小值搜索的问题是状态数随着棋局步数的数量而指数级增长不幸的是没有办法消除这种指数级增长，所幸的是可以有效将其减半剪枝技术应用于极大极小值搜索树中-剪枝剪掉那些不可能影响最后决策的分支，返回和极大极小值算法同样的结果例子的剪枝过程中 MAX-MI

17、N(n)=max(min(3,12,8),min(2,x,y),min(14,5,2)=max(3,min(2,x,y),2)=max(3,z,2)=3第2章 搜索技术60培训专用博弈树的剪枝博弈树的剪枝(1)(1)第2章 搜索技术3-,+AB-,3(a)-,+12AB3-,3(b)61培训专用博弈树的剪枝博弈树的剪枝(2)(2)第2章 搜索技术12AB3,+383,3(c)12ABC3,+-,23823,3(d)62培训专用博弈树的剪枝博弈树的剪枝(3)(3)第2章 搜索技术-,1412ABDC3,14-,2382143,3(e)12ABDC3,3-,22,238214523,3(f)63培

18、训专用-剪枝算法剪枝算法(1)(1)在极大极小值算法基础上增加了剪枝功能，即在返回值基础上增加了判断Function ALPHA-BETA-SEARCH(state)returns an actioninputs:state(current state in game)v MAX-VALUE(state,-,+)return the action in SUCCESSORS(state)with value v第2章 搜索技术64培训专用-剪枝算法剪枝算法(2)(2)Function MAX-VALUE(state,)returns a utility valueinputs:state ,t

19、he value of the best alternative for MAX along the path to state ,the value of the best alternative for MIN along the path to stateif TERMINAL-TEST(state)then return UTILITY(state)v-for a,s in SUCCESSORS(state)dov MAX(v,MIN-VALUE(s,)if v then return v MAX(,v)return v第2章 搜索技术65培训专用-剪枝算法剪枝算法(3)(3)Func

20、tion MIN-VALUE(state,)returns a utility valueinputs:state,the value of the best alternative for MAX along the path to state the value of the best alternative for MIN along the path to stateif TERMINAL-TEST(state)then return UTILITY(state)v+for a,s in SUCCESSORS(state)dov MIN(v,MAX-VALUE(s,)if v then

21、 return v MIN(,v)return v第2章 搜索技术66培训专用-剪枝算法的说明剪枝算法的说明-剪枝可以应用树的任何深度，许多情况下可以剪掉整个子树/其原则是如果在节点n的父节点或者更上层的节点有一个更好的选择m，则在实际游戏(搜索)中永远不会到达n=到目前为止在路径上任意点发现的MAX最佳选择=到目前为止在路径上任意点发现的MIN最佳选择-搜索不断更新/值，当某个节点的值分别比/值更差时剪掉该节点的剩余分支第2章 搜索技术67培训专用-剪枝的效率剪枝的效率-剪枝的效率很大程度上取决于检查后继节点的次序应该先检查那些可能最好的后继如果能够先检查那些最好的后继，则-剪枝算法只需检查

22、O(bd/2)个节点以决定最佳招数/极大极小值算法为O(bd)有效分支因子b到b的平方根效率大大提高第2章 搜索技术68培训专用本章复习提示本章复习提示尝试使用搜索方式求解问题/注意本章的搜索算法都是通用算法，即没有考虑具体任务的相关知识具体搜索问题的形式化表示(初始状态/后继函数/搜索代价等)了解各种搜索算法(包括局部搜索和博弈搜索)的思想、相关性质和性能尝试用启发式搜索算法(A*算法)解决一些游戏问题约束满足问题的相关概念第2章 搜索技术69培训专用参考书目参考书目Stuart Russell/Peter Norvig:AIMA 第3章/第4章/第5章/第6章陆汝钤 编著:人工智能(上册)

23、第5章/第6章/第8章/第9章田盛丰、黄厚宽，人工智能与知识工程，中国铁道出版社，1999年8月第1版，第4章/第9章第2章 搜索技术70培训专用附录 A*算法可采纳性的证明第2章 搜索技术71培训专用A*算法可采纳性算法可采纳性定理：A*算法是可采纳的，即若存在从初始节点S0到目标节点Sg的路径，则A*算法必能结束在最佳路径上证明的过程：首先证明A*算法必定成功结束其次证明A*算法结束时中止于最佳路径第2章 搜索技术72培训专用证明的步骤证明的步骤证明分为三步：(1)对于有限图，A*算法一定成功结束(2)对于无限图，A*算法一定成功结束(3)A*算法必定终止于最佳路径上对于无限图情况的证明，

24、引入2个引理(1)如果A*算法不终止，则存在f值任意大的节点(2)A*算法结束前，仍有耗散值更小的节点待扩展第2章 搜索技术73培训专用定理定理1的证明的证明(1)(1)定理1对于有限图，如果从初始节点S0到目标节点Sg有路径存在，则A*算法一定成功结束证明：首先证明算法必定会结束由于搜索图为有限图，如果算法能找到解，则会成功结束；如果算法找不到解，则必然会由于Open表变空而结束。因此，A*算法必然会结束第2章 搜索技术74培训专用定理定理1的证明的证明(2)(2)然后证明算法一定会成功结束由于至少存在一条由初始节点到目标节点的路径，设此路径为S0=n0，n1，nk=Sg算法开始时，节点n0

25、在Open表中，而且路径中任一节点ni离开Open表后，其后继节点ni+1必然进入Open表，这样，在Open表变为空之前，目标节点必然出现在Open表中/因此，算法必定会成功结束第2章 搜索技术75培训专用引理引理1的证明的证明(1)(1)引理1对无限图，如果从初始节点S0到目标节点Sg有路径存在，且A*算法不终止的话，则从Open表中选出的节点必将具有任意大的f值证明：设d*(n)是A*算法生成的从初始节点S0到节点n的最短路径长度，由于搜索图中每条边的代价都是一个正数，令这些正数中最小的一个数是e,则有第2章 搜索技术76培训专用引理引理1的证明的证明(2)(2)因为是最佳路径的代价，故

26、有又因为h(n)0，故有如果A*算法不终止的话，从Open表中选出的节点必将具有任意大的d*(n)值，因此，也将具有任意大的f值第2章 搜索技术77培训专用引理引理2的证明的证明(1)(1)引理2在A*算法终止前的任何时刻，Open表中总存在节点n，它是从初始节点S0到目标节点的最佳路径上的一个节点，且满足证明：设从初始节点S0到目标节点t的最佳路径序列为 S0=n0，n1，nk=Sg算法开始时，节点S0在Open表中，当节点S0离开Open进入Closed表时，节点n1进入Open表第2章 搜索技术78培训专用引理引理2的证明的证明(2)(2)因此，A*没有结束以前，在Open表中必存在最佳

27、路径上的节点设这些节点排在最前面的节点为n,则有f(n)=g(n)+h(n)由于n在最佳路径上，故有g(n)=g*(n),从而f(n)=g*(n)+h(n)又由于A*算法满足h(n)h*(n),故有f(n)g*(n)+h*(n)=f*(n)因为在最佳路径上的所有节点的f*值都应相等，因此有f(n)f*(S0)第2章 搜索技术79培训专用定理定理2的证明的证明定理2对于无限图，如果从初始节点S0到目标节点Sg有路径存在，则A*算法必然会结束证明：(反证法)假设A*算法不结束，由引理1知Open表中的节点有任意大的f值，这与引理2的结论相矛盾，因此，A*算法只能成功结束推论1Open表中任一具有f

28、(n)f(S0)的节点n，最终都被A*算法选作为扩展节点第2章 搜索技术80培训专用定理定理3的证明的证明(1)(1)定理3A*算法是可采纳的，即若存在从初始节点S0到目标节点Sg的路径，则A*算法必能结束在最佳路径上证明：证明过程分以下两步进行先证明A*算法一定能够终止在某个目标节点上由定理1和定理2可知，无论是对有限图还是无限图，A*算法都能够找到某个目标节点而结束第2章 搜索技术81培训专用定理定理3的证明的证明(2)(2)再证明A*算法只能终止在最佳路径上(反证法)假设A*算法未能终止在最佳路径上，而是终止在某个目标节点Sg处，则有f(Sg)=g(Sg)f*(S0)由引理2可知，在A*

29、算法结束前，必有最佳路径上的一个节点n在Open表中且有f(n)f*(S0)f(Sg)这时，A*算法一定会选择n来扩展，而不可能选择Sg，从而也不会去测试目标节点Sg，这就与假设A*算法终止在目标节点相矛盾/因此，A*算法只能终止在最佳路径上第2章 搜索技术82培训专用推论推论2推论2在A*算法中，对任何被扩展的任一节点n，都有f(n)f*(S0)证明：令n是由A*选作扩展的任一节点，因此n不会是目标节点，且搜索没有结束/由引理2可知，在Open表中有满足f(n)f*(S0)的节点n若n=n,则有f(n)f*(S0)否则，算法既然选择n扩展，那就必有f(n)f(n)所以有f(n)f*(S0)第

30、2章 搜索技术83培训专用演讲完毕，谢谢观看！培训专用内容总结人工智能原理第2章 搜索技术（下）。人工智能原理第2章 搜索技术（下）。与系统地搜索状态空间(保留各种路径)相对，不关心路径的搜索算法就是局部搜索算法。局部搜索从一个单独的当前状态出发，通常只移动到相邻状态。如果存在解，则完备的局部搜索算法能够找到解。局部极大值比其邻居状态都高的顶峰，但是小于全局最大值(参照状态空间地形图)。随机爬山法随机选择下一步。将爬山法(停留在局部山峰)和随机行走以某种方式结合，以同时获得完备性和效率。接受概率=eE/T(注意此时E 0)。否则从全部后继状态中选择最佳的k个状态继续搜索。(3)根据目标函数，对于每个个体计算适应函数值。(5)根据概率选择个体，所选个体通过交叉/变异等操作产生新一代种群。遗传算法也结合了“上山”趋势和随机搜索，并在并行搜索线程之间交换信息。路径耗散每步耗散均为常数(1)。例1：澳大利亚地图染色问题(1)。例2：密码算术问题(2)。约束：互不相等，两两不等。如果要找出问题的所有解，则排序问题无所谓。在搜索中尽可能早地考虑某些约束，以便减少搜索空间。弧相容依次检验约束图中各个相关节点对(这里弧是有向弧)。-,+。引理1的证明(1)培训专用