回溯法和分支限界法精.ppt
回溯法和分支限界法第1页，本讲稿共21页2回溯法有许多问题，当需要找出它的解集或者要求回答什么解有许多问题，当需要找出它的解集或者要求回答什么解是满足某些约束条件的最佳解时，往往要使用回溯法。是满足某些约束条件的最佳解时，往往要使用回溯法。回溯法的基本做法是搜索，或是一种组织得井井有条的，能避免回溯法的基本做法是搜索，或是一种组织得井井有条的，能避免不必要搜索的穷举式搜索法。这种方法适用于解一些组合数相当不必要搜索的穷举式搜索法。这种方法适用于解一些组合数相当大的问题。大的问题。回溯法在问题的解空间树中，按深度优先策略，从根结点出发回溯法在问题的解空间树中，按深度优先策略，从根结点出发搜索解空间树。算法搜索至解空间树的任意一点时，先判断该搜索解空间树。算法搜索至解空间树的任意一点时，先判断该结点是否包含问题的解。如果肯定不包含，则跳过对该结点为结点是否包含问题的解。如果肯定不包含，则跳过对该结点为根的子树的搜索，逐层向其祖先结点回溯；否则，进入该子树，根的子树的搜索，逐层向其祖先结点回溯；否则，进入该子树，继续按深度优先策略搜索。继续按深度优先策略搜索。第2页，本讲稿共21页3问题的解空间 问题的解向量：回溯法希望一个问题的解能够表示成一个问题的解向量：回溯法希望一个问题的解能够表示成一个n n元式元式(x1,x2,(x1,x2,xn),xn)的形式。的形式。显约束：对分量显约束：对分量xixi的取值限定。的取值限定。隐约束：为满足问题的解而对不同分量之间施加的约束。隐约束：为满足问题的解而对不同分量之间施加的约束。解空间：对于问题的一个实例，解向量满足显式约束条件的所有多元组，解空间：对于问题的一个实例，解向量满足显式约束条件的所有多元组，构成了该实例的一个解空间。构成了该实例的一个解空间。注意：同一个问题可以有多种表示，有些表示方法更简单，所需表示的状态空间更小（存储量少，搜索方法简单）。第3页，本讲稿共21页4问题的解空间n=3时的时的0-1背包问题用完全二背包问题用完全二叉树表示的解空间叉树表示的解空间 子集树子集树旅行商问题旅行商问题：某售货员要：某售货员要到若干城市推销商品，已知到若干城市推销商品，已知各个城市之间的路程（或旅各个城市之间的路程（或旅费）。他要选定一条从驻地费）。他要选定一条从驻地出发，经过每个城市一遍，出发，经过每个城市一遍，最后回到驻地的路线，使总最后回到驻地的路线，使总的路线（或旅费）最小。的路线（或旅费）最小。排列树排列树12343061020第4页，本讲稿共21页5生成问题状态的基本方法 扩展结点扩展结点扩展结点扩展结点:一个正在产生儿子的结点称为扩展结点一个正在产生儿子的结点称为扩展结点一个正在产生儿子的结点称为扩展结点一个正在产生儿子的结点称为扩展结点 活结点活结点活结点活结点:一个自身已生成但其儿子还没有全部生成的节点称做活结点一个自身已生成但其儿子还没有全部生成的节点称做活结点一个自身已生成但其儿子还没有全部生成的节点称做活结点一个自身已生成但其儿子还没有全部生成的节点称做活结点死结点死结点死结点死结点:一个所有儿子已经产生的结点称做死结点一个所有儿子已经产生的结点称做死结点一个所有儿子已经产生的结点称做死结点一个所有儿子已经产生的结点称做死结点深度优先的问题状态生成法：如果对一个扩展结点深度优先的问题状态生成法：如果对一个扩展结点深度优先的问题状态生成法：如果对一个扩展结点深度优先的问题状态生成法：如果对一个扩展结点R R，一旦，一旦，一旦，一旦产生了它的一个儿子产生了它的一个儿子产生了它的一个儿子产生了它的一个儿子C C，就把，就把，就把，就把C C当做新的扩展结点。在完成当做新的扩展结点。在完成当做新的扩展结点。在完成当做新的扩展结点。在完成对子树对子树对子树对子树C C（以（以（以（以C C为根的子树）的穷尽搜索之后，将为根的子树）的穷尽搜索之后，将为根的子树）的穷尽搜索之后，将为根的子树）的穷尽搜索之后，将R R重新变成重新变成重新变成重新变成扩展结点，继续生成扩展结点，继续生成扩展结点，继续生成扩展结点，继续生成R R的下一个儿子（如果存在）的下一个儿子（如果存在）的下一个儿子（如果存在）的下一个儿子（如果存在）宽度优先的问题状态生成法：在一个扩展结点变成死结点之前，宽度优先的问题状态生成法：在一个扩展结点变成死结点之前，宽度优先的问题状态生成法：在一个扩展结点变成死结点之前，宽度优先的问题状态生成法：在一个扩展结点变成死结点之前，它一直是扩展结点它一直是扩展结点它一直是扩展结点它一直是扩展结点 回溯法：为了避免生成那些不可能产生最佳解的问题状态，要不断地回溯法：为了避免生成那些不可能产生最佳解的问题状态，要不断地回溯法：为了避免生成那些不可能产生最佳解的问题状态，要不断地回溯法：为了避免生成那些不可能产生最佳解的问题状态，要不断地利用限界函数利用限界函数利用限界函数利用限界函数(bounding function)(bounding function)来处死那些实际上不可能产生来处死那些实际上不可能产生来处死那些实际上不可能产生来处死那些实际上不可能产生所需解的活结点，以减少问题的计算量。所需解的活结点，以减少问题的计算量。所需解的活结点，以减少问题的计算量。所需解的活结点，以减少问题的计算量。具有限界函数的深度优先生具有限界函数的深度优先生具有限界函数的深度优先生具有限界函数的深度优先生成法称为回溯法成法称为回溯法成法称为回溯法成法称为回溯法第5页，本讲稿共21页6回溯法的基本思想(1)(1)针对所给问题，定义问题的解空间；针对所给问题，定义问题的解空间；(2)(2)确定易于搜索的解空间结构；确定易于搜索的解空间结构；(3)(3)以深度优先方式搜索解空间，并在搜索过程中以深度优先方式搜索解空间，并在搜索过程中用剪枝函数避免无效搜索。用剪枝函数避免无效搜索。常用剪枝函数：用约束函数在扩展结点处剪去不满足约束的子树；用限界函数剪去得不到最优解的子树。用回溯法解题的一个显著特征是在搜索过程中动态产生问题的解空间。在任何时刻，算法只保存从根结点到当前扩展结点的路径。如果解空间树中从根结点到叶结点的最长路径的长度为h(n)，则回溯法所需的计算空间通常为O(h(n)。而显式地存储整个解空间则需要O(2h(n)或O(h(n)!)内存空间。第6页，本讲稿共21页7递归回溯回溯法对解空间作深度优先搜索，因此，在一般情况下用递归回溯法对解空间作深度优先搜索，因此，在一般情况下用递归方法实现回溯法。方法实现回溯法。voidvoidbacktrack backtrack(intt)(intt)if if(tn)(tn)outputoutput(x);(x);elseelse for for(inti=(inti=f f(n,t);i=(n,t);i0)(t0)if if(f f(n,t)=(n,t)=g g(n,t)(n,t)for(inti=for(inti=f f(n,t);i=(n,t);in)output(x);elsefor(inti=0;in)output(x);elsefor(inti=t;i=n;i+)swap(xt,xi);if(legal(t)backtrack(t+1);swap(xt,xi);第9页，本讲稿共21页10n后问题在nn格的棋盘上放置彼此不受攻击的n个皇后。按照国际象棋的规则，皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。n后问题等价于在nn格的棋盘上放置n个皇后，任何2个皇后不放在同一行或同一列或同一斜线上。1 2 3 4 5 6 7 812345678QQQQQQQQ第10页，本讲稿共21页11解向量：(x1,x2,xn)显约束：xi=1,2,n隐约束：1)不同列：xi xj2)不处于同一正、反对角线：|i-j|xi-xj|n后问题后问题intn=8;intx9;intnum=0;/解的个数/判断第k个皇后能否放在第xk列boolPlace(intk)inti=1;while(i 0)while(k 0)xk+=1;/xk+=1;/转到下一行转到下一行 while(xk=n&while(xk=n&Place(k)=false)Place(k)=false)/如果无解，最后一个皇后就会安排到如果无解，最后一个皇后就会安排到格子外面去格子外面去 xk+=1;xk+=1;if(xk=n)if(xk=n)/第第k k个皇后仍被放置在格子内，有个皇后仍被放置在格子内，有解解 if(k=n)if(k=n)num+;num+;cout num :t;cout num :t;for(int i=1;i=n;i+)for(int i=1;i=n;i+)cout xi t;cout xi t;cout endl;cout endl;elseelse k+;k+;xk=0;/xk=0;/转到下一行转到下一行 elseelse/第第k k个皇后已经被放置到格子外了，个皇后已经被放置到格子外了，没解，回溯没解，回溯 k-;/k-;/回溯回溯 int _tmain(int argc,_TCHAR*int _tmain(int argc,_TCHAR*argv)argv)nQueens(n);nQueens(n);getchar();getchar();return 0;return 0;第12页，本讲稿共21页130-1背包问题解空间：子集树可行性约束函数：上界函数：privatestaticdoublebound(inti)/计算上界doublecleft=c-cw;/剩余容量doublebound=cp;/以物品单位重量价值递减序装入物品while(i=n&wi=cleft)cleft-=wi;bound+=pi;i+;/装满背包if(i=n)bound+=pi/wi*cleft;returnbound;第13页，本讲稿共21页14进一步改进算法的建议选择合适的搜索顺序，可以使得上界函数更有效的发挥作用。例如在搜索之前可以将顶点按度从小到大排序。这在某种意义上相当于给回溯法加入了启发性。定义Si=vi,vi+1,.,vn，依次求出Sn,Sn-1,.,S1的解。从而得到一个更精确的上界函数，若cn+Si=max则剪枝。同时注意到：从Si+1到Si，如果找到一个更大的团，那么vi必然属于找到的团，此时有Si=Si+1+1，否则Si=Si+1。因此只要max的值被更新过，就可以确定已经找到最大值，不必再往下搜索了。第14页，本讲稿共21页15回溯法效率分析通过前面具体实例的讨论容易看出，回溯算法的效率在通过前面具体实例的讨论容易看出，回溯算法的效率在很大程度上依赖于以下因素：很大程度上依赖于以下因素：(1)(1)产生产生xkxk的时间；的时间；(2)(2)满足显约束的满足显约束的xkxk值的个数；值的个数；(3)(3)计算约束函数计算约束函数constraintconstraint的时间；的时间；(4)(4)计算上界函数计算上界函数boundbound的时间；的时间；(5)(5)满足约束函数和上界函数约束的所有满足约束函数和上界函数约束的所有xkxk的个数。的个数。好的约束函数能显著地减少所生成的结点数。但这样的好的约束函数能显著地减少所生成的结点数。但这样的约束函数往往计算量较大。因此，约束函数往往计算量较大。因此，在选择约束函数时在选择约束函数时通常存在生成结点数与约束函数计算量之间的折衷。通常存在生成结点数与约束函数计算量之间的折衷。第15页，本讲稿共21页16重排原理对于许多问题而言，在搜索试探时选取xi的值顺序是任意的。在在其他条件相当的前提下，让可取值最少的其他条件相当的前提下，让可取值最少的xi优先优先。从图中关于同一问题的2棵不同解空间树，可以体会到这种策略的潜力。图(a)中，从第1层剪去1棵子树，则从所有应当考虑的3元组中一次消去12个3元组。对于图(b)，虽然同样从第1层剪去1棵子树，却只从应当考虑的3元组中消去8个3元组。前者的效果明显比后者好。(a)(b)第16页，本讲稿共21页分支限界法 类似于回溯法，也是一种在问题的解空间树类似于回溯法，也是一种在问题的解空间树T T上搜索问上搜索问题解的算法。但在一般情况下，分支限界法与回溯法的求题解的算法。但在一般情况下，分支限界法与回溯法的求解目标不同。解目标不同。回溯法的求解目标是找出回溯法的求解目标是找出T T中满足约束条件中满足约束条件的所有解，而分支限界法的求解目标则是找出满足约束条的所有解，而分支限界法的求解目标则是找出满足约束条件的一个解，或是在满足约束条件的解中找出使某一目标件的一个解，或是在满足约束条件的解中找出使某一目标函数值达到极大或极小的解，即在某种意义下的最优解。函数值达到极大或极小的解，即在某种意义下的最优解。第17页，本讲稿共21页 所谓所谓“分支分支”就是就是采用广度优先采用广度优先的策略，依次搜索的策略，依次搜索E-E-结点的所有分支，也就是所有相邻结点，抛弃不满结点的所有分支，也就是所有相邻结点，抛弃不满足约束条件的结点，其余结点加入活结点表。然后足约束条件的结点，其余结点加入活结点表。然后从表中选择一个结点作为下一个从表中选择一个结点作为下一个E-E-结点，继续搜索。结点，继续搜索。选择下一个选择下一个E-E-结点的方式不同，则会有几种不同的分结点的方式不同，则会有几种不同的分支搜索方式。支搜索方式。1 1）FIFOFIFO搜索搜索 2 2）LIFOLIFO搜索搜索 3 3）优先队列式搜索）优先队列式搜索第18页，本讲稿共21页 由于求解目标不同，导致分支限界法与回溯法在由于求解目标不同，导致分支限界法与回溯法在解空间树解空间树T T上的搜索方式也不相同。回溯法以深度上的搜索方式也不相同。回溯法以深度优先的方式搜索解空间树优先的方式搜索解空间树T T，而分支限界法则以广，而分支限界法则以广度优先或以最小耗费优先的方式搜索解空间树度优先或以最小耗费优先的方式搜索解空间树T T。分支限界法的搜索策略是：在扩展结点处，先生成分支限界法的搜索策略是：在扩展结点处，先生成其所有的儿子结点（分支），然后再从当前的活结点其所有的儿子结点（分支），然后再从当前的活结点表中选择下一个扩展对点。为了有效地选择下一扩展表中选择下一个扩展对点。为了有效地选择下一扩展结点，以加速搜索的进程，在每一活结点处，计算一结点，以加速搜索的进程，在每一活结点处，计算一个函数值（限界），并根据这些已计算出的函数值，个函数值（限界），并根据这些已计算出的函数值，从当前活结点表中选择一个最有利的结点作为扩展结从当前活结点表中选择一个最有利的结点作为扩展结点，使搜索朝着解空间树上有最优解的分支推进，以点，使搜索朝着解空间树上有最优解的分支推进，以便尽快地找出一个最优解。便尽快地找出一个最优解。第19页，本讲稿共21页 分支限界法常以广度优先或以最小耗费（最大效益）优先的方分支限界法常以广度优先或以最小耗费（最大效益）优先的方式搜索问题的解空间树。问题的解空间树是表示问题解空间的一式搜索问题的解空间树。问题的解空间树是表示问题解空间的一棵有序树，常见的有子集树和排列树。在搜索问题的解空间树时，棵有序树，常见的有子集树和排列树。在搜索问题的解空间树时，分支限界法与回溯法对当前扩展结点所使用的扩展方式不同。在分支限界法与回溯法对当前扩展结点所使用的扩展方式不同。在分支限界法中，每一个活结点只有一次机会成为扩展结点。活结分支限界法中，每一个活结点只有一次机会成为扩展结点。活结点一旦成为扩展结点，就一次性产生其所有儿子结点。在这些儿点一旦成为扩展结点，就一次性产生其所有儿子结点。在这些儿子结点中，那些导致不可行解或导致非最优解的儿子结点被舍弃，子结点中，那些导致不可行解或导致非最优解的儿子结点被舍弃，其余儿子结点被子加入活结点表中。此后，从活结点表中取下一其余儿子结点被子加入活结点表中。此后，从活结点表中取下一结点成为当前扩展结点，并重复上述结点扩展过程。这个过程一结点成为当前扩展结点，并重复上述结点扩展过程。这个过程一直持续到找到所求的解或活结点表为空时为止。直持续到找到所求的解或活结点表为空时为止。第20页，本讲稿共21页回溯法和分支限界法的一些区别 有一些问题其实无论用回溯法还是分支限界法都可以得到很好的解有一些问题其实无论用回溯法还是分支限界法都可以得到很好的解决，但是另外一些则不然。也许我们需要具体一些的分析决，但是另外一些则不然。也许我们需要具体一些的分析到底到底何时使用分支限界而何时使用回溯呢？何时使用分支限界而何时使用回溯呢？回溯法和分支限界法的一些区别：回溯法和分支限界法的一些区别：两种方法对解空间树的搜索方式两种方法对解空间树的搜索方式 存储结点的常用数据结存储结点的常用数据结构构 结点存储特性常用应用结点存储特性常用应用 回溯法：回溯法：深度优先搜索堆栈活结点的所有可行子结点深度优先搜索堆栈活结点的所有可行子结点 被遍历后才被遍历后才被从栈中弹出被从栈中弹出找出满足约束条件的所有解找出满足约束条件的所有解 分支限界法：分支限界法：广度优先或最小消耗优先搜索队列广度优先或最小消耗优先搜索队列优先队列优先队列 每每个结点只有一次成为活结点的机会个结点只有一次成为活结点的机会 找出满足约束条件的一个解找出满足约束条件的一个解或特定意义下的最优解或特定意义下的最优解第21页，本讲稿共21页
