第四章无约束优化方法.ppt

《第四章无约束优化方法.ppt》由会员分享，可在线阅读，更多相关《第四章无约束优化方法.ppt（62页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1第四章第四章 常用的常用的无约束优化方法无约束优化方法4.1 坐标轮换法坐标轮换法 4.2 鲍威尔鲍威尔(Powell)法法4.3 梯度法梯度法4.5 牛顿法牛顿法4.6 DFP变尺度法变尺度法4.7 BFGS变尺度法变尺度法v无约束优化方法的评价准则及选用无约束优化方法的评价准则及选用2若存在若存在 则称则称X*点为无约束最优点，点为无约束最优点，F(X)为无约束最优值。为无约束最优值。直接搜索法直接搜索法：坐标轮换法、鲍威尔法：坐标轮换法、鲍威尔法方法方法 间接法间接法：梯度法、牛顿法、变尺度法：梯度法、牛顿法、变尺度法 直接搜索法：只需进行函数值的计算与比较来确定迭代方向和步长直接搜索

2、法：只需进行函数值的计算与比较来确定迭代方向和步长间接法：利用函数的一阶或二阶偏导数矩阵来确定间接法：利用函数的一阶或二阶偏导数矩阵来确定迭代方向和步长迭代方向和步长对于无约束优化问题对于无约束优化问题:34.1 4.1 坐标轮换法坐标轮换法基本思想基本思想：把一个：把一个n维无约束最优化维无约束最优化问题转化为依次沿问题转化为依次沿n个坐标轴方向的个坐标轴方向的一维最优化问题。一维最优化问题。即迭代方向依次为即迭代方向依次为:第一轮第一轮:任取一初始点任取一初始点X(0)一维搜索求一维搜索求得得一维搜索求一维搜索求得得第二轮第二轮:4终止准则终止准则:上式点距准则中的上式点距准则中的两点应是

3、一轮迭代两点应是一轮迭代的始点与终点的始点与终点利用一维优化方法确定沿该方向上具有最小目标函数值的步长，利用一维优化方法确定沿该方向上具有最小目标函数值的步长，即即:minF(X:minF(X(k)(k)+S S(k)(k)=F(X)=F(X(k)(k)+(k)(k)S S(k)(k)迭代步长迭代步长的确定的确定:5坐坐标标轮轮换换法法的的流流程程图图 6坐标轮换法的特点坐标轮换法的特点:具有程序结构简单，易于掌握等优点。但收敛慢，具有程序结构简单，易于掌握等优点。但收敛慢，适用于适用于n10的低维优化问题的低维优化问题。另收敛速度与等值线的形状有关另收敛速度与等值线的形状有关7例题例题4.1

4、 用坐用坐标轮换标轮换法求目法求目标标函数函数的无的无约约束最束最优优解。解。给给定初始点定初始点 精度要求精度要求=0.1 解：解：作作第一轮第一轮迭代计算。迭代计算。沿沿e1方向进行一维搜索方向进行一维搜索 按最按最优优步步长长原原则则确定步确定步长长1，即极小化，即极小化此此问题问题可用某种一可用某种一维优维优化方法求出化方法求出1。在在这这里，我里，我们暂们暂且借用微分学求且借用微分学求导导解出，解出，令其一令其一阶导阶导数数为为零，零，1=5 以以为为新起点，沿新起点，沿e2方向一方向一维维搜索搜索以最以最优优步步长长原原则则确定确定2，即极小化，即极小化得得2=4.5，对于第一轮按

5、终止条件检验对于第一轮按终止条件检验 8例题例题4.1 对于第一轮按终止条件检验对于第一轮按终止条件检验:继续第二轮迭代计算。以下各轮的计算结果列于表继续第二轮迭代计算。以下各轮的计算结果列于表4.1。9例题例题4.1 计计算五算五轮轮后有后有故近似故近似优优化解化解为为F*F(x*)=7.95025 10例题例题4.1 用解析法验证用解析法验证 解解:令令正定正定114.2 鲍威尔鲍威尔(Powell)法法v鲍鲍威威尔尔法法是是直直接接搜搜索索法法中中一一个个十十分分有有效效的的算算法法。该该算算法法是是沿沿着着逐逐步步产产生生的的共共轭轭方方向向进进行行搜搜索索的的，因因此此本本质质上上是

6、是一一种种共共轭轭方方向向法，法，鲍鲍威威尔尔法的收法的收敛敛速率速率较较快。快。v以以共共轭轭方方向向作作为为搜搜索索方方向向，不不只只限限于于鲍鲍威威尔尔法法，也也用用于于其其他他一一些些较较为为有有效效的的方方法法，可可以以统统称称为为共共轭轭方方向向法法。因因此此，共共轭轭方方向向的概念在的概念在优优化方法研究中占有重要的地位。化方法研究中占有重要的地位。v共共轭轭方方向向在在最最优优化化问问题题中中的的应应用用是是基基于于其其具具有有一一个个重重要要性性质质，即即：设设 S1、S2、Sn是是关关于于A的的n个个互互相相共共轭轭的的向向量量，则则对对于求正定二次函数于求正定二次函数 的

7、极小点，从的极小点，从 任任意意初初始始点点出出发发，依依次次沿沿Si（i=1，2，n)方方向向进进行行一一维维最最优化搜索，至多优化搜索，至多n步便可以收敛到极小点步便可以收敛到极小点122.5 关于优化方法中搜寻方向的理论基础关于优化方法中搜寻方向的理论基础2.5.2 共轭方向共轭方向(见第二章见第二章)一、共轭方向的基本概念一、共轭方向的基本概念若有两个若有两个n维矢量维矢量S1、S2，对，对nn阶阶对称正定矩阵对称正定矩阵A能满足能满足:称称n维维空空间间矢量矢量S1与与S2对对A共共轭轭共共轭轭矢量所代表的方向称矢量所代表的方向称为为共共轭轭方向。方向。正交正交:可以看作是共可以看作

8、是共轭轭的特例的特例例例:(1)共共轭轭并正交并正交13例例:(2)共共轭轭但不正交但不正交设设A A为为n nn n阶实对称正定矩阵，有一组非零的阶实对称正定矩阵，有一组非零的n n维矢量维矢量S S1 1、S S2 2、SqSq，若满足，若满足 ij ij 则称矢量系则称矢量系S Si i(i(i1 1，2 2，qn)qn)对于矩阵对于矩阵A A共轭共轭 14以二维函数为例以二维函数为例:二维正定二次函数具有两个重要特性：二维正定二次函数具有两个重要特性：1 1）二维正定二次函数的等值线是同心的椭圆族，且椭圆中心就）二维正定二次函数的等值线是同心的椭圆族，且椭圆中心就 是正定二元二次函数的

9、极小点。是正定二元二次函数的极小点。2)2)过同心椭圆族中心过同心椭圆族中心x*x*作任意直线，此直线与诸椭圆交点处的切作任意直线，此直线与诸椭圆交点处的切线相互平行。或者说：线相互平行。或者说：两条平行的任意方向的切线两条平行的任意方向的切线,其切点的连线其切点的连线必通过椭圆簇的中心。必通过椭圆簇的中心。可以证明上诉可以证明上诉S S1 1和和S S2 2方向是方向是关于矩阵关于矩阵A A的共轭方向。的共轭方向。15S1与与S2是对是对A共轭的一对矢量共轭的一对矢量证明：证明：梯度梯度而而即即结论结论:两个平行方向的极小点构成两个平行方向的极小点构成的新方向与原方向相互的新方向与原方向相互

10、共轭共轭即即S S1 1与与S S2 2对对A A共轭共轭也即对于也即对于二维正定二次函数只要分别沿两个共轭方向寻优二维正定二次函数只要分别沿两个共轭方向寻优即可找到最优点即可找到最优点.16v与此类似，可以推出对于与此类似，可以推出对于n n维正定二次函数，共轭方向的一维正定二次函数，共轭方向的一个十分重要的极为有用的性质：从任意初始点出发，依次沿个十分重要的极为有用的性质：从任意初始点出发，依次沿n n个线性无关的与个线性无关的与A A共轭的方向共轭的方向S S1 1，S S2 2，S Sn n各进行一维搜索，各进行一维搜索，那么总能在第那么总能在第n n步或步或n n步之前就能达到步之前

11、就能达到n n维正定二次函数的极维正定二次函数的极小点；并且这个性质与所有的小点；并且这个性质与所有的n n个方向的次序无关。简言之，个方向的次序无关。简言之，用共轭方向法对于二次函数从理论上来讲，用共轭方向法对于二次函数从理论上来讲，n n步就可达到极步就可达到极小点。因而说共轭方向法具有有限步收敛的特性。通常称具小点。因而说共轭方向法具有有限步收敛的特性。通常称具有这种性质的算法为有这种性质的算法为二次收敛算法。二次收敛算法。v共轭矢量之所以引起优化研究者的重视，就是因为它的这些共轭矢量之所以引起优化研究者的重视，就是因为它的这些性质对提高优化方法的收敛速率极为有用。性质对提高优化方法的收

12、敛速率极为有用。17例例设设二二维维目目标标函数函数，给给定方向定方向S1e2，初始点，初始点，求与，求与S1相共相共轭轭的的S2，并求函数的极小点。，并求函数的极小点。解：解：(1)第一个搜索方向第一个搜索方向(2)函数的海函数的海赛赛矩矩阵阵 对对称正定称正定(3)从从点沿点沿S1方向求极小点方向求极小点x(1)，即，即 18例例解：解：(4)任取另初始点任取另初始点 沿沿S1方向一方向一维维搜索求得搜索求得该该方向极小点方向极小点x(2)X(2)=(5)求与求与S1相共相共轭轭的方向的方向S2S2=X(2)-X(1)=核核验计验计算算 矢量矢量S1与与S2确确为对为对A矩矩阵阵共共轭轭。

13、(6)从从x(1)点出点出发发，沿，沿S2方向作一方向作一维维搜索，得搜索，得极小点极小点 X*=0 0T 194.2.1 鲍威尔基本算法（鲍威尔基本算法（共轭方向的原始构成）共轭方向的原始构成）204.2.1 鲍威尔基本算法鲍威尔基本算法任取一初始点任取一初始点 X(0)X0(1)第一环第一环:e1,e2,e3 S1第二环第二环:e2,e3,S1 S2第三环第三环:e3,S1,S2 S3第第一一轮轮 S1,S2 ,S3两两两两共轭共轭由前结论由前结论:两个平行方向的极小点构成两个平行方向的极小点构成的新方向与原方向相互的新方向与原方向相互共轭共轭214.2.1 鲍威尔基本算法鲍威尔基本算法第

14、一环第一环:e1,e2,e3 S1第二环第二环:e2,e3,S1 S2第三环第三环:e3,S1,S2 S3第第一一轮轮S1是是e1,e2,e3 的线性组合的线性组合S2是是e2,e3,S1的线性组合的线性组合S3是是e3,S1,S2的线性组合的线性组合新一环方向组新一环方向组:e2,e3,S1 线性相关线性相关!降维降维22鲍威尔法的基本思想鲍威尔法的基本思想:对原始共轭方向法进行修正对原始共轭方向法进行修正,即在某即在某环已取得的环已取得的n+1n+1个方向中个方向中,选取选取n n 个线性无关个线性无关,共轭程度尽可能共轭程度尽可能高的方向作为下一环的基本高的方向作为下一环的基本方向组方向

15、组,从而避免出现从而避免出现“退化退化”现现象象.鲍威尔法与原始共轭方向法的主要区别是：鲍威尔法与原始共轭方向法的主要区别是：在构成在构成K+1K+1环基本方向组时，不再总是淘汰前一环环基本方向组时，不再总是淘汰前一环(K(K环环)中的第中的第一个方向，而是根据条件式一个方向，而是根据条件式是否得到满足分两种情况来处理。是否得到满足分两种情况来处理。4.2.1 鲍威尔修正算法鲍威尔修正算法23映射点一、一、Powell 修正算法的搜索方向修正算法的搜索方向Powell 判别式判别式24情况一：情况一：Powell 判别式判别式中若至少中若至少 有一个不等式成立，则有一个不等式成立，则第第K+1

16、环的方向组环的方向组仍用仍用老方向组老方向组 初始点初始点:当当F2 F3时时,当当F2F3时时,情况二：情况二：Powell 判别式判别式中若两个中若两个 不等式均不成立，则不等式均不成立，则第第K+1环的方向组环的方向组去掉函数值下降最大的方向去掉函数值下降最大的方向,补上新增的方向补上新增的方向初始点初始点:25 以二维为例以二维为例:两条件式至少有一成立且两条件式至少有一成立且F2F3 26两条件式均不成立且两条件式均不成立且m=1 两条件式均不成立且两条件式均不成立且m=2 27终止准则终止准则:采用了上述产生基本方向组的新采用了上述产生基本方向组的新方式后，除了第一环以单位坐标方式

17、后，除了第一环以单位坐标矢量系为基本方向组外，矢量系为基本方向组外，以后每以后每轮开始就不必重置单位坐标矢量轮开始就不必重置单位坐标矢量系，只要一环接一环继续进行即系，只要一环接一环继续进行即可。可。随着逐环迭代的继续，各环随着逐环迭代的继续，各环的基本方向组将渐趋共轭。因此，的基本方向组将渐趋共轭。因此，这个修正了的鲍威尔算法，虽然这个修正了的鲍威尔算法，虽然已不再像基本算法那样具有二次已不再像基本算法那样具有二次收敛的性质，但修正算法确实克收敛的性质，但修正算法确实克服了退化的不利情形，同时仍能服了退化的不利情形，同时仍能够有效地、越来越快地收敛于无够有效地、越来越快地收敛于无约束最优点约

18、束最优点x*。二、修正算法的迭代步骤及流程图二、修正算法的迭代步骤及流程图映射点2829试试用用鲍鲍尔尔修正算法求目修正算法求目标标函数函数 的最的最优优解。解。迭代精度迭代精度=0.001。已知初始点已知初始点解：解：第一第一环环迭代迭代计计算算 沿第一坐沿第一坐标标方向方向e1进进行一行一维维搜索搜索沿第二坐沿第二坐标轴标轴方向方向e2进进行一行一维维搜索搜索 30例题例题 沿沿s1方向一方向一维维搜索得极小点与极小搜索得极小点与极小值值 需需进进行第二行第二环环迭代迭代计计算。算。第二第二环环迭代迭代计计算：算：首先确定上首先确定上环环中的最大函数下降量及其相中的最大函数下降量及其相应应

19、方向方向 映射点及其函数映射点及其函数值值31检验鲍检验鲍尔尔条件条件鲍鲍威威尔尔条件两式均不成立。第二条件两式均不成立。第二环环基本方向基本方向组组和起始点和起始点为为沿沿e2方向作一方向作一维维搜索得搜索得沿沿S1方向一方向一维维搜索得搜索得 构成新生方向构成新生方向沿沿S2方向一方向一维维搜索得搜索得去掉函数值下降最大的方向去掉函数值下降最大的方向,补上新增的方向补上新增的方向初始点取新增方向的极小点初始点取新增方向的极小点32例题例题 4.2 检查迭代终止条件检查迭代终止条件需再作第三环迭代计算。需再作第三环迭代计算。根据具体情况来分析，根据具体情况来分析，S1、S2实际实际上上为为共

20、共轭轭方向的（方向的（见图见图4.9）。本）。本题题又是二次函数，按共又是二次函数，按共轭轭方向的二次收方向的二次收敛敛性性质质，上面的，上面的结结果就是果就是问题问题的最的最优优解。可以解。可以预预料，如果作第三料，如果作第三环环迭代，迭代，则则一定各一一定各一维维搜索的步搜索的步长为长为零，必有零，必有故得最优解故得最优解33解解:令令正定正定 用解析法验证用解析法验证 得得:34鲍威尔法的特点鲍威尔法的特点:是到目前为止求解无约束优化问题的最有效是到目前为止求解无约束优化问题的最有效的方法。不需求导数的方法。不需求导数,只需计算目标函数值。适只需计算目标函数值。适用中、小型问题。用中、小

21、型问题。35梯度法的基本思想梯度法的基本思想:利用函数在其负梯度方向函数值利用函数在其负梯度方向函数值下降最快这一局部性质，将下降最快这一局部性质，将n n维无约束优化问题转化维无约束优化问题转化为一系例的沿目标函数负梯度方向的一维寻优问题。为一系例的沿目标函数负梯度方向的一维寻优问题。4.3 梯度法梯度法终止准则终止准则:取：取：所以：所以：36例例题题4.3 用用梯梯度度法法求求目目标标函函数数F(x)=+25 的的最最优优解解。已已知知初初始始点点x(0)2 2T，迭代精度取，迭代精度取=0.005。解：函数的梯度解：函数的梯度第一次迭代：以第一次迭代：以x(0)为起点沿为起点沿-g(0

22、)方向作一维搜索方向作一维搜索初始点函数梯度值初始点函数梯度值:第一点函数梯度值第一点函数梯度值:3738解解:令令正定正定得得:用解析法验证用解析法验证 39梯度法的特点梯度法的特点:几何概念直观几何概念直观,方法和程序简单方法和程序简单,远离极小点时收敛速度快。远离极小点时收敛速度快。但越接近极小点收敛速度越慢。但越接近极小点收敛速度越慢。40原始牛顿法基本思想：原始牛顿法基本思想：在点在点 x(k)领域内用一个二次函数领域内用一个二次函数（x)去近似代替原目标函数去近似代替原目标函数F(x)，然后求出这个二次函数的极小点，以该点，然后求出这个二次函数的极小点，以该点 作为对原目标函作为对

23、原目标函数求优的下一个选代点数求优的下一个选代点 x(k+1），这样通过重复若干次迭代，使迭，这样通过重复若干次迭代，使迭代点逐步逼近原目标函数的极小点代点逐步逼近原目标函数的极小点 X*。4.5 牛顿法牛顿法41注意：与一维优化方法的注意：与一维优化方法的二次插值法的不同二次插值法的不同每次迭代所用的二次函数就是在迭代点展开的泰勒二每次迭代所用的二次函数就是在迭代点展开的泰勒二次多项式次多项式 424.5.1 原始牛顿法原始牛顿法一元函数一元函数f(x)在在x(k)点的泰勒展开式：点的泰勒展开式：n元函数元函数F(X)在在X(k)点的泰勒展开式：点的泰勒展开式：43即即:牛顿方向牛顿方向:(

24、定步长定步长)等号两边左乘等号两边左乘为求极小点为求极小点,令一阶导数等于零令一阶导数等于零由前：由前：即迭代方向：即迭代方向：:44牛牛顿顿法具有二次收法具有二次收敛敛性。性。对对于二次正定函数，迭代一次即可到达最于二次正定函数，迭代一次即可到达最优优点；点；对对于非二次函数，若函数的二次性于非二次函数，若函数的二次性态较态较强强或迭代点已或迭代点已进进入最入最优优点的点的较较小小邻邻域，域，则则其收其收敛敛速度也是很快的。速度也是很快的。但原始牛但原始牛顿顿法法还还存在一个存在一个问题问题：由于在全部迭代：由于在全部迭代过过程中，取步程中，取步长长(k)1，这这种定步种定步长长有有时时造成

25、函数造成函数值值反而有所增大反而有所增大。45阻尼牛顿法基本思想阻尼牛顿法基本思想:阻尼牛顿法的迭代方向仍是上述牛顿方向，阻尼牛顿法的迭代方向仍是上述牛顿方向，但每次迭代需沿此方向作一维搜索，求其最优步长因子但每次迭代需沿此方向作一维搜索，求其最优步长因子,即迭即迭代公式为：代公式为：4.5.2 阻尼牛顿法阻尼牛顿法4647例例题题4.5 用用牛牛顿顿法法求求函函数数F(x)4(x11)22(x21)2x1x210的最优解。初始点的最优解。初始点x(0)0 0T，105。解：函数的梯度解：函数的梯度海赛矩阵及其逆海赛矩阵及其逆在在x(0)点处点处48沿沿S(0)方向一维搜索求最优步长得方向一维

26、搜索求最优步长得代入函数解得：代入函数解得：(0)=1故新迭代点为故新迭代点为该点的梯度该点的梯度满足终止条件，迭代即可结束满足终止条件，迭代即可结束49补充补充:求逆矩阵求逆矩阵称作矩阵称作矩阵A的伴随方阵的伴随方阵,中元素中元素 是是 中元素中元素 的代数余子式的代数余子式 划去划去 所在行列后余下的所在行列后余下的n-1阶子式阶子式例例:50解解:令令正定正定用解析法验证用解析法验证 F(x)4(x11)22(x21)2x1x210得得:51牛顿法的特点：牛顿法的特点：牛顿法具有二次收敛性，对正定二次函数一次迭代即可达牛顿法具有二次收敛性，对正定二次函数一次迭代即可达到极小点。对目标函数

27、性态较好或当初始点取在极小点附到极小点。对目标函数性态较好或当初始点取在极小点附近时收敛速度快。近时收敛速度快。但对目标函数有较高的要求，必须存在一阶、二阶偏导但对目标函数有较高的要求，必须存在一阶、二阶偏导数，数，H（x(k)）需正定且非奇异。计算复杂，计算量大。）需正定且非奇异。计算复杂，计算量大。52梯度法和牛顿法对比梯度法和牛顿法对比方方 法法梯梯 度度 法法牛牛 顿顿 法法迭代公式迭代公式迭代方向迭代方向稳定下降性稳定下降性肯定能保证稳定下降肯定能保证稳定下降须须H(X)处处正定处处正定才能稳定下降才能稳定下降收敛速度收敛速度离离X*远时下降速度较快远时下降速度较快,离近时下降很慢离

28、近时下降很慢离离X*近时收敛很快近时收敛很快二次收敛性二次收敛性不具有二次收敛性不具有二次收敛性具有二次收敛性具有二次收敛性53观察梯度法和牛顿法的迭代式：观察梯度法和牛顿法的迭代式：变尺度法的基本思想变尺度法的基本思想：设法构造一个对称正定阵：设法构造一个对称正定阵Ak代替代替,并并在在选选代代计计算算中中，使使其其逐逐渐渐逼逼近近 。因因此此，一一旦旦达达到到极极值值点点附附近近，就就可可望望达达到到牛牛顿顿法法的的收收敛敛速速度度，同同时时又又避避免免了了矩矩阵阵的的求求逆逆计算。计算。其选代公式：其选代公式：Ak是是是是根根据据需需要要构构造造的的nn阶阶对对称称矩矩阵阵，它它是是随随

29、着着迭迭代代点点位位置置的的变化而变化的。变化而变化的。梯度法梯度法:牛顿法牛顿法:4.6 DFP变尺度法变尺度法544.6.2 变尺度法变尺度法构造矩阵的产生构造矩阵的产生递推方法产生递推方法产生:校正矩阵校正矩阵 变变尺度法采用构造矩尺度法采用构造矩阵阵来代替牛来代替牛顿顿法中海法中海赛赛矩矩阵阵的逆的逆阵阵，其主要，其主要目的之一是目的之一是为为了了避免避免计计算二算二阶阶偏偏导导数和数和计计算它的逆矩算它的逆矩阵阵，力，力图仅图仅用梯用梯度和其他一些易于度和其他一些易于获获得的信息来确定迭代方向。得的信息来确定迭代方向。分析一下海分析一下海赛赛矩矩阵阵与梯度之与梯度之间间的关系。的关系

30、。554.6.2 变尺度法变尺度法构造矩阵的产生构造矩阵的产生海赛矩阵与梯度之间的关系海赛矩阵与梯度之间的关系位移矢量梯度矢量差拟拟牛牛顿顿条件条件(拟拟牛牛顿顿方程方程)PII-(84-85)DFP公式公式564.6.3 对对DFP法几个问题的说明与讨论法几个问题的说明与讨论(1)DFP公式总有确切的解。(2)构造矩阵的正定性。(3)DFP法搜索方向的共轭性。(4)关于算法的稳定性。v为了提高实际计算中的稳定性，一方面应对一维搜索提出较高的精度要求，另一方面在发生破坏正定性时，将构造矩阵重置为单位矩阵E重新开始，通常采用的简单办法是在n次迭代后重置单位矩阵。4.6.4 DFP算法的迭代步算法

31、的迭代步骤骤57例题例题 4.6 v用DFP变尺度法求目标函数F(x)4(x15)2(x26)2的最优解。已知初始点x(0)8 9T，迭代精度0.01。解：解：第一次迭代：第一次迭代：式中最优步长(0)应该用一维搜索方法在计算机上求解。为了说明问题，又因为此例目标函数简单，所以用解析法来求：58例题例题 4.6 为求极小，将上式对求导，并令f()0得第二次迭代：确定x(1)点的拟牛顿方向S(1)按DFP公式计算构造矩阵将数据代入得则拟牛顿方向为59例题例题 4.6 沿S(1)方向进行一维搜索求最优点x(2)求一维搜索步长60综合了梯度法及牛顿法的优点而避开了各自的缺点，是高综合了梯度法及牛顿法的优点而避开了各自的缺点，是高维（维数大于维（维数大于50）的最好方法。）的最好方法。BFGS变尺度法的特点：变尺度法的特点：4.7 BFGS变变尺度法尺度法 614.8 无约束优化方法的评价准则及选用无约束优化方法的评价准则及选用 v(1)可靠性可靠性(通用性通用性)(2)有效性有效性 (3)简便性简便性4.1 坐标轮换法坐标轮换法 4.2 鲍威尔鲍威尔(Powell)法法4.3 梯度法梯度法4.5 牛顿法牛顿法4.6 DFP变尺度法变尺度法4.7 BFGS变尺度法变尺度法622 题题3、题、题5作业作业:1 各种优化方法的基本思想和特点各种优化方法的基本思想和特点