最优化：最速下降法和Newton法ppt课件.ppt
采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物最优化最优化主讲：刘陶文课件制作：刘陶文课件制作：刘陶文唯楚有材唯楚有材 於斯为盛於斯为盛学好最优化，走遍天下都不怕学好最优化，走遍天下都不怕采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物第三章第三章 无约束问题算法无约束问题算法(I)(I) 最速下降法、最速下降法、 Newton法法 第一节 最速下降法 第二节 Newton法及其修正形式采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物(3.1) )(minxfnRx给定无约束问题值效果有很大区别和数相应算法的收敛性理论法式对应不同的最优化算不同计算方最优化方法的核心下降方向的计算是整个计算我们来介绍下降方向的方法，在后面的几章里结构及步长计算的我们介绍了下降算法的在上一章里,. ,采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物第一节第一节 最速下降法最速下降法1 1、 思想思想 ：每次沿负梯度方向进行搜索：每次沿负梯度方向进行搜索kx)(kxf*x等值线(面)1kx最古老的优化方法，十九世纪中叶由Cauchy提出采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物负梯度方向也称为最速下降方向：PxfxfxfpxfxfpxfPxfPxfpRpTkpkkkkkkTkn)(min|)(|)(- |)(|)(-|)(|-|)(|-)(Schwarz-Cauchy,|的解是下列问题时等号成立，即当取不等式得由且事实上，对任意以负梯度为搜索方向的算法称为最速下降法采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物2 2、 算法步骤算法步骤最优化算法看来是如此的简单？. 2, 1:,4;33),(-.,|)(|2; 0. 0,1)(1 . 3k1k0转步令步由线性搜索计算步长步；然后转步计算否则算法终止，则得解若步令精度给定初始点步最速下降法算法kkdxxxfdxxfkRxkkkkkkkn采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物xxxfxT)(min .) ,( 1 . 1 . 3)(题：法求解下面的最优化问降采用精确搜索的最速下取初始点例xxxfdxfxxxff-)(- 21)(Q,)( 搜索方向的梯度为：函数解xxxxQdddxfTT)(- 次函数的步长公式为采用精确搜索极小化二)()()()()()()()()()()()()()(- kkkkkkkkkkkxxxxxxxdxx迭代公式为采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物 , 1 , 0,) 1(-231 )(kxkkk的点列为计算出最速下降法产生由上面的迭代公式不难* )()0, 0(,xxTk并且收敛的容易看出上面的序列是.,最优解以较慢的速度无限接近但能优解代并没有求出其精确最最速下降法在有限次迭数极小化问题，对于简单的二元二次函从上面的例子看到事实上，上面的例子刻画了最速下降法的所有收敛特征采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物.3,. 4 . 2-1 . 4 . 2,| |)(| , 0,局收敛性降算法的全我们很容易得到最速下由定理所以且即方向与负梯度方向一致由于最速下降法的搜索kkkdxf3 3、 最速下降法的收敛性最速下降法的收敛性全局收敛性0|)(|lim Powell-WolfeArmijo ,1 . 4 . 2 1 . 1 . 3kkkxfx满足代序列的迭搜索的最速下降法产生搜索或或那么采用精确搜索的条件成立设假设定理.,见下面的两个定理具体至多是线性的最速下降法的收敛速度由前面的例子看到采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物收敛速度估计收敛速度估计3.3 19,.定理定理证明可参考文献收敛速度估计化问题的解严格凸二次函数极小下面的定理给出了其求QxxxxxxxxxxqQxxxfQRqQTQQkQkkTTn| ,3.2 |-|-|-| )(min .,., 2 . 1 . 3*minmaxminmax是问题的惟一解其中）（满足速下降法产生的点列则由采用精确搜索的最问题：化考察如下二次函数极小的最大和最小特征值分别是和记对称正定设矩阵定理采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物）（3.2 |-|11-|-| *1QkQkxxxx.,( .,1 , ,1,)2 . 3(算法收敛很慢接近病态）较大时而当求出最优解算法只需一次迭代即可的所有特征值相等时即当特别最速下降收敛很快接近于当有关的条件数矩阵最速下降的收敛速度与看到由收敛速度估计式QQQ)(-)(11-)(-)( )2 . 3(|-|21)-()-(21)(-)( 0)( )(,*2*12*T*xfxfxfxfxxxxQxxxfxfqQxxfxqQxxfkkQ可以改写成所以则处且在由于对于二次函数采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物从上图可以看出，最速下降法从上图可以看出，最速下降法 具有锯齿现象具有锯齿现象采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物.)(, )(-)(o )(-)(-)(-)( ,)(,).( , 3 . 1 . 3*minmaxminmax*2*的最大和最小特征值分别是和且其中有估计则正定且的解收敛到问题法产生的点列下降若采用精确搜索的最速二次连续可微设函数定理xfxfxfxfxfxfxfxfxxfkkkk对一般的非二次函数有下面的收敛速度估计：定理的证明参见文献19,定理3.4采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物 由上面的分析可知，最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点或作为某些算法的间插步.思考题：思考题：.)( ,.,)(的最小点就是函数而且这两条直线的交点分别共线，和奇次迭代点明偶次迭代点试证对称正定，所产生，这里元二次函数速下降法求解二是由采用精确搜索的最设序列xfxxxxRcRbRQRxcxbxQxxfxTk有点难啊有点难啊采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物0)()(-)()( )(-)()(-)()( )()(-)()( )(-)()()-(-()(-)(-)()()()()()()(- ),2() 1 (2) 0)()( (1) )()( ,)()( 0)-()-(:1T111T12101T111T1210T1011T1210011T11021200110011011202TTTTT11110212xfxfxfQxfxfxfxfxfQxfxfQxfxfQxfxfxfQxfxxQxxxfxfddxxxxxxxfQxfxfxfQdxfxfxfxfxfQdxfxfbQxxfxfxxdxxxxQxxTkkkkkkkkkkkkkkkkkkkkkkkT）所以进一步得到和由又由精确搜索得得由于记证明：我们首先证明采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物.limlimlim , :, :, ,-|- ),4()3(-|- )(|)(0)()()()( (2)(4) 0)-(-( (3) 0)-(-( *122*125312420420022412341322T31T224340212所以结论成立性知又由最速下降法的收敛共线所有奇次迭代点同理可得共线代点以此类推得所有偶次迭共线即得到和进一步结合，推出中：所以在得又由）类似可得）即xxxxxxxxxxxxxxxxxxxxxxxxxfxfRxfxfxfxfxxQxxxxQxxkkkkkkkkTT采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物 第二节第二节 NewtonNewton法及其修正形式法及其修正形式 1 1、思想：用近似二次函数的极小点作为原问题的新的近似解、思想：用近似二次函数的极小点作为原问题的新的近似解几何解释：11)()(kkkkxxQxfxxx极小点作为来近似，把二次函数的二次函数用与它最密切的处对的迭代过程，在到考虑从kx)(1二次曲面极小点kx)()(:)(kxfxf线等值面)()(:kxfxQ二次曲面采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物)()(- ,)()(- ,0)-)()( )(,)()-)()()( )-)()-()-()()()()|-(| )-)()-()-()()()()(1 -1 -T2TkkkkkkkkkkkkkkkkkkkTkkkkkkkTkkkxfxfxxxxfxfxxxxxfxfxxQxfxxxfxfxQxxxfxxxxxfxfxQxxoxxxfxxxxxfxfxfxxf则为把二次函数的极小点作即的解为的极小点则正定若且二次近似函数处二阶泰勒展开式为在采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物0)()( ,Newton,)(.Newton)()(- .Newton)()(- 221 -21 -21kkkkkkkkkkkkxfdxfxfxfxxfxfdxfxfxx的解并且是下列线性方程组方向处的一个下降在方向是函数则正定若方向处的称为其中法的迭代公式为古典我们称迭代公式迭代公式如下：得到搜索法中加入线性我们在古典为确保算法的下降性Newton,Newton ,)()(- -1kkkkkxfxfxx采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物2 2、 NewtonNewton法的算法步骤法的算法步骤)(Newton 2 . 3法算法. 2, 1:, 4; 3; (3.3) 0)()( . , ,|)(| 2; 0. 0, 1k1k20转步令步由线性搜索计算步长步得解解线性方程组否则算法终止则得解若步令精度给定初始点步kkdxxdxfdxfxxfkRxkkkkkkkkn采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物 21-1-1)(Q,2-1-)( 22121xfxxxxxf经计算得：解TTTxxxxxxxxfN1)(2, .1)(1,0)(0,-21)(min ewton 1 . 2 . 3*)0(1212221该问题的最优解为和初始点分别取题：法求解下面的最优化问用精确搜索的例2122212211212-2)2(-) 1-)(- dddddxxdxxQdddxfTT（次函数的步长公式为采用精确搜索极小化二1-2-2-1-21-1-1-)()(-Newton)(2)(1)(2)(1)(2)(11 -1 -2)(kkkkkkkkkxxxxxxxfxfd方向的表达式为又采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物对不同的两个初始点，经一次迭代求出最优解，这是偶然还是必然的呢？采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物. Newton, .21)( 1 . 2 . 30的最小值点达到法最多经一次迭代即可确搜索的采用精出发则从任意初始点阶对称正定矩阵是其中设定理fxnQxqQxxxfTT是最小点即所以且精确搜索的步长则若的最小点即已经是最优解则若，则如果严格凸即正定证明：由于101 -0000101 -T001 -T0000T0001 -00001120)(-)()()( 1)()()()()(- 0)(-0,)(;,0,)()()( ,)(,)(xxfQQxfQdxfxfxfQxfxfQxfQdddxfxfQdxffxxfQdxfxfdxxfQxfqQxxfTkkkkkkkk采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物止性则称该算法具有二次终小值点达到函数的最算法经有限次迭代后可从任意初始点出发二次函数极小化问题时若一个算法求解严格凸定义 , , 1 . 2 . 3标准作为算法有效性的一个是否具有二次终止性可. .Newton算法也具有二次终止性我们后面要介绍的许多法具有二次终止性而止性，格凸函数不具有二次终最速下降法对一般的严下面我们来看看最速下降法与Newton法求解二次函数的比较采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物注意等值线的形状中的二次函数考察:2R0 x0 x*x*x0 x*x最速下降法法Newton等值线采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物3 3、Newton Newton 的收敛性的收敛性 :Newton局收敛性结果如下法关于非二次函数的全得到的收敛性，我们很容易由前面介绍的下降算法.Powell-Wolfe ,Armijo, ,3.2Newton)()(|(3.4) ,|)( , 0,2 . 2 . 3k02中的惟一全局最小点在收敛到则型搜索确定或型搜索或由精确搜索其中步长产生算法由设序列其中：使得且存在常数二次连续可微设函数定理fxxxfxfxxRddmdxfdmfkknT还是省略吧太简单了证明,:采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物4 4、 局部二次收敛性局部二次收敛性*22*2*1 -21*0*2*)(|,-|)(-)(| , 0, Lipschtiz , .0,1,2,k),()(- )Newton(Newton,|-|)( 0,.)(, 0)( 3 . 2 . 3xxxUxxxLxfxfLxfxxxfxfxxxxxxUxxfxfxRxfkkkkkkn二次收敛于则序列使得即存在常数连续在若此外超线性收敛于产生的序列法古典法由单位步长时使得当则存在常数正定满足可微且的某个邻域内二次连续在设定理采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物定理的证明：(1) 收敛性略，参见前面的牛顿法的收敛性(2) 收敛速度*2*2*-2*-2*-2*|)-(| )-)(-)(-)( )-)(-)(-)()( )(-)()(-| |-| )()(,|)(| ,)(xxxxoMxxxfxfxfMxxxfxfxfxfxfxfxfxxxx,xUxUxMxfMxfkkkkkkkkkkkkkkk超线性收敛到到即所以使得且存在常数证明：由于采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物2*2*21 -2*2*1 -2*1-)-()(-)()()-)(-)(-)()(|-|xxMLxxxf-xxxfxfxxxfxfxfxfxxkkkkkkkkkkk连续，则有在该领域内如果进一步Lipschitz)(2xf*xxk二次收敛到到即采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物.Newton .Newton,Hessian 2,. 2 . 3法肯能失效足时，然而当这一条件步满法是收敛的一致正定时上矩阵在的我们看到，当函数由定理f. ,Newton,-)(min Newton(1,1) 22212131T)0(2败的大致原因试分析失法计算机程序不成功一个精心编制的时法求解问题出发的考察从初始点例题：xxxxxxfxRx所以方向方向不一定是下降处故在是不定的由于解：,Newton,(1,1)2-3-3-4(1,1) ,2-4-14-12-6)( 2-2-3)()0(2221212122122211221221xffxxxxxxxxfxxxxxxxxf采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物5 5、 NewtonNewton法的修正形式：如何有效计算下降方向法的修正形式：如何有效计算下降方向正定，否则失效法要求)(Newton2kxf0),()(Newton22kkkkvxfIvxf法：修正方向替换法：用最速下降方向最速下降NewtonNewton采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物)Newton( 3 . 3法修正算法. 2, 1:, 4; 3;0,)(, (3.3) 0)( . , ,|)(| 2; 0. 0, 1k1k2k0转步令步由线性搜索计算步长步正定使得其中得解解线性方程组否则算法终止则得解若步令精度给定初始点步kkdxxAvIvxfAdxfdAxxfkRxkkkkkkkkkkkkn.,|,)(| ,Newton情的确定是一件困难的事但为一常数即要求不能太大又要求而为确保算法的收敛性足够大的正定性而要求为确保法中在修正CCxfCvvvAkkkkk采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物)Newton( 4 . 3最速下降法算法. 2,:, 4; 3);(- 3,0,)( (3.5) 0)()( . , ,|)(| 2;., 11T转步令步由线性搜索计算步长步否则取转步且满足若有解解线性方程组否则算法终止则得解若步令精度给定初始点步kkdxxxfddxfdxfdxfxxfkRxkkkkkkkkkkkkkkn该算法有较好的稳定性及较快的收敛速度采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物从Newton法出发进行修改 ，利用其优点，克服其缺点，产生很多效果非常好的其他新算法上面的Newton法的两种修正形式，在较弱的条件下具有超线性收敛性或二次收敛性. 还有很多其他的修正形式Newton法 的优点：收敛快； 缺点：对初始点要求很高，而且 计算量大注意：注意：数值必下降？沿着此方向搜索目标函满足可取负曲率方向，即这时所有修正失效不定但为鞍点时，即当0)(.)(0,)(22kkTkkkkkkdxfdddxfxfx
