最优化：下降算法与线性搜索ppt课件.ppt

《最优化：下降算法与线性搜索ppt课件.ppt》由会员分享，可在线阅读，更多相关《最优化：下降算法与线性搜索ppt课件.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物最优化最优化主讲：刘陶文课件制作：刘陶文课件制作：刘陶文唯楚有材唯楚有材 於斯为盛於斯为盛学好最优化，走遍天下都不怕学好最优化，走遍天下都不怕采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物第二章第二章 无约束问题的下降算法无约束问题的下降算法 与线性搜索与线性搜索第一节第一节 无约束问题的最优性条件无约束问题的最优性条件第二节第二节 下降算法的一般步骤下降算法的一般步骤第三节

2、第三节 线性搜索线性搜索采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物第一节第一节 无约束问题的最优性条件无约束问题的最优性条件束问题最优解的条件本节，我们来介绍无约是连续可微的这里函数考察无约束问题RRfRxxfnn:(2.1) ),(min 向的概念首先，我们介绍下降方上升则称是下降处的一个下降方向；若在是函数则称使得若存在数设定义ddxfdxfdxfRdxn,),(),()( ,1 . 1 . 2单调递减在原点处于一元函数处的一个下降方向等价在则函数若令)()( )( xfdxf采用PP管及配件：根据

3、给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物定理下面简单的判别和构造关于下降方向，我们有.)( , . )( ,n )(,)( )( ,)( 1 . 1 . 2T处的一个下降方向在是特别个下降方向一处的在是则向量对称正定阶矩阵若处的一个下降方向在是则满足若向量则连续可微且设函数定理xfxfdxfxfHdHxfddxfdxff处的一个下降方向在是函数即使得从而存在一个且充分小时则当由于我们有由泰勒展开证明：xfdxfdxfodxfdxfodxfxfdxfTTT)(0,),()( ,0)()(,)()()()()( , )( 处的

4、一个下降方向在是函数知所以由的正定性知由时当xfxfHdxfHxfdxfHxfHd)(-,(1)0)()(-)( ,)(- )(TT采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物约束问题最优解的条件推广而得到判别多维无条件进行容易将一元函数的极值利用下降方向，我们很关于极小值点）函数的极值条件我们先来回忆一下一元(Rx) 1(nRxn0)( *xf一阶必要条件：0)(0)( *xfxf二阶必要条件：0)(*xf半正定 )( 0)(*2*xfx0)(0)( *xfxf二阶充分条件：正定 )( 0)(*2*xf

5、x采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物注意这个条件不是充分的。注意这个条件不是充分的。而是双曲抛物面的鞍点不是极小点但显然处在的图形是一双曲抛物面例如：函数 ,0)0 , 0( ,)0 , 0( ,*21xfxxxfT(2.2) 0)( ,) 1 . 2( ,:)( 2 . 1 . 2*xfxRRfn则有部最优解的一个局是无约束问题若连续可微设函数条件无约束问题的一阶必要定理1x2xf )0 , 0(采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证

6、切口面的圆度，保持熔接部位干净无污物 )( 0)( ,) 1 . 2( ,:)( 3 . 1 . 2*2*半正定且则有一个局部最优解的是无约束问题若二次连续可微设函数条件无约束问题的二阶必要定理xfxfxRRfn .) 1 . 2( ,)( , 0)( ,:)( 4 . 1 . 2*2*的一个严格局部最优解是无约束问题则正定且若二次连续可微设函数条件无约束问题的二阶充分定理xxfxfRRfn不正定但最小点是严格局部极小点显然如函数的条件不是必要的定理注意)(),()0 , 0()( .4 . 1 . 2 :*2*4241xfxxxxfT采用PP管及配件：根据给水设计图配置好PP管及配件，用管件

7、在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物2213231-3131)(min 1 . 1 . 2xxxxxf的问题利用极值条件求解下面例212221212002-2)( ,1-2-)( xxxfxxxxf解：1-2,12,1-0,10 , 0)()4()3()2()1(xxxxxf得稳定点：由一阶必要条件 ,2-002)( ,2002)( ,2-002-)( ,2002-)( Hessian)4(2(3)2(2)2)1(2xfxfxfxf矩阵为：相应的.,)3(其它三点不是极值点严格局部最优由二阶条件知 x不定负定正定不定采用PP管及配件：根据给水设计图配置好

8、PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物条件一阶必要条件也是充分是凸函数时当,f. 0)( ) 1 . 2(, 4 . 1 . 2*xfxxf满足的最优解的充要条件是是问题则是连续可微的凸函数若函数定理)()( 0)-()()(-)( , 0)(*T*xfxfxxxfxfxfRxxfxn即，有对任意的判别定理则由凸函数的满足若证明：只需证充分性：采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物第二节第二节 下降算法的一般步骤下降算法的一般步骤。无约束问题

9、的下降算法可构造求解的方式，在此基础上，并给出了确定下降方向条件，处的下降方向所满足的在点在前面我们给出了函数xf问题的解或稳定点。是原中某个点或某个极限点算法的目标是使得点列满足条件的原则构造点列出发，按照函数值下降从某个初始点下降算法的基本思想：, 2 , 1 , 0),()(10kkkkxkxfxfxx采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物其一般步骤为：的算法优化问题的一类最基本下降算法是求解无约束kkkkkkkkkkTkkkdxxxfdxfdxfdx1 : . 3)()( :0 . 20)(

10、 :, . 1,计算新的近似最优解满足然后计算步长满足计算下降方向首先已知近似最优解. 2, 1:,4)()(:0330,)(.,|)(|2; 0. 0,1)(1 . 3k1kkT0转步令步满足计算步长步；然后转步满足：计算下降方向否则算法终止，则得解若步令精度给定初始点步下降算法结构算法kkdxxxfdxfdxfdxxfkRxkkkkkkkkkkkn总结如下：采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物各章介绍具体将在以后同的最优化算法的不同构造方式对应不的线性组合和，即是某一对称正定矩阵其中：基本的构

11、造方法有两个满足计算下降方向已知近似最优解 , )(-)(- )( ),(- )( )( : .,-,-kkkkkkkkkkkkkTkkkddxfdbxfadHxfHddxfdx作主要有两部分：我们的工算法为构造一个使用的下降由下降算法的结构知,具体在下一节介绍求极值一元函数索来完成这一步主要通过线性搜满足计算步长, )()( )()( : .kkkkkkkkdxfxfdxf采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物第三节第三节 线性搜索线性搜索搜索和非精确搜索：的两种线性搜索：精确计算步长k0)()(

12、minT0kkkkkkkkddxfdxf满足即是一维优化问题的解精确搜索：.)()(降即函数值有一定程度下满足按照某种规则计算使之非精确搜索：kkkkkxfdxf采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物一、一、 精确线性搜索精确线性搜索 (100) 0)( .0)()()( ),()( )(minTT0kkkkkkkkkkkkkddxfddxfdxfdxf等价于解方程所以计算得解由则令是一维优化问题的解精确搜索：方法求近似解否则需用数值直接解方程求得简单如果方程;,)100(k采用PP管及配件：根据给

13、水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物 有理插值法抛物线法切线法曲线拟合法：分数法黄金分割法二分法试探法：数值方法：采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物的例子：直接解方程计算步长kkTkkTkkkTkkTkkkTkkTkkkQdddxfdxfQddxfdxfQdddxf)( 0,)( )()( )()()()( 得解令则由于对称且正定其中矩阵如二次函数 ,21)( QRxcxqQxxxfnTT采用PP管及配件：根据给水设计图配

14、置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物1. 1. 单峰函数单峰函数一、一、 精确线性搜索精确线性搜索黄金分割法黄金分割法(0.618(0.618法法 ) ) 定义：设)(xf是区间,ba上的一元函数，x是)(xf在,ba上的极小点，且对任意的, ,2121xxbaxx 有（a）当xx 2时，; )()(21xfxf （b）当时，时，xx 1. )()(21xfxf 则称 是单峰函数。)(xfa.b.x.1x2x. .采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔

15、接部位干净无污物性质：通过计算区间,ba内两个不同点的函数值，就可以确定一个包含极小点的子区间。定理 设是区间,ba上的单峰函数，x是)(xf在,ba上的极小点。任取点)(xf, ,badc 则有（1）如果)()(dfcf ，则; ,bcx （2）如果, )()(dfcf 则。,daxa.b.x.cd采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物2. 2. 黄金分割法黄金分割法思想：思想：通过选取试探点使包含极小点的区间按相同比例不断缩短，直到区间长度小到一定程度，此时区间上各点的函数值均接近极小值。下面推

16、导黄金分下面推导黄金分割法的计算公式割法的计算公式上单峰，在设,)(11baxf.,11bax极小点次迭代前第 k,kkbax,kkkkba取规定.kk,)()(kkff和计算分两种情况：,)()(. 1kkff若,1kka则令;1kkbb,)()(. 2kkff若,1kkaa则令.1kkb？与如何确定kkkakbk ku采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物kkkkab. 1比率相同，即每次迭代区间长度缩短. 2)0()(11为某一缩小比例kkkkabab)1()2(）可得：）与（由式（21)()

17、(1 (kkkkkkkkabaaba)3()4(件：要求其满足以下两个条kakbk ku采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物？取值的确定通过确定 的取值，使上一次迭代剩余的迭代点恰与下一次迭代的一个迭代点重合，从而减少算法的计算量。 ,)()() 1 (kkuffk次迭代时有设在第则有。,11kkkkuaba,111kkuk次迭代时选取在第）有则由（4)(1111kkkkabau)(2kkkaba。不必重新计算因此则，如果令112,1kkkuu618. 021512。次迭代时有若在第)()()2(

18、kkuffk同理可得同理可得采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物算法步骤：算法步骤：0.,. 111精度要求给定初始区间ba. 1:k令),(382. 01111aba令),(618. 01111aba).()(11ff与并计算,. 2kkab若停止，.2kkabx且否则，；时，转当3)()(kkff. 4)()(时，转当kkff,. 31kka令,1kkbb,1kk),(618. 01111kkkkaba),(1kf计算。转 2,. 41kkaa令,1kkb,1kk),(382. 01111kk

19、kkaba),(1kf计算, 1: kk令。转 2, 1: kk令采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物黄金分割法的迭代效果：第k次后迭代后所得区间长度为初始区间长度的。倍k)215(其它的试探点算法：Fibonacci算法(分数法)。, 2 , 1, 1Fibonacci1 -121kFFFFFkkk数列：Fibonacci算法计算试探点的公式为：-, ),-(-, ),-(-nkabFFankabFFakkknknkkkkknknkk1-knknkFF缩小比例：)(1-11kkknknkkabF

20、Fabnnabn-, 给定计算次数采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物的计算：关于nnFabFabFFabFFabFFFFFFabFFabnnnnnnnnnn而后得到由此计算出从而故有由递推关系可得11111111111 -32211 -1 -21-)-()-()-()-(-FibonacciFibonacci法为一维极小化最优策略，而黄金法为一维极小化最优策略，而黄金分割法为近似最优分割法为近似最优, ,但后者简单，因而较常用但后者简单，因而较常用采用PP管及配件：根据给水设计图配置好PP管及配

21、件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物Fibonacci法是黄金分割法的推广，黄金分割法是Fibonacci法的极限25125101 Fibonacci212，两个特征根为程为数列递推关系的特征方ccFFccFkkk,Fibonacci代入后得由初始条件数列递推关系的的解是采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物.lim-nnnkkkFFF于是所以)(618. 071 -三位有效数字时，当nnFFn采用PP管及配件：根据给水设计图配置好PP管及配件，用管

22、件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物二、二、 非精确线性搜索非精确线性搜索 Armijo Armijo 型线性搜索型线性搜索 和和 Wolfe-Powell Wolfe-Powell 型线性搜索型线性搜索.)()(有一定下降量较使得其计算步长易于实现，非精确搜索计算量小，精确搜索计算量较大，kkkkkxfdxf搜索是非精确搜索中最简单的Armijo)6 . 2( )()()(),1 , 0(ArmijoT11kkkkkkkkdxfxfdxf满足计算型线性搜索：给定)0()0()( (2.6),()(1kkkkdxf等价于令采用PP管及配件：根据给水设计

23、图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物Oa)()0(kxf)()(kkdxfkTkkdgxfl1)()(可接受区间可接受区间用进退法实现用进退法实现ArmijoArmijo搜索：逐渐变小以满足搜索：逐渐变小以满足ArmijoArmijo搜索条件搜索条件采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物2., 33.,),6 . 2( 2(0,1).0, 1. 1),6 . 2( 1 0)(Armijo3 . 2转步：令步；否则转步终止计算则得到步

24、长满足若步；令给定常数步否则转下一步；则取满足若步型线性搜索算法kkkkkkk. , k收敛速度它能使算法获得较快的很重要单位步长注意：采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物)0(T)0(0)0()0(0)0(0)0()0(2221)(0.9)()( ,5 . 0Armijo.) 1- , 1 (,) 1 , 1 (21)(min 2 . 3 . 2dxfxfdxfdxxxxfiTT使得搜索计算用设给定无约束问题例., 01-)(,2 , 1)(,)2 ,()(0)0()0(T00T21处的一个下降

25、方向在是故）（解：）（）（）（xfddxfxfxxxfT-23)-(1)(121)(-)( ,)-1 ,(1 222)0()0()0(T)0()0(xfdxfdx故由于0625. 05 . 0,1515 . 0 066666. 0151 9 . 0-) 1(-9 . 0-23 Armijo40i02即得由即搜索条件可以写成：采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物长，；过小则产生过小的步大，则函数计算量很大过的选择非常重要，如果搜索中，参数在上面关于ArmijokTkkTkkTkkkkdxfdxfdd

26、xf)()()()(:ArmijoArmijo22界即曲线切线斜率具有下小的条件基础上增加防止步长过搜索的下降条件在搜索的这一缺陷，人们为克服O)(kxf)()(kkdxfkTkkdgxfl1)()(可接受区间可接受区间kTkdg2c搜索。的非精确搜索从而得到了另一个重要Powell-Wolfe采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物)7 . 2()()()()()(10 Powell-Wolfe2T121kTkkkkkkTkkkkkkdxfddxfdxfxfdxf线性搜索：给定常数2101的存在性，

27、通常取为保证k)()()()()(),()(2k1kkkkdxf上面的搜索条件等价于令为什么？为什么？我们有下面结论的存在性，搜索中关于kPowell-Wolfe采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物成立。满足，使得则存在一个区间，界，如果是连续可微的，且有下设定理)7(2.,0)(:TbabadxfRRfkkn少相交一次，单调下降，两者必定至有下界，而直线因为曲线证明：kkkkkdxfxfldxfT1)()()( )()(O)(kxf)()(kkdxfkTkkdgxfl1)()(可接受区间可接受区

28、间kTkdg2c采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物).7 . 2(Powell-Wolfe,Powell-Wolfe)()()()2(1)2()()(-)(), 0()()()(), 0() 1 ()()()(0 T2T1T T T1T1条件满足一个小的区间在是连续可微的，故必存条件，由于满足即得），由（满足由中值定理，存在有而对任意的有是其中最小的交点，则令bafdxfdxfddxfddxfxfdxfdxfxfdxfdxfxfdxfkkkkkkkkkkkkkkkkkkkkkkk重要啊看来数学分

29、析的知识很采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物用进退法实现Wolfe-Powell搜索：逐渐增大以满足搜索条件的第二个条件O)(kxf)()(kkdxfkTkkdgxfl1)()(可接受区间可接受区间kTkdg2c逐渐变小以满足搜索条件的第一个条件0)0(k)0(k)1(k(1)k采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物.)7 . 2(Powell-WolfePowell-WolfeArmijo:)7 .

30、 2()6 . 2(长的作用是限制过小的步索的第二个条件搜搜索的第一个条件，而搜索的条件是不难看出和比较条件搜索的思想之一：计算Powell-Wolfe.)7 . 2(.(2.7)0,1,2,i),-() 1 , 0(,.)(Armijo)()1(1 -1(1)1()0(0)i1)0(1)1)0()0()0(1 -(0)0(中两个不等式满足重复上述过程，直到否则，令令不等式，则个大者。若同时满足第二第一个不等式成立的最中使得是集合令，取否则取也满足第二个条件，则若不满足第一个条件，且此时满足第一个不等式可正可负搜索计算初始点首先按kikkkkkkkkkkkkkkiki采用PP管及配件：根据给水

31、设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物具体实现如下：具体实现如下：2., 1(2.7) 0,1,2,),-(3.,;2; 0. )( |).1 , 0(, 02; 1),7 . 2(10)(i)j1)(1)()(1 -(i)()()0(1转步大者，令第一个不等式成立的最中使得是集合：令步令否则满足第二个条件，则取：若步令最大者中满足第一个不等式的可正可负是集合令：给定常数步否则转下一步；取若满足：若步iijijikkikikikkikkikjkkk0)0(k)0(k)1(k(1)k满足第一个条件满足第一个条件不满足第一个条件

32、不满足第一个条件采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物.Powell-Wolfe但不太稳定点插值法，计算简单，另一种常用的方法是二但比较稳定，搜索的计算量比较大，进退法计算21,，及两点已知函数1k1 -1112121-2)-(-)(),(),(,k-kkkkk-kkk导数及函数值插值法之一：已知两点1 -1121121-)-(-)()(),(,kkkk-kkk，导数及函数值插值法之二：已知两点作业题：用两点插值法实现作业题：用两点插值法实现Wolfe-Powell搜索搜索采用PP管及配件：根据给水

33、设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物210,)()(11kTkkkkdgxfdxf第三种重要的线性搜索：Goldstein搜索 Oa)(kxf)()(kkdxfkTkkdgxfl11)()(bkTkkkkdgxfdxf)1 ()()(1kTkkdgxfl)1 ()()(12采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物单调搜索时还原成当是整数，这里非单调搜索：如得到放松单调下降的要求，小的问题，人们提出了服单调搜索步长过是单调下降的。为

34、了克序列生的索属于单调搜索，所产以上我们介绍的线性搜Armijo00)()(max)(1-0MMdxfxfdxfxkTkkikMikkkk介绍请参考有关文献关于非单调搜索的详细下降的子列非单调搜索仅产生单调)(jkxf采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物四、下降算法的全局收敛性和超线性收敛性四、下降算法的全局收敛性和超线性收敛性.1 . 2敛速度收的全局收敛性和超线性法现在我们来研究下降算(2.12) | |)(|)(-cos,)(-Tkkkkkkkkdxfdxfxfd则有的夹角为和记向量有重要的

35、关系：夹角，下降算法的收敛性与从下面的定理可以看到knRyxyxLyfxfLxfxf, |,-|)(-)(|, 0,)Lipschitz()( 1 . 4 . 2使得即存在常数续连连续可微有下界且函数假设本假设：首先我们给出下面的基采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物(2.14) 0|(|limcos0,(2.13) cos|)(|,Powell-Wolfe,2.1,1 . 4 . 2 2.4.2- 1 . 4 . 2k220k），则使得若存在常数特别地则搜索产生由精确搜索或其中步长生产由算法序列

36、成立设假设定理kkkkkkxfxfx如果(2.14)成立，我们认为算法是全局收敛的. 该定理表明: 算法的收敛性与夹角有关搜索成立对需证明定理包含精确搜索，我们只由于Powell-WolfePowell-Wolfe采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物成立条件即可得由无穷级数收敛的必要成立得有下界并注意到相加到边从将上面的不等式左右两得搜索第一个条件，进一步由这里即可得我们有搜索条件及假设由证明：(2.14) .)13. 2( ,0(2.16) cos|)(|- |)(-)(-)(Powell-Wo

37、lfe .-1(2.15) |)(-|)(-1- | )(-)()()-1 (- ,Powell-Wolfe 2211221121212222fkxfcddxfcxfdxfLcddxfcddxfLdLdxfdxfdxfkkkkTkkkkkkkTkkkTkkkkkTkkkkkTk采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物的结论成立则定理）使得且存在常数搜索产生由步长其中产生由算法序列成立设假设定理14. 2(2.17) |(| 0,Armijo,2.1,1 . 4 . 2 3 . 4 . 2kkkkdCx

38、fCx(2.20) cos0, (2.19) 0|(|inflim(2.18) 0cosinflim .)17. 2( ArmijoPowell-Wolfe,2.1,1 . 4 . 2 4 . 4 . 21 -0kkkkkiikkkxfx使得若存在常数特别地）则若进一步成立定且搜索确搜索或由精确搜索或步长其中产生由算法序列成立设假设定理采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物上述定理说明了下降算法的收敛速度 和取单位步长的重要性关于下降算法的收敛速度，我们有关于下降算法的收敛速度，我们有.|)-(|)()(|Lipschitz)()3(*2*2xxxxOddxfxfxxfkkkkkkk二次收敛于则连续，且处在若;2; 1, ) 1 (0|)()(|lim .)(, 0)(, .1/2, 0Powell-WolfeArmijo12. 2 . 5 . 2*2*2*1xxkddxfxfxfxfxxxfkkkkkkkkkk超线性收敛于）序列（充分大时当则若正定且设）（搜索确定，其中搜索或由其中步长产生由算法二次连续可微，点列设函数定理