第三章-无约束最优化方法ppt课件.ppt

《第三章-无约束最优化方法ppt课件.ppt》由会员分享，可在线阅读，更多相关《第三章-无约束最优化方法ppt课件.ppt（121页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程1第三章第三章 无约束最优化方法无约束最优化方法同济大学土木工程学院建筑工程系同济大学土木工程学院建筑工程系杨杨 彬彬Course_病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程2第三章第三章 无约束最优化

2、方法无约束最优化方法 最最优优化的数学模型化的数学模型为为 求求 min subject to(or s.t.)数学规划方法是在规定的约束条件下，用数学手段直数学规划方法是在规定的约束条件下，用数学手段直接求目标函数的极大、极小值。特殊情况：接求目标函数的极大、极小值。特殊情况：病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程31、无、无约约束最束最优优化化问题问题不存在不存在约约束条件束条件2、线线性性规规划划当目当目标标

3、函数、函数、约约束函数均是束函数均是变变量量X的的线线性函数性函数时时3、非、非线线性性规规划划当函数中至少有一个是非当函数中至少有一个是非线线性函数性函数时时第三章第三章 无约束最优化方法无约束最优化方法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程43-1 3-1 无约束最优化方法概述无约束最优化方法概述无约束最优化问题是数学规划的基础。无约束最优化问题是数学规划的基础。第三章第三章 无约束最优化方法无约束最优化方法求

4、函数求函数 极小值。极小值。无约束最优化问题的定义：求函数无约束最优化问题的定义：求函数 的极小（或极的极小（或极大）值，大）值，（n维欧氏空间）。维欧氏空间）。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程5第三章第三章 无约束最优化方法无约束最优化方法根据函数极值条件确定了极小点根据函数极值条件确定了极小点则函数则函数f(x)在在 附近的一切附近的一切x均满足不等式均满足不等式所以函数所以函数f(x)在在 处取得局部极

5、小值，称处取得局部极小值，称 为为局部极小点。局部极小点。而优化问题一般是要求目标函数在某一区域内而优化问题一般是要求目标函数在某一区域内的全局极小点。的全局极小点。函数的局部极小点是不是一定是全局极小点呢？函数的局部极小点是不是一定是全局极小点呢？一、最优性条件一、最优性条件病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程6下凸的一元函数下凸的一元函数第三章第三章 无约束最优化方法无约束最优化方法可以证明凸规划问题的局部最

6、小点就是其全局最小点。可以证明凸规划问题的局部最小点就是其全局最小点。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程7凸集凸集一个点集（或区域），如果连接其中任一个点集（或区域），如果连接其中任意两点的线段都全部包含在该集合内，意两点的线段都全部包含在该集合内，就称该点集为凸集，否则为非凸集。就称该点集为凸集，否则为非凸集。第三章第三章 无约束最优化方法无约束最优化方法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对

7、稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程8凸函数凸函数函数函数f(x）为凸集定义域内的函数，若对任何的）为凸集定义域内的函数，若对任何的及凸集域内的任意两点及凸集域内的任意两点存在如下不等式：存在如下不等式：称称是定义在凸集上的一个凸函数。是定义在凸集上的一个凸函数。第三章第三章 无约束最优化方法无约束最优化方法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的

8、相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程9第三章第三章 无约束最优化方法无约束最优化方法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程10凸规划凸规划对于约束优化问题对于约束优化问题若若都为凸函数，则此问题为凸规划。都为凸函数，则此问题为凸规划。第三章第三章 无约束最优化方法无约束最优化方法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原

9、体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程11第三章第三章 无约束最优化方法无约束最优化方法设设 Q是是nn 阶对称矩阵。阶对称矩阵。若若 且且 都有都有 ，则称矩阵，则称矩阵Q 是正定的是正定的若若 都有都有 ，则称矩阵，则称矩阵Q 是半正定的是半正定的若若 且且 都有都有 ，则称矩阵，则称矩阵Q 是负定的是负定的若若 都有都有 ，则称矩阵，则称矩阵Q 是半负定的是半负定的一个对称矩阵一个对称矩阵 是不是正定的，可以用是不是正定的，可以用Sylvester定理来判定。定理来判定。定理定理(Sylvester)一个一个 nn阶对称

10、矩阵阶对称矩阵Q 是正定矩阵是正定矩阵的充分必要条件是，矩阵的充分必要条件是，矩阵Q 的各阶主子式都是正的。的各阶主子式都是正的。正定矩阵正定矩阵病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程12第三章第三章 无约束最优化方法无约束最优化方法多元函数的梯度和性多元函数的梯度和性质质定义定义 以以 的的n偏导数为分量的向量称为偏导数为分量的向量称为 在在 x处处的梯度，记为的梯度，记为 梯度也可以称为函数梯度也可以称为函数

11、关于向量关于向量 x的一阶导数。的一阶导数。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程13第三章第三章 无约束最优化方法无约束最优化方法 梯度的性质梯度的性质、函数在某点的梯度若不为零，则必与过该点的等、函数在某点的梯度若不为零，则必与过该点的等值面值面“垂直垂直”；、梯度方向是函数具有最大变化率的方向。、梯度方向是函数具有最大变化率的方向。如图所示，证明上面性质如图所示，证明上面性质。为了证明性质。为了证明性质引入方

12、引入方向导数的概念。向导数的概念。梯度方向与等值面的关系梯度方向与等值面的关系病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程14第三章第三章 无约束最优化方法无约束最优化方法方向方向导导数数沿沿d方向的方向向方向的方向向量量即即病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起

13、不同程度的病理生理过程15第三章第三章 无约束最优化方法无约束最优化方法方向导数的正负决定了函数的升降，而升降的快慢就由方向导数的正负决定了函数的升降，而升降的快慢就由它的绝对值大小来决定。方向导数它的绝对值大小来决定。方向导数 又称为函数又称为函数 在点在点x0 处沿处沿 d方向的变化率。下降最快的方向称为最速方向的变化率。下降最快的方向称为最速下降方向。下降方向。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程16第三章

14、第三章 无约束最优化方法无约束最优化方法Hessian矩阵（函数矩阵（函数 的梯度的梯度 是它的一阶导数，是它的一阶导数，Hessian矩阵是函数矩阵是函数 的二阶导数）的二阶导数）函数函数 取得极小的充分条件是函数取得极小的充分条件是函数 的的Hessian矩阵矩阵为正定方阵为正定方阵病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程17第三章第三章 无约束最优化方法无约束最优化方法方阵方阵 为正定的定义是：若对任何向量为正

15、定的定义是：若对任何向量d(d!=0)，有，有对称正定方阵对称正定方阵 的检验方法是所有主子式均大于零。的检验方法是所有主子式均大于零。二、迭代方法二、迭代方法求解求解min 的问题可以转变为求解的问题可以转变为求解n 元方程组元方程组无约束最优化问题无约束最优化问题的的问题问题。一般地，。一般地，这这是一个非是一个非线线性方程性方程组组，可可对对其采用迭代法求解之。其采用迭代法求解之。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病

16、理生理过程18第三章第三章 无约束最优化方法无约束最优化方法 下降迭代算法下降迭代算法算法：给定目标函数算法：给定目标函数 的极小点的一个初始估计点的极小点的一个初始估计点 ，然后按一定的规则产生一个序列，然后按一定的规则产生一个序列 ，这种规则通常，这种规则通常称为算法。如果这个序列的极限恰好是问题（称为算法。如果这个序列的极限恰好是问题（3-1）的）的极小点极小点 ，即，即或等价地或等价地那么就说该算法所产生的序列收敛于那么就说该算法所产生的序列收敛于病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机

17、能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程19第三章第三章 无约束最优化方法无约束最优化方法下降迭代法：在给定初始点后，如果每迭代一步都使目标下降迭代法：在给定初始点后，如果每迭代一步都使目标函数有所下降，即函数有所下降，即 ，那么这种迭代法称为下，那么这种迭代法称为下降法。降法。假定我们已经迭代到点假定我们已经迭代到点 处，那么下一步迭代将有以处，那么下一步迭代将有以下两种情况之一发生：下两种情况之一发生：、从、从 出发沿任何方向移动，目标函数不再下降。出发沿任何方向移动，目标函数不再下降。是局部极小点，迭代终止。是局部极小点，迭代终止。、从、从 出发至

18、少存在一个方向使目标函数有所下降。这出发至少存在一个方向使目标函数有所下降。这时，从中选定一个下降方向时，从中选定一个下降方向 ，再沿这个方向适当迈进，再沿这个方向适当迈进一步，即在直线一步，即在直线病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程20第三章第三章 无约束最优化方法无约束最优化方法上适当选定一个新点上适当选定一个新点使得使得 那么就说完成了第那么就说完成了第 次迭代。上式中的次迭代。上式中的 称为步长因子。称

19、为步长因子。在迭代过程中有两个规则需要确定：一个是下降方在迭代过程中有两个规则需要确定：一个是下降方向向 的选取；一个步长因子的选取；一个步长因子 的选取。的选取。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程21第三章第三章 无约束最优化方法无约束最优化方法 下降迭代算法的基本格式如下：下降迭代算法的基本格式如下：、选定初始点、选定初始点 ，置，置 ；、按某种规则确定、按某种规则确定 使得使得、按某种规则确定、按某种规则

20、确定 使得使得、计算、计算、判定、判定 是否满足终止准则，若满足，是否满足终止准则，若满足，则打印则打印 和和 ，停止迭代计算；否则置，停止迭代计算；否则置 ，转，转继续迭代。继续迭代。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程22第三章第三章 无约束最优化方法无约束最优化方法上述算法可用如下框图表达上述算法可用如下框图表达病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度

21、的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程23第三章第三章 无约束最优化方法无约束最优化方法三、无约束最优化方法的分类三、无约束最优化方法的分类解析法解析法直接法直接法数学模型复杂时不便求解数学模型复杂时不便求解可以处理复杂函数及没有数学表达式可以处理复杂函数及没有数学表达式的优化设计问题的优化设计问题直接法直接法:单变量直接法单变量直接法0.618法，分数法，抛物线法，法，分数法，抛物线法，多项式插值；多变量直接法（爬山法）多项式插值；多变量直接法（爬山法）模态搜索法，模态搜索法，方向加速法，单纯形法。方向加速

22、法，单纯形法。解析法解析法:函数的导数函数的导数梯度法，牛顿法，共轭梯度法，梯度法，牛顿法，共轭梯度法，变尺度法等。变尺度法等。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程243-2 3-2 一维搜索（一维搜索（0.6180.618法）法）3-2 一维搜索一维搜索0.618法法实际问题的最优设计变量很多，经过分析简化，可以实际问题的最优设计变量很多，经过分析简化，可以只考虑对目标函数影响最大的一个变量，也就是单变只考虑对

23、目标函数影响最大的一个变量，也就是单变量的最优设计问题。量的最优设计问题。一维搜索就是求一元函数的极小点，即一维搜索就是求一元函数的极小点，即 假定假定 ，且函数可微，则由极限的必备条件得，且函数可微，则由极限的必备条件得 一维搜索又称为直线搜索。一维搜索又称为直线搜索。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程250.618法法 0.618法适用于一般的单峰函数。所谓单峰函数，是指法适用于一般的单峰函数。所谓单峰函数

24、，是指这样的函数：在极小点这样的函数：在极小点 的左边，函数是严格减小的；的左边，函数是严格减小的；在在 的右边，函数是严格增加的。也就是说，若的右边，函数是严格增加的。也就是说，若 是任意两点：是任意两点：当当 时，则时，则当当 时，则时，则3-2 3-2 一维搜索（一维搜索（0.6180.618法）法）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程26 从图中可看出，假定不知道极小点从图中可看出，假定不知道极小点 的位

25、置，任取的位置，任取两点两点 ，如果，如果 ，则，则 必在必在 之间；若之间；若 ，则，则 ；若；若 ，则，则 。3-2 3-2 一维搜索（一维搜索（0.6180.618法）法）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程27设给定一个较小的步长设给定一个较小的步长，从，从=0开始，先计算开始，先计算(0)，然，然后计算在后计算在 的函数值的函数值()；如果；如果()0，则新区间取，则新区间取为为1,3若若f(3)0则新

26、区间取为则新区间取为3,2。然后定义。然后定义为新区间为新区间1,2继续计算下去，直到满足误差限。继续计算下去，直到满足误差限。3-2 3-2 一维搜索（两点格式）一维搜索（两点格式）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程52 常见的决定常见的决定的方法有弦位法和二分法。弦位法是的方法有弦位法和二分法。弦位法是利用在点利用在点1的的f(1)及点及点2的的f(2)，对，对f()进行线性插值：进行线性插值：该式给出该式

27、给出f()=0的点的点的近似值的近似值3：由此得到：由此得到：3-2 3-2 一维搜索（两点格式）一维搜索（两点格式）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程53 二分法简单地将二分法简单地将取成取成0.5,即即 二分法每次将搜索区间长度缩小为原长的一半，二分法每次将搜索区间长度缩小为原长的一半，所以可以预测要经过多少次迭代才能将区间缩小到制所以可以预测要经过多少次迭代才能将区间缩小到制定长度。例如，约经过定长度。例

28、如，约经过20次迭代可以将原区间缩小为次迭代可以将原区间缩小为1/106的长度。的长度。3-2 3-2 一维搜索（两点格式）一维搜索（两点格式）病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程543-3 3-3 求多变量极值的直接搜索法求多变量极值的直接搜索法3-3 3-3 求多变量极值的直接搜索法求多变量极值的直接搜索法单纯形法单纯形法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起

29、不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程55 所谓单纯形，是在所谓单纯形，是在n维空间里对维空间里对n+1个顶点组成的多个顶点组成的多面体，如果这个额多面体各边相等，则成为正单纯形。面体，如果这个额多面体各边相等，则成为正单纯形。单纯形的优化方法，就是在单纯形的顶点处的函数值进行单纯形的优化方法，就是在单纯形的顶点处的函数值进行比较，丢掉其中最坏的点，而代之以新的点，构成新的单比较，丢掉其中最坏的点，而代之以新的点，构成新的单纯形。按此顺序，每次把坏的丢掉，好的留下，逐步逼近纯形。按此顺序，每次把坏的丢

30、掉，好的留下，逐步逼近极小点。极小点。单纯形法第一步是选择一个合理的初始设计单纯形法第一步是选择一个合理的初始设计x0=(x01,x02x0n)T，并以它为顶点构建边长为，并以它为顶点构建边长为a的正单纯的正单纯形，通常规定其余顶点为：形，通常规定其余顶点为：x1=x0+(p,q,q,q)T .xn=x0+(p,q,q,q)T3-4 3-4 无约束优化的单纯形法无约束优化的单纯形法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理

31、过程56可以验证该单纯形各边长为可以验证该单纯形各边长为a，接着开始迭代过程。，接着开始迭代过程。设在第设在第k次迭代得到一个单纯形，其次迭代得到一个单纯形，其n+1个顶点个顶点x0,x1.xn，迭代过程如下：迭代过程如下：(1)准备。计算这准备。计算这n+1个顶点处的函数值：个顶点处的函数值：比较得到最优点比较得到最优点xl、最坏点、最坏点xh和次坏点和次坏点xb;去掉最劣点，把剩下点的形心找出来：去掉最劣点，把剩下点的形心找出来：3-3-4 4 无约束优化的单纯形法无约束优化的单纯形法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理

32、过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程57(2)反射。以反射。以 为中心将为中心将xh反射而得到反射而得到 ，如图。，如图。经验表明，取经验表明，取a=1较好。计算目标函数在较好。计算目标函数在 的值。的值。若若 ，即比最好点还好，可让，即比最好点还好，可让 沿此直线沿此直线延伸，转入第延伸，转入第(3)步；否则转入第步；否则转入第(4)步步3-3-4 4 无约束优化的单纯形法无约束优化的单纯形法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体

33、，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程58(3)延伸。让延伸。让 沿着直线沿着直线 延伸到延伸到 ：一般取一般取=2较好。然后计算该点处函数值，若较好。然后计算该点处函数值，若 则用则用 代替代替 ，得到新的单纯形，然后再返回，得到新的单纯形，然后再返回(1)；反之，说明延伸不成功，退回到；反之，说明延伸不成功，退回到 ，返回，返回(1)。3-3-4 4 无约束优化的单纯形法无约束优化的单纯形法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，

34、破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程59(4)收缩。进入这一步是因为：收缩。进入这一步是因为：，即反射点不比，即反射点不比最优点好，有两种可能：最优点好，有两种可能：1、如果新点比次坏点还差，如果按老套路会出现死循、如果新点比次坏点还差，如果按老套路会出现死循环，故此时，从环，故此时，从 和和 中挑出一个最坏点并舍弃，中挑出一个最坏点并舍弃，如果舍弃如果舍弃 ，则把，则把 收缩到收缩到 ：否则，按下式把否则，按下式把 收缩到收缩到 ：式中，式中，0f(x(k)（2）方向）方向S（k）和和f(x(k)正交正交（3）H-1存在但非正定，存在但非正定，S（k）

35、并不给出下山方向并不给出下山方向（4）H-1不存在不存在病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程89三、共轭方向法和共轭梯度法三、共轭方向法和共轭梯度法梯度法收敛慢，牛顿法虽加快了收敛，但每次要计算二梯度法收敛慢，牛顿法虽加快了收敛，但每次要计算二阶导数矩阵及其求逆，计算工作量太大。阶导数矩阵及其求逆，计算工作量太大。共轭方向法收敛速度比牛顿法慢，但比梯度法快，而且共轭方向法收敛速度比牛顿法慢，但比梯度法快，而且不需

36、要计算二阶导数和矩阵求逆，总的效果比牛顿法好。不需要计算二阶导数和矩阵求逆，总的效果比牛顿法好。考察二维情况考察二维情况对于二元二次函数对于二元二次函数3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程90任选初始点任选初始点 ，沿某个下降方向，沿某个下降方向 作一维搜索得作一维搜索得 ，即，即 取得极值的充要取得极值的充要条件是条件是而而故式（故式（3-65）将变成）将

37、变成而且向量而且向量 所在的直线必与某条等值线相切于所在的直线必与某条等值线相切于 点。点。3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程91下一次迭代，若按最速下降法下一次迭代，若按最速下降法选择负梯度方向为搜索方向，选择负梯度方向为搜索方向，那么，将要发生锯齿现象。那么，将要发生锯齿现象。希望下一次迭代的搜索方向希望下一次迭代的搜索方向将直指极小点将直指极小点 方

38、向方向 应满足什么条件，应满足什么条件，怎样确定？怎样确定？3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程92因为因为 直指极小点直指极小点 ，所以可以写成，所以可以写成对对求导求导因为因为 是极小点，所以是极小点，所以将式（将式（3-68）代入式（）代入式（3-70），可得），可得即即3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防

39、御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程93等式两边左乘等式两边左乘 其中第一项，据式（其中第一项，据式（3-67)等于零，等于零，为不等于零的常数，为不等于零的常数，所以所以这就是使向量这就是使向量 直指极小点所必需满足的条件。直指极小点所必需满足的条件。满足式（满足式（3-73）的两个向量）的两个向量 和和 称为称为C的共轭向量，的共轭向量，或称或称 和和 的方向是共轭方向。的方向是共轭方向。对于二元二次目标函数，从任意初始点对于二元二次

40、目标函数，从任意初始点 出发，沿任意出发，沿任意下降方向下降方向 作一维搜索得到作一维搜索得到 ，再从，再从 出发沿出发沿 的的共轭方向共轭方向 作一维搜索得到的作一维搜索得到的 必是极小点必是极小点 。3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程94例例3-10 用共轭方向法求函数用共轭方向法求函数 的极小值，设初始点为的极小值，设初始点为 。3-5 3-5 无约

41、束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程953-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程963-5 3-5 无约束最优化的解析法无约束最优化的解析法病原

42、体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程97共轭方向法共轭方向法梯度法收敛慢，牛梯度法收敛慢，牛顿法虽加快了收敛，顿法虽加快了收敛，但每次要计算二阶但每次要计算二阶导数矩阵及其求逆，导数矩阵及其求逆，计算工作量太大。计算工作量太大。3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防

43、御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程98作为一种迭代法：共轭方向是在迭代过程中逐次产生作为一种迭代法：共轭方向是在迭代过程中逐次产生的，在迭代的第一步中，取负梯度方向作为移动方向，的，在迭代的第一步中，取负梯度方向作为移动方向，即即 ，而在以后各步中，则以负梯度方向，而在以后各步中，则以负梯度方向加上已产生的方向的线性组合作为移动方向：加上已产生的方向的线性组合作为移动方向：共轭梯度法共轭梯度法这时，利用向量这时，利用向量 与与 关于关于C共轭的特性，即共轭的特性，即将式（将式（3-75）两边的矩阵转置后均乘以）两边的矩阵转置后均乘以 ，则得，则

44、得3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程99这种在迭代过程中逐次产生共轭方向的方法，称为共这种在迭代过程中逐次产生共轭方向的方法，称为共轭梯度法。轭梯度法。当当 不是极小点时，可用下式代替式（不是极小点时，可用下式代替式（3-77）：）：这样，可以不必计算这样，可以不必计算H（海色矩阵），而直接由函数的（海色矩阵），而直接由函数的梯度计算梯度计算 的值。的值。

45、3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程100共轭梯度法的迭代步骤如下：共轭梯度法的迭代步骤如下：1.给定初始值给定初始值 ，并令，并令 。2.对于对于k=0,1,2,.,n-1令令其中，其中，可由下式求得可由下式求得当当kn-1时，令时，令其中其中3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定

46、性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程1013.当当 ，则迭代停止，否则以，则迭代停止，否则以 代替代替 ，并回到第一步。，并回到第一步。3-5 3-5 无约束最优化的解析法无约束最优化的解析法用共轭梯度法求目标函数用共轭梯度法求目标函数 的极小值，的极小值，初始点选在初始点选在x(0)=(0,0)T，精度为精度为0.01。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机

47、体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程1023-5 3-5 无约束最优化的解析法无约束最优化的解析法用共轭梯度法求目标函数用共轭梯度法求目标函数 的极小值，的极小值，初始点选在初始点选在x(0)=(0,0)T，精度为精度为0.01。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程1033-5 3-5 无约束最优化的解析法无约束最优化的解析法用共轭梯度法求目标函数用共轭梯度法求目标函数 的极小值

48、，的极小值，初始点选在初始点选在x(0)=(0,0)T，精度为精度为0.01。病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程1043-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程105四、变尺度法四

49、、变尺度法牛顿法、梯度法可以归结为下述公式：牛顿法、梯度法可以归结为下述公式：其中，其中，为为nn矩阵，若令矩阵矩阵，若令矩阵 等于单位矩阵，即等于单位矩阵，即 ，则得梯度法则得梯度法若令若令 为为F(X)的二阶导数矩阵的逆矩阵的二阶导数矩阵的逆矩阵 ，便是，便是牛顿法。牛顿法。收敛慢收敛慢收敛快，但要求二阶导数和矩阵求逆，计算工作量大收敛快，但要求二阶导数和矩阵求逆，计算工作量大变尺度法是选取一个变尺度法是选取一个 ，使其逼近海色矩阵的逆，使其逼近海色矩阵的逆 ，则由式（则由式（3-79）确定的算法就可以保持收敛快的特点，）确定的算法就可以保持收敛快的特点，又避免了冗繁的计算工作。又避免了冗

50、繁的计算工作。3-5 3-5 无约束最优化的解析法无约束最优化的解析法病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程病原体侵入机体，消弱机体防御机能，破坏机体内环境的相对稳定性，且在一定部位生长繁殖，引起不同程度的病理生理过程106构造一个矩阵序列构造一个矩阵序列 ，使之逼近二阶导数矩阵的逆阵。，使之逼近二阶导数矩阵的逆阵。开始时，取开始时，取 ，然后按下列递推公式计算每次，然后按下列递推公式计算每次迭代的迭代的H:式中，式中，为修正矩阵。可以构造不同形式的为修正矩阵。可以构造不同形式的 最常用的一种形式，构成变尺度法的递推公式：