2优化方法的数学基础.ppt

《2优化方法的数学基础.ppt》由会员分享，可在线阅读，更多相关《2优化方法的数学基础.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、6.2 优化方法的数学基础方向导数与梯度方向导数与梯度二次函数及正定矩阵二次函数及正定矩阵无约束优化问题的极值条件无约束优化问题的极值条件 等式等式约束优化问题的极值条件约束优化问题的极值条件 不等式约束优化问题的极值条件不等式约束优化问题的极值条件优化设计问题的基本解法优化设计问题的基本解法一、一、方向导数与梯度方向导数与梯度（一）方向导数（一）方向导数二元函数在点二元函数在点x0处沿某一方向处沿某一方向s s的的方向导数方向导数方向导数是偏导数概念的推广。方向导数是偏导数概念的推广。方向导数与偏导数之间的数量关系是方向导数与偏导数之间的数量关系是Ox2x1x10 x20 x0 x1 x2

2、sxS 1 2图图2-1一个三元函数一个三元函数f(x1,x2，x3)在在x0(x10,x20，x30)点处沿点处沿s方向的方向导数为方向的方向导数为ssn元函数在点元函数在点x0处沿处沿s s方向的方向导数方向的方向导数（二）（二）（二）（二）梯度梯度梯度梯度二元函数的梯度二元函数的梯度 为函数F(x1，x2)在x0点处的梯度。梯度的模：梯度的模：设设图图2-2 梯度方向与等值线的关系梯度方向与等值线的关系设：设：则有则有 为单位向量。为单位向量。若上式为若上式为0，则说明方向导数是沿着，则说明方向导数是沿着等值线的切线向，而梯度是沿着与等值等值线的切线向，而梯度是沿着与等值线切线相垂直的方

3、向，且这时方向导数线切线相垂直的方向，且这时方向导数达到最大值，这说明梯度是函数值变化达到最大值，这说明梯度是函数值变化最快的方向，而梯度的模就是函数变化最快的方向，而梯度的模就是函数变化率的最大值率的最大值。当方向当方向s与梯度方向的夹角为锐角时，与梯度方向的夹角为锐角时，上式大于上式大于0，当方向，当方向s与梯度的夹角为钝与梯度的夹角为钝角时，上式小于角时，上式小于0，这说明与梯度成锐角，这说明与梯度成锐角的方向是函数值增加（上升）的方向，的方向是函数值增加（上升）的方向，而与梯度成钝角的方向是函数值减小而与梯度成钝角的方向是函数值减小（下降）的方向。（下降）的方向。图图2-2 梯度方向与

4、等值线的关系梯度方向与等值线的关系多元函数的梯度多元函数的梯度多元函数的梯度多元函数的梯度多元函数的方向导数表示为多元函数的方向导数表示为 对于二元函数来说，函数的对于二元函数来说，函数的梯度方向梯度方向与函数等与函数等值线面相垂直，也就是和等值面上过值线面相垂直，也就是和等值面上过x0的一切曲线的一切曲线相垂直。相垂直。由于梯度的模因点而异，即函数在不同点处的由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种最大变化率是不同的。因此，梯度是函数的一种局局部性质部性质。梯度梯度 模：模：综上所述，函数的梯度具有以下特征：综上所述，函数的梯度具有以下特征：综上所述

5、，函数的梯度具有以下特征：综上所述，函数的梯度具有以下特征：1 1）函数一点的梯度是由函数在该点上的所有一阶）函数一点的梯度是由函数在该点上的所有一阶）函数一点的梯度是由函数在该点上的所有一阶）函数一点的梯度是由函数在该点上的所有一阶偏导数组成的向量。梯度的方向是该点函数值上升最偏导数组成的向量。梯度的方向是该点函数值上升最偏导数组成的向量。梯度的方向是该点函数值上升最偏导数组成的向量。梯度的方向是该点函数值上升最快的方向，梯度的大小就是它的模。快的方向，梯度的大小就是它的模。快的方向，梯度的大小就是它的模。快的方向，梯度的大小就是它的模。2 2）函数在一点的梯度方向与函数过该点的等值线）函数

6、在一点的梯度方向与函数过该点的等值线）函数在一点的梯度方向与函数过该点的等值线）函数在一点的梯度方向与函数过该点的等值线（面）的切线（平面）相垂直，或者说是该点等值线（面）的切线（平面）相垂直，或者说是该点等值线（面）的切线（平面）相垂直，或者说是该点等值线（面）的切线（平面）相垂直，或者说是该点等值线（面）的外法线方向。（面）的外法线方向。（面）的外法线方向。（面）的外法线方向。3 3）梯度是函数在一点邻域内局部性态的描述。在邻）梯度是函数在一点邻域内局部性态的描述。在邻）梯度是函数在一点邻域内局部性态的描述。在邻）梯度是函数在一点邻域内局部性态的描述。在邻域内上升得快的方向，离开邻域后就不

7、一定上升得快，域内上升得快的方向，离开邻域后就不一定上升得快，域内上升得快的方向，离开邻域后就不一定上升得快，域内上升得快的方向，离开邻域后就不一定上升得快，甚至可能下降。甚至可能下降。甚至可能下降。甚至可能下降。例题例题 2-1求函数求函数 在点在点3,2T 的的 梯度。梯度。在点在点x(1)=3,2T处的梯度为：处的梯度为：解解:例例2-2：试求目标函数试求目标函数 在在点点 处的最速下降方向，并求沿这个方向移动处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。一个单位长度后新点的目标函数值。则函数在则函数在 处的最速下降方向是处的最速下降方向是解：解：由于由于这个方向上

8、的单位向量是：这个方向上的单位向量是：新点是新点是几个常用的梯度公式：几个常用的梯度公式：外，最简单最重要的一类就是二次函数。外，最简单最重要的一类就是二次函数。在在n元函数中，除了线性函数：元函数中，除了线性函数：或或 f(X)=aX+c二、二次函数及正定矩阵二、二次函数及正定矩阵其中其中 均为常数。均为常数。在代数学中将特殊的二次函数在代数学中将特殊的二次函数 称为称为二次型二次型二次型二次型。对于二次函数，我们更关心的是对于二次函数，我们更关心的是Q为正定矩阵的情形。为正定矩阵的情形。其中其中 Q=b=Q为对称矩阵为对称矩阵其向量矩阵表示形式是：其向量矩阵表示形式是：二次函数的一般形式为

9、：二次函数的一般形式为：若若 ，X0 ，均有均有 0 ，则称矩阵，则称矩阵Q是是正正正正定定定定的。的。定义：设定义：设Q为为nn对称矩阵对称矩阵一个一个一个一个n n n n对称矩阵对称矩阵对称矩阵对称矩阵Q Q是正定矩阵的充要条件是矩阵是正定矩阵的充要条件是矩阵是正定矩阵的充要条件是矩阵是正定矩阵的充要条件是矩阵Q Q的各阶主子式都是正的。的各阶主子式都是正的。的各阶主子式都是正的。的各阶主子式都是正的。一个一个一个一个n n n n对称矩阵对称矩阵对称矩阵对称矩阵Q Q是负定矩阵的充要条件是矩阵是负定矩阵的充要条件是矩阵是负定矩阵的充要条件是矩阵是负定矩阵的充要条件是矩阵Q Q的各阶主子

10、式的值负、正相间。的各阶主子式的值负、正相间。的各阶主子式的值负、正相间。的各阶主子式的值负、正相间。若若若若 ，且，且，且，且X0X0，均有均有均有均有 0 0，则称，则称，则称，则称Q Q是是是是负定负定负定负定负定负定的。的。的。的。解：对称矩阵解：对称矩阵Q的三个主子式依次为：的三个主子式依次为：例例2-3：判定矩阵：判定矩阵Q=是否正定是否正定因此知矩阵因此知矩阵Q是正定的。是正定的。（一）（一）（一）（一）多元函数的泰勒展开多元函数的泰勒展开多元函数的泰勒展开多元函数的泰勒展开三、无约束优化问题的极值条件三、无约束优化问题的极值条件 二二元函数元函数：二二元函数：在点元函数：在点X

11、k处处多元函数泰勒展开海赛矩阵海赛矩阵（Hessian）对二次函数：对二次函数：为二次函数的为二次函数的海赛（海赛（海赛（海赛（HessianHessian）矩阵，常量矩阵。矩阵，常量矩阵。矩阵，常量矩阵。矩阵，常量矩阵。二次函数的梯度为：二次函数的梯度为：例例2-5：求目标函数：求目标函数f（X）=的梯度和的梯度和Hessian矩阵。矩阵。解：因为解：因为 则则又因为：又因为：故故Hessian阵为：阵为：例例2-6：用泰勒展开将函数用泰勒展开将函数在点在点简化成线性函数与二次函数。简化成线性函数与二次函数。解：函数在点解：函数在点的函数值、梯度和二阶导数矩阵：的函数值、梯度和二阶导数矩阵：

12、简化的线性函数简化的线性函数简化的二次函数简化的二次函数（二）无约束优化问题的极值条件（二）无约束优化问题的极值条件（二）无约束优化问题的极值条件（二）无约束优化问题的极值条件 1.F(x)在在 处取得极值，其必要条件是处取得极值，其必要条件是:即在极值点处函数的梯度为即在极值点处函数的梯度为n维零向量。维零向量。例：例：在在 处梯度为处梯度为但但 只是双曲抛物面的鞍点，而不是极小点。只是双曲抛物面的鞍点，而不是极小点。函数的梯度为零的条件仅为必要的，而不是充分的。函数的梯度为零的条件仅为必要的，而不是充分的。函数的梯度为零的条件仅为必要的，而不是充分的。函数的梯度为零的条件仅为必要的，而不是

13、充分的。则称则称 为为 f 的的驻点驻点驻点驻点。定义：设定义：设 是是D的内点，若的内点，若Rastrigins function 根据函数在根据函数在 点处的泰勒展开式，考虑上述极点处的泰勒展开式，考虑上述极值必要条件，可得相应的充分条件。值必要条件，可得相应的充分条件。为了判断从上述必要条件求得的为了判断从上述必要条件求得的 是否是极值是否是极值点，需建立极值的充分条件。点，需建立极值的充分条件。2 2.处取得极值充分条件处取得极值充分条件处取得极值充分条件处取得极值充分条件 海色（海色（Hessian）矩阵矩阵 正定正定正定正定，即各阶主子，即各阶主子式均大于零，则式均大于零，则X*为

14、为极小点极小点极小点极小点。海色（海色（Hessian）矩阵矩阵 负定负定负定负定，即各阶主子，即各阶主子式负、正相间式负、正相间，则，则X*为为极大点极大点极大点极大点。解得以下解得以下4个驻点：个驻点：例例2-7 求函数求函数 的极值。的极值。解：由极值的必要条件解：由极值的必要条件 由极值的充分条件求函数的二阶导数矩阵，并判断其正由极值的充分条件求函数的二阶导数矩阵，并判断其正定性得定性得正定正定不定不定不定不定负定负定由此知由此知X1是函数的极小值点，是函数的极小值点，X4是函数的极大值点，是函数的极大值点，X2和和X3均为非极值点。均为非极值点。四、等式约束优化问题的极值条件四、等式

15、约束优化问题的极值条件求解求解等式约束优化问题为：等式约束优化问题为：minf(x)s.t.hk(x)=0 (k=1,2,m)对这一问题，在数学上有两种处理方法：对这一问题，在数学上有两种处理方法：消元法消元法（降维（降维法）和法）和拉格朗日乘子法拉格朗日乘子法（升维法）。（升维法）。对对n维函数的优化问题：维函数的优化问题：minf(x1,x2,xn)s.t.hk(x1,x2,xn)=0(k=1,2,l)由由l个约束方程将个约束方程将n个变量中的前个变量中的前l个变量用其余个变量用其余n-l个变量个变量表示，即有表示，即有（一）消元法（一）消元法将将这些函数关系代入到目标函数中，从而得到只这

16、些函数关系代入到目标函数中，从而得到只xl+1,xl+2,xl+n共有共有n-l个变量的函数（个变量的函数（n-l维），这样就可以利维），这样就可以利用无约束优化问题的极值条件求解，此法称为用无约束优化问题的极值条件求解，此法称为消元法或降维法消元法或降维法。（二）拉格朗日乘子法（二）拉格朗日乘子法（二）拉格朗日乘子法（二）拉格朗日乘子法对于具有对于具有l个个等式约束的等式约束的n维优化问题维优化问题 minf(x1,x2,xn)s.t.hk(x1,x2,xn)=0(k=1,2,l)把原把原目标函数目标函数f(x)改造成为如下形式的新的目标函数改造成为如下形式的新的目标函数式式中的中的hk(x

17、)就是原目标函数就是原目标函数f(x)的等式约束条件，而待定系的等式约束条件，而待定系数数 k称为拉格朗日乘子。这种方法称为称为拉格朗日乘子。这种方法称为拉格朗日乘子法拉格朗日乘子法。在极值点处，有在极值点处，有共有共有n+l个方程，足以解出这个方程，足以解出这n+l个变量，此法也称为个变量，此法也称为升维法升维法。例例28：用拉格朗日乘子法计算在约束条件：用拉格朗日乘子法计算在约束条件h(x1,x2)=2x1+3x2-6=0的情况下，目标函数的情况下，目标函数f(x1,x2)=4x12+5x22的极值点坐标。的极值点坐标。则则联立得极值点联立得极值点x*(1.071,1.286)解解 改造的

18、目标函数是改造的目标函数是五、不等式约束优化问题的极值条件（一）一元函数在给定区间上的极值条件（一）一元函数在给定区间上的极值条件对于一元函数在给定区间对于一元函数在给定区间a,b上的极值条件，上式上的极值条件，上式中的第一式为中的第一式为分析极值点分析极值点x*在区间在区间a,b中所处的位置，将会出现三种中所处的位置，将会出现三种可能的情况可能的情况1)当当ax*b时时,1=2=0，则极值条件为则极值条件为2）当）当x*=a时，时，10，20，则极值条件为则极值条件为3）当）当x*=b时，时，1 0，2 0，则极值条件为则极值条件为（二）库恩塔克条件（二）库恩塔克条件（二）库恩塔克条件（二）

19、库恩塔克条件 不等式约束的多元函数极值的必要条件是著名的不等式约束的多元函数极值的必要条件是著名的库恩库恩塔克（塔克（Kuhn-Tucker）条件，它是非线性优化问条件，它是非线性优化问题的重要理论题的重要理论（1）库恩）库恩塔克条件塔克条件(K-T条件）条件）对于多元函数不等式的约束优化问题：对于多元函数不等式的约束优化问题：K-TK-T条件条件库恩库恩塔克条件表明：如点塔克条件表明：如点 是函数是函数 的极值的极值点，要么点，要么 （此时（此时 ）要么目标函数的负梯度等于起作用约束梯度的非负要么目标函数的负梯度等于起作用约束梯度的非负线性组合（此时线性组合（此时 ）。）。Ox1x2极值点处

20、于等值线的中心极值点处于两个约束曲线的交点上xg1(x)0g2(x)0g3(x)0Ox1x2xg1(x)0g2(x)0起作用约束：库恩库恩塔克条件的几何意义是塔克条件的几何意义是:在约束极小值点在约束极小值点 处，处，函数函数 的负梯度一定能表示成所有起作用约束在该点的负梯度一定能表示成所有起作用约束在该点梯度（法向量）的非负线性组合。梯度（法向量）的非负线性组合。同时具有等式和不等式约束的优化问题同时具有等式和不等式约束的优化问题:K-T条件：条件：K-TK-T条件条件是多元函数取得约束极值的是多元函数取得约束极值的必必要条件要条件,以用来作为约束极值的判断条件，以用来作为约束极值的判断条件

21、，又可以来直接求解较简单的约束优化问题。又可以来直接求解较简单的约束优化问题。对于目标函数和约束函数都是凸函数对于目标函数和约束函数都是凸函数的情况，的情况，符合符合K-TK-T条件的点一定是全局最条件的点一定是全局最优点。优点。这种情况这种情况K-TK-T条件即为多元函数取条件即为多元函数取得约束极值的得约束极值的充分必要条件充分必要条件。K-TK-T条件是多元函数取得约束极值的必要条件条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。求解较简单的约束优化问题。例例2-9 2-9 库恩库恩塔克（

22、塔克（K-TK-T）条件应用举例条件应用举例 s.t判断判断1 0T是否为约束最优点。是否为约束最优点。(1)当前点当前点 为可行点，因满足约束条件为可行点，因满足约束条件(3)各函数的梯度：各函数的梯度：（2）在）在 起作用约束为起作用约束为g1和和g2,因因 （4）求拉格朗日乘子）求拉格朗日乘子由于拉格朗日乘子均为非负，说明由于拉格朗日乘子均为非负，说明是一个局部最优点，因为它满足是一个局部最优点，因为它满足K-T条件。条件。s.t.求解优化问题的基本解法有：求解优化问题的基本解法有：六、优化设计问题的基本解法六、优化设计问题的基本解法解析法解析法解析法解析法数值解法数值解法数值解法数值解

23、法解解解解析析析析法法法法：即即利利用用数数学学分分析析(微微分分、变变分分等等）的的方方法法，根根据据函函数数（泛泛函函）极极值值的的必必要要条条件件和和充充分分条条件件求求出出其其最最优优解解析析解解的的求求解解方方法法 。在在目目标标函函数数比比较较简简单时，求解还可以。单时，求解还可以。局限性：局限性：工程优化问题的目标函数和约束条件往往工程优化问题的目标函数和约束条件往往比较复杂，有时甚至还无法用数学方程描述，在这比较复杂，有时甚至还无法用数学方程描述，在这种情况下应用数学分析方法就会带来麻烦。种情况下应用数学分析方法就会带来麻烦。最最优优化化方方法法是是与与近近代代电电子子计计算算

24、机机的的发发展展紧紧密密相相联联系系的的，数数值值计计算算法法比比解解析析法法更更能能适适应应电电子子计计算算机机的的工工作作特特点点，因因为数值计算的迭代方法具有以下特点：为数值计算的迭代方法具有以下特点：1 1）是数值计算而不是数学分析方法；）是数值计算而不是数学分析方法；2 2）具有简单的逻辑结构并能进行反复的同样的算术计算）具有简单的逻辑结构并能进行反复的同样的算术计算3 3）最后得出的是逼近精确解的近似解。）最后得出的是逼近精确解的近似解。这些特点正与计算机的工作特点相一致。这些特点正与计算机的工作特点相一致。数值解法：数值解法：数值解法：数值解法：这是一种数值近似计算方法，又称为数

25、值这是一种数值近似计算方法，又称为数值迭代方法。它是根据目标函数的变化规律，以适当的步长迭代方法。它是根据目标函数的变化规律，以适当的步长沿着能使目标函数值下降的方向，逐步向目标函数值的最沿着能使目标函数值下降的方向，逐步向目标函数值的最优点进行探索，逐步逼近到目标函数的最优点或直至达到优点进行探索，逐步逼近到目标函数的最优点或直至达到最优点。数值解法（迭代法）是优化设计问题的基本解法。最优点。数值解法（迭代法）是优化设计问题的基本解法。数值迭代法的数值迭代法的基本思路基本思路基本思路基本思路：是进行反复的数值计是进行反复的数值计算，寻求算，寻求目标目标函数值不断下降的可行计算点，直到函数值不

26、断下降的可行计算点，直到最后获得足够精度的最后获得足够精度的最优点最优点。这种方法的求优过程这种方法的求优过程大致可归纳为以下步骤：大致可归纳为以下步骤：1 1）首先初选一个尽可能靠近最小点的）首先初选一个尽可能靠近最小点的初始点初始点X（0 0），从从X（0 0）出发按照一定的原则寻找可行方向和初始步长，出发按照一定的原则寻找可行方向和初始步长，向前跨出一步达到向前跨出一步达到X（1 1）点；点；2 2）得到新点）得到新点X（1 1）后再选择一个新的使函数值迅速下后再选择一个新的使函数值迅速下降的方向及适当的步长，从降的方向及适当的步长，从X（1 1）点出发再跨出一步，点出发再跨出一步，达到

27、达到X（2 2）点，并依此类推，一步一步地向前探索并重点，并依此类推，一步一步地向前探索并重复数值计算，最终达到目标函数的最优点。复数值计算，最终达到目标函数的最优点。1.1.求解步骤求解步骤在中间过程中每一步的迭代形式为：在中间过程中每一步的迭代形式为：图图1-11 迭代计算机逐步逼近最优点过程示意图迭代计算机逐步逼近最优点过程示意图 式式中中：X（k）第第k步步迭迭代代计计算算所所得得到到的的点点，称称第第k步迭代点，亦为第步迭代点，亦为第k步设计方案；步设计方案；a（k）第第k步迭代计算的步长；步迭代计算的步长；S（k）第第k步迭代计算的探索步迭代计算的探索 方向。方向。用用迭迭代代法法

28、逐逐步步逼逼近近最最优优点点的的探探索索过过程程如如图图1-81-8所示。所示。运用迭代法，每次迭代所得新的点的目标函数都运用迭代法，每次迭代所得新的点的目标函数都应满足函数值下降的要求：应满足函数值下降的要求：（1 1）选择搜索方向）选择搜索方向）选择搜索方向）选择搜索方向（2 2）确定步长因子）确定步长因子）确定步长因子）确定步长因子（3）给定收敛准则）给定收敛准则收敛：收敛：迭代法要解决的问题：迭代法要解决的问题：2.2.迭代终止准则迭代终止准则（1 1）点距准则）点距准则或或ffkfk+1f*xkoxk+1x*x(a)（2）函数值下降量函数值下降量 准则准则或或xoffkfk+1f*x

29、kxk+1x*(b)（3 3）目标函数梯度）目标函数梯度准则准则 上述准则都在一定程度上反映了逼近最优点的上述准则都在一定程度上反映了逼近最优点的程度，但都有一定的局限性。在实际应用中，可取程度，但都有一定的局限性。在实际应用中，可取其中一种或多种同时满足来进行判定。其中一种或多种同时满足来进行判定。采用哪种收敛准则，可视具体问题而定。可以取：采用哪种收敛准则，可视具体问题而定。可以取：本节小结本节小结 本章主要内容为：方向导数，梯度，泰勒展开式，本章主要内容为：方向导数，梯度，泰勒展开式，二次函数，正（负）定阵，无约束求极值问题，等式约二次函数，正（负）定阵，无约束求极值问题，等式约束求极值

30、问题（消元法，拉格朗日法），不等式约束极束求极值问题（消元法，拉格朗日法），不等式约束极值问题（值问题（K-T法）。法）。导数是函数在一个点上变化率的描述，偏导数是函导数是函数在一个点上变化率的描述，偏导数是函数在一点沿坐标方向的变化率，方向导数是函数在一点数在一点沿坐标方向的变化率，方向导数是函数在一点沿任意方向的变化率，梯度则是函数在一点上变化率最沿任意方向的变化率，梯度则是函数在一点上变化率最大的方向导数。函数在一点上沿任意方向的方向导数等大的方向导数。函数在一点上沿任意方向的方向导数等于函数在该点的梯度在该方向上的投影。于函数在该点的梯度在该方向上的投影。梯度是由函数在一个点上的各个偏

31、导数组成的向量，梯度是由函数在一个点上的各个偏导数组成的向量，其大小等于它的模长，方向等于函数在该点方向导数最其大小等于它的模长，方向等于函数在该点方向导数最大的方向，或者说函数上升得最快的方向，也是函数过大的方向，或者说函数上升得最快的方向，也是函数过该点的等值线（面）的外法线方向。该点的等值线（面）的外法线方向。在一点上连续且二阶可导的多元函数，可以按泰勒在一点上连续且二阶可导的多元函数，可以按泰勒展开式的形式简化为线性函数或二次函数。展开式中的展开式的形式简化为线性函数或二次函数。展开式中的二阶导数矩阵是由函数在该点上的二阶导数矩阵是由函数在该点上的nn个二阶偏导数组个二阶偏导数组成的成

32、的nn阶对称矩阵。任意二次函数都可以写成泰勒二阶对称矩阵。任意二次函数都可以写成泰勒二次展开式的形式，若其中的二阶导数矩阵为正定矩阵，次展开式的形式，若其中的二阶导数矩阵为正定矩阵，则称此二次函数为正定二次函数。正定二次函数的等值则称此二次函数为正定二次函数。正定二次函数的等值线（面）是一族椭圆（球），函数的极小点就是椭圆线（面）是一族椭圆（球），函数的极小点就是椭圆（球）的中心。（球）的中心。无约束问题在一个点上取得极值的条件是，函数在无约束问题在一个点上取得极值的条件是，函数在该点的梯度等于零，二阶导数矩阵正定或负定。二阶该点的梯度等于零，二阶导数矩阵正定或负定。二阶导数矩阵正定时取得极小

33、值，二阶导数矩阵负定时取导数矩阵正定时取得极小值，二阶导数矩阵负定时取得极大值，二阶导数不定时无极值。得极大值，二阶导数不定时无极值。等式约束问题在一个点上取得极值的条件是，目标等式约束问题在一个点上取得极值的条件是，目标函数的负梯度等于约束函数梯度的非零线性组合。函数的负梯度等于约束函数梯度的非零线性组合。不等式约束问题在一个点上取得极值的条件是，目不等式约束问题在一个点上取得极值的条件是，目标函数的负梯度等于起作用约束函数梯度的非负线性标函数的负梯度等于起作用约束函数梯度的非负线性组合。其几何解释是，目标函数的负梯度位于起作用组合。其几何解释是，目标函数的负梯度位于起作用约束函数梯度所成夹角或锥体之内。约束函数梯度所成夹角或锥体之内。补补1:函数函数 是否有是否有极值，如有，求极值点，并说明是极大还是极小。极值，如有，求极值点，并说明是极大还是极小。补补2：验证约束优化问题：验证约束优化问题在点在点 库恩库恩-塔克条件成立。塔克条件成立。