工程优化方法第二章讲稿.ppt

《工程优化方法第二章讲稿.ppt》由会员分享，可在线阅读，更多相关《工程优化方法第二章讲稿.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、工程优化方法第二章工程优化方法第二章第一页，讲稿共四十九页哦1.1 多元函数的定义多元函数的定义n元函数：元函数：n元线性函数：元线性函数：n元二次函数：元二次函数：n元向量值线性函数：元向量值线性函数：其中其中第二页，讲稿共四十九页哦1.2 多元函数的可导性和可微性多元函数的可导性和可微性在点在点存在存在,的偏导数，记为的偏导数，记为的某邻域内的某邻域内极限极限则称此极限为函数则称此极限为函数设函数设函数在点在点对第对第i个分量个分量注意注意注意注意：(1)式也可写为式也可写为其中其中定义定义定义定义1.2.1(1.2.1(偏导数偏导数偏导数偏导数)第三页，讲稿共四十九页哦1.2 多元函数的

2、可导性和可微性多元函数的可导性和可微性可表示成可表示成称为函数称为函数在点在点(x1,x2)的全微分的全微分,记作记作则称函数则称函数 f(x1,x2)在点在点(x1,x2)可微可微，定义定义定义定义1.2.21.2.21.2.21.2.2（二元函数的可微性）（二元函数的可微性）（二元函数的可微性）（二元函数的可微性）如果二元函数如果二元函数 z=f(x1,x2)在定义域在定义域 D 的的内点内点(x1,x2)处全增量处全增量第四页，讲稿共四十九页哦1.2 多元函数的可导性和可微性多元函数的可导性和可微性定义中增量的表达式定义中增量的表达式等价于等价于记记第五页，讲稿共四十九页哦1.2 多元函

3、数的多元函数的可导性和可微性可导性和可微性 若函数若函数 z=f(x1,x2)在点在点(x1,x2)可微可微，则该函数在该点偏导数，则该函数在该点偏导数必存在必存在,称向量称向量 是函数是函数 z=f(x1,x2)在点在点(x1,x2)的的梯度梯度。且有且有二元二元多元多元可微可微第六页，讲稿共四十九页哦1.2 多元函数的可导性和可微性多元函数的可导性和可微性定义定义定义定义1.2.31.2.3（多元函数的可微性）（多元函数的可微性）（多元函数的可微性）（多元函数的可微性）设设若若 使使 有：有：则称则称 f(x)在在 处可微。处可微。给定区域给定区域D上的上的 n 元实值函数元实值函数与二元

4、函数可微的等价形式类似引入与二元函数可微的等价形式类似引入第七页，讲稿共四十九页哦1.2 多元函数的可导性和可微性多元函数的可导性和可微性定理定理定理定理1.2.11.2.1（可微必可导）（可微必可导）（可微必可导）（可微必可导）若若 在在 处可微，则处可微，则 在该点处在该点处关于各变量的一阶偏导数存在，且关于各变量的一阶偏导数存在，且 证明：证明：证明：证明：令令 ，依次取，依次取两边除以两边除以 并取并取 的极限有：的极限有：在在 处可微，则处可微，则(3)对对 成立，成立，第八页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度定义定义定义定义1.3.11.3.1（多元函数梯度）（

5、多元函数梯度）（多元函数梯度）（多元函数梯度）以以 的的 n 个偏导数为分量的向量称为个偏导数为分量的向量称为 f(x)在在x处的梯度，处的梯度，若若 f 在在 处可微处可微,令令p=x-x0,由由 得得记为记为注：注：梯度也可称为函数梯度也可称为函数 f(x)关于向量关于向量x 的一阶导数。的一阶导数。这与一元函数展开到两项的这与一元函数展开到两项的 Taylor 公式公式公式公式是相对应的。是相对应的。第九页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度性质性质性质性质1 1 1 1的证明的证明的证明的证明:过点过点 的等值面方程为：的等值面方程为：设设 f(x)在定义域内有连续偏

6、导数，即有连续梯度在定义域内有连续偏导数，即有连续梯度 ，则梯度，则梯度有以下两个重要性质：有以下两个重要性质：设设 是过点是过点 同时又完全在等值面同时又完全在等值面(6)上的任上的任一条光滑曲线一条光滑曲线L L的方程，的方程，为参数，点为参数，点 对应的参数就是对应的参数就是把此曲线方程代入把此曲线方程代入(6),得到得到性质性质性质性质1:1:1:1:函数在某点的梯度不为零，则必与过该点的等值面垂直。函数在某点的梯度不为零，则必与过该点的等值面垂直。性质性质性质性质2:2:2:2:梯度方向是函数具有最大变化率的方向。梯度方向是函数具有最大变化率的方向。第十页，讲稿共四十九页哦1.3 多

7、元函数的梯度多元函数的梯度即函数即函数f(x)在在 处的梯度处的梯度 与过该点在等值面上的任一条曲线与过该点在等值面上的任一条曲线L在此点的切线垂直。在此点的切线垂直。从而与过该点的切平面垂直，性质从而与过该点的切平面垂直，性质1成立。成立。两边同时在两边同时在 处关于处关于 求导数，根据求导的链式法则有：求导数，根据求导的链式法则有：向量向量 恰为曲线恰为曲线 L 在在 处的切向量，处的切向量，则则第十一页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度定义定义定义定义1.3.2(1.3.2(方向导数方向导数方向导数方向导数)设设 在点在点x处可微处可微,p=te为固定向量为固定向量,

8、其中其中t是是向量向量p的模，的模，e 为向量为向量 p的单位向量，则称极限：的单位向量，则称极限：注：注：注：注：若若 则则f(x)从从 出发在出发在 附近沿附近沿p方向是方向是下降的下降的。为说明为说明性质性质性质性质2:2:梯度方向是函数具有最大变化率的方向梯度方向是函数具有最大变化率的方向梯度方向是函数具有最大变化率的方向梯度方向是函数具有最大变化率的方向为函数为函数f(x)在点在点 处沿方向处沿方向p的方向导数，记为的方向导数，记为，若若 则则f(x)从从 出发在出发在 附近沿附近沿p方向是方向是上升的上升的上升的上升的。引进方向导数引进方向导数当当t0充分小时，有充分小时，有第十二

9、页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度 若若 则则f(x)从从 出发在出发在 附近沿附近沿p方向是方向是下降的下降的下降的下降的。若若 则则f(x)从从 出发在出发在 附近沿附近沿p方向是方向是上升的上升的上升的上升的。因此又将方向导数因此又将方向导数 称为称为f f(x x)在在 处处沿方向沿方向p的的变化率。变化率。方向导数正负决定了函数升降方向导数正负决定了函数升降;升降速度的快慢由方向导数绝对值大小来决定，绝对值越升降速度的快慢由方向导数绝对值大小来决定，绝对值越大升降速度越大大升降速度越大;第十三页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度定理定理定理定

10、理1.3.11.3.1 若若 在点在点 处可微，则处可微，则 其中其中e 为为p方向上的单位向量。方向上的单位向量。证明证明证明证明：f在在 可微，则根据可微定义，可微，则根据可微定义，容易看到：当容易看到：当 时时，有，有 由前由前面证明即知面证明即知 p 为下降方向。为下降方向。利用方向导数定义并将上式中的利用方向导数定义并将上式中的 p 换成换成 te 有：有：第十四页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度由于由于 ,为方向为方向 p 与与 的夹角。的夹角。从而从而梯度方向是函数具有最大变化率的方向，性质梯度方向是函数具有最大变化率的方向，性质梯度方向是函数具有最大变化率

11、的方向，性质梯度方向是函数具有最大变化率的方向，性质2 2成立。成立。推论推论推论推论1.3.11.3.1 若若 ，则，则 p 是函数是函数 f(x)在在 处的下降方向；若处的下降方向；若 ，则，则 p 是函数是函数 f(x)在在 处的上升方向。处的上升方向。可见梯度方向即为函数的最速上升方向；负梯度方向即为函数的最可见梯度方向即为函数的最速上升方向；负梯度方向即为函数的最速下降方向。速下降方向。当夹角为当夹角为0(=0o)，即沿梯度方向，即沿梯度方向()时，方向导数取得时，方向导数取得最大值最大值 ；当夹角为；当夹角为180o(=180o)，即沿负梯度方向，即沿负梯度方向()时，方向导数取得

12、最小值时，方向导数取得最小值 。第十五页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度 上升方向上升方向变化率为变化率为0方向方向下降方向下降方向结论：结论：结论：结论：函数在与其梯度正交的方向上变化率为函数在与其梯度正交的方向上变化率为 0 0；成锐角的方向上是上升；成锐角的方向上是上升的的 ；成钝角的方向上是下降的。；成钝角的方向上是下降的。第十六页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度解：解：解：解：由于由于 则函数在则函数在 处的最速下降处的最速下降方向方向例例例例1.3.1 1.3.1 试求目标函数试求目标函数 在点在点 处的最速下降方处的最速下降方向，并求沿

13、这个方向移动一个单位长度后新点的目标函数值。向，并求沿这个方向移动一个单位长度后新点的目标函数值。此方向上的单位向量此方向上的单位向量新点是新点是第十七页，讲稿共四十九页哦1.3 多元函数的梯度多元函数的梯度几个常用的梯度公式：几个常用的梯度公式：几个常用的梯度公式：几个常用的梯度公式：第十八页，讲稿共四十九页哦1.4 多元函数的多元函数的HesseHesse矩阵矩阵定义定义定义定义1.4.11.4.1（HesseHesse矩阵）矩阵）矩阵）矩阵）多元函数多元函数记记f(x)的的Hesse矩阵为矩阵为第十九页，讲稿共四十九页哦1.4 多元函数的多元函数的HesseHesse矩阵矩阵常用的梯度和

14、常用的梯度和常用的梯度和常用的梯度和HesseHesseHesseHesse阵公式：阵公式：阵公式：阵公式：第二十页，讲稿共四十九页哦1.4 多元函数的多元函数的HesseHesse矩阵矩阵多元函数的多元函数的多元函数的多元函数的Taylor Taylor 展开：展开：展开：展开：设设 二阶可导。二阶可导。在在x*的邻域内的邻域内LagrangeLagrange余项余项余项余项 对对x,记记x x*+(x-x*)一阶一阶一阶一阶TaylorTaylor展开式展开式展开式展开式二阶二阶二阶二阶TaylorTaylor展开式展开式展开式展开式一阶中值公式一阶中值公式一阶中值公式一阶中值公式 对对x

15、,使使第二十一页，讲稿共四十九页哦第二章第二章 基本概念和理论基础基本概念和理论基础本章主要内容：本章主要内容：本章主要内容：本章主要内容：1 多元函数的梯度及其多元函数的梯度及其Hesse矩阵矩阵2 多元函数的极值及其判别条件多元函数的极值及其判别条件3 等高线等高线4 多元函数分析（二次函数）多元函数分析（二次函数）5 凸集、凸函数、凸规划凸集、凸函数、凸规划6 几个重要的不等式几个重要的不等式第二十二页，讲稿共四十九页哦2 多元函数的极值及其判别条件多元函数的极值及其判别条件 对于一个极小化问题，我们希望知道的是全局极小对于一个极小化问题，我们希望知道的是全局极小点，而到目前为止的一些最

16、优化算法却基本上是求局部极点，而到目前为止的一些最优化算法却基本上是求局部极小值点的。因此一般要先求出所有局部极小值点，再从中小值点的。因此一般要先求出所有局部极小值点，再从中找出全局极小点。找出全局极小点。为了求出函数的局部极小值点，考察函数为了求出函数的局部极小值点，考察函数 f 在局部极小点处在局部极小点处满足什么条件？反过来，满足什么条件的点是局部极小点满足什么条件？反过来，满足什么条件的点是局部极小点？这就是接下来这就是接下来我们我们要考虑的多元函数的极值条件。首先回顾二要考虑的多元函数的极值条件。首先回顾二元函数的极值条件。元函数的极值条件。第二十三页，讲稿共四十九页哦2.1 二元

17、函数的极值判别条件二元函数的极值判别条件定理定理定理定理2.1.1(2.1.1(必要条件必要条件必要条件必要条件)设设(1)为为D的一个内点的一个内点;可微可微;(2)在在处处,则在则在的极值点的极值点;(3)为为且且注：可微的极值点一定是驻点，反之不一定成立。注：可微的极值点一定是驻点，反之不一定成立。第二十四页，讲稿共四十九页哦2.1 二元函数的极值判别条件二元函数的极值判别条件定理定理定理定理2.1.2(2.1.2(充分条件充分条件充分条件充分条件)设设(1)为为D的一个内点的一个内点;二次连续可微二次连续可微;(2)在在的驻点，即的驻点，即(3)为为且且令令则则(1)当当 时，具有极值

18、时，具有极值取严格极大值取严格极大值取严格极小值取严格极小值(2)当当 时，时，不是不是 的极值点，的极值点，称为函数的鞍点；称为函数的鞍点；(3)当当 时，不能确定，需另行讨论。时，不能确定，需另行讨论。第二十五页，讲稿共四十九页哦2.2 多元函数的极值判别条件多元函数的极值判别条件定理定理定理定理2.2.1(2.2.1(2.2.1(2.2.1(必要条件必要条件必要条件必要条件)设设(1)x*为为D的一个内点的一个内点;可微可微;(2)在在则则的极值点的极值点;(3)为为且且定义定义定义定义2.2.12.2.1 设设 是是 D 的内点，若的内点，若则称则称 为为f 的驻点。的驻点。第二十六页

19、，讲稿共四十九页哦2.2 多元函数的极值判别条件多元函数的极值判别条件 设设 为任意单位向量为任意单位向量,是是 的局部极小点。的局部极小点。由定义知：由定义知：当当 ,即即 时，总有：时，总有：令令 则则 而而 是是D的内点的内点，从而与之对应从而与之对应的的t=0是是 的局部极小点。的局部极小点。由由一元函数极小点必要性条件知一元函数极小点必要性条件知 ,而由前述性质知而由前述性质知 则则 ,由单位向量任意性，即知由单位向量任意性，即知 。证明证明证明证明:（若（若 ，取，取 ，则，则 矛盾。）矛盾。）第二十七页，讲稿共四十九页哦2.2 多元函数的极值判别条件多元函数的极值判别条件例例例例

20、2.2.12.2.1 在在 处梯处梯度为度为 ，但但 只是双曲抛物面的鞍点，而不是极只是双曲抛物面的鞍点，而不是极小点。小点。f第二十八页，讲稿共四十九页哦2.2 多元函数的极值判别条件多元函数的极值判别条件定理定理定理定理2.2.2(2.2.2(充分条件充分条件充分条件充分条件)设设(1)x*为为D的一个内点的一个内点;(2)二次连续可微二次连续可微;在在(3)则则的严格局部极小点。的严格局部极小点。为为(4)正定；正定；第二十九页，讲稿共四十九页哦2.2 多元函数的极值判别条件多元函数的极值判别条件证明：证明：证明：证明：因因 正定，则正定，则 使对使对 ，均有：，均有：（x 充分接近充分

21、接近 时）。时）。将将 f 在在 处按处按Taylor公式展开公式展开注意注意,有：有：当当 x 充分接近充分接近时，时，上式左端的符号取决于右端的第上式左端的符号取决于右端的第一项（为正）。一项（为正）。故故第三十页，讲稿共四十九页哦课后作业课后作业P38 2.1 2.3 2.9-2.14第三十一页，讲稿共四十九页哦第二章第二章 基本概念和理论基础基本概念和理论基础本章主要内容：本章主要内容：本章主要内容：本章主要内容：1 多元函数的梯度及其多元函数的梯度及其Hesse矩阵矩阵2 多元函数的极值及其判别条件多元函数的极值及其判别条件3 等高线等高线4 多元函数分析（二次函数）多元函数分析（二

22、次函数）5 凸集、凸函数、凸规划凸集、凸函数、凸规划6 几个重要的不等式几个重要的不等式第三十二页，讲稿共四十九页哦3 等高线等高线例例例例3.13.1 求解求解 ，这是定义在，这是定义在 平面平面 上的无约束极上的无约束极小化问题，其目标函数小化问题，其目标函数在在 三维空间中代表一个曲面三维空间中代表一个曲面 。二元函数最优化问题，具有明显的几何特征，从几何图形上，可以直二元函数最优化问题，具有明显的几何特征，从几何图形上，可以直观了解函数的变化，我们把这种几何解释推广到观了解函数的变化，我们把这种几何解释推广到n维空间中，对后面优化维空间中，对后面优化方法的研究是有益处的。方法的研究是有

23、益处的。第三十三页，讲稿共四十九页哦3 等高线等高线在在 平面上任给一点平面上任给一点 ，就对应有一个目标函数值，就对应有一个目标函数值 是过是过 点作点作 平面的垂线与平面的垂线与S曲面交点的纵坐标。曲面交点的纵坐标。反之，任给一个值反之，任给一个值f0,使目标函数使目标函数f(z)取值为取值为f0的点的点z的个数就不相同了。可能没的个数就不相同了。可能没有，可能只有一个，可能有多个。有，可能只有一个，可能有多个。这一事实的几何意义是：这一事实的几何意义是：过过 f 轴上坐标为轴上坐标为f0的点作的点作 坐标平面的平行平面坐标平面的平行平面L，可，可能与曲面能与曲面S无交点无交点(f0 0)

24、.第三十四页，讲稿共四十九页哦3 等高线等高线定义定义定义定义3.13.1（等值线）（等值线）（等值线）（等值线）平面平面L L截曲面截曲面S S得到一个圆，将它投影到得到一个圆，将它投影到 平面上，平面上，仍为同样大小的圆，在这个圆上每一点的目标仍为同样大小的圆，在这个圆上每一点的目标 函数值均为函数值均为f0。若一条曲线上任何若一条曲线上任何若一条曲线上任何若一条曲线上任何一点的目标函数值等于同一常数，则称此曲线为目标函数的等值线。一点的目标函数值等于同一常数，则称此曲线为目标函数的等值线。一点的目标函数值等于同一常数，则称此曲线为目标函数的等值线。一点的目标函数值等于同一常数，则称此曲线

25、为目标函数的等值线。我们感兴趣的是至少有一个交点（我们感兴趣的是至少有一个交点（f0 0）的情形。）的情形。注意：注意：变动变动 f 的值，得到不同等值线，这是一组同心圆；对应的值，得到不同等值线，这是一组同心圆；对应f0=0的等值的等值线缩为一点线缩为一点G；对应；对应f00的等值线为空集的等值线为空集.随着随着 f 值变小，等值线圆半径变小，最后缩为一点，即为问题的最值变小，等值线圆半径变小，最后缩为一点，即为问题的最小值点小值点 G，即，即第三十五页，讲稿共四十九页哦3 等高线等高线例例例例3.23.2 用图解法求解用图解法求解 解：解：解：解：先画出目标函数等值线，再画出约束曲线。先画

26、出目标函数等值线，再画出约束曲线。对应的最优值为对应的最优值为由图易见约束直线与等值线的切点是最优由图易见约束直线与等值线的切点是最优点，利用解析几何的方法得点，利用解析几何的方法得该切点为该切点为本处约束曲线是一条直线，这条直线就是本处约束曲线是一条直线，这条直线就是可行域；而最优点就是可行域上使等值线可行域；而最优点就是可行域上使等值线具有最小值的点具有最小值的点.第三十六页，讲稿共四十九页哦3 等高线等高线定义定义定义定义3.23.2（等值面）（等值面）（等值面）（等值面）在三维和三维以上的空间中，使目标函在三维和三维以上的空间中，使目标函数取同一常数值的数取同一常数值的面面 x|f(x

27、)=r,r是常数是常数 称为目标函数称为目标函数的等的等值面。值面。定理定理定理定理3.13.1 若多元函数在其极小点处的若多元函数在其极小点处的 Hesse 阵正定，则它在阵正定，则它在这个极小点附近的等值面近似地呈现为同心椭球面族。这个极小点附近的等值面近似地呈现为同心椭球面族。第三十七页，讲稿共四十九页哦3 等高线等高线证明：证明：证明：证明：设设 是多元函数是多元函数 f 的极小点。并设的极小点。并设 是充分靠近极小点是充分靠近极小点 的一的一个等值面，即个等值面，即 充分小。将充分小。将 在在 点展开点展开因因 为极小值点为极小值点 ,这是等值面这是等值面 的一个近似曲面。由于假设的

28、一个近似曲面。由于假设 正定，则正定，则 是以是以 为中心的椭球面方程。为中心的椭球面方程。又又 是高阶无穷小量，则是高阶无穷小量，则第三十八页，讲稿共四十九页哦3 等高线等高线等值面等值面等值面等值面的的的的性质：性质：性质：性质：l不同值的等值面之间不相交，因为目标函数是单不同值的等值面之间不相交，因为目标函数是单值函数；值函数；l除了极值点所在的等值面外，不会在区域内部中除了极值点所在的等值面外，不会在区域内部中断，因为断，因为目标函数是目标函数是连续的连续的；l等值面稠的地方，目标函数值变化得较快，而稀疏的地方变化得比较慢等值面稠的地方，目标函数值变化得较快，而稀疏的地方变化得比较慢；

29、l一般地，在极值点附近，等值面（线）近似地呈一般地，在极值点附近，等值面（线）近似地呈现为同心现为同心椭球面族椭球面族（椭圆族）（椭圆族）；l二次函数的等值面是同心椭球面族，极值点是这个椭圆球面的共同二次函数的等值面是同心椭球面族，极值点是这个椭圆球面的共同中心。中心。第三十九页，讲稿共四十九页哦第二章第二章 基本概念和理论基础基本概念和理论基础本章主要内容：本章主要内容：本章主要内容：本章主要内容：1 多元函数的梯度及其多元函数的梯度及其Hesse矩阵矩阵2 多元函数的极值及其判别条件多元函数的极值及其判别条件3 等高线等高线4 多元函数分析多元函数分析5 凸集、凸函数、凸规划凸集、凸函数、

30、凸规划6 几个重要的不等式几个重要的不等式第四十页，讲稿共四十九页哦4.1 二次函数二次函数在在n元函数中，除了线性函数：元函数中，除了线性函数：或或最简单最重要的一类就是二次函数。最简单最重要的一类就是二次函数。第四十一页，讲稿共四十九页哦4.1 二次函数二次函数定义定义定义定义4.1.14.1.1（二次型）（二次型）（二次型）（二次型）代数学中将特殊的二次函数代数学中将特殊的二次函数 称为称为二次型。二次型。二次函数的一般形式为二次函数的一般形式为其中其中 均为常数，均为常数，向量矩阵表示形式向量矩阵表示形式 其中其中Q 为对称矩阵为对称矩阵第四十二页，讲稿共四十九页哦4.1 二次函数二次

31、函数定义定义定义定义4.1.24.1.2 设设Q为为nn对称矩阵对称矩阵,若若 ，均有均有 ，则称矩阵则称矩阵Q是是正定的正定的。若若 ，均有，均有 ，则称矩阵，则称矩阵Q是是半正定的半正定的。若若-Q是正定的，则称是正定的，则称Q是是负定的负定的。若若-Q是半正定的，则称是半正定的，则称Q是是半负定的半负定的。对于二次函数，我们更关心的是对于二次函数，我们更关心的是Q为正定矩阵的情形。为正定矩阵的情形。第四十三页，讲稿共四十九页哦4.1 二次函数二次函数A是正定矩阵是正定矩阵等价于以下等价于以下4个条件成立：个条件成立：（1）存在）存在非奇异矩阵非奇异矩阵G,使得使得 A=GTG;（2）A的

32、所有特征根大于零的所有特征根大于零;（3）有有满秩满秩矩阵矩阵G，使使A=GTG;（4）A的所有的所有顺序顺序主子式主子式都大于零都大于零.怎么判定一个对称矩阵怎么判定一个对称矩阵怎么判定一个对称矩阵怎么判定一个对称矩阵Q Q是不是正定的？是不是正定的？是不是正定的？是不是正定的？Sylvester（西尔维斯特（西尔维斯特）定理：定理：一个一个nn对称矩阵对称矩阵Q是正定矩阵的是正定矩阵的充要条件是矩阵充要条件是矩阵Q的各阶的各阶顺序顺序主子式都是正的。主子式都是正的。第四十四页，讲稿共四十九页哦4.1 二次函数二次函数解：解：解：解：对称矩阵对称矩阵Q Q的三个的三个顺序顺序主子式依次为主子

33、式依次为例例例例4.1.14.1.1 判定矩阵是否正定判定矩阵是否正定:矩阵矩阵Q是正定的。是正定的。第四十五页，讲稿共四十九页哦4.1 二次函数二次函数证明：证明：证明：证明：作变换作变换 ,代入二次函数式中：代入二次函数式中：根据解析几何知识，根据解析几何知识，Q Q为正定矩阵的二次型为正定矩阵的二次型 的等值面是以坐标原的等值面是以坐标原点点 为中心的同心椭球面族。由于上式中的为中心的同心椭球面族。由于上式中的 是常数，是常数，所以所以 的等值面也是以的等值面也是以 为中心的同心椭球面族，回到原坐标系为中心的同心椭球面族，回到原坐标系中去，原二次函数就是以中去，原二次函数就是以 为中心的

34、同心椭球面族。这族椭球面为中心的同心椭球面族。这族椭球面的中心的中心 恰是二次目标函数的唯一极小点。恰是二次目标函数的唯一极小点。定理定理定理定理4.1.1 4.1.1 若二次函数若二次函数 中中Q正定，则它的等值面正定，则它的等值面是同心椭球面族，且中心为是同心椭球面族，且中心为 .第四十六页，讲稿共四十九页哦4.1 二次函数二次函数推论推论推论推论1:1:对于对称正定矩阵对于对称正定矩阵 的二次函数：的二次函数：是它的唯一极小点。是它的唯一极小点。证明证明证明证明:求此二次函数的驻点求此二次函数的驻点,由由 ,知有唯知有唯 一驻点一驻点 ,而这点处的而这点处的Hesse阵阵 正定正定,故由

35、定理可知：故由定理可知：是其唯一极小点。是其唯一极小点。定理定理2.2.2(充分条件充分条件)设设(1)x*为为D的一个内点的一个内点;(2)二次连续可微二次连续可微;在在(3)则则的严格局部极小点。的严格局部极小点。为为(4)正定；正定；第四十七页，讲稿共四十九页哦4.1 二次函数二次函数 前面已说过，一般目标函数的等值面在极小点附近近似地呈现为椭前面已说过，一般目标函数的等值面在极小点附近近似地呈现为椭球面族。球面族。由此可见对于二次函数有效的求极小点的算法，当用于一由此可见对于二次函数有效的求极小点的算法，当用于一般函数时，至少在极小点附近同样有效。般函数时，至少在极小点附近同样有效。因

36、此在最优化理论中判定一个算法好坏的标准之一，是把该因此在最优化理论中判定一个算法好坏的标准之一，是把该算法用于算法用于Q为正定的二次函数，如能迅速找到极小点，就是好算法；否为正定的二次函数，如能迅速找到极小点，就是好算法；否则就不是太好的算法。则就不是太好的算法。特别地，若算法对于特别地，若算法对于Q为正定的二次函数能在有限步内找出极小为正定的二次函数能在有限步内找出极小点来，就称此算法为点来，就称此算法为二次收敛算法，或具有二次收敛性二次收敛算法，或具有二次收敛性二次收敛算法，或具有二次收敛性二次收敛算法，或具有二次收敛性。第四十八页，讲稿共四十九页哦4.1 二次函数二次函数解：解：解：解：展开展开例例例例4.1.2 4.1.2 把二次函数把二次函数 化为矩阵向量形式并检验化为矩阵向量形式并检验Q是否正定，如正定，试用公式是否正定，如正定，试用公式 求这个函数的极小点。求这个函数的极小点。与题中函数比较各项系数为：与题中函数比较各项系数为：第四十九页，讲稿共四十九页哦