第02章数学基础精选PPT.ppt

《第02章数学基础精选PPT.ppt》由会员分享，可在线阅读，更多相关《第02章数学基础精选PPT.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第02章数学基础第1页，此课件共51页哦第二章第二章 优化设计的数学基础优化设计的数学基础 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件 第二节第二节 多元函数的泰勒多元函数的泰勒(Taylor)(Taylor)展开展开 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件-Kuhn-Tucker-Kuhn-Tucker条件条件第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件机械优化设计机械优化设计孙靖民孙靖民第2页，此课件

2、共51页哦第二章第二章 练习练习1.1.求解二元函数求解二元函数f(xf(x1 1,x,x2 2)在在x x0 0=0=0，00T T处函数变化率最大处函数变化率最大的方向和数值。的方向和数值。2.2.求解二元函数求解二元函数f(xf(x1 1,x,x2 2)在在x x0 0=1=1，22T T处的二阶泰勒展开式。处的二阶泰勒展开式。3.3.二元函数二元函数 求极值点和极值，（先求驻点，再判断是否极值点）求极值点和极值，（先求驻点，再判断是否极值点）4.4.第3页，此课件共51页哦1.计算多元函数的梯度与方向导数。计算多元函数的梯度与方向导数。2.证明证明:目标函数在某点处的梯度是该目标函数等

3、值线或超目标函数在某点处的梯度是该目标函数等值线或超 曲面在该点的法向量曲面在该点的法向量3.多元函数的泰勒展开式，取到二次项。多元函数的泰勒展开式，取到二次项。4.证明：驻点为极小点的充要条件为，海赛矩阵正定。证明：驻点为极小点的充要条件为，海赛矩阵正定。5.元函数求其极值点和极值。（先求驻点，再判断海赛元函数求其极值点和极值。（先求驻点，再判断海赛 矩阵）矩阵）6.凸函数凸集的定义，性质凸函数凸集的定义，性质7.拉格朗日乘子法拉格朗日乘子法8.库恩库恩-塔克条件判断约束极值点塔克条件判断约束极值点 第二章第二章 优化设计的数学基础优化设计的数学基础重点内容重点内容 第4页，此课件共51页哦

4、结结 束束第二章第二章 优化设计的数学基础优化设计的数学基础第5页，此课件共51页哦第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 二元函数二元函数 （其意义为（其意义为 在在点处被平面点处被平面 所截曲线所截曲线 处切线对处切线对 轴的斜率）轴的斜率）一、方向一、方向导导数数 第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第6页，此课件共51页哦二者分别代表函数二者分别代表函数 在在点处沿点处沿坐标轴坐标轴 和和方向的变化率。方向的变化率。图图2-1 2-1 二维空间中的方向二维空间中的方向d d函函数数f(xf(x1 1,x,x2 2)在在点

5、点x x0 0（x x1010，x x2020）沿沿着着某一方向某一方向d 的变化率的变化率该该函函数数沿沿此此方方向向的的方方向向导导数数(为为标标量量)第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第7页，此课件共51页哦方向导数与偏导数之间的关系：方向导数与偏导数之间的关系：令令 方方向向导导数数是是偏偏导导数数概概念念的的推推广广，偏偏导数是方向导数的特例。导数是方向导数的特例。第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第8页，此课件共51页哦推广到元函数推广到元函数d d方向与坐标轴方向与坐标轴 方向之间夹角的余弦，

6、方向之间夹角的余弦，又称又称方向余弦方向余弦 二、二元函数的梯度二、二元函数的梯度 点的方向导数点的方向导数(数值，标量数值，标量)某二元函数在某二元函数在 第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第9页，此课件共51页哦单位向量单位向量 记为记为，称为，称为梯度梯度（为向量）（为向量）第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第10页，此课件共51页哦表示梯度向量与表示梯度向量与d方向夹角的余弦方向夹角的余弦 点处方向导数的大小随点处方向导数的大小随 当当d d沿着沿着 方向时，方向时，取最大值取最大值 第二章第二章

7、第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 而变化而变化第11页，此课件共51页哦梯度的方向梯度的方向：是函数：是函数在点数值增长点数值增长数等值线或等值超曲面在该点的法向量；数等值线或等值超曲面在该点的法向量；梯度的模梯度的模：是函数变化率的最大值。：是函数变化率的最大值。最快的方向，梯度向量最快的方向，梯度向量正是函正是函第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第12页，此课件共51页哦梯度方向梯度方向 与与d d方向垂直，即为等值面的法线方向。方向垂直，即为等值面的法线方向。梯度是等值线或等值超曲面在该点的法向量；梯度是等值线或等

8、值超曲面在该点的法向量；如图所示，在如图所示，在处等值线的切线方向处等值线的切线方向d是是函数变化率为零函数变化率为零第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第13页，此课件共51页哦梯度方向为等值面的法线方向。梯度方向为等值面的法线方向。所以梯度所以梯度方向为函数变化率最大的方向方向为函数变化率最大的方向,函数下降最快的方向，即函数下降最快的方向，即最速下降方向，与负梯度最速下降方向，与负梯度成锐角的方向为函数下降成锐角的方向为函数下降方向。方向。负梯度负梯度即最速上升方向。即最速上升方向。方向为方向为 第二章第二章 第一节第一节 多元函数的方向导数与梯

9、度多元函数的方向导数与梯度 第14页，此课件共51页哦三、多元函数的梯度三、多元函数的梯度d d方向的单位向量方向的单位向量函数沿函数沿d d方向的方向导数方向的方向导数梯梯 度度第二章第二章 第一节第一节 多元函数的方向导数与梯度多元函数的方向导数与梯度 第15页，此课件共51页哦在在点处的梯度与函数在点处的梯度与函数在点处的等值面相垂直点处的等值面相垂直梯度方向单位向量为梯度方向单位向量为p p：沿某坐标轴方向的变化率沿某坐标轴方向的变化率偏导数偏导数 沿任意方向的变化率沿任意方向的变化率 方向导数方向导数 变化率最大的方向变化率最大的方向 梯度梯度 第二章第二章 第一节第一节 多元函数的

10、方向导数与梯度多元函数的方向导数与梯度 第16页，此课件共51页哦第二节第二节 多元函数的泰勒多元函数的泰勒(Taylor)(Taylor)展开展开 在点处点处TaylorTaylor展开式为：展开式为：一元函数一元函数 二元函数二元函数 在点处的点处的TaylorTaylor展开式为展开式为 第二章第二章 第二节第二节 多元函数的泰勒展开多元函数的泰勒展开 第17页，此课件共51页哦写成矩阵形式为写成矩阵形式为 可简写为可简写为 其中其中 第二章第二章 第二节第二节 多元函数的泰勒展开多元函数的泰勒展开 第18页，此课件共51页哦函数在该点的梯度函数在该点的梯度 或或 2x22x2对称矩阵，

11、称为海赛（对称矩阵，称为海赛（HessianHessian）矩阵）矩阵 第二章第二章 第二节第二节 多元函数的泰勒展开多元函数的泰勒展开 第19页，此课件共51页哦其中其中 如如为定义在为定义在 的的n元元函数函数，在，在 用泰勒展开式，取到二次项用泰勒展开式，取到二次项 点点第二章第二章 第二节第二节 多元函数的泰勒展开多元函数的泰勒展开 第20页，此课件共51页哦为为nn阶对称矩阵阶对称矩阵 若将若将 的的Taylor展开式只取到线性项，则展开式只取到线性项，则 表示过表示过 点和函数点和函数 所代表的超曲面相切的切平面所代表的超曲面相切的切平面 第二章第二章 第二节第二节 多元函数的泰勒

12、展开多元函数的泰勒展开 第21页，此课件共51页哦优化计算经常把目标函数表示成二次函数以便优化计算经常把目标函数表示成二次函数以便使问题的分析得以简化。使问题的分析得以简化。二次齐次函数称为二次型，其矩阵形式为：二次齐次函数称为二次型，其矩阵形式为：其中，其中，G G为对称矩阵。为对称矩阵。优化计算中，在某点附近的函数值采用泰勒展开作为近优化计算中，在某点附近的函数值采用泰勒展开作为近似表达时，研究该点邻域的极值问题需分析二次型函数是否似表达时，研究该点邻域的极值问题需分析二次型函数是否正定。正定。对于任何非零向量对于任何非零向量x使使则二次函数正定，则则二次函数正定，则G G为正定矩阵为正定

13、矩阵 第二章第二章 第二节第二节 多元函数的泰勒展开多元函数的泰勒展开 第22页，此课件共51页哦一、一元函数的情况一、一元函数的情况 (1)(1)极值点存在的必要条件（驻点存在）极值点存在的必要条件（驻点存在）(2)(2)极值点存在的充分条件极值点存在的充分条件 ，则该点为极小点，则该点为极小点 ，则该点为极大点，则该点为极大点 第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件 (1)极值点存在的必要条件：极值点存在的必要条件：即即若在驻点附近若在驻点附近，二、多元函数的情况二、多元函数的情况 极值点都是驻点，驻点不一定都是极值点极值点都是驻点，驻点不一定都是极值点 若在驻点附

14、近，若在驻点附近，第二章第二章 第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件第23页，此课件共51页哦（2）极值点存在充分条件）极值点存在充分条件 点附近，将点附近，将 按泰勒展开为：按泰勒展开为：在在 若若在在点处取极小值，则要求在点处取极小值，则要求在 一切点一切点 均须满足均须满足 点附近点附近 第二章第二章 第二节第二节 多元函数的泰勒展开多元函数的泰勒展开 第24页，此课件共51页哦即即HessianHessian矩阵正定矩阵正定 为极小点的充要条件：海赛矩阵为极小点的充要条件：海赛矩阵 正定正定 的各阶主子式的值均大于零的各阶主子式的值均大于零 即：即：，第二章第

15、二章 第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件第25页，此课件共51页哦如如负定，负定，为极大值为极大值 如如不定，不定，（实际优化中，由于复杂的目标函数的（实际优化中，由于复杂的目标函数的Hessian矩阵不易求矩阵不易求得，因此其正定性就更难判定了。）得，因此其正定性就更难判定了。）为鞍点，无极值为鞍点，无极值 第二章第二章 第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件第26页，此课件共51页哦第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划在区间内函数线为上凸或下在区间内函数线为上凸或下凸，它们的极值点都是唯一凸，它们的极值点都是唯一的，这种

16、函数称为具有凸性的，这种函数称为具有凸性的函数，或单峰函数。的函数，或单峰函数。如图所示，如图所示，是是极小点即最优点，因此可称该函数具有凸性。极小点即最优点，因此可称该函数具有凸性。下凸的一元函数下凸的一元函数 在在a,ba,b上的极小点上的极小点,同时也是唯一同时也是唯一函数的凸性：函数的凸性：第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第27页，此课件共51页哦几何定义：几何定义：在在n n维空间中，若对某点集合维空间中，若对某点集合D D内的任意两点内的任意两点与与作连线，使连线上各内点对任何实数作连线，使连线上各内点对任何实数，恒有，恒有则称则称D D为凸集，

17、否则为非凸集为凸集，否则为非凸集 一、凸集定义域与非凸集一、凸集定义域与非凸集 第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第28页，此课件共51页哦凸集具有以下性质：凸集具有以下性质：设设A A是一个凸集，是一个凸集，是一个实数，是一个实数，a a是凸集是凸集A A则则:还是凸集还是凸集即即若若A A、B B是凸集，是凸集，a a、b b分别为凸集中的动点，即分别为凸集中的动点，即则：则：还是凸集还是凸集 中的动点，中的动点，任何一组凸集的交集的还是凸集任何一组凸集的交集的还是凸集 第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第29页，此课件共

18、51页哦二、凸函数的定义二、凸函数的定义 为为n n维欧氏空间中一个凸集维欧氏空间中一个凸集D D上的函数，若对上的函数，若对与及与及D D 域中任意两点域中任意两点与与存在如下关系：存在如下关系：任何实数任何实数 则称函数则称函数是定义在凸集是定义在凸集D D上的凸函数。上的凸函数。如定义中将等号去掉，则如定义中将等号去掉，则为严格凸函数为严格凸函数 第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第30页，此课件共51页哦对一元函数对一元函数若在若在a,ba,b内为凸函数，其函数图像表现为曲线上任意两点连内为凸函数，其函数图像表现为曲线上任意两点连线不会落在曲线弧以下，

19、如图所示。线不会落在曲线弧以下，如图所示。第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第31页，此课件共51页哦凸函数的基本性质凸函数的基本性质为凸集上的凸函数，则对于任意实数为凸集上的凸函数，则对于任意实数，也是该凸集上的凸函数。也是该凸集上的凸函数。和和1 1设设2 2设设为定义在凸集上的两个凸函数，则对于任意两个函数为定义在凸集上的两个凸函数，则对于任意两个函数也是该凸集上的凸函数。也是该凸集上的凸函数。和和，则，则为凸集为凸集D D上的凸函数，则上的凸函数，则小点也就是小点也就是在在D D上的全域最小点。上的全域最小点。3 3若若在在D D上的一个极上的一个极

20、第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第32页，此课件共51页哦1 1、若函数、若函数在在D D上具有连续的一阶导数，则上具有连续的一阶导数，则为为D D上的凸函数的充分必要条件为：上的凸函数的充分必要条件为：恒有恒有2 2、若函数、若函数在凸集在凸集D D上存在二阶导数并且连续时，对上存在二阶导数并且连续时，对HenssianHenssian矩阵处处是正半定的，即矩阵处处是正半定的，即 三、凸性条件三、凸性条件 对任意对任意在在D D上为凸函数的充要条件为：上为凸函数的充要条件为：第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第33页，此课

21、件共51页哦四、凸规划四、凸规划若若，为凸函数，此问题为凸规划为凸函数，此问题为凸规划 2 2、可行域、可行域为凸集。（证明见书本）为凸集。（证明见书本）凸规划有如下性质：凸规划有如下性质：1 1、给定一点、给定一点则集合则集合为凸集。当目标函数为二元函数时，等值线表为凸集。当目标函数为二元函数时，等值线表现为大圈套小圈。（证明见书本）现为大圈套小圈。（证明见书本），第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第34页，此课件共51页哦3 3、凸规划的局部最优解就是全域最优值解。、凸规划的局部最优解就是全域最优值解。（证明见书本）（证明见书本）对对于于非非凸凸规规划划，

22、则则局局部部最最优优解解不不一一定定是是全全域域最最优优解解。如如图图所示。所示。（实际问题中，（实际问题中，目标函数一般为目标函数一般为高维函数，很难高维函数，很难被证明为凸函数）被证明为凸函数）第二章第二章 第四节第四节 凸集、凸函数与凸规划凸集、凸函数与凸规划第35页，此课件共51页哦第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件一、消元法（降维法）一、消元法（降维法）由由l个个约束方程将约束方程将n个个变量中的前变量中的前l个变量个变量用其余用其余只含有只含有n-l个变量的函数，可利用无约束优化问题的极值条个变量的函数，可利用无约束优化问题的极值条件求解。件求解。（

23、消元法实际做起来较困难，因为将（消元法实际做起来较困难，因为将l个约束方程联立个约束方程联立往往无法求解，即使解出，将其代入目标函数后，也会往往无法求解，即使解出，将其代入目标函数后，也会因函数复杂无法求得理论解，但可用数值迭代方法求解）因函数复杂无法求得理论解，但可用数值迭代方法求解）。个变量表示个变量表示,n-l从而得到从而得到第二章第二章 第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件第36页，此课件共51页哦=),(d)(d)(dd)(d)(d*n1i*n1i*nlkhxxhhfxxffTkiikTiiL2100 xxxxxx二、拉格朗日乘子法（升维法）二、拉格朗日

24、乘子法（升维法）1 1拉格朗日乘子拉格朗日乘子优化问题：优化问题：第二章第二章 第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件 设设为约束最优点，则根据约束最优点的定义，则在为约束最优点，则根据约束最优点的定义，则在点不可能存在一个方向点不可能存在一个方向而又不破坏约束条件，即：存在方向而又不破坏约束条件，即：存在方向d d既与既与x x*点目标点目标函数的梯度方向垂直，又与该点约束函数界限的梯度函数的梯度方向垂直，又与该点约束函数界限的梯度垂直。垂直。，既使目标函数，既使目标函数值下降值下降第37页，此课件共51页哦把把l个等式约束给出的个等式约束给出的l个个分别乘以待定

25、系数分别乘以待定系数 第二章第二章 第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件k k再和再和相加，得相加，得拉格朗日乘子拉格朗日乘子2 2拉格朗日函数拉格朗日函数 令令拉格朗日函数拉格朗日函数 第38页，此课件共51页哦由拉格朗日函数取极值的条件为由拉格朗日函数取极值的条件为等式约束条件下的极值问题，即转化为对拉格朗日函数等式约束条件下的极值问题，即转化为对拉格朗日函数3 3拉格朗日乘子法的一般情况拉格朗日乘子法的一般情况 对于优化问题：对于优化问题：求无约束极值问题求无约束极值问题拉格朗日乘子法拉格朗日乘子法（e e）共）共n+l个方程个方程第二章第二章 第五节第五节

26、 等式约束优化问题的极值条件等式约束优化问题的极值条件第39页，此课件共51页哦取拉格朗日函数：取拉格朗日函数：转化为无约束优化问题：转化为无约束优化问题：应用极值条件解应用极值条件解极值点：极值点：解题思路：解题思路：第二章第二章 第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件第40页，此课件共51页哦例：例：拉格朗日函数：拉格朗日函数：由由 得：得：代入代入得得 由由，第二章第二章 第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件第41页，此课件共51页哦一、一元函数在给定区间上的极值条件一、一元函数在给定区间上的极值条件（自学）（自学）第六节第六节

27、不等式约束优化问题的极值条件不等式约束优化问题的极值条件-Kuhn-Tucker-Kuhn-Tucker条件条件二、多元函数不等式约束优化问题的极值条件二、多元函数不等式约束优化问题的极值条件第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件库恩库恩塔克（塔克（Kuhn-TuckerKuhn-Tucker）条件：）条件：第42页，此课件共51页哦Kuhn-TuckerKuhn-Tucker条件的几何意义：在约束极值点条件的几何意义：在约束极值点处，函数处，函数点梯度的非负线性组合。点梯度的非负线性组合。的负梯度一定能表示成所有起作用的负梯度一定能表示成所有起作

28、用约束在该约束在该将上式表达为梯度形式，得将上式表达为梯度形式，得第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第43页，此课件共51页哦两个起作用的约束两个起作用的约束（说明如下：）如图（说明如下：）如图和和为二个起作用的约束，极值点为二个起作用的约束，极值点一定落在约束曲面一定落在约束曲面的交线上，且的交线上，且及及应共面应共面（线性相关）。（线性相关）。三者三者 第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第44页，此课件共51页哦落在落在锥角之内，锥角之内，点向点向都不再落在可行域内。都不再落在可行域内。点为

29、约束极值点。点为约束极值点。图图a a 和和的夹角之间的夹角之间所以线性组合的系数为正所以线性组合的系数为正所以所以，和和、在一个平面内在一个平面内,可看成可看成的的线性组合线性组合。处于处于移动时移动时第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第45页，此课件共51页哦图图b b在在和和锥角区外。这时，目标函数还可以下降，又不破坏锥角区外。这时，目标函数还可以下降，又不破坏之间区域）之间区域）点非约束极值点。点非约束极值点。约束（约束（所张成的所张成的第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第46页，此课件

30、共51页哦对于同时有多个起作用约束条件时，则对于同时有多个起作用约束条件时，则Kuhn-TuckerKuhn-Tucker条条件的几何意义为件的几何意义为:应包含在所有起作用约束的梯度向量在应包含在所有起作用约束的梯度向量在设计空间内构成的锥体内。设计空间内构成的锥体内。第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第47页，此课件共51页哦 设有二维目标函数设有二维目标函数 不等式约束条件时的约束极值点。（须用不等式约束条件时的约束极值点。（须用K KT T条件判断）条件判断）三、三、K KT T条件应用举例条件应用举例 ，求满足三个，求满足三个 第二章

31、第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第48页，此课件共51页哦解：易看出约束极小点为解：易看出约束极小点为，只有只有对对起作用起作用 可得可得 满足满足K KT T条件条件 第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第49页，此课件共51页哦 点确定为约束极值点，并且是全域最点确定为约束极值点，并且是全域最优点，显然该问题是一个凸规划的问题。优点，显然该问题是一个凸规划的问题。但在许多情况下，函数、可行域的凸性难以判断，所以优化但在许多情况下，函数、可行域的凸性难以判断，所以优化研究的课题之一就是判断符合研究的课题之一就是判断符合K KT T条件的约束极值点是全域条件的约束极值点是全域最优点，还是局部极值点。最优点，还是局部极值点。第二章第二章 第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件第50页，此课件共51页哦结结 束束第51页，此课件共51页哦