优化设计的理论与数学基础精选课件.ppt

《优化设计的理论与数学基础精选课件.ppt》由会员分享，可在线阅读，更多相关《优化设计的理论与数学基础精选课件.ppt（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于优化设计的理论与数学基础第一页，本课件共有41页2二元二次函数二元二次函数 令令:则则:梯度梯度:验证验证:二次函数的矩阵表示方法二次函数的矩阵表示方法(补充补充)其中：其中：:第二页，本课件共有41页3二次函数的矩阵表示方法二次函数的矩阵表示方法(补充补充)例题例题:将将F(X)=x12-2-2x1x2+x22-8-8x1+9+9x2+10+10写成矩阵表示式，并求其写成矩阵表示式，并求其梯度。梯度。解解:验证验证:第三页，本课件共有41页42.1 2.1 目标函数的泰勒目标函数的泰勒(Taylor)(Taylor)展开式展开式 工程工程实际实际中的中的优优化化设计问题设计问题，常常是多

2、，常常是多维维且非且非线线性函数形式，一般性函数形式，一般较为较为复复杂杂。为为便于便于研究函数极研究函数极值问题值问题，需用，需用简单简单函数函数作作局部逼近局部逼近，通常采用泰勒展开式，通常采用泰勒展开式作作为为函数在某点附近的近似表达式，以近似于原函数。函数在某点附近的近似表达式，以近似于原函数。一元函数一元函数f(x)在在x(k)点的泰勒展开式：点的泰勒展开式：二元函数二元函数F(X)=F(x1,x2)=在在X(k)=x1(k)x2(k)T点的泰勒展开式为：点的泰勒展开式为：第四页，本课件共有41页5矩阵矩阵形式形式海赛矩阵海赛矩阵 即即:其中其中:第五页，本课件共有41页6多元函数多

3、元函数F(X)在在X(k)=x1(k)x2(k)xn(k)T点的泰勒展开式为：点的泰勒展开式为：(二阶偏导数矩阵二阶偏导数矩阵)nnnn阶的对称方阵阶的对称方阵 同上：同上：一阶偏导数矩阵一阶偏导数矩阵称为函数在称为函数在K K点的梯度：点的梯度：但其中：但其中：第六页，本课件共有41页7 称为函数在称为函数在 点的梯度点的梯度.梯度梯度是一个向量是一个向量,其方向是函数在其方向是函数在 点处数值增长最快的方向点处数值增长最快的方向.第七页，本课件共有41页82.2 目标函数的等值线目标函数的等值线(面面)第八页，本课件共有41页9第九页，本课件共有41页10v函数的极值与极值点函数的极值与极

4、值点2.3 2.3 无约束目标函数极值点存在条件无约束目标函数极值点存在条件第十页，本课件共有41页11v极值点存在条件极值点存在条件一元函数的情况一元函数的情况极值点存在的必要条件极值点存在的必要条件 的点称为驻点，极值点必为驻点，但驻点的点称为驻点，极值点必为驻点，但驻点不一定为极值点。不一定为极值点。极值点存在的充分条件极值点存在的充分条件若在驻点附近若在驻点附近 第十一页，本课件共有41页12(一一)极值存在的必要条件极值存在的必要条件:各一阶偏导数等于零各一阶偏导数等于零H驻点驻点二元函数的情况二元函数的情况多元函数的情况多元函数的情况:第十二页，本课件共有41页13(二二)极值存在

5、的充分条件极值存在的充分条件:海赛矩阵海赛矩阵H(X*)正定正定点点X*为为极小点极小点海赛矩阵海赛矩阵H(X*)负定负定点点X*为为极大点极大点海赛矩阵海赛矩阵H(X*)不定不定点点X*为为鞍点鞍点海赛矩阵海赛矩阵H(X*)正定正定点点X*为为极小点极小点证明证明:=0处处处处F(X)F(X*),故故点点X*为为极小点极小点二次型二次型0若：若：第十三页，本课件共有41页14什么是矩阵正定、什么是矩阵正定、负定、不定？负定、不定？若若各阶主子行列式均大于零各阶主子行列式均大于零正定正定若若各阶主子行列式如下各阶主子行列式如下负定负定不是不是正定正定或或负定负定不定不定第十四页，本课件共有41

6、页152.3 2.3 无约束目标函数极值点存在条件无约束目标函数极值点存在条件函数极值函数极值必要条件必要条件充分条件充分条件极极 小小H(X*)正定极极 大大H(X*)负定一元函数一元函数二元函数二元函数H高等数学高等数学：设函数：设函数F(X)=F(x1,x2)在点在点X*的某邻域内连续且有一阶及二阶连续偏的某邻域内连续且有一阶及二阶连续偏导数，在导数，在点点X*有有Fx1=0、Fx2=0，令：，令：正定正定第十五页，本课件共有41页16极值存在的必要条件极值存在的必要条件:各一阶偏导数等于零各一阶偏导数等于零H驻点驻点极值存在的充分条件极值存在的充分条件:海赛矩阵海赛矩阵H(X*)H(X

7、*)正定正定点点X*X*为为极小点极小点各阶主子行列式均各阶主子行列式均大于零大于零正定正定小结小结:无约束目标函数极值点存在条件无约束目标函数极值点存在条件第十六页，本课件共有41页17例题例题试判断试判断X0=2 4T是否为下面函数的极小点：是否为下面函数的极小点：解：解：满足极值存在的必要条件满足极值存在的必要条件各阶主子行列式均大于零各阶主子行列式均大于零H(X0)正定正定X0是极小点是极小点第十七页，本课件共有41页18例：求解例：求解 极值点和极值极值点和极值解解 的极值点必须满足：的极值点必须满足：解此联立方程得：解此联立方程得：即即点点 为为一一驻驻点点。再再利利用用海海赛赛矩

8、矩阵阵的的性性质质来来判判断断此此驻驻点点是是否为极值点。否为极值点。第十八页，本课件共有41页19第十九页，本课件共有41页20因此，赫森矩阵是正定的。故驻点因此，赫森矩阵是正定的。故驻点 为极小点。为极小点。对应于该极小点的函数极小值为对应于该极小点的函数极小值为由由:第二十页，本课件共有41页21设平面上有点的集合设平面上有点的集合 ，在该集合中任意取两个设计点，在该集合中任意取两个设计点x x1 1和和x x2 2，如果，如果连接点连接点x x1 1与与x x2 2直线上的一切内点均属于该集合，则此集合称为直线上的一切内点均属于该集合，则此集合称为x x1 1oxox2 2平面上的一个

9、凸集，平面上的一个凸集，2.4 凸集与凸函数凸集与凸函数第二十一页，本课件共有41页22凸集的数学定义如下：对某集合内的任意两点凸集的数学定义如下：对某集合内的任意两点x1与与x2连线，如果连线上连线，如果连线上的任意点的任意点x均满足均满足xx1+(1-)x2，则该集定义为一个凸集，则该集定义为一个凸集 第二十二页，本课件共有41页23优化设计总是期望得到全局最优解优化设计总是期望得到全局最优解局部最优解局部最优解全局最优解全局最优解2.4.2 凸函数凸函数由前局部极小点与全局极小点由前局部极小点与全局极小点:第二十三页，本课件共有41页24 凸函数凸函数 函数的凸性函数的凸性(单峰性单峰性

10、)最优值最优值(最小值最小值)与极小值是有区别的与极小值是有区别的,在什么情况下极小点就是最在什么情况下极小点就是最小点小点?极小值就是最优值极小值就是最优值?函数的凸性：实质就是单峰性。如果函数在定域内是单峰的函数的凸性：实质就是单峰性。如果函数在定域内是单峰的,即只有一个峰值即只有一个峰值,则其极大值就是全域内的最大值则其极大值就是全域内的最大值,则其极小值就则其极小值就是全域内的最小值是全域内的最小值第二十四页，本课件共有41页25几何解释几何解释：如图所示的一元函数如图所示的一元函数f(x)，在定义域内在定义域内任取两点任取两点x1与与x2，函数曲线上的对应点，函数曲线上的对应点为为K

11、1与与K2，连该两点的直线方程设为，连该两点的直线方程设为 。如在。如在x1，x2内任取一点内任取一点x，则该点，则该点对应的对应的f(x)与直线与直线 两个函数值之关系两个函数值之关系为为f(x)，则称，则称f(x)为为a，b区间内的区间内的凸函数。凸函数。数学定义：数学定义：设设F(x)为为定定义义在在n n维维欧欧氏氏空空间间中中一一个个凸凸集集 上上的的函函数数，x1与与x2为为 上上的的任任意意两两设设计计点点，取取任任意意实实数数，0，1，将将x1与与x2连连线线上上的的内点内点x表达为：表达为：xx1+(1-)x2，如果恒有下式成立如果恒有下式成立 Fx1+(1-)x20、0，则

12、线性组合，则线性组合F(x)F1(x)+F2(x)也是域上的凸函数。也是域上的凸函数。第二十六页，本课件共有41页27函数的凸性与局部极值及全域最优值之间的关系：函数的凸性与局部极值及全域最优值之间的关系：若若F(x)为凸集为凸集 上的一个凸函数，则上的一个凸函数，则 上的任何一个极值点，同上的任何一个极值点，同时也是它的最优点。时也是它的最优点。第二十七页，本课件共有41页28 例：例：判别函数判别函数在在 上是否为凸函数。上是否为凸函数。解：利用海赛矩阵来判别：解：利用海赛矩阵来判别：因海赛矩阵是正定的，故因海赛矩阵是正定的，故 为严格凸函数。为严格凸函数。第二十八页，本课件共有41页29

13、2.5 约束极值点存在条件约束极值点存在条件(p89)在约束条件下求得的函数极值点在约束条件下求得的函数极值点,称为约束极值点称为约束极值点.K-TK-T条件条件(约束极小点的必要条件约束极小点的必要条件):如果有如果有n n个起作用的约束条件个起作用的约束条件,即即n n个约束函数交于一点个约束函数交于一点,则该点成为约束极值点的必要条件是则该点成为约束极值点的必要条件是:该点该点目标函数的梯度方向应处在由该点的目标函数的梯度方向应处在由该点的n n个约束函数梯度方向所组成个约束函数梯度方向所组成的锥形空间内的锥形空间内.第二十九页，本课件共有41页30第三十页，本课件共有41页31第三十一

14、页，本课件共有41页32K-T条件可以表示条件可以表示为为非负乘子第三十二页，本课件共有41页33 对于凸规划问题对于凸规划问题(可行域为凸集可行域为凸集,目标函数为凸函数目标函数为凸函数),),局局部极值点和全域最优点相重合部极值点和全域最优点相重合,但对于非凸规划问题则但对于非凸规划问题则不然不然.如图如图:第三十三页，本课件共有41页34 K-T K-T条件只能检验起作用约束的可行点条件只能检验起作用约束的可行点,如下图中如下图中X*X*是是约束极值点约束极值点,但但K-TK-T条件对它不实用条件对它不实用.第三十四页，本课件共有41页35例例:用用 条件检验点条件检验点 是否为目标函数

15、是否为目标函数 在不等式约束在不等式约束 、条件下的约束最优点。条件下的约束最优点。解：计算诸约束函数值解：计算诸约束函数值 点是可行点，该点起作用约束函数为点是可行点，该点起作用约束函数为计算计算 点有关诸梯度点有关诸梯度第三十五页，本课件共有41页36解得：解得：，乘子均为非负，乘子均为非负，故满足故满足 条件，点条件，点 为约束极为约束极值点，参看左图，亦得到证实。而且，值点，参看左图，亦得到证实。而且，由于由于 是凸函数，可行域为凸集，是凸函数，可行域为凸集，所以点所以点 也是约束最优点。也是约束最优点。代入式，求拉格朗日乘子代入式，求拉格朗日乘子第三十六页，本课件共有41页372.6

16、 优化计算的数值解法及收敛条件优化计算的数值解法及收敛条件v2.6.1 数值计算法的迭代过程数值计算法的迭代过程 选初始点选初始点 x(0)确定搜索方向确定搜索方向 S(0),沿沿S(0)搜索搜索,步长为步长为(0)求得第一个迭代点求得第一个迭代点 x(1)ox1x2基本迭代公式基本迭代公式:步长步长方向方向步步下降步步下降步步逼近步步逼近第三十七页，本课件共有41页38 数值计算法的基本思想及迭代格式数值计算法的基本思想及迭代格式：在在设设计计空空间间从从一一个个初初始始点点x(0)出出发发，应应用用某某一一规规定定的的算算法法,按按某某一一方方向向S(0)和和步步长长(0)，产产生生改改进

17、进设设计计的的新新点点x(1)，使使满满足足F(x(1)F(x(0)，再再以以x(1)为为新新起起点点，仍仍应应用用同同一一算算法法,按按某某一一方方向向S(1)和和步步长长(1)，产产生生第第二二个个设设计计新新点点x(2)，使使满满足足F(x(2)F(x(1)，这这样样一一步步一一步步地地搜搜索索下下去去，依依次次得得设设计计点点x(1)、x(2)、x(3)、x(k)、x(k+1)、使使目目标标函函数数值值逐逐步步下下降降，直直至至得得到到满满足所规定精度要求的理论极小点足所规定精度要求的理论极小点x(1)=x(0)+(0)S(0)x(2)=x(1)+(1)S(1)x(k+1)=x(k)+(k)S(k)迭代格式迭代格式:第三十八页，本课件共有41页391）点距准则）点距准则v2）函数下降量准则）函数下降量准则v或或v3）梯度准则：）梯度准则：2.6.2 迭代计算的终止准则迭代计算的终止准则(收敛准则收敛准则)第三十九页，本课件共有41页40作作 业业题题2、题、题7 P130 题题1 第四十页，本课件共有41页2022/12/8感感谢谢大大家家观观看看第四十一页，本课件共有41页