优化设计的数学基础精选PPT.ppt

关于优化设计的数学基础关于优化设计的数学基础第1页，讲稿共26张，创作于星期一2.1 函数的方向导数与梯度函数的方向导数与梯度一、一、函数的方向导数函数的方向导数函数f(X X)在点X X0 0处沿S S方向的方向导数定义为意义：函数在该点处沿给定方向的变化率。附图第2页，讲稿共26张，创作于星期一二、函数的梯度方向导数的向量积形式令 为函数在X X点的梯度，包 含函数的一阶导数信息。第3页，讲稿共26张，创作于星期一l梯度的意义：梯度方向是函数变化率最大的方向；梯度方向为等值面的法线方向。第4页，讲稿共26张，创作于星期一例2-1 求二元函数f(x1,x2)x12+x22-4x1-2x2+5 在X02,2处函数下降最快的方向。解：梯度方向是函数变化率最大的方向。负梯度方向则是函数下降最快的方向。第5页，讲稿共26张，创作于星期一2.2 函数的泰勒展开与海赛矩阵函数f(X X)在X X*点处的泰勒(Taylor)展开式其中海赛(Hessian)矩阵包含函数的二阶导数信息。第6页，讲稿共26张，创作于星期一例2-2 求二元函数f(x1,x2)x12+x22-4x1-2x2+5 在X X02,2处的海赛二阶泰勒展开式。解：第7页，讲稿共26张，创作于星期一2.3 凸集、凸函数、凸规划 基本概念：基本概念：局部极小点：函数f(X X)在X X*附近的一切X X均满足不等式f(X X)f(X X*)，称函数f(X X)在 X X*处取得局部极小值，X X*为局部极小点。全局极小点：在整个可行域内函数值的最小点。可行域内可能存在两个或两个以上的局部极小点，其中之一为全局极小点。第8页，讲稿共26张，创作于星期一一、凸集有，则D为凸集凸集。凸集的性质：1.若D为凸集，为实数，则D仍为 凸集。（凸集的实数积为凸集）2若D、均为凸集，则二者的并集（和）为凸集。（凸集的和为凸集）3若D、均为凸集，则二者的交集（积）为凸集。（凸集的积为凸集）第9页，讲稿共26张，创作于星期一第10页，讲稿共26张，创作于星期一二、凸函数En的子集D为凸集，f为D上的函数，恒有，则f为D上的凸函数。反之为凹函数。第11页，讲稿共26张，创作于星期一凸函数的性质凸函数的性质：1.设 f 为D上的凸函数，为实数，则f为D上的凸函数。2.设f1，f2为D上的凸函数,则f=f1+f2为D上的凸函数。3.若 f 在D一阶可微，则对，f为凸函数的充要条件：（见下图）4.若 f 在D二阶可微，则对，f 为凸函数的充要条件：海赛矩阵半正定（若正定，严格凸函数）。第12页，讲稿共26张，创作于星期一第13页，讲稿共26张，创作于星期一三、凸规划 其中目标函数、不等式约束均为凸函数，则称该问题为凸规划。第14页，讲稿共26张，创作于星期一凸规划的性质：1.若给定一点X0，则集合2.为凸集。2.可行域D为凸集。3.任何局部最优解即为全局最优解。4.若目标函数可微，则最优解的充要条件：第15页，讲稿共26张，创作于星期一2.4 无约束优化问题的极值条件 N维无约束极值问题1.在点X X*处极值存在的必要条件：在点X X*处梯度为零。2.在点X X*处极值存在的充分条件：在点X X*处海赛矩阵正定（极小点），或负定（极大点）。第16页，讲稿共26张，创作于星期一2.5 约束优化问题的极值条件 一、等式约束优化问题拉格朗日乘子法 构造 将等式约束优化问题转化为无约束优化问题。在最优点处第17页，讲稿共26张，创作于星期一二、不等式约束优化问题库恩-塔克(Kuhn-Tucker)条件1.一维不等式约束问题 引入松弛变量a1,b1，使则该问题的拉格朗日函数第18页，讲稿共26张，创作于星期一其极值条件必须满足如图的三种可能(1)左右约束均不起作用，即则(2)左约束起作用，即则(3)右约束起作用，即则第19页，讲稿共26张，创作于星期一2.库恩-塔克(Kuhn-TuckerKuhn-Tucker)条件对优化问题 库恩-塔克条件描述为 即约束极小点存在的必要条件是：目标函数在该点的梯度可表示为诸约束面梯度的线性组合的负值。第20页，讲稿共26张，创作于星期一3.考虑等式约束的库恩-塔克条件对于凸规划问题，K-T条件是充要条件。对非凸规划问题，到底是局部最优点还是全域最优点还需要进一步讨论确定。第21页，讲稿共26张，创作于星期一3.库恩-塔克条件几何意义约束极小点目标函数梯度向量的反方向必须落在诸约束面所构成的锥角范围之内。第22页，讲稿共26张，创作于星期一例2-3 对于约束极值问题试运用K_T条件检验点X*=2,0T是否为约束极值点。第23页，讲稿共26张，创作于星期一第24页，讲稿共26张，创作于星期一第25页，讲稿共26张，创作于星期一感感谢谢大大家家观观看看第26页，讲稿共26张，创作于星期一