经典最优化方法.ppt

关于关于经典最典最优化方法化方法现在学习的是第1页，共34页内容介绍内容介绍u微分学中求极值u无约束最优化问题u常用微分公式u凸集与凸函数u等式约束最优化问题u不等式约束最优化问题u变分学中求极值现在学习的是第2页，共34页微分学中求极值微分学中求极值一元函数的极值1.一元函数极值的求法与判别必要条件：设函数 在点 处具有导数，且在 处 取得极值，则该函数 在 处的导数 这里有个前提，即函数 在设计区间要连续可导。凡是满足上述的点都叫函数 的驻点。我们可知驻点并不完全是极值点，它还有拐点，当然，极值点必定是驻点。因此，还必须有判别函数极值的更充分条件。现在学习的是第3页，共34页微分学中求极值微分学中求极值现在学习的是第4页，共34页微分学中求极值微分学中求极值现在学习的是第5页，共34页微分学中求极值微分学中求极值二元函数的极值现在学习的是第6页，共34页微分学中求极值微分学中求极值现在学习的是第7页，共34页微分学中求极值微分学中求极值现在学习的是第8页，共34页微分学中求极值微分学中求极值(3)赫森矩阵（Hesse）现在学习的是第9页，共34页无约束最优化问题无约束最优化问题由上一节可知，对于无约束最优化问题，其数学模型中只有目标函数采用解析法求解，其求解过程可以归结为一下三个步骤：1.令梯度g=0，解出各个驻点。2.计算各驻点的矩阵 A,判断矩阵A正定或负定，得到相对应的极小点 或极大点；3.计算极值。现在学习的是第10页，共34页常用微分公式常用微分公式现在学习的是第11页，共34页凸集与凸函数凸集与凸函数现在学习的是第12页，共34页凸集与凸函数凸集与凸函数现在学习的是第13页，共34页凸集与凸函数凸集与凸函数现在学习的是第14页，共34页凸集与凸函数凸集与凸函数现在学习的是第15页，共34页凸集与凸函数凸集与凸函数现在学习的是第16页，共34页凸集与凸函数凸集与凸函数现在学习的是第17页，共34页凸集与凸函数凸集与凸函数现在学习的是第18页，共34页凸集与凸函数凸集与凸函数现在学习的是第19页，共34页凸集与凸函数凸集与凸函数现在学习的是第20页，共34页凸集与凸函数凸集与凸函数现在学习的是第21页，共34页凸集与凸函数凸集与凸函数现在学习的是第22页，共34页凸集与凸函数凸集与凸函数现在学习的是第23页，共34页等式约束最优化问题等式约束最优化问题等式约束最优化问题的数学模型式这里介绍两种比较常用的方法：消元法和拉格朗日乘子法。现在学习的是第24页，共34页等式约束最优化问题等式约束最优化问题现在学习的是第25页，共34页等式约束最优化问题等式约束最优化问题现在学习的是第26页，共34页等式约束最优化问题等式约束最优化问题现在学习的是第27页，共34页等式约束最优化问题等式约束最优化问题现在学习的是第28页，共34页不等式约束最优化问题不等式约束最优化问题不等式约束的最优化问题的解析法与前面处理的基本思路相类似，也是构造一个包含原目标函数与约束函数的新目标函数。只是具体的构造方法不同，这里处理的也是二维问题 原问题的数学模型为引入一个松弛变量r,把约束条件改为等式约束，即 现在学习的是第29页，共34页不等式约束最优化问题不等式约束最优化问题现在学习的是第30页，共34页等式约束最优化问题等式约束最优化问题现在学习的是第31页，共34页变分学中求极值变分学中求极值现在学习的是第32页，共34页变分学中求极值变分学中求极值现在学习的是第33页，共34页感谢大家观看现在学习的是第34页，共34页