最优化方法介绍精.ppt

《最优化方法介绍精.ppt》由会员分享，可在线阅读，更多相关《最优化方法介绍精.ppt（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、最优化方法介绍第1页，本讲稿共15页主要内容主要内容 1、线性规划算法2、无约束非线性优化算法3、约束非线性优化算法第2页，本讲稿共15页Chap 1 预备知识预备知识(p)一、最优化问题的一般形式：一、最优化问题的一般形式：决策变量，目标函数，决策变量，目标函数，约束函数（等式，不等式）、条件。约束函数（等式，不等式）、条件。线性、非线性规划，二次规划；线性、非线性规划，二次规划；约束、无约束优化约束、无约束优化第3页，本讲稿共15页二、可行解与可行域二、可行解与可行域三、（严格）局部极小点与三、（严格）局部极小点与（严格）全局极小点（严格）全局极小点第4页，本讲稿共15页四、向量范数、矩阵

2、范数四、向量范数、矩阵范数1 1、向量范数定义三条件：、向量范数定义三条件：2 2、常见向量范数：、常见向量范数：3 3、诱导矩阵范数、诱导矩阵范数第5页，本讲稿共15页五、线性空间、欧式空间五、线性空间、欧式空间六、梯度、六、梯度、HesseHesse阵阵例例 求下列函数的梯度与求下列函数的梯度与HesseHesse阵阵第6页，本讲稿共15页七、方向导数七、方向导数1 1、定义：、定义：对于对于 若极限若极限存在，存在，称该极限值为称该极限值为在在 处沿方向处沿方向 的一阶方向导数，记为的一阶方向导数，记为第7页，本讲稿共15页定理1 若函数若函数 具有连续的一阶偏导数，则具有连续的一阶偏导

3、数，则 它在它在 处沿方向处沿方向 的一阶方向导数为的一阶方向导数为 在在 处沿处沿 的方向的变化率的方向的变化率方向导数几何意义：函数方向导数几何意义：函数梯度方向是函数值变化最快的方向梯度方向是函数值变化最快的方向第8页，本讲稿共15页2、二阶方向导数：、二阶方向导数：对于对于 若极限若极限存在，存在，称该极限值为称该极限值为 在在 处沿方向处沿方向 的二的二阶方向导数，记为阶方向导数，记为第9页，本讲稿共15页定理2 若函数若函数 具有连续的二阶偏导数，则具有连续的二阶偏导数，则 它在它在 处沿方向处沿方向 的二阶方向导数为的二阶方向导数为 在在 处沿处沿 的方向的凹凸性和弯曲程度的方向

4、的凹凸性和弯曲程度二阶方向导数几何意义：函数二阶方向导数几何意义：函数第10页，本讲稿共15页八八.凸集与凸函数凸集与凸函数1.凸集凸集（1）凸组合：已知凸组合：已知 ，任取任取k个点个点 ，如果存在常数如果存在常数，使得，使得，则称则称为为的凸组合。的凸组合。（2）凸集：设集合）凸集：设集合，如果如果中任意两点的凸组合中任意两点的凸组合仍然属于仍然属于，则称则称为凸集。为凸集。(3)凸集的顶点：不能表示成另外两个点的严格凸组合。凸集的顶点：不能表示成另外两个点的严格凸组合。（4）凸集的方向、极方向）凸集的方向、极方向第11页，本讲稿共15页定理定理3 3设设 是非空闭凸集，若是非空闭凸集，若

5、 ，则存在唯一，则存在唯一的点的点 ，使得它与，使得它与 的距离最短，且满足的距离最短，且满足定理定理4 4（凸集分离定理）（凸集分离定理）设设 是非空闭凸集，若是非空闭凸集，若 ，则存在，则存在和和 ，使得，使得第12页，本讲稿共15页2.2.凸函数凸函数设设，任取任取，如果如果，有有，则称则称为为X上的（严格）上的（严格）凸函数。凸函数。例子：例子：凹函数？凹函数？水平集水平集：是凸函数是凸函数。性质：水平集一定是凸集。性质：水平集一定是凸集。第13页，本讲稿共15页3.凸函数的性质凸函数的性质定理定理5.凸函数的局部极小点就是全局极小点。凸函数的局部极小点就是全局极小点。4.凸函数的判断条件凸函数的判断条件定理定理6.是凸集是凸集X上的凸函数的充要条件是上的凸函数的充要条件是.定理定理7.设设在凸集在凸集X上有二阶连续偏导数，则上有二阶连续偏导数，则是凸是凸函数的充要条件是函数的充要条件是，有，有半正定。半正定。例：正定二次函数例：正定二次函数，其中，其中是正定矩阵。是正定矩阵。例：例：第14页，本讲稿共15页5.凸规划凸规划（1）其中其中是凸函数，是凸函数，是凸集。是凸集。（2）其中其中是凸函数，是凸函数，是线性函数。是线性函数。第15页，本讲稿共15页