优化设计基础讲稿.ppt

关于优化设计基础第一页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度 一个多元函数可用一个多元函数可用偏导数偏导数的概念来研究函数沿各坐标方向的变的概念来研究函数沿各坐标方向的变化率。化率。二元函数的偏导数：二元函数的偏导数：第二页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度方向导数：方向导数：方向导数：方向导数：第三页，讲稿共三十八页哦21o偏导数偏导数与与方向导数方向导数之间的之间的数量关系数量关系：第四页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度多元函数的方向导数：多元函数的方向导数：第五页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度例：例：第六页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度梯度：梯度：方向导数与梯度的关系：方向导数与梯度的关系：第七页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度梯度：梯度：梯度的性质：梯度的性质：梯度的性质：梯度的性质：1 1）梯度是一个向量；）梯度是一个向量；2 2）梯度方向是方向导数最大的方向，即函数值变化最）梯度方向是方向导数最大的方向，即函数值变化最快（函数值变化率最大）的方向快（函数值变化率最大）的方向 ；3 3）梯度方向是等值面（线）的法线方向）梯度方向是等值面（线）的法线方向 。第八页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度多元函数的梯度：多元函数的梯度：多元函数的梯度：多元函数的梯度：第九页，讲稿共三十八页哦第二章 优化设计的数学基础第一节第一节 多元函数的方向导数和梯度多元函数的方向导数和梯度例题：例题：解：解：函数变化率最大的方向就是梯度方向，用单位向量 表示，函数变化率最大的数值就是梯度的模。第十页，讲稿共三十八页哦第二章 优化设计的数学基础第二节第二节 多元函数的泰勒展开多元函数的泰勒展开一一一一元元元元函函函函数数数数第十一页，讲稿共三十八页哦第二章 优化设计的数学基础第二节第二节 多元函数的泰勒展开多元函数的泰勒展开二元函数：二元函数：二元函数泰勒展开式的矩阵形式：二元函数泰勒展开式的矩阵形式：对称矩阵对称矩阵第十二页，讲稿共三十八页哦第二章 优化设计的数学基础第二节第二节 多元函数的泰勒展开多元函数的泰勒展开多元函数多元函数多元函数多元函数泰勒展开式的矩阵形式：泰勒展开式的矩阵形式：是函数在该点的梯度是函数在该点的梯度第十三页，讲稿共三十八页哦第二章 优化设计的数学基础第二节第二节 多元函数的泰勒展开多元函数的泰勒展开多元函数的海赛矩阵：多元函数的海赛矩阵：第十四页，讲稿共三十八页哦第二章 优化设计的数学基础第二节第二节 多元函数的泰勒展开多元函数的泰勒展开正定矩阵：正定矩阵：第十五页，讲稿共三十八页哦第二章 优化设计的数学基础矩阵正定与负定的判定：矩阵正定与负定的判定：正定：正定：矩阵矩阵A A正定的条件是正定的条件是A A的的各阶主子式大于零各阶主子式大于零；负定：负定：矩阵矩阵A A负定的条件是负定的条件是各阶主子式负、正相间各阶主子式负、正相间。第二节第二节 多元函数的泰勒展开多元函数的泰勒展开第十六页，讲稿共三十八页哦第二章 优化设计的数学基础第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件必必要要条条件件充充分分条条件件第十七页，讲稿共三十八页哦第二章 优化设计的数学基础第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件第十八页，讲稿共三十八页哦第二章 优化设计的数学基础第三节第三节 无约束优化问题的极值条件无约束优化问题的极值条件例：例：第十九页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划 当极值点当极值点x*x*能使能使f f（x*x*）在）在整个可行域中整个可行域中为最小值（最大值）时，为最小值（最大值）时，即在整个可行域中对任一即在整个可行域中对任一 x x都有都有f f（x x）f f（x*x*）（或者）（或者f（x）f（x*）时，则）时，则x*x*就是全局极小点（全局极大点）。就是全局极小点（全局极大点）。全局极值点（最优点）：全局极值点（最优点）：第二十页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划 若若f f（x*x*）为）为局部可行域中局部可行域中的极小值（极大值）而不是整个的极小值（极大值）而不是整个可行域中的最小值（或最大值）时，则称可行域中的最小值（或最大值）时，则称x*x*为局部极小点（局部为局部极小点（局部极大点）。极大点）。局部极值点（相对极值点）：局部极值点（相对极值点）：第二十一页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划 一个下凸的函数，它的极值点只有一个，并且该点既是局部极一个下凸的函数，它的极值点只有一个，并且该点既是局部极值点也是全局极值点，我们就称这个函数具有凸性。值点也是全局极值点，我们就称这个函数具有凸性。函数的凸性（单峰性）：函数的凸性（单峰性）：第二十二页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划 设设R R是一个点集（或区域），若连接其中任意两点是一个点集（或区域），若连接其中任意两点x x1 1和和x x2 2的直线的直线都属于都属于R R，则称这种集合，则称这种集合R R是一个凸集。是一个凸集。凸集：凸集：第二十三页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划凸集的性质：凸集的性质：第二十四页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划 具有凸性（表现为单峰性）或只有唯一的局部最优值，即全具有凸性（表现为单峰性）或只有唯一的局部最优值，即全局最优值的函数，称为凸函数或单峰函数。局最优值的函数，称为凸函数或单峰函数。凸函数：凸函数：第二十五页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划 1 1若若f(x)f(x)为定义在凸集为定义在凸集R R上的一个凸函数，且上的一个凸函数，且 是一个正数（是一个正数（00），则），则f(x)f(x)也必是也必是定义在凸集定义在凸集R R上的上的凸函数凸函数。2 2定义在凸集定义在凸集R R上的两个凸函数上的两个凸函数f f 1 1(x)(x)和和f f 2 2(x)(x)，其和，其和f(x)=f(x)=f f 1 1(x)+f(x)+f 2 2(x)(x)也一定是该凸集上的一个也一定是该凸集上的一个凸函数凸函数。3 3若若f f 1 1(x)(x)、f f 2 2(x)(x)是定义在凸集是定义在凸集R R上的两个凸函数，上的两个凸函数，和和 为两个任意正数，则函为两个任意正数，则函数数f f 1 1(x)+f (x)+f 2 2(x)(x)仍是仍是R R上的上的凸函数。凸函数。4 4若定义在凸集若定义在凸集R R上的一个凸函数上的一个凸函数f(x)f(x)有有两个最小点两个最小点x x1 1和和x x2 2则这两点处的函数值则这两点处的函数值f f(x(x1 1)和和f(xf(x2 2)必相等必相等，否则，其中较大的点就不是，否则，其中较大的点就不是f(x)f(x)的最小点了。的最小点了。5 5若若x1和和x2是定义在凸集是定义在凸集R R上的一个凸函数上的一个凸函数f(x)f(x)的的两个最小点两个最小点，则其，则其连接线段上的连接线段上的一切点一切点必为必为f(x)f(x)的的最小点最小点。凸函数的性质：凸函数的性质：第二十六页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划凹函数：凹函数：凸函数凸函数下凸下凸有极小值有极小值上凸上凸有极大值有极大值凹函数凹函数第二十七页，讲稿共三十八页哦第二章 优化设计的数学基础第四节第四节 凸集、凸函数和凸规划凸集、凸函数和凸规划凸规划：凸规划：目标函数目标函数与与约束条件约束条件均为均为凸函数凸函数的优化问题称为凸规划。的优化问题称为凸规划。凸凸规规划划的的性性质质第二十八页，讲稿共三十八页哦第二章 优化设计的数学基础第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件等式约束优化问题的数学模型：等式约束优化问题的数学模型：等式约束优化问题的数学模型：等式约束优化问题的数学模型：消元法降维法拉格朗日乘子法升维法解解 法法第二十九页，讲稿共三十八页哦第二章 优化设计的数学基础第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件消元法：消元法：消元法：消元法：（二维）（二维）（一维）（一维）二元函数（一个等式约束）：二元函数（一个等式约束）：第三十页，讲稿共三十八页哦第二章 优化设计的数学基础第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件n元函数（元函数（元函数（元函数（l l个等式约束条件）：个等式约束条件）：个等式约束条件）：个等式约束条件）：（n-l n-l 维无约束优化问题维无约束优化问题 ）消消元元法法第三十一页，讲稿共三十八页哦第二章 优化设计的数学基础第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件n n元函数（元函数（元函数（元函数（l l个等式约束条件）：个等式约束条件）：个等式约束条件）：个等式约束条件）：拉拉拉拉格格格格朗朗朗朗日日日日乘乘乘乘子子子子法法法法极值必要条件极值必要条件第三十二页，讲稿共三十八页哦第二章 优化设计的数学基础第五节第五节 等式约束优化问题的极值条件等式约束优化问题的极值条件例：例：第三十三页，讲稿共三十八页哦第二章 优化设计的数学基础第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件求解不等式约束优化问题求解不等式约束优化问题的的基本思想基本思想：将将不等式不等式约束条件变成约束条件变成等式等式约束条件。约束条件。具体做法具体做法：引入引入松弛变量松弛变量。第三十四页，讲稿共三十八页哦松弛变量松弛变量第二章 优化设计的数学基础第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件一元函数一元函数f(x)f(x)在给定区间在给定区间a,ba,b上的极值优化问题上的极值优化问题 ：拉格朗日函数：拉格朗日函数：第三十五页，讲稿共三十八页哦第二章 优化设计的数学基础第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件拉格朗日函数：拉格朗日函数：极极值值条条件件一元函数一元函数第三十六页，讲稿共三十八页哦第二章 优化设计的数学基础第六节第六节 不等式约束优化问题的极值条件不等式约束优化问题的极值条件多元函数多元函数不等式不等式优化问题模型：优化问题模型：极值条件库恩库恩塔克条件塔克条件第三十七页，讲稿共三十八页哦感谢大家观看第三十八页，讲稿共三十八页哦