现代设计理论与方法-优化设计ppt课件.ppt

第第2 2章章 优化设计优化设计主要内容：主要内容：了解优化设计；了解优化设计；会建立优化设计的数学模型；会建立优化设计的数学模型；了解优化设计的数学基础知识；了解优化设计的数学基础知识；掌握一维优化方法；掌握一维优化方法；了解多维优化方法。了解多维优化方法。2.1 2.1 概述概述2.1.1 2.1.1 优化设计的概念优化设计的概念 优化设计优化设计是借助最优化数值计算方法和计是借助最优化数值计算方法和计算机技术，求取工程问题的算机技术，求取工程问题的最优设计方案。最优设计方案。即：进行最优化设计时，首先必须将实际即：进行最优化设计时，首先必须将实际问题加以问题加以数学描述，数学描述，形成一组由数学表达式组形成一组由数学表达式组成的成的数学模型，数学模型，然后选择一种最优化数值计算然后选择一种最优化数值计算方法和计算机程序，在计算机上运算求解，得方法和计算机程序，在计算机上运算求解，得到到一组最佳的设计参数。一组最佳的设计参数。2.1.2 2.1.2 优化设计的一般过程优化设计的一般过程机械设计的全过程一般可分为：机械设计的全过程一般可分为：1.1.设计问题分析设计问题分析2.2.建立优化设计的数学模型。建立优化设计的数学模型。3.3.选择适当的优化方法。选择适当的优化方法。4.4.编写计算机程序，计算择优。编写计算机程序，计算择优。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型1 1、建立数学模型的基本原则建立数学模型的基本原则 数学模型的建立要求确切、简洁的反映数学模型的建立要求确切、简洁的反映工程问题。工程问题。2 2、数学模型的三要素、数学模型的三要素 设计变量、目标函数、约束条件。设计变量、目标函数、约束条件。1 1）设计变量）设计变量 应注意各设计变量应相互独立，否则会应注意各设计变量应相互独立，否则会给优化带来困难。给优化带来困难。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型设计变量是指在设计过程中可以进行调整设计变量是指在设计过程中可以进行调整和优选的独立参数。和优选的独立参数。（1 1）设计变量的选择：）设计变量的选择：应该选择那些与目标函数和约束函数密切应该选择那些与目标函数和约束函数密切相关的，能够表达设计对象特征的基本参数。相关的，能够表达设计对象特征的基本参数。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型（2 2）设计变量的分类）设计变量的分类连续变量连续变量 可以在实数范围内连续取值的变量。可以在实数范围内连续取值的变量。离散变量离散变量 只在给定数列或集合中取值的变量。只在给定数列或集合中取值的变量。1 1）设计变量）设计变量2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型1 1）设计变量）设计变量（3 3）设计空间设计空间 若若n n个设计变量个设计变量x x1 1,x x2 2,x xn n相互独立，则由它相互独立，则由它们形成的向量们形成的向量X=X=x x1 1,x x2 2,x xn n T T的全体集合构成的的全体集合构成的一个一个n n维实欧氏空间，称为维实欧氏空间，称为设计空间设计空间，记，记R Rn n。设计变量的个数设计变量的个数n n称为优化设计的称为优化设计的维数。维数。1 1）如）如n=2n=2就是二维设计问题，可用平面直角就是二维设计问题，可用平面直角坐标来表示；坐标来表示；2 2）如）如n=3n=3就是三维设计问题，可用空间直角就是三维设计问题，可用空间直角坐标来表示；坐标来表示；3 3）如）如n n大于大于3 3就是超越空间。就是超越空间。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型1 1）设计变量）设计变量（3 3）设计空间设计空间 二维设计平面二维设计平面 三维设计空间三维设计空间2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型2 2）目标函数）目标函数 目标函数目标函数是通过设计变量来表示的设计所是通过设计变量来表示的设计所追求目标的数学表达式，追求目标的数学表达式，又称为标量函数。又称为标量函数。（1 1）目标函数的意义）目标函数的意义 目标函数目标函数值值的大小是的大小是衡量设计方案优劣的衡量设计方案优劣的定量标准。定量标准。目标函数的值目标函数的值越小越小，对应的设计方，对应的设计方案越好。案越好。因此，目标函数的因此，目标函数的最小值最小值及其对应的设计及其对应的设计变量的取值变量的取值称为设计问题的称为设计问题的最优解。最优解。目标函数的一般表示式为：目标函数的一般表示式为：2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型2 2）目标函数）目标函数 （2 2）目标函数的选择）目标函数的选择 必须针对具体问题，选择主要的技术指标必须针对具体问题，选择主要的技术指标作为设计的目标函数，如：作为设计的目标函数，如：利润、体积、重量、利润、体积、重量、功率功率等。等。（3 3）等值面和等值线）等值面和等值线 对于简单的问题，可用等值线或等值面来描对于简单的问题，可用等值线或等值面来描述函数的变化趋势，还可以直观地给出极值点的述函数的变化趋势，还可以直观地给出极值点的位置。位置。目标函数等值线（面），其数学表达式为：目标函数等值线（面），其数学表达式为：f f（X X）=c=c。在这种线或面上所有点的函数值均相等，因在这种线或面上所有点的函数值均相等，因此，这种线或面称为函数的此，这种线或面称为函数的等值线或等值面。等值线或等值面。当当c c取一系列不同的常数值时，可以得到一组取一系列不同的常数值时，可以得到一组形态相似的等值线或等值面，称为形态相似的等值线或等值面，称为函数的等值线函数的等值线簇或等值面簇。簇或等值面簇。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型2 2）目标函数）目标函数 a a）当）当n=2n=2时，该点集是设计平面中的一条时，该点集是设计平面中的一条直线或曲线；直线或曲线；b b）当）当n=3n=3时，该点集是设计空间中的一个时，该点集是设计空间中的一个平面或曲面；平面或曲面；c c）当）当n n大于大于3 3时，该点集是设计空间中的时，该点集是设计空间中的一个超曲面。一个超曲面。（3 3）等值面和等值线）等值面和等值线 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型2 2）目标函数）目标函数目标函数目标函数f f（X X）一）一6060 x x1 1一一120120 x x2 2的等值线簇。的等值线簇。（3 3）等值面和等值线）等值面和等值线 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型2 2）目标函数）目标函数函数：函数：f f（X X）x xl l2 2十十x x2 22 2一一4 4x x1 1十十4 4的图形的图形(旋转抛物面旋转抛物面)。用平面用平面f f（X X）c c切割该抛切割该抛物面所得交线在设计空间中物面所得交线在设计空间中的投影，就是目标函数的等的投影，就是目标函数的等值线。值线。（3 3）等值面和等值线）等值面和等值线 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型2 2）目标函数）目标函数约束条件的作用：约束条件的作用：就是对设计变量的就是对设计变量的取值加以限制。取值加以限制。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件）约束条件 对任何设计都有若干不同的要求和限制，对任何设计都有若干不同的要求和限制，将这些要求和限制表示成将这些要求和限制表示成设计变量的函数并写设计变量的函数并写成一系列不等式和等式表达式成一系列不等式和等式表达式，就构成了设计，就构成了设计的的约束条件约束条件，简称，简称设计约束设计约束。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件）约束条件（1 1）约束条件的分类）约束条件的分类 a a）约束条件根据形式不同分为）约束条件根据形式不同分为不等式不等式约束和等式约束。约束和等式约束。一般表示为：一般表示为：b b）根据性质不同分为）根据性质不同分为边界约束和性能约束。边界约束和性能约束。边界约束：边界约束：考虑了考虑了设计变量变化的范围，设计变量变化的范围，是是对设计变量本身所加的对设计变量本身所加的直接限制。直接限制。比如：比如：a ai i-x xi i00 x xi i-b bi i00 性能约束：性能约束：是根据是根据设计性能或指标要求而定设计性能或指标要求而定的一种约束条件。的一种约束条件。是对设计变量加的是对设计变量加的间接变量。间接变量。例如：零件的强度条件，刚度条件，稳定性条件例如：零件的强度条件，刚度条件，稳定性条件均属于性能约束。均属于性能约束。2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件）约束条件（1 1）约束条件的分类）约束条件的分类 约束边界约束边界 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件）约束条件 （2 2）可行域）可行域 每一个不等式或等式约束都将设计空间分为每一个不等式或等式约束都将设计空间分为两个部分，满足所有约束的部分形成一个两个部分，满足所有约束的部分形成一个交集交集，该交集称为此该交集称为此约束问题的可行域约束问题的可行域，记作，记作D D。可行域就是满足所有约束条件的可行域就是满足所有约束条件的设计点的集设计点的集合，合，因此，可用集合式表示如下：因此，可用集合式表示如下：2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件）约束条件 （2 2）可行域）可行域 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件）约束条件此此约约束束的的可可行行域域是是由由约约束束边边界界线线围围成成的的封封闭闭五五边形：边形：O OABCDABCD （2 2）可行域）可行域 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件）约束条件2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型优化设计问题的的数学模型一般数学表达式为：优化设计问题的的数学模型一般数学表达式为：3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 例例1 1：有一块边长为：有一块边长为6m6m的正方形铝板，四角各的正方形铝板，四角各裁去一个小的正方块，做成一个无盖的盒子。试裁去一个小的正方块，做成一个无盖的盒子。试确定裁去的四个小正方块的边长，以使做成的盒确定裁去的四个小正方块的边长，以使做成的盒子具有最大的容积。子具有最大的容积。解：设裁去的四个小正方块的边长为解：设裁去的四个小正方块的边长为x x，则盒子则盒子的的容积可表示成容积可表示成x x的函数的函数F F（X X）x x(6-2(6-2x x)2 2 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型变量变量 x x 设计变量设计变量 f f（X X）x x(6-2(6-2x x)2 2 目标函数目标函数 g g1 1（X X）x x 0 0 g g2 2（X X）x x 3 3 约束条件约束条件使容积最大，即使使容积最大，即使f f（X X）=-=-x x(6-2(6-2x x)2 2 最小最小 3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型min min f f（X X）=-=-x x(6-2(6-2x x)2 2 s.ts.t.g g1 1（X X）-x x 0 0 g g2 2（X X）x x 3 3例例2 2：平面连杆机构的优化设计：平面连杆机构的优化设计 曲柄摇杆机构再现已知运动规律的优化设计曲柄摇杆机构再现已知运动规律的优化设计3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型1 1）设计变量的确定）设计变量的确定 决定机构尺寸的各杆长度，以及当摇杆按已决定机构尺寸的各杆长度，以及当摇杆按已知运动规律开始运动时，曲柄所处的位置角知运动规律开始运动时，曲柄所处的位置角0 0 为设计变量。为设计变量。3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型2 2）目标函数的建立）目标函数的建立 目标函数可根据已知的运动规律与机构实目标函数可根据已知的运动规律与机构实际运动规律之间的偏差最小为指标来建立，即际运动规律之间的偏差最小为指标来建立，即3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件的确定）约束条件的确定（1 1）曲柄摇杆机构满足曲柄存在的条件）曲柄摇杆机构满足曲柄存在的条件3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型（2 2）若要求最小传动角应在）若要求最小传动角应在 和和 间，可得间，可得3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型3 3）约束条件的确定）约束条件的确定设计变量的确定设计变量的确定 考虑到机构的杆长按比例变化时，不会改考虑到机构的杆长按比例变化时，不会改变其运动规律，因此在计算时常取变其运动规律，因此在计算时常取l l1 1=1=1，而其而其他杆长按比例取为他杆长按比例取为l l1 1 的倍数。的倍数。3 3、优化设计数学模型建立实例、优化设计数学模型建立实例 2.1.3 2.1.3 优化设计的数学模型优化设计的数学模型1 1、按是否包含有约束条件分：、按是否包含有约束条件分：无约束优化问题和约束优化问题。无约束优化问题和约束优化问题。、按设计变量的多少可分：、按设计变量的多少可分：单变量优化和多变量优化。单变量优化和多变量优化。、按目标函数和约束函数的性质可分：、按目标函数和约束函数的性质可分：线性规划和非线性规划。线性规划和非线性规划。2.1.4 2.1.4 优化问题的分类优化问题的分类1 1、图解法：、图解法：用直接作图的方法来求解优化问题。用直接作图的方法来求解优化问题。在在设设计计平平面面作作出出约约束束可可行行域域，画画出出目目标标函函数数的的一一簇簇等等值值线线，根根据据等等值值线线与与可可行行域域的的相相互互关关系确定出最优点的位置。系确定出最优点的位置。特点：特点：优点：直观。优点：直观。缺点：一般仅限于求解缺点：一般仅限于求解n2n2的低的低 维优化问题。维优化问题。2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法 图解法图解法 数学解析法数学解析法 数值迭代法数值迭代法1 1）图解法的求解的步骤）图解法的求解的步骤 （1 1）确定设计空间；）确定设计空间；（2 2）作出约束可行域；）作出约束可行域；（3 3）画出目标函数的一簇等值线；）画出目标函数的一簇等值线；（4 4）最后判断确定最优点。）最后判断确定最优点。2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法目标函数：目标函数：f f（X X）一）一6060 x x1 1一一120120 x x2 22 2）图解法的求解实例）图解法的求解实例约束条件：约束条件：生产甲产品一件获利生产甲产品一件获利6060元，生产乙产品一元，生产乙产品一件获利件获利120120元，受条件约束，如何安排生产可获元，受条件约束，如何安排生产可获最大利润？最大利润？此此约约束束的的可可行行域域是是由由约约束束边边界界线线围围成成的的封封闭闭五五边形：边形：O OABCDABCD可行域可行域 2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2）图解法的求解实例）图解法的求解实例2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2）图解法的求解实例）图解法的求解实例目标函数目标函数f f（X X）一）一6060 x x1 1一一120120 x x2 2的等值线簇。的等值线簇。其其可可行行域域与与目目标标函函数数的的等等值值线图叠加在一起。线图叠加在一起。求解得：求解得：每每天天生生产产甲甲产产品品2020件件，乙乙产产品品2424件件，可可获获最最大利润大利润40804080元。元。2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2）图解法的求解实例）图解法的求解实例2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2）图解法的求解实例）图解法的求解实例f f（X X）x xl l2 2十十x x2 22 2一一4 4x x1 1十十4 4等值面和等值线等值面和等值线 目标函数目标函数2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2）图解法的求解实例）图解法的求解实例2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2）图解法的求解实例）图解法的求解实例2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2）图解法的求解实例）图解法的求解实例 图解法只适用于一些图解法只适用于一些很简单的优化问题很简单的优化问题，所以实用意义不强。所以实用意义不强。2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法2 2、数学解析法：、数学解析法：把优化对象用数学模型描述出来后，用微把优化对象用数学模型描述出来后，用微分等方法求出最优解分等方法求出最优解 数学解析法也只适用于一些数学解析法也只适用于一些维数较少，易维数较少，易于求导的于求导的优化问题。优化问题。2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法 例例1 1：有一块边长为：有一块边长为6m6m的正方形铝板，四角各的正方形铝板，四角各裁去一个小的正方块，做成一个无盖的盒子。试裁去一个小的正方块，做成一个无盖的盒子。试确定裁去的四个小正方块的边长，以使做成的盒确定裁去的四个小正方块的边长，以使做成的盒子具有最大的容积。子具有最大的容积。2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法1 1）数学解析法求解实例）数学解析法求解实例 min min f f（X X）=-=-x x(6-2(6-2x x)2 2 s.ts.t.g g1 1（X X）-x x 0 0 g g2 2（X X）x x 3 0 0 g g（X X）x x 3 3x x0 0 x x=1=1 为所求解。为所求解。2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法1 1）数学解析法求解实例）数学解析法求解实例 3 3、数值迭代法：、数值迭代法：2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法 工程优化问题的目标函数和约束条件比较工程优化问题的目标函数和约束条件比较复杂，数值迭代法是优化设计问题的基本解法。复杂，数值迭代法是优化设计问题的基本解法。数值迭代法的基本思路：数值迭代法的基本思路：进行进行反复的数值反复的数值计算计算，寻求函数值，寻求函数值不断下降不断下降的可行计算点，直的可行计算点，直到最后获得到最后获得足够精度的近似解。足够精度的近似解。3 3、数值迭代法：、数值迭代法：2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法 沿某个搜索方向沿某个搜索方向S S（k k）以适当的步长以适当的步长（k k）实实现对现对X X（k k）的修正。的修正。1）寻求极值点的搜索过程寻求极值点的搜索过程 3 3、数值迭代法：、数值迭代法：2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法 1）寻求极值点的搜索过程寻求极值点的搜索过程 迭代法要解决的问题：迭代法要解决的问题：（1 1）选择搜索方向选择搜索方向 （2 2）确定步长因子确定步长因子 （3 3）给定终止准则给定终止准则3 3、数值迭代法：、数值迭代法：2.1.5 2.1.5 优化问题数学模型的求解方法优化问题数学模型的求解方法 2）迭代计算的终止准则迭代计算的终止准则 (1)(1)点距足够小准则点距足够小准则(2)(2)函数值下降量足够小准则函数值下降量足够小准则 (3)(3)函数梯度充分小准则函数梯度充分小准则 2.2.1 2.2.1 二次型与正定矩阵二次型与正定矩阵 2.2 2.2 优化方法的数学基础优化方法的数学基础1.1.二次型函数二次型函数 二次函数是最简单的非线性函数，可以二次函数是最简单的非线性函数，可以写成以下向量形式：写成以下向量形式：称为二次型矩阵称为二次型矩阵称为二次型称为二次型2 2、正定与负定的判断、正定与负定的判断 1 1）对所有非）对所有非 0 0 向量向量 X,X,若：若：X XT TAX AX 0 0，则称矩阵，则称矩阵 A A 是正定矩阵；是正定矩阵；X XT TAX AX 0 0，则称矩阵，则称矩阵 A A 是半正定矩阵；是半正定矩阵；X XT TAX AX 0 0，则称矩阵，则称矩阵 A A 是负定矩阵；是负定矩阵；X XT TAX AX 0 0，则称矩阵，则称矩阵 A A 是半负定矩阵；是半负定矩阵；X XT TAX AX =0=0，则称矩阵，则称矩阵 A A 是不定矩阵。是不定矩阵。2.2.1 2.2.1 二次型与正定矩阵二次型与正定矩阵 2 2、正定与负定的判断、正定与负定的判断 2 2）若：）若：矩阵矩阵A A 的各阶主子式均大于零，的各阶主子式均大于零，2.2.1 2.2.1 二次型与正定矩阵二次型与正定矩阵 即即:一阶主子式一阶主子式 二阶主子式二阶主子式 n n 阶主子式阶主子式 0 0 则矩阵则矩阵A A 是是正定的正定的。2 2、正定与负定的判断、正定与负定的判断 2 2）若：）若：矩阵矩阵A A 的各阶主子式负正相间，的各阶主子式负正相间，2.2.1 2.2.1 二次型与正定矩阵二次型与正定矩阵 即即:一阶主子式一阶主子式 二阶主子式二阶主子式 即：奇数阶主子式小于即：奇数阶主子式小于0 0，偶数阶主子式大，偶数阶主子式大于于0 0，则矩阵则矩阵A A 是是负定的负定的。3 3、正定二次函数具有以下性质、正定二次函数具有以下性质 ：1 1）正定二次函数的等值线或等值面是一簇同）正定二次函数的等值线或等值面是一簇同心椭圆或同心椭球，其中心就是该二次函数的极心椭圆或同心椭球，其中心就是该二次函数的极小值。小值。2 2）非正定二次函数的极小值附近的等值线或）非正定二次函数的极小值附近的等值线或等值面近似于椭圆或椭球。等值面近似于椭圆或椭球。2.2.1 2.2.1 二次型与正定矩阵二次型与正定矩阵 2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度1 1、函数的方向导数、函数的方向导数 讨论函数讨论函数 在一点在一点P P沿某一方向沿某一方向的变化率问题的变化率问题引射线引射线内有定义，自点内有定义，自点的某一邻域的某一邻域在点在点设函数设函数l lP Py yx xP P),(),(,l ly yy yx xx xP Pl lx x+/上的另一点上的另一点为为并设并设为为的转角的转角轴正向到射线轴正向到射线设设1 1）方向导数方向导数的定义的定义2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度1 1、函数的方向导数、函数的方向导数 1 1）方向导数方向导数的定义的定义且且的的方向导数方向导数。沿方向沿方向则称这极限为函数在点则称这极限为函数在点在，在，时，如果此比的极限存时，如果此比的极限存趋于趋于沿着沿着当当之比值，之比值，两点间的距离两点间的距离与与函数的增量函数的增量l lP PP P/l lP PP P/P P记为记为2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度1 1、函数的方向导数、函数的方向导数 1 1）方向导数方向导数的定义的定义2 2）方向导数的计算）方向导数的计算 定理定理如果函数如果函数),(y yx xf fz z=在点在点),(y yx xP P是可微分是可微分的，那么函数在该点沿任意方向的，那么函数在该点沿任意方向l l的方向导数都的方向导数都存在，则有存在，则有 其中其中为为x x轴到方向轴到方向 l l 的转角。的转角。2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度1 1、函数的方向导数、函数的方向导数 2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度1 1、函数的方向导数、函数的方向导数 对于三元函数对于三元函数),(z zy yx xf fu u=，它在空间一点，它在空间一点),(z zy yx xP P沿着方向沿着方向 l l 的方向导数的方向导数 ，可定义，可定义为为推广可得三元函数方向导数的定义推广可得三元函数方向导数的定义其中其中 同理：当函数在此点可微时，那么函数在该点同理：当函数在此点可微时，那么函数在该点沿任意方向沿任意方向 L L 的方向导数都存在，且有的方向导数都存在，且有设方向设方向 l l 的方向角为的方向角为,2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度1 1、函数的方向导数、函数的方向导数 推推导导出出n n元元函函数数f f（X X）在在点点X X(k(k)处处沿沿任任意意给给定定方向方向S S的方向导数的表达式为的方向导数的表达式为：2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度1 1、函数的方向导数、函数的方向导数 1 1）梯度的定义）梯度的定义 函数在点函数在点X X(k(k)的梯度是由函数在该点的各个的梯度是由函数在该点的各个一阶偏导数组成的向量。一阶偏导数组成的向量。2 2）梯度的表达式）梯度的表达式2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2 2、梯度、梯度 2 2）梯度的表达式）梯度的表达式2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2 2、梯度、梯度 2 2）梯度的表达式）梯度的表达式2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2 2、梯度、梯度 函数在某点的函数在某点的梯度梯度是这样一个向量，它的是这样一个向量，它的方向方向与取得与取得最大方向导数的方向一致最大方向导数的方向一致,而它的而它的模模为为方向导数的最大值方向导数的最大值。梯度的模为。梯度的模为结论结论2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2 2、梯度、梯度 等高线等高线梯度为等高线上的法向量梯度为等高线上的法向量 函数在某点的函数在某点的梯度梯度是这样一个向量，它的是这样一个向量，它的方向方向与取得与取得最大方向导数的方向一致最大方向导数的方向一致,而它的而它的模模为为方向导数的最大值方向导数的最大值。梯度的模为。梯度的模为结论结论2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2 2、梯度、梯度 与梯度成锐角的方向是函数值上升的方向，与梯度成锐角的方向是函数值上升的方向，而与梯度成钝角的方向则是函数值下降的方向。而与梯度成钝角的方向则是函数值下降的方向。2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2 2、梯度、梯度 2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2 2、梯度、梯度 例例1 1 求求函函数数f(X)f(X)(x(x1 12 2)2 2十十(x(x2 21 1)2 2在在点点X X(1 1)3 3,2 2 T T和和X X(2 2)2,22,2 T T的梯度并作图表示。的梯度并作图表示。解：根据定义，梯度为解：根据定义，梯度为则则2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度解：梯度的模为：解：梯度的模为：单位梯度的向量为单位梯度的向量为：2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度 在设计平面在设计平面x x1 1oxox2 2内标出点内标出点(2,2)(2,2)和点和点(0,2)(0,2)，并将此两点分别与原点相连得到向量并将此两点分别与原点相连得到向量2,22,2T T和和 0,20,2T T。将这两个向量各自平移至点将这两个向量各自平移至点X X(1)(1)和和X X(2)(2)，所得新的向量就是点所得新的向量就是点X X(1)(1)和和X X(2)(2)的梯度。的梯度。2.2.2 2.2.2 函数的方向导数和梯度函数的方向导数和梯度2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 由高等数学知，一元函数由高等数学知，一元函数f f(x x)若在点若在点x x（k k）的邻域内的邻域内n n阶可导，则函数可在该点的邻域内作阶可导，则函数可在该点的邻域内作如下泰勒展开：如下泰勒展开：多元函数多元函数f f(x x)在在x x（k k）点也可以作泰勒展开点也可以作泰勒展开,其其展开式一般取三项展开式一般取三项,其形式与一次函数的形式的前其形式与一次函数的形式的前三项是相似的三项是相似的.写成矩阵形式：写成矩阵形式：式中式中称为称为f(x)的海森的海森(Hessian)矩阵矩阵，常用常用H(X(k)表示表示。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 f(x)的海森的海森(Hessian)矩阵矩阵，常用常用H(X(k)表示表示。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 由由于于n n元元函函数数的的偏偏导导数数有有n nn n个个，而而偏偏导导数数得得值值与与求求导导次次序序无无关关，所所以以函函数数的的二二阶阶偏偏导导矩矩阵阵是是对称矩阵。对称矩阵。例：例：一般二元二次函数一般二元二次函数 ，求，求H(X)。解：解：2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 例：例：一般二元二次函数一般二元二次函数 ，求，求H(X)。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 例例2:2:用泰勒展开的方法将函数用泰勒展开的方法将函数 f(Xf(X)x x1 13 3 -x-x2 23 3+3 3 x x1 12 2+3 3 x x2 22 2-9 9x x1 1在在 点点X X(1 1)=11,11T T 简化成二次函数。简化成二次函数。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 式中式中 例例2:2:用泰勒展开的方法将函数用泰勒展开的方法将函数 f(Xf(X)x x1 13 3 -x-x2 23 3+3 3 x x1 12 2+3 3 x x2 22 2-9 9x x1 1在在 点点X X(1 1)=11,11T T 简化成二次函数。简化成二次函数。解：解：(1)求函数在点求函数在点X(1)的函数值、梯度：的函数值、梯度：2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开(2)(2)求得二阶导数矩阵为：求得二阶导数矩阵为：而且而且 例例2:2:用泰勒展开的方法将函数用泰勒展开的方法将函数 f(Xf(X)x x1 13 3 -x-x2 23 3+3 3 x x1 12 2+3 3 x x2 22 2-9 9x x1 1在在 点点X X(1 1)=11,11T T 简化成二次函数。简化成二次函数。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 例例2:2:用泰勒展开的方法将函数用泰勒展开的方法将函数 f(Xf(X)x x1 13 3 -x-x2 23 3+3 3 x x1 12 2+3 3 x x2 22 2-9 9x x1 1在在 点点X X(1 1)=11,11T T 简化成二次函数。简化成二次函数。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开(3)(3)得到泰勒展开式的二次项为：得到泰勒展开式的二次项为：例例2:2:用泰勒展开的方法将函数用泰勒展开的方法将函数 f(Xf(X)x x1 13 3 -x-x2 23 3+3 3 x x1 12 2+3 3 x x2 22 2-9 9x x1 1在在 点点X X(1 1)=11,11T T 简化成二次函数。简化成二次函数。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 式中式中 例例2:2:用泰勒展开的方法将函数用泰勒展开的方法将函数 f(Xf(X)x x1 13 3 -x-x2 23 3+3 3 x x1 12 2+3 3 x x2 22 2-9 9x x1 1在在 点点X X(1 1)=11,11T T 简化成二次函数。简化成二次函数。2.2.3 2.2.3 多元函数的泰勒展开多元函数的泰勒展开 代入泰勒展开式得简化的二次函数：代入泰勒展开式得简化的二次函数：2.2.4 2.2.4 无约束优化问题的极值条件无约束优化问题的极值条件 由高数知识知：任一单值、连续可导的一由高数知识知：任一单值、连续可导的一元函数在某点取得极值的条件是：函数在该点元函数在某点取得极值的条件是：函数在该点的的一阶导数为一阶导数为0 0，当二阶导数不等于当二阶导数不等于0 0。当二阶导数大于当二阶导数大于0 0，函数在该点有极小值；，函数在该点有极小值；当二阶导数小于当二阶导数小于0 0，函数在该点有极大值。，函数在该点有极大值。多元函数在点多元函数在点X X(k(k)取得取得极小值的条件极小值的条件是：是：函数在该点的梯度为零，二阶导数矩阵为正定。函数在该点的梯度为零，二阶导数矩阵为正定。即即例例1 1：试试求求f(xf(x1 1,x,x2 2)2 2x x1 12 2-8 8x x1 1+2 2x x2 22 2-4 4x x2 2+20 20 的极值及极值点。的极值及极值点。解：由极值点存在的必要条件解：由极值点存在的必要条件得驻点得驻点X X*=2=2，11T T,在在X X*点海森矩阵为：点海森矩阵为：2.2.4 2.2.4 无约束优化问题的极值条件无约束优化问题的极值条件 由于其各阶主子行列式为由于其各阶主子行列式为 可知在可知在X X*点海森矩阵正定的，点海森矩阵正定的，所以，所以，X X*为极小点，其极小值为：为极小点，其极小值为：例例1 1：试试求求f(xf(x1 1,x,x2 2)2 2x x1 12 2-8 8x x1 1+2 2x x2 22 2-4 4x x2 2+20 20 的极值及极值点。的极值及极值点。2.2.4 2.2.4 无约束优化问题的极值条件无约束优化问题的极值条件 2.2.5 2.2.5 约束优化问题的极值条件约束优化问题的极值条件 2.2.5 2.2.5 约束优化问题的极值条件约束优化问题的极值条件 1.1.等式约束的极值条件等式约束的极值条件建立拉格朗日函数：建立拉格朗日函数：2.2.5 2.2.5 约束优化问题的极值条件约束优化问题的极值条件 2.2.不等式约束的极值条件不等式约束的极值条件加入松弛变量：加入松弛变量：2.2.5 2.2.5 约束优化问题的极值条件约束优化问题的极值条件 2.2.不等式约束的极值条件不等式约束的极值条件2.3 一维优化方法一维优化方法 一维搜索法一维搜索法一维搜索法一维搜索法：就是一元函数极小化的数值迭代算就是一元函数极小化的数值迭代算法，其求解过程称法，其求解过程称一维搜索一维搜索。一维搜索法是构成。一维搜索法是构成非线性优化方法的基本算法，因为多元函数的迭非线性优化方法的基本算法，因为多元函数的迭代解法可归结为在一系列逐步产生的下降方向上代解法可归结为在一系列逐步产生的下降方向上的一维搜索。的一维搜索。2.3 一维优化方法一维优化方法采用数学规划法求函数极值点的迭代计算：采用数学规划法求函数极值点的迭代计算：K+1K+1次次迭代的搜索方向迭代的搜索方向