非线性规划理论和算法PPT课件.ppt
《非线性规划理论和算法PPT课件.ppt》由会员分享,可在线阅读,更多相关《非线性规划理论和算法PPT课件.ppt(81页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、关于非线性规划理论关于非线性规划理论与算法与算法第一张,PPT共八十一页,创作于2022年6月第二张,PPT共八十一页,创作于2022年6月3约束集或可行域约束集或可行域:非线性规划非线性规划x*是整体是整体(全局全局)极小点极小点x*是严格整体是严格整体(全局全局)极小点极小点x*是局部极小点是局部极小点x*是严格局部极小点是严格局部极小点非线性规划向量化表示非线性规划向量化表示非线性规划向量化表示非线性规划向量化表示p=q=0p=q=0即无约束规划即无约束规划即无约束规划即无约束规划第三张,PPT共八十一页,创作于2022年6月4非线性规划的几个概念非线性规划的几个概念线性化可行方向线性化
2、可行方向:可行方向锥可行方向锥第四张,PPT共八十一页,创作于2022年6月5定义定义3:积极约束积极约束:或起作用约束起作用约束(紧约束紧约束积极约束积极约束有效约束有效约束)。)。第五张,PPT共八十一页,创作于2022年6月6证明:定理定理1:定义定义4:可行下降方向可行下降方向第六张,PPT共八十一页,创作于2022年6月7定理2:定理3:证略极值点的必要条件:第七张,PPT共八十一页,创作于2022年6月8严格凸组合严格凸组合严格凸严格凸线性组合线性组合为为凸规划凸规划。若若f(x)是凸函数,是凸函数,S是凸集,是凸集,一般要求一般要求当当i=1,2,p时为凸函数,当时为凸函数,当i
3、=p+1,p+q时为线性函数。时为线性函数。凸规划凸规划的的局部解是整体解局部解是整体解!第八张,PPT共八十一页,创作于2022年6月9第九张,PPT共八十一页,创作于2022年6月10定理:定理:可微函数解的必要条件:可微函数解的必要条件:x*是局部解是局部解,则:则:最优性条件最优性条件无约束规划无约束规划无约束规划无约束规划x*是驻点是驻点(稳定点稳定点)可微凸函数解的充要条件:可微凸函数解的充要条件:x*是整体极小解当且仅当是整体极小解当且仅当第十张,PPT共八十一页,创作于2022年6月11约束规划最优性条件的几何表述约束规划最优性条件的几何表述约束规划最优性条件的几何表述约束规划
4、最优性条件的几何表述梯度共线梯度共线第十一张,PPT共八十一页,创作于2022年6月12共面共面梯度被线性标示梯度被线性标示约束规划最优性条件的几何表述约束规划最优性条件的几何表述第十二张,PPT共八十一页,创作于2022年6月13结论:在解处仅等式结论:在解处仅等式(紧紧)约束有效!约束有效!约束规划最优性条件的几何表述约束规划最优性条件的几何表述约束规划最优性条件的几何表述约束规划最优性条件的几何表述第十三张,PPT共八十一页,创作于2022年6月14对约束对约束定义定义7.有效约束有效约束(紧约束、积极约束紧约束、积极约束)active constraint在在x*处有处有则称在则称在x
5、*处处ci(x)是紧约束。是紧约束。x*处有效约束指标集处有效约束指标集梯度的负线性表示梯度的负线性表示!第十四张,PPT共八十一页,创作于2022年6月15向量化表示向量化表示向量化表示向量化表示约束规划最优性约束规划最优性必要必要条件条件Karush-Kuhn-TuckerKarush-Kuhn-Tucker条件条件条件条件KKTKKT条件条件条件条件互补松互补松弛条件弛条件第十五张,PPT共八十一页,创作于2022年6月16LagrangeLagrange函数函数Karush-Kuhn-TuckerKarush-Kuhn-Tucker条件条件条件条件KKTKKT条件条件条件条件Lagra
6、ngeLagrange乘子:乘子:乘子:乘子:互补松弛条件:互补松弛条件:互补松弛条件:互补松弛条件:约束规格约束规格约束规格约束规格约束限制约束限制约束限制约束限制(规范规范规范规范)条件条件条件条件第十六张,PPT共八十一页,创作于2022年6月17约束规划最优性约束规划最优性充分充分条件条件鞍点鞍点鞍点鞍点条件条件同时同时同时同时的最优解!的最优解!的最优解!的最优解!证明:证明:证明:证明:由由 的任意性知的任意性知:且且且且进一步由不等式的后两部分知进一步由不等式的后两部分知进一步由不等式的后两部分知进一步由不等式的后两部分知:第十七张,PPT共八十一页,创作于2022年6月18凸规
7、划最优性凸规划最优性充要充要充要充要条件条件Karush-Kuhn-TuckerKarush-Kuhn-Tucker条件条件条件条件KKTKKT条件条件条件条件第十八张,PPT共八十一页,创作于2022年6月19定理定理(Fritz John条件条件):其他最优性条件其他最优性条件第十九张,PPT共八十一页,创作于2022年6月20Fritz John 条件与条件与KKT条件的区别条件的区别:Fritz John 条件可能出现条件可能出现w0=0的情形。这时的情形。这时Fritz John 条件中实际上不包含目标函数的任何数条件中实际上不包含目标函数的任何数据,只是把起作用约束的梯度组合成零向
8、量。这样据,只是把起作用约束的梯度组合成零向量。这样的条件,对于问题的解的描述,没有多大价值。我的条件,对于问题的解的描述,没有多大价值。我们感兴趣的是们感兴趣的是w00的情形,所以为了保证的情形,所以为了保证 w00,还,还需要对约束施加某种限制。这种限制条件通常称为需要对约束施加某种限制。这种限制条件通常称为约约束规格束规格。在上一个定理中,如果增加。在上一个定理中,如果增加紧约束紧约束的梯度的梯度线性无关的线性无关的约束规格约束规格,则给出问题的,则给出问题的KKT条件。条件。第二十张,PPT共八十一页,创作于2022年6月211)1)所有规划解的最优性所有规划解的最优性所有规划解的最优
9、性所有规划解的最优性必要必要必要必要条件条件条件条件=KKT=KKT条件条件条件条件+约束规格约束规格约束规格约束规格2)2)凸规划解的最优性凸规划解的最优性凸规划解的最优性凸规划解的最优性充分充分充分充分条件条件条件条件=KKT=KKT条件条件条件条件最优性条件总结最优性条件总结最优性最优性最优性最优性必要必要必要必要条件证明:需要用到凸集分离定理、择一性定理条件证明:需要用到凸集分离定理、择一性定理条件证明:需要用到凸集分离定理、择一性定理条件证明:需要用到凸集分离定理、择一性定理(Farkas(Farkas引理引理引理引理凸规划最优性凸规划最优性凸规划最优性凸规划最优性充分充分充分充分条
10、件证明较简单,但对非凸规划结果没有实际指导意义,条件证明较简单,但对非凸规划结果没有实际指导意义,条件证明较简单,但对非凸规划结果没有实际指导意义,条件证明较简单,但对非凸规划结果没有实际指导意义,蕴含着对偶原理蕴含着对偶原理蕴含着对偶原理蕴含着对偶原理LangrangeLangrange对偶对偶对偶对偶第二十一张,PPT共八十一页,创作于2022年6月22例例:求约束极值问题求约束极值问题第二十二张,PPT共八十一页,创作于2022年6月23第二十三张,PPT共八十一页,创作于2022年6月24第二十四张,PPT共八十一页,创作于2022年6月25第二十五张,PPT共八十一页,创作于2022
11、年6月26最优性条件举例最优性条件举例线性规划线性规划线性规划线性规划最优性条件最优性条件最优性条件最优性条件是充分的?是必要的?是充分的?是必要的?是充分的?是必要的?是充分的?是必要的?标准形式:标准形式:标准形式:标准形式:练习:推广形式的最优练习:推广形式的最优练习:推广形式的最优练习:推广形式的最优性条件性条件性条件性条件第二十六张,PPT共八十一页,创作于2022年6月27最优性条件举例最优性条件举例最优性条件举例最优性条件举例二次规划二次规划二次规划二次规划最优性条件最优性条件最优性条件最优性条件什么条件下是充分的?什么条件下是充分的?什么条件下是充分的?什么条件下是充分的?什么
12、条件下是必要的?什么条件下是必要的?什么条件下是必要的?什么条件下是必要的?推广一:推广一:推广一:推广一:推广二:推广二:推广二:推广二:简化:简化:简化:简化:第二十七张,PPT共八十一页,创作于2022年6月第二十八张,PPT共八十一页,创作于2022年6月29最大最小对偶最大最小对偶目标函数目标函数目标函数目标函数:x x方的目标是无论方的目标是无论方的目标是无论方的目标是无论y y怎样,都应使怎样,都应使怎样,都应使怎样,都应使F F越越越越小小小小越好;越好;越好;越好;y y方的目标是无论方的目标是无论方的目标是无论方的目标是无论x x怎样,都应使怎样,都应使怎样,都应使怎样,都
13、应使F F越越越越大大大大越好;越好;越好;越好;立于不败之地的决策方法立于不败之地的决策方法保守主义决策保守主义决策保守主义决策保守主义决策相关结论:相关结论:相关结论:相关结论:一对对偶问题一对对偶问题一对对偶问题一对对偶问题弱对偶定理弱对偶定理弱对偶定理弱对偶定理对偶间隙对偶间隙对偶间隙对偶间隙第二十九张,PPT共八十一页,创作于2022年6月30最大最小对偶举例最大最小对偶举例最大最小对偶举例最大最小对偶举例博弈博弈博弈博弈第三十张,PPT共八十一页,创作于2022年6月31最大最小对偶最大最小对偶鞍点条件鞍点条件鞍点条件鞍点条件:对对对对相关结论:相关结论:相关结论:相关结论:弱对偶
14、定理弱对偶定理弱对偶定理弱对偶定理对偶间隙对偶间隙对偶间隙对偶间隙若有点若有点若有点若有点则称则称则称则称(x x*,*,y y*)*)满足鞍点条件。满足鞍点条件。满足鞍点条件。满足鞍点条件。强对偶定理强对偶定理强对偶定理强对偶定理满足鞍点条件。满足鞍点条件。满足鞍点条件。满足鞍点条件。第三十一张,PPT共八十一页,创作于2022年6月32原规划原规划原规划原规划:Lagrange对偶对偶LagrangeLagrange函数函数函数函数LagrangeLagrange对偶对偶对偶对偶弱对偶性弱对偶性弱对偶性弱对偶性:弱对偶定理弱对偶定理弱对偶定理弱对偶定理对偶间隙对偶间隙对偶间隙对偶间隙原规划
15、原规划凹函数凹函数第三十二张,PPT共八十一页,创作于2022年6月33LagrangeLagrange对偶举例对偶举例对偶举例对偶举例第三十三张,PPT共八十一页,创作于2022年6月34像集像集第三十四张,PPT共八十一页,创作于2022年6月35第三十五张,PPT共八十一页,创作于2022年6月36第三十六张,PPT共八十一页,创作于2022年6月37连续可微凸规划连续可微凸规划连续可微凸规划连续可微凸规划:强对偶定理强对偶定理强对偶定理强对偶定理:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一约束规格约束规格约束规格约束规格,则,则,则,
16、则LagrangeLagrange对偶的强对偶定理对偶的强对偶定理对偶的强对偶定理对偶的强对偶定理f f、g g可微凸,可微凸,可微凸,可微凸,h h线性线性线性线性1)1):若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;2)2):若原问题与对偶问题分别有可行解,则他们是最优解的充分必要条件是:若原问题与对偶问题分别有可行解,则他们是最优解的充分必要条件是:若原问题与对偶问题分别有可行解,则他们是最优解的充分必要条件是:若原问题与对偶问题分别有可行解,则他们是最优解的充分必要条件是他们对应相同的目标值他们对
17、应相同的目标值他们对应相同的目标值他们对应相同的目标值(对偶间隙为对偶间隙为对偶间隙为对偶间隙为0).0).证证证证1)1):即证可微凸规划的最优解:即证可微凸规划的最优解:即证可微凸规划的最优解:即证可微凸规划的最优解与其与其与其与其KKTKKT条件的乘子条件的乘子条件的乘子条件的乘子满足鞍点条件!满足鞍点条件!满足鞍点条件!满足鞍点条件!证证证证2)2):利用鞍点条件可得。:利用鞍点条件可得。:利用鞍点条件可得。:利用鞍点条件可得。3)3):对偶问题无上界,则原问题不可行;原问题无下界,则对偶问题不可行。:对偶问题无上界,则原问题不可行;原问题无下界,则对偶问题不可行。:对偶问题无上界,则
18、原问题不可行;原问题无下界,则对偶问题不可行。:对偶问题无上界,则原问题不可行;原问题无下界,则对偶问题不可行。第三十七张,PPT共八十一页,创作于2022年6月38连续可微凸规划连续可微凸规划连续可微凸规划连续可微凸规划:WolfeWolfe对偶对偶对偶对偶:Wolfe对偶对偶对偶对偶f f、g g可微凸,可微凸,可微凸,可微凸,h h线性线性线性线性1)1):若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;2)2):若原问题与对偶问题分别有可行解,则他们是最优解得充分必要条:若原问题与对偶问题分别有可行解
19、,则他们是最优解得充分必要条:若原问题与对偶问题分别有可行解,则他们是最优解得充分必要条:若原问题与对偶问题分别有可行解,则他们是最优解得充分必要条件是他们对应相同的目标值件是他们对应相同的目标值件是他们对应相同的目标值件是他们对应相同的目标值(对偶间隙为对偶间隙为对偶间隙为对偶间隙为0).0).LagrangeLagrange函数函数函数函数WolfeWolfe对偶定理对偶定理对偶定理对偶定理:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一约束规格约束规格约束规格约束规格,则,则,则,则第三十八张,PPT共八十一页,创作于2022年6月39凸规
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 非线性 规划 理论 算法 PPT 课件
限制150内