非线性规划理论与算法精选课件.ppt
《非线性规划理论与算法精选课件.ppt》由会员分享,可在线阅读,更多相关《非线性规划理论与算法精选课件.ppt(81页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、关于非线性规划理论关于非线性规划理论与算法与算法第一页,本课件共有81页第二页,本课件共有81页3约束集或可行域约束集或可行域:非线性规划非线性规划x*是整体是整体(全局全局)极小点极小点x*是严格整体是严格整体(全局全局)极小点极小点x*是局部极小点是局部极小点x*是严格局部极小点是严格局部极小点非线性规划向量化表示非线性规划向量化表示非线性规划向量化表示非线性规划向量化表示p=q=0p=q=0即无约束规划即无约束规划即无约束规划即无约束规划第三页,本课件共有81页4非线性规划的几个概念非线性规划的几个概念线性化可行方向线性化可行方向:可行方向锥可行方向锥第四页,本课件共有81页5定义定义3
2、:积极约束积极约束:或起作用约束起作用约束(紧约束紧约束积极约束积极约束有效约束有效约束)。)。第五页,本课件共有81页6证明:定理定理1:定义定义4:可行下降方向可行下降方向第六页,本课件共有81页7定理2:定理3:证略极值点的必要条件:第七页,本课件共有81页8严格凸组合严格凸组合严格凸严格凸线性组合线性组合为为凸规划凸规划。若若f(x)是凸函数,是凸函数,S是凸集,是凸集,一般要求一般要求当当i=1,2,p时为凸函数,当时为凸函数,当i=p+1,p+q时为线性函数。时为线性函数。凸规划凸规划的的局部解是整体解局部解是整体解!第八页,本课件共有81页9第九页,本课件共有81页10定理:定理
3、:可微函数解的必要条件:可微函数解的必要条件:x*是局部解是局部解,则:则:最优性条件最优性条件无约束规划无约束规划无约束规划无约束规划x*是驻点是驻点(稳定点稳定点)可微凸函数解的充要条件:可微凸函数解的充要条件:x*是整体极小解当且仅当是整体极小解当且仅当第十页,本课件共有81页11约束规划最优性条件的几何表述约束规划最优性条件的几何表述梯度共线梯度共线第十一页,本课件共有81页12共面共面梯度被线性标示梯度被线性标示约束规划最优性条件的几何表述约束规划最优性条件的几何表述约束规划最优性条件的几何表述约束规划最优性条件的几何表述第十二页,本课件共有81页13结论:在解处仅等式结论:在解处仅
4、等式(紧紧)约束有效!约束有效!约束规划最优性条件的几何表述约束规划最优性条件的几何表述第十三页,本课件共有81页14对约束对约束定义定义7.有效约束有效约束(紧约束、积极约束紧约束、积极约束)active constraint在在x*处有处有则称在则称在x*处处ci(x)是紧约束。是紧约束。x*处有效约束指标集处有效约束指标集梯度的负线性表示梯度的负线性表示!第十四页,本课件共有81页15向量化表示向量化表示向量化表示向量化表示约束规划最优性约束规划最优性约束规划最优性约束规划最优性必要必要必要必要条件条件条件条件Karush-Kuhn-TuckerKarush-Kuhn-Tucker条件条
5、件条件条件KKTKKT条件条件条件条件互补松互补松弛条件弛条件第十五页,本课件共有81页16LagrangeLagrange函数函数函数函数Karush-Kuhn-TuckerKarush-Kuhn-Tucker条件条件条件条件KKTKKT条件条件条件条件LagrangeLagrange乘子:乘子:乘子:乘子:互补松弛条件:互补松弛条件:互补松弛条件:互补松弛条件:约束规格约束规格约束规格约束规格约束限制约束限制约束限制约束限制(规范规范规范规范)条件条件条件条件第十六页,本课件共有81页17约束规划最优性约束规划最优性约束规划最优性约束规划最优性充分充分条件条件条件条件鞍点鞍点条件条件条件条
6、件同时同时同时同时的最优解!的最优解!的最优解!的最优解!证明:证明:证明:证明:由由 的任意性知的任意性知:且且且且进一步由不等式的后两部分知进一步由不等式的后两部分知进一步由不等式的后两部分知进一步由不等式的后两部分知:第十七页,本课件共有81页18凸规划最优性凸规划最优性凸规划最优性凸规划最优性充要充要条件条件条件条件Karush-Kuhn-TuckerKarush-Kuhn-Tucker条件条件条件条件KKTKKT条件条件条件条件第十八页,本课件共有81页19定理定理(Fritz John条件条件):其他最优性条件其他最优性条件第十九页,本课件共有81页20Fritz John 条件与
7、条件与KKT条件的区别条件的区别:Fritz John 条件可能出现条件可能出现w0=0的情形。这时的情形。这时Fritz John 条件中实际上不包含目标函数的任条件中实际上不包含目标函数的任何数据,只是把起作用约束的梯度组合成零向何数据,只是把起作用约束的梯度组合成零向量。这样的条件,对于问题的解的描述,没有量。这样的条件,对于问题的解的描述,没有多大价值。我们感兴趣的是多大价值。我们感兴趣的是w00的情形,所以的情形,所以为了保证为了保证 w00,还需要对约束施加某种限制。,还需要对约束施加某种限制。这种限制条件通常称为这种限制条件通常称为约束规格约束规格。在上一个定。在上一个定理中,如
8、果增加理中,如果增加紧约束紧约束的梯度线性无关的的梯度线性无关的约束规约束规格格,则给出问题的,则给出问题的KKT条件。条件。第二十页,本课件共有81页211)1)所有规划解的最优性所有规划解的最优性所有规划解的最优性所有规划解的最优性必要必要必要必要条件条件条件条件=KKT=KKT条件条件条件条件+约束规格约束规格约束规格约束规格2)2)凸规划解的最优性凸规划解的最优性凸规划解的最优性凸规划解的最优性充分充分充分充分条件条件条件条件=KKT=KKT条件条件条件条件最优性条件总结最优性条件总结最优性最优性最优性最优性必要必要必要必要条件证明:需要用到凸集分离定理、择一性定理条件证明:需要用到凸
9、集分离定理、择一性定理条件证明:需要用到凸集分离定理、择一性定理条件证明:需要用到凸集分离定理、择一性定理(Farkas(Farkas引理引理引理引理凸规划最优性凸规划最优性凸规划最优性凸规划最优性充分充分充分充分条件证明较简单,但对非凸规划结果没有实际条件证明较简单,但对非凸规划结果没有实际条件证明较简单,但对非凸规划结果没有实际条件证明较简单,但对非凸规划结果没有实际指导意义,蕴含着对偶原理指导意义,蕴含着对偶原理指导意义,蕴含着对偶原理指导意义,蕴含着对偶原理LangrangeLangrange对偶对偶对偶对偶第二十一页,本课件共有81页22例例:求约束极值问题求约束极值问题第二十二页,
10、本课件共有81页23第二十三页,本课件共有81页24第二十四页,本课件共有81页25第二十五页,本课件共有81页26最优性条件举例最优性条件举例最优性条件举例最优性条件举例线性规划线性规划线性规划线性规划最优性条件最优性条件最优性条件最优性条件是充分的?是必要的?是充分的?是必要的?是充分的?是必要的?是充分的?是必要的?标准形式:标准形式:标准形式:标准形式:练习:推广形式的最练习:推广形式的最练习:推广形式的最练习:推广形式的最优性条件优性条件优性条件优性条件第二十六页,本课件共有81页27最优性条件举例最优性条件举例二次规划二次规划二次规划二次规划最优性条件最优性条件最优性条件最优性条件
11、什么条件下是充分的?什么条件下是充分的?什么条件下是充分的?什么条件下是充分的?什么条件下是必要的?什么条件下是必要的?什么条件下是必要的?什么条件下是必要的?推广一:推广一:推广一:推广一:推广二:推广二:推广二:推广二:简化:简化:简化:简化:第二十七页,本课件共有81页第二十八页,本课件共有81页29最大最小对偶最大最小对偶目标函数目标函数目标函数目标函数:x x方的目标是无论方的目标是无论方的目标是无论方的目标是无论y y怎样,都应使怎样,都应使怎样,都应使怎样,都应使F F越越越越小小小小越好;越好;越好;越好;y y方的目标是无论方的目标是无论方的目标是无论方的目标是无论x x怎样
12、,都应使怎样,都应使怎样,都应使怎样,都应使F F越越越越大大大大越好;越好;越好;越好;立于不败之地的决策方法立于不败之地的决策方法立于不败之地的决策方法立于不败之地的决策方法保守主义决策保守主义决策保守主义决策保守主义决策相关结论:相关结论:相关结论:相关结论:一对对偶问题一对对偶问题一对对偶问题一对对偶问题弱对偶定理弱对偶定理弱对偶定理弱对偶定理对偶间隙对偶间隙对偶间隙对偶间隙第二十九页,本课件共有81页30最大最小对偶举例最大最小对偶举例最大最小对偶举例最大最小对偶举例博弈博弈博弈博弈第三十页,本课件共有81页31最大最小对偶最大最小对偶鞍点条件鞍点条件鞍点条件鞍点条件:对对对对相关结
13、论:相关结论:相关结论:相关结论:弱对偶定理弱对偶定理弱对偶定理弱对偶定理对偶间隙对偶间隙对偶间隙对偶间隙若有点若有点若有点若有点则称则称则称则称(x x*,*,y y*)*)满足鞍点条件。满足鞍点条件。满足鞍点条件。满足鞍点条件。强对偶定理强对偶定理强对偶定理强对偶定理满足鞍点条件。满足鞍点条件。满足鞍点条件。满足鞍点条件。第三十一页,本课件共有81页32原规划原规划原规划原规划:Lagrange对偶对偶LagrangeLagrange函数函数函数函数LagrangeLagrange对偶对偶对偶对偶弱对偶性弱对偶性弱对偶性弱对偶性:弱对偶定理弱对偶定理弱对偶定理弱对偶定理对偶间隙对偶间隙对偶
14、间隙对偶间隙原规划原规划凹函数凹函数第三十二页,本课件共有81页33LagrangeLagrange对偶举例对偶举例对偶举例对偶举例第三十三页,本课件共有81页34像集像集第三十四页,本课件共有81页35第三十五页,本课件共有81页36第三十六页,本课件共有81页37连续可微凸规划连续可微凸规划连续可微凸规划连续可微凸规划:强对偶定理强对偶定理强对偶定理强对偶定理:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一约束规格约束规格约束规格约束规格,则,则,则,则LagrangeLagrange对偶的强对偶定理对偶的强对偶定理对偶的强对偶定理对偶的强对
15、偶定理f f、g g可微凸,可微凸,可微凸,可微凸,h h线性线性线性线性1)1):若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;2)2):若原问题与对偶问题分别有可行解,则他们是最优解的充分:若原问题与对偶问题分别有可行解,则他们是最优解的充分:若原问题与对偶问题分别有可行解,则他们是最优解的充分:若原问题与对偶问题分别有可行解,则他们是最优解的充分必要条件是他们对应相同的目标值必要条件是他们对应相同的目标值必要条件是他们对应相同的目标值必要条件是他们对应相同的目标值(对偶间隙为对偶间隙为对偶间隙为对偶间
16、隙为0).0).证证证证1)1):即证可微凸规划的最优解:即证可微凸规划的最优解:即证可微凸规划的最优解:即证可微凸规划的最优解与其与其与其与其KKTKKT条件的乘子条件的乘子条件的乘子条件的乘子满足鞍点条件!满足鞍点条件!满足鞍点条件!满足鞍点条件!证证证证2)2):利用鞍点条件可得。:利用鞍点条件可得。:利用鞍点条件可得。:利用鞍点条件可得。3)3):对偶问题无上界,则原问题不可行;原问题无下界,则对偶问题不:对偶问题无上界,则原问题不可行;原问题无下界,则对偶问题不:对偶问题无上界,则原问题不可行;原问题无下界,则对偶问题不:对偶问题无上界,则原问题不可行;原问题无下界,则对偶问题不可行
17、。可行。可行。可行。第三十七页,本课件共有81页38连续可微凸规划连续可微凸规划连续可微凸规划连续可微凸规划:WolfeWolfe对偶对偶对偶对偶:Wolfe对偶对偶对偶对偶f f、g g可微凸,可微凸,可微凸,可微凸,h h线性线性线性线性1)1):若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;:若原问题有解,则对偶问题也有解;2)2):若原问题与对偶问题分别有可行解,则他们是最优解得充分必要条件是:若原问题与对偶问题分别有可行解,则他们是最优解得充分必要条件是:若原问题与对偶问题分别有可行解,则他们是最优解得充分必要条件是:若原问题与对
18、偶问题分别有可行解,则他们是最优解得充分必要条件是他们对应相同的目标值他们对应相同的目标值他们对应相同的目标值他们对应相同的目标值(对偶间隙为对偶间隙为对偶间隙为对偶间隙为0).0).LagrangeLagrange函数函数函数函数WolfeWolfe对偶定理对偶定理对偶定理对偶定理:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一:连续可微凸规划,满足一约束规格约束规格约束规格约束规格,则,则,则,则第三十八页,本课件共有81页39凸规划对偶举例凸规划对偶举例(Q Q正定正定)二次规划二次规划二次规划二次规划(Q Q正定正定正定正定)推广一:推广一:推广一:推广一:推广
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 非线性 规划 理论 算法 精选 课件
限制150内