优化算法-梯度下降法ppt课件.ppt

《优化算法-梯度下降法ppt课件.ppt》由会员分享，可在线阅读，更多相关《优化算法-梯度下降法ppt课件.ppt（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物1梯度下降法梯度下降法山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物2梯度下降法又称最速下降法。函数梯度下降法又称最速下降法。函数J(a)在某点在某点ak的梯度的梯度 是一个向量，其方向是是一个向量，其方向是J(a)增长最快的方向。显增长最快的方向。显然，负梯度方向是然，负梯度方向是J(a)减

2、少最快的方向。减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。快地达到极小点。 ()kJ a 山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物3( )J aaka( )J a ( )J a 山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在

3、管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物4求函数求函数J(a)极小值的问题，可以选择任意初始点极小值的问题，可以选择任意初始点a0,从从a0出发沿着负梯度方向走，可使得出发沿着负梯度方向走，可使得J(a)下降最快。下降最快。s(0)：点：点a0的搜索方向。的搜索方向。(0)0()sJ a 山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物5对于任意点对于任意点ak，可以定义，可以定义ak点的负梯度搜索方向的单位点的负梯度搜索方向的单位向

4、量为向量为: 从从ak点出发，沿着点出发，沿着 方向走一步，步长为方向走一步，步长为 ,得到新得到新点点ak+1,表示为：表示为：( )()()kkkJ asJ a ( )ksk ( )1kkkkaas 山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物6( )J aaka( )J a ( )J a k 1ka 山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔

5、接部位干净无污物7因此，在新点因此，在新点ak+1，函数，函数J(a)的函数值为：的函数值为：所有的所有的ak组成一个序列，该序列由迭代算法生成组成一个序列，该序列由迭代算法生成 a0, a1, a2, . , ak, ak+1, .该序列在一定条件下收敛于使得该序列在一定条件下收敛于使得J(a)最小的解最小的解a*迭代算法公式：迭代算法公式：( )1()()kkkkJ aJ as ( )1kkkkaas 山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物8迭代算法公式

6、：迭代算法公式：如果选得太小，则算法收敛慢，如果选得太大，如果选得太小，则算法收敛慢，如果选得太大， 可能可能会导致发散。会导致发散。( )1kkkkaas k 山东经济学院 计算机科学与技术学院刘兆广 采用PP管及配件：根据给水设计图配置好PP管及配件，用管件在管材垂直角切断管材，边剪边旋转，以保证切口面的圆度，保持熔接部位干净无污物9梯度法的迭代过程：梯度法的迭代过程： 选取初始点选取初始点a0，给定允许误差，给定允许误差0,0,并令并令k=0。 计算负梯度计算负梯度 及其单位向量及其单位向量 。 检查是否满足条件检查是否满足条件 ，若满足则转，若满足则转8，否则继续。，否则继续。 计算最佳步长计算最佳步长 。 令：令： 计算并检验另一判据：计算并检验另一判据： ，满足转，满足转8，否则继续。否则继续。 令令k=k+1,转转2。1) 输出结果，结束。输出结果，结束。( )()kksJ a *k ( )ks( )ks *( )1kkkkaas 1()()kkJ aJ a