广义牛顿法优秀课件.ppt

广义牛顿法第1页，本讲稿共28页(二次近似).如果二阶海赛阵正定,那么存在最小点(方法同上)第2页，本讲稿共28页第3页，本讲稿共28页牛顿法第4页，本讲稿共28页说明:实际应用中,迭代方向通过解方程第5页，本讲稿共28页第8页，本讲稿共28页牛顿法优点n二阶收敛.特别地,对于正定二次 函数一步迭代即达最优解.第9页，本讲稿共28页牛顿法缺点n局部收敛.当初始点选择不当时,往往导致不收敛.n牛顿法不是下降算法.当二阶海赛阵非正定时,不能保证产生的方向为下降方向(正定也不能保证下一个点函数值下降).n二阶海赛阵必须可逆.n对函数要求苛刻(二阶连续可微,海赛阵可逆),并且运算量大.第10页，本讲稿共28页特点：恒定步长为1。为解决收敛性的问题，采用广义牛顿法（采用一维搜索来确定步长因子）。第11页，本讲稿共28页广义牛顿法n牛顿法在充分接近极小点时,是二阶收敛的.如果初始点远离极小点时,就不能保持收敛性.改进.n引进一维搜索.第12页，本讲稿共28页第13页，本讲稿共28页n采用一维搜索使方法具有全局收敛性.若限定步长为1,即得牛顿法.第14页，本讲稿共28页第15页，本讲稿共28页第16页，本讲稿共28页第17页，本讲稿共28页第18页，本讲稿共28页例如第19页，本讲稿共28页例如该方向非下降方向该方向非下降方向.第20页，本讲稿共28页不正定时如何修正？1、与最速下降法相结合。搜索方向介于牛顿法搜索方向和负梯度方向之间。第21页，本讲稿共28页2、负曲率下降方向。第22页，本讲稿共28页n收敛性第23页，本讲稿共28页第24页，本讲稿共28页第25页，本讲稿共28页第26页，本讲稿共28页第27页，本讲稿共28页第28页，本讲稿共28页