广义牛顿法精选PPT.ppt

广义牛顿法第1页，此课件共28页哦(二次近似).如果二阶海赛阵正定,那么存在最小点(方法同上)第2页，此课件共28页哦第3页，此课件共28页哦牛顿法第4页，此课件共28页哦说明:实际应用中,迭代方向通过解方程第5页，此课件共28页哦第8页，此课件共28页哦牛顿法优点n二阶收敛.特别地,对于正定二次 函数一步迭代即达最优解.第9页，此课件共28页哦牛顿法缺点n局部收敛.当初始点选择不当时,往往导致不收敛.n牛顿法不是下降算法.当二阶海赛阵非正定时,不能保证产生的方向为下降方向(正定也不能保证下一个点函数值下降).n二阶海赛阵必须可逆.n对函数要求苛刻(二阶连续可微,海赛阵可逆),并且运算量大.第10页，此课件共28页哦特点：恒定步长为1。为解决收敛性的问题，采用广义牛顿法（采用一维搜索来确定步长因子）。第11页，此课件共28页哦广义牛顿法n牛顿法在充分接近极小点时,是二阶收敛的.如果初始点远离极小点时,就不能保持收敛性.改进.n引进一维搜索.第12页，此课件共28页哦第13页，此课件共28页哦n采用一维搜索使方法具有全局收敛性.若限定步长为1,即得牛顿法.第14页，此课件共28页哦第15页，此课件共28页哦第16页，此课件共28页哦第17页，此课件共28页哦第18页，此课件共28页哦例如第19页，此课件共28页哦例如该方向非下降方向该方向非下降方向.第20页，此课件共28页哦不正定时如何修正？1、与最速下降法相结合。搜索方向介于牛顿法搜索方向和负梯度方向之间。第21页，此课件共28页哦2、负曲率下降方向。第22页，此课件共28页哦n收敛性第23页，此课件共28页哦第24页，此课件共28页哦第25页，此课件共28页哦第26页，此课件共28页哦第27页，此课件共28页哦第28页，此课件共28页哦