曲线拟合方法及程序设计.docx

《曲线拟合方法及程序设计.docx》由会员分享，可在线阅读，更多相关《曲线拟合方法及程序设计.docx（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、摘要随着现代社会的发展，大量的统计数据和科学实验数据变得容易获得，数据变得越来越复杂，甚至还会有噪声等干扰信息。曲线拟合就是找到一组数据点的内在规律，使用曲线近似的拟合这些数据，形成数学模型，对事务进行有效的预测和规划，来获得更大的效益，被广泛应用于社会各个领域，具有重要的实际应用价值。本文旨在了解一些常用的曲线拟合方法及其原理，根据理解，设计并完成相应的曲线拟合程序，方便使用。首先，对于有函数解析模型的曲线拟合，都是运用的最小二乘思想进行求解，根据模型种类分为三类：1，线性函数模型，举例一元线性函数的运算过程，通过正规方程求解得到拟合系数，最后根据这些原理，设计并完成了：从1阶到9阶的多项式

2、拟合，幂函数拟合的线性最小二乘拟合程序；2，可线性化的非线性函数：通过变量变换将模型线性化，再进行线性最小二乘拟合；3，不可线性化的非线性函数，求解方法是将目标函数泰勒级数展开，迭代求解的方法有很多，本文实现的方法有3种：高斯牛顿法，信赖域Dogleg法，LMF法。最后通过五个实例计算，进行线性最小二乘拟合和非线性拟合，对比分析对于同一组数据，应用不同拟合方法或者不同模型所产生的结果，分析结果并结合实际发现，线性最小二乘拟合对于现实中的很多数据并不适用，将非线性函数线性化之后，有时会放大噪声，使得矩阵奇异，拟合不收敛或者没有非线性拟合准确。进行非线性拟合时，对比三种方法，发现LMF法可以有效的

3、避免矩阵为奇异值。初始值只影响LMF法迭代的次数，对结果的影响并不大，而对于高斯牛顿法和信赖域Dogleg法，很差的初始值会使得矩阵为奇异值或者接近奇异值，从而无法收敛，得不到拟合结果或者得到的结果拟合精度太差。而当初始值良好的时候，高斯牛顿法的迭代求解速度最快。而信赖域Dogleg法，相较于另外两种方法，拟合精度和拟合速度都差了一些。关键词：曲线拟合；最小二乘；高斯牛顿法；信赖域Dogleg法；LMF法；对比分析AbstractWith the development of modern society, a large number of statistical data and scie

4、ntific experimental data become easy to obtain, the data become more and more complex, and even there will be noise and other interference information. Curve fitting is to find the internal law of a group of data points, use curve approximation to fit these data, form a mathematical model, carry out

5、 effective prediction and planning of transactions, to obtain greater benefits, which is widely used in various fields of society and has important practical application value. This paper aims to understand some common curve fitting methods and their principles, according to the understanding, desig

6、n and complete the corresponding curve fitting program, which is convenient to use.First of all, the curve fitting with function analytic model is solved by using the least square method. According to the types of models, it can be divided into three categories: 1. Linear function model. For example

7、, the operation process of univariate linear function is illustrated, and the fitting coefficient is obtained by solving the normal equation. Finally, according to these principles, the polynomial fitting from the first order to the ninth order and the power function fitting are designed and complet

8、ed Linear least square fitting program; 2. Linearizable non-linear function; linearize the model through variable transformation, and then perform linear least square fitting; 3. Non linearizable non-linear function, all of which expand the Taylor series of the model, solve iteratively, and there ar

9、e many methods to solve them. There are three methods realized in this paper: Gauss Newton method, trust region dogleg method, LMF method.Finally, through five examples, linear least square fitting and non-linear fitting are carried out. For the same group of data, the results of different fitting m

10、ethods or different models are compared and analyzed. Combined with the actual results, it is found that linear least square fitting is not suitable for many data in reality. After linearizing the non-linear function, sometimes the noise will be amplified, It makes the matrix singular, the fitting i

11、s not convergent or the nonlinear fitting is not accurate.Compared with the three methods, LMF can effectively avoid the singular value of matrix. The initial value only affects the number of iterations of LMF method, but has little influence on the result. For Gauss Newton method and trust region d

12、ogleg method, the poor initial value will make the matrix singular or close to singular value, so it can not converge, and the fitting result can not be obtained or the fitting accuracy is too poor. When the initial value is good, the iterative solution speed of Gauss Newton method is the fastest. C

13、ompared with the other two methods, the accuracy and speed of the trust region dogleg method are lower.Keywords: curve fitting; least square; Gauss Newton method; trust region dogleg method; LMF method; comparative analysis目录摘要IAbstractII1. 绪论11.1. 毕业论文研究的目的意义11.2. 国内外研究现状11.3. 主要研究内容31.3.1 曲线拟合模型31

14、.3.2 求解曲线拟合系数的算法31.3.3 编写曲线拟合程序31.3.4 程序检测和拟合结果分析31.4. 拟采用的研究思路32. 曲线拟合方法42.1. 最小二乘法基本原理42.2. 线性最小二乘52.2.1. 线性函数模型52.2.2. 可线性化的非线性函数模型62.3. 非线性最小二乘72.3.1. 高斯牛顿法72.3.2. 信赖域DogLeg法82.3.3. LMF法103. 曲线拟合方法程序设计123.1. 线性最小二乘法程序设计123.1.1. 程序设计思路123.1.2. 程序设计框图123.1.3. 输入界面及程序123.2. 非线性最小二乘高斯牛顿法123.2.1. 程序设

15、计思路123.2.2. 程序设计框图133.2.3. 输入界面及程序133.3. 非线性最小二乘信赖域DogLeg法133.3.1. 程序设计思路133.3.2. 程序设计框图143.3.3. 输入界面及程序143.4. Levenberg-Marquardt法143.4.1. 程序设计思路143.4.2. 程序设计框图143.4.3. 输入界面及程序144. 实例计算164.1. 线性函数模型实例计算164.2. 可线性化的非线性函数模型实列计算184.3. 不可线性化的非线性函数模型实例计算205. 结论26致谢27参考文献28附录30V1. 绪论1.1. 毕业论文研究的目的意义随着现代社

16、会的发展，获取大量的数据将变得更加容易，在实际生活中，收集到的数据的复杂性将逐渐增加，并且会生成噪声，背景和其他干扰信息。基于曲线拟合的技术，被广泛应用于大量数据的处理和拟合上，比如在计算机辅助设计，逆向工程技术，航空和汽车制造，医学成像，岩土工程，模式识别，测试数据处理和显示，故障模式诊断，预测等各个领域上1。例如，在液体在人身体内的浓度和时间之间的关系，岩土工程中混凝土柱在加压实验中应力和应变的关系以及在航空航天工具制造中，工具的磨损率和厚度之间的关系等等。这些问题的数据变量关系常常呈曲线关系。曲线拟合的作用就是根据这些观测数据或者实验数据种包含的规则，选择合适的连续曲线或者数学模型来拟合

17、量化几个变量的关系，从而更方便对事务进行分析，预测，规划。我们都希望数据是有序点集，因为这样的数据，拟合和分析起来都很容易。但是，如何根据实际问题中测得的数据设计和确定“最接近”的拟合曲线呢？有些时候我们根据生活或学习中积累的经验和知识，就可以选择适当的曲线拟合模型和相应的系数求解方法。再有就是绘制数据的散点图，观察拟合曲线的形状。但大多数情况下，需要我们进行曲线拟合的实际问题中，我们都并不确定要拟合的曲线符合的模型，而就算确定了模型，求解曲线拟合模型参数的过程中，不管是直接设置约束条件直接求解方程组，还是泰勒级数展开反复迭代求解，计算量都很大。从基础的最速下降法和信赖域法，到牛顿法，高斯牛顿

18、法，LMF算法等，这些算法有时会现如局部最小值。就算是现在优化了的BP神经网络2：基于传统的BP神经网络优化的二阶BP算法、自适应BP算法和Vogl快速算法等等，虽然可以有效地避免算法陷入局部极小值，降低复杂度，收敛速度快，但是人为计算的话，计算量依旧很大，因此，为了能够更方便快捷的研究问题，我们需要借助计算机编写程序辅助计算，实现曲线拟合。1.2. 国内外研究现状曲线拟合是一种数据处理方法，它使用连续曲线近似或逼近平面上一组离散数据或者表示其坐标之间的函数关系。现在主要有两种类型的原始数据：离散无序点集和离散有序点集。对于离散有序点集，使用最小二乘法的思想，根据基本函数模型，建立和求解方程组

19、得到拟合曲线的系数。而对于离散无序点集，也已经有了相对成熟的拟合思想3，主要分为四类：1，使用给定的离散数据点作为对目标值的约束来直接求解方程得到待求系数4。20世纪90年代Fang等人给出了一组基于弹力模型的能量函数，直接对该能量函数进行极值求解得到重建曲线5；2，采用最小二乘法及其优化改进方法进行拟合求解得到拟合曲线，其基本思路就是使其求解得到的曲线能最大程度的通过原始数据点即充分逼近原始数据值，由于其算法思路简便、容易编程实现而被广泛运用。后来如Levin，Lee等人提出moving least-square方法6，主要思想是对点云进行细化，对每个数据点进行重复回归移动操作，此外还有局部

20、最小二乘法7，是对原始点集进行两次局部最小二乘回归，重建出曲线。Lee还引入最小生成树，解决了当两簇点集相距过近无法正确拟合出曲线的问题。但最小二乘法及其各种优化算法共同的缺点是所需计算量太大，耗时过长，以致于无法应用于实际；3，通过将给定的点集投影到平面网格上生成二值图像，并运用细化图像的方法来实现曲线的拟合，网格分辨率直接影响拟合精度。Goshtasby于2000年提出了通过离散点集构造一个势函数8，并将其映射到平面网格上，由此可得到灰度图像，最后对原始点集进行曲线拟合；4，通过描述物体内部形状特征获得重建曲线。Amenta等于 1998 年提出基于骨架和vironoi图的crust算法。

21、对于曲线拟合理论，目前国内研究较多的是构造多项式模型的拟合方法，曾芳玲等用样条曲线逼近任意长度的二次曲线弧9；刘俊琳等利用多项式模型拟合信道获取信道信息10，能够抑制信道中的噪声干扰，在不提前知道信道相关矩阵和其他信道信息的情况下进行信道拟合；汪国平等提出基于曲线分割的控制顶点扰动法11；袁向容利用正较多项式拟合方法进行图像边缘识别12，对图像的边缘像素灰度进行拟合，提高了拟合参数的精度。除了上述几种方法外，国内学者涂嘉文等人提出圆弧分段的曲线拟合方法13，使用圆弧对于曲线进行拟合。还有最小二乘法、有理数函数模型、分段多项式函数模型等传统拟合方法和基于MATLAB的非线性拟合。最小二乘法基本能

22、反应出所有数据点的总体变化趋势，消除局部波动，对杂乱无序的离散点拟合比较适用且预测效果良好；灰色预测模型与曲线拟合，神经网络模型与曲线拟合模型等组合模型在拟合、预测方面都取得了一定的效果。钟建冬等人提出基于最小二乘法预测运动趋势14；朱立红等人提出了基于最小二乘法获取拟合的步态曲线的方法；雍明超等人基于最小二乘法对断路器行程位移数据进行拟合和处理15，能够准确地反映出断路器位移曲线；文翰等人利用最小二乘法优化线性系统的参数16。国内这些基于多项式模型的曲线拟合方法应用十分广泛，而对于提高曲线拟合精度的研究也是永远不会停止的，曲线拟合理论仍然具有较大的发展前景。1.3. 主要研究内容1.3.1

23、曲线拟合模型对于有函数解析式拟合模型，指根据原始数据的分布规律，一开始便能确定数据大致符合的数学理论模型，只需要求解参数即可。可以根据拟合求解方法分为三类1：1） 线性函数模型，拟合过程比较简单，使用最小二乘法思想，通过求解正规方程计算系数，进行曲线拟合即可。2） 可线性化的非线性函数模型：普通多项式、指数函数、幂函数、生长曲线等。可以将变量变换，使得模型线性化，同线性函数一样使用最小二乘法即可。3） 非线性函数但不可以线性化：不能线性化的多项式函数，高斯函数等，常常需要通过非线性拟合，即泰勒级数展开，迭代求出最优解，优化算法有很多，高斯牛顿法，信赖域法，LMF算法等等。需要注意的是，可线性化

24、的非线性函数也是可以通过非线性拟合求解的。1.3.2 求解曲线拟合系数的算法现如今对于有函数解析式模型常用的曲线拟合算法大多应用的都是最小二乘法的思想，即使得已知的样本数据点值和样本回归函数中被解释变量的值的总体误差最小，本文理解并编程实现了下面4种算法：线性最小二乘法，高斯牛顿法、信赖域DogLeg法、LMF算法。1.3.3 编写曲线拟合程序首先通过使用Matlab对于不同的模型，使用其所对应的算法编写曲线拟合程序，打包成m文件，其次使用GUI编写界面，能够实现能通过手动输入或者Excel文件导入数据，调用对应的曲线拟合算法的程序，计算出模型中的所需参数，完成曲线拟合，并输出对应的函数解析式

25、，曲线图像，和均方误差。1.3.4 程序检测和拟合结果分析搜集实例数据，导入到编写的曲线拟合程序中，检测程序的可行性，给出拟合结果，对比分析不同的拟合算法的拟合优劣程度，选择出精度高，收敛速度快的算法和模型供用户使用。1.4. 拟采用的研究思路通过知网等检索搜集和学习的各种曲线拟合模型和曲线拟合算法，通过Matlab编写曲线拟合程序，然后使用使用GUI编写界面，能够实现通过手动输入或者Excel文件导入数据，调用程序完成曲线拟合，并输出对应的函数解析式和拟合出的曲线图。搜集实例数据，导入到编写的曲线拟合程序中，检测程序的可行性，给出拟合结果，从拟合速度和拟合精度两方面考虑，对比不同的模型的拟合

26、优劣程度，选择出精度高，收敛速度快的模型供用户使用。流程图如下：图 1流程图2. 曲线拟合方法2.1. 最小二乘法基本原理对于有函数解析式的模型，都可以基于最小二乘法的思想，来进行曲线拟合，其原理就是：将样本数据的真实值与模型中根据参数求出的因变量值的总体误差变得最小。在坐标图中表现为，自变量相同时，样本数据的值和拟合函数上求出的因变量值之间的垂直距离最小。其数学原理如下:：对于给定的一组数据点是N个点的集合，其中横坐标是不同的。若拟合曲线模型为，则就是第i处的误差，目标函数就是求出最小时，拟合函数中对应的参数的值为多少，从而得到拟合曲线。2.2. 线性最小二乘2.2.1. 线性函数模型对于线

27、性函数模型，可以使用线性最小二乘法的思想求解目标函数，方法有很多：正规方程、QR分解和SVD奇异值分解等。本文选用了正规方程法进行求解。例如对于线性模型：（2.1）如何求出适当的参数，并尽可能的使得模型结果和样本达到某种程度上的最佳拟合呢？几何上，对于公式（2.1）。样本数据点到线上点的垂直距离为，通常目标函数都是尽可能的最小化的平方和。即：（2.2）的最小值是通过将偏导数和的值设为0并求解A和B的这些方程来确定的，注意和是常数，A和B是保持不变的，对A微分得到（2.3）现在保持一个固定值并比较和B来得到：（2.4）将（2.3）和（2.4）中的偏导数设为0，则利用求和的分布性质得到：(2.5)

28、最后按照系统的标准形式重新排列，并得到标准方程：（2.6）满足最小化垂直距离的平方和的系数就是上述方程的解。2.2.2. 可线性化的非线性函数模型我们熟悉的指数函数、幂函数、普通多项式函数，生长曲线函数等非线性函数，都可以通过线性化转化为线性函数。对于这些函数，求解其正规方程，可以使用高斯牛顿法，信赖域法等等迭代法求解，这将是一个耗时的计算，而且往往要求给定的参数初值良好，所以对于这些可线性化的非线性函数，本文采用了先进行数据线性化的方法，然后运用线性函数模型的最小二乘法进行求解，这里对于指数函数举例说明，即：（2.7）数据线性化第一步两边取对数：(2.8)然后介绍变量的变化:,(2.9)这导

29、致了新变量X和Y之间的线性关系：(2.10)xy平面中的原始点将转换为XY平面中的点。这个过程称为数据线性化。然后将最小二乘线（2。10）拟合到点。求A和B的正规方程是（2.11）找到A和B后，计算得到公式（7）中的参数C（2.12）下面给出了几个常用函数的变量变换的方法给予变量变换说明：表 1几种线性变量变换示例模型y=f（x）线性变换Y=AX+B改变的变量2.3. 非线性最小二乘现实中由于数据大量且复杂，曲线拟合时的函数模型通常也会比较复杂，使得我们不那么容易直接得到其导数形式，想找到全局最小值是十分困难的。而非线性最小二乘的通常求解思路就是：我们可以通过给参数设定初值，代入到拟合函数里，

30、迭代求解使得函数慢慢收敛，找到函数的局部最小值，并近似的认为该值可以使目标函数得到最小值。下面介绍三种通用的求解思想和相关算法：信赖域法，高斯牛顿法，LMF法。2.3.1. 高斯牛顿法高斯牛顿法是一种比较容易的，求解非线性最小二乘的算法，基本思路是将模型F(x)一阶泰勒级数展开：（2.13）此处J(x)为函数的雅克比矩阵，即函数F的一阶导。根据前面所述我们的目的其实就是求解合适的变量值使得函数的值达到最小。这也可以转化为一个典型的最小二乘问题，即：（2.14）现在我们将通过x求解函数F(x)的最小值问题转换为了通过x求解函数F(x+x)最小值的问题。一阶泰勒展开（2.14）：（2.15）为了求

31、解其极值我们需要对上式求导并令其等于零。（2.16）（2.17）由上式我们将能够得到一个关于x的线性方程组，这就是高斯牛顿方程。同时，因为高斯牛顿法其实也是下降法的一种，为了明白两者间的关系，我们可以将增量拆分为下降方向h和下降步长. 然后我们从公式（2.17）能够发现，该公式的下降方向满足下降法的约束，即沿着函数梯度的负方向，而步长则等于为1。将公式（2.17）简化后：（2.18）（2.19）此处的H矩阵其实是Hessian矩阵的近似，通过雅克比矩阵避免掉真实的Hessian矩阵的计算。需要注意的是，在整个高斯牛顿算法中，增量方程即公式（18）的求解是最为主要的。为了保证所求解的x为函数的局

32、部最小值，要求H矩阵为正定的，可是实际生活中的数据往往更加复杂，H矩阵很有可能是半正定的或者其他情况，因此可能会发生算法不收敛或结果不准确的情况。2.3.2. 信赖域DogLeg法常规的线搜索方法，都是选定一个初始点，选定搜索方向，然后求解迭代步长，从而更新初始点位置，使得目标函数慢慢收敛到最小值。这里介绍一种信頼域法：开始给定一个“信頼域半径”，以每次迭代点为圆心，从而画出一个闭球区域，也叫做“信頼域”；然后使用二阶泰勒展开拟合模型去近似目标函数，模型也叫做“信赖域子问题”求解以得到“候选位移”；定义增益比例，以此来判断候选位移是否能使目标函数有充分的下降量，如果充分下降，则更新其为新的候选

33、位移，并因此保持或增大信頼域半径，然后继续迭代，否则，就说明二次模型与目标函数模型不够近似，那么此时就需要缩小信頼域半径，然后再求解新的信頼域内的子问题，以此确定新的候选位移；不断循环，直到满足迭代终止条件。信赖域法的数学原理如下：假设我们有一个模型f，在当前迭代点x附近，该模型可以被近似为函数f形式的二阶泰勒展开式，则我们有：（2.20）此处我们用p替代变量，即当前迭代中需要在初始x上增加的量。而且因为Hessian矩阵不好计算，所以通常用去近似Hessian矩阵，其中，J为雅可比矩阵，即：（2.21）但是这个近似假设的成立是有一定程度限制的，我们可以设立一个正值变量，使得模型在一个以x为圆

34、心为半径的圆中被视为可以精确近似。这个圆就是我们所说的信任区域。则信赖域目标函数的基本形式为：（2.22）该公式表示，在信任区域半径限制内，求解出最优的变化值p使得模型的值最小。这样原函数就转化为了关于p的带约束的最优化问题，也被称作信赖域子问题，参数p被限制在一个球形闭域内。如何求解信赖域子问题的最优解，通常的求解算法有柯西点算法，DogLeg算法，本文选用的是DogLeg算法。根据DogLeg算法，对于信赖域子问题的目标函数模型：（2.23）利用高斯牛顿法，则它具有全局最优解，也是高斯牛顿法的迭代步长：（2.24）利用最速下降法，则该模型沿着负梯度方向的全局最优解：（2.25）（2.26）

35、（2.27）其中为负梯度，为最速下降法的迭代步长。需要注意的是，全局最优解可能落在信赖域之外。两个全局最优点的落点不同会产生不同的情况，根据这两点落不落在信赖域中，可以确定目标函数的下降方向。因此，新迭代点会有三种情况：1） 当B点在信赖域内，U点在外时，取方向为方向，新的迭代点为B点；2） 当B点和U点都在信赖域外时，和信赖域边界的交点就是新的迭代点：3） 当B点在外，U点在内时，新的迭代点就是BU两点连线和信赖域边界的交点：根据以上三种情况可列出迭代步长，负梯度和，的关系为：需要注意的是，在求解信赖域子问题的计算过程中，可信任区域半径值是会不停改变的，其改变的依据为模型的近似质量，模型的近

36、似质量又可以通过增益比例（gain ration）进行判定。首先我们定义增益比例的概念。增益比例为实际函数改变量和模型该变量之间的差异，数学表达式为：（2.28）当我们得到增益比例后我们就可以通过它去实时控制可信任区域半径以及迭代的步长。如果增益比例过小（例如小于0.25），说明实际改变的量远远小于近似模型的值，此时近似情况并不理想，因此我们需要缩小近似范围。反之如果比例较大（例如大于0.75），说明实际下降的比预期的更大，近似情况比较好，我们可以适当放大一下近似范围。2.3.3. LMF法LMF算法（即Levenberg-Marquardt算法）与高斯牛顿算法理论相同，但是不同于高斯牛顿算法

37、，LM算法也是基于信赖区域理论(Trust Region Method)进行计算的。前文说明了高斯牛顿法用来确定变量h，现在假设对角线上的元素都加上同一个数u0，从而。这样即使当奇异，只要u的足够大，那么总会正定，令一定有解，记作。这个解依赖于u。就是上一节信赖域法中利用高斯牛顿法的最优解，此时有关系：LMF算法也被称为阻尼最小二乘法，也正是因为u使步长缩短或阻尼。那么实际迭代过程中u该如何调整确定呢？假设足够小，则有二阶近似：（2.29）此时也需要跟信赖域DogLeg法一样，定义增益比：（2.30）当较大时，说明的二阶近似L（h）和F（x）更加近似，表明采取L（h）比较好，所以可以减小u，使

38、用更大的迭代步长，接近高斯牛顿法来更快收敛；当较小时，说明二阶近似效果较差，所以可以增大u，使用更小的迭代步长，接近最速下降法来稳定迭代。这里选用了一种比较好的u随的选择策略：初始值，：3. 曲线拟合方法程序设计本文按照曲线拟合方法对程序分类，分别完成了：1） 线性最小二乘法曲线拟合程序，完成了对单指数函数，幂函数，普通多项式等三种线性函数模型的曲线拟合程序。以及对于可线性化的非线性函数，给出了部分模型线性化的方法，对其进行线性化后采用一元线性函数进行曲线拟合的程序。2） 非线性最小二乘法曲线拟合程序，采用了高斯牛顿法，信赖域DogLeg法，LMF法等方法，完成了曲线拟合程序。3.1. 线性最

39、小二乘法程序设计3.1.1. 程序设计思路Step1：选择函数模型，根据要求输入样本数据x，y，以及可能需要的参数。Step2：判断输入的参数是否完整正确，若是，则调用对应模型的函数求解，若不是，则发出提醒，转到第一步。Step3：构造列矩阵X，第一列为x样本数据，第二列为单位向量。Step4：建立正规方程求解参数，根据求得的参数初始化并构造公式。Step5：求解绝对误差（2范数），返回误差和系数结果Step6：绘图展示3.1.2. 程序设计框图3.1.3. 输入界面及程序3.2. 非线性最小二乘高斯牛顿法3.2.1. 程序设计思路Step1：按示例输入函数模型，根据要求输入样本数据：x，y，

40、以及需要的参数：系数初始值集合：pre，最大迭代数：MAX，迭代精度：le；Step2：判断输入的参数是否完整正确，若是，则调用函数求解，若不是，则发出提醒，转到第一步；Step3：求解计算Jacobi矩阵；Step4：根据，计算高斯牛顿法的迭代步长；Step5：进行新的迭代；Step6：如果，则认为函数已经收敛，则推出迭代继续Step7，否则转Step3；Step7：求解绝对误差（2范数），返回误差和系数结果。Step8：绘图展示。3.2.2. 程序设计框图3.2.3. 输入界面及程序3.3. 非线性最小二乘信赖域DogLeg法3.3.1. 程序设计思路Step1：按示例输入函数模型，根据要

41、求输入样本数据x，y，以及需要的参数：系数初始值集合pre，最大迭代数maxiter；Step2：判断输入的参数是否完整正确，若是，则调用函数求解，若不是，则发出提醒，转到第一步；Step3：给定常数，初始点，初始信赖域半径，令k=0；Step4：求解梯度，如果，则退出，否则继续。如果，则退出，否则继续。如果迭代半径，则退出迭代，否则继续；Step5：求解信赖域子问题，分别根据GaussNewton法和最速下降法计算，和Step6：根据DogLeg算法，计算步长。如果，则退出迭代，否则继续。Step7：，计算增益比例；Step8：转到第二步。Step9：求解绝对误差（2范数），返回误差和系数结

42、果。Step10：绘图展示。对于，可以选取任意小的数值，如1e-6，其选值对最终的收敛结果影响不大。3.3.2. 程序设计框图3.3.3. 输入界面及程序3.4. Levenberg-Marquardt法3.4.1. 程序设计思路Step1：按示例输入函数模型，根据要求输入样本数据x，y，以及需要的参数：系数初始值集合pre，最大迭代数maxiter；Step2：判断输入的参数是否完整正确，若是，则调用函数求解，若不是，则发出提醒，转到第一步；Step3：初始化；Step4：求解梯度，如果，则退出，否则继续。Step5：根据，求解迭代步长，如果，则退出迭代，否则继续。Step6：，计算增益比例

43、；Step7：判断重复Step4。Step9：求解绝对误差（2范数），返回误差和系数结果。Step10：绘图展示。3.4.2. 程序设计框图3.4.3. 输入界面及程序4. 实例计算4.1. 线性函数模型实例计算实例1，表 1 给出了 1952 年到 2015 年中国人均GDP17。即中国人均国内生产总值。下面我们定义年份为数据 x ，人均GDP为数据 y 。表 2人均GDP和年份的关系年份人均GDP年份人均GDP年份人均GDP年份人均GDP19521001968158.561984441.5320001625.131953113.121969180.341985494.1120011747.

44、921954115.221970209.291986530.3420021894.781955120.471971218.081987582.920032097.981956135.691972220.871988638.0420042267.981957139.041973232.721989654.6320052511.611958164.571974233.211990670.1120062815.311959175.941975249.051991722.6720073799.221960175.661976241.311992815.3520083490.151961129.0119

45、77256.131993917.8120093799.281962120.791978282.319941025.9420104383.1219631301979299.7319951125.97201145581964150.131980319.119961224.8620124894.491965171.521981331.3319971324.320135248.271966184.651982355.6619981414.4620145602.771967169.711983388.5419991509.7820155958.67根据样本点的分布，选择使用多项式模型进行拟合，运行幂函数

46、，指数函数等模型进行拟合也会发现，误差均方差会很大。因此，通过输入界面选择调用多项式拟合，其中的matlab代码见附录。从1阶到9阶多项式中，拟合结果均方差大小保留两位小数如下：表 3从1到9阶多项式拟合均方差大小123456789均方差大小879.52361.20131.32130.69130.33126.80119.33273.16127.84通过上表可以看出，7阶多项式的拟合结果最好，由此可得到7阶多项式拟合函数：（4.1）图 2 7阶多项式拟合结果但是由于7阶多项式阶数太高，计算复杂，不易表示。观察各阶多项式拟合结果，发现且相比于1阶2阶多项式，3阶多项项式的拟合效果也已经有了很大进步，而且3阶与7阶的均方差只相差了11.99，所以在拟合精度要求不太高的时候，可以选用3阶多项式：（4.2）图 3 3阶多项式拟合结果对比本文程序和MATLAB中的cftool拟合工具箱中的三阶多项式拟合结果，cftool的结果均方差为135.6，本文的程序运行结果均方差