最小二乘法与曲线拟合.pptx

《最小二乘法与曲线拟合.pptx》由会员分享，可在线阅读，更多相关《最小二乘法与曲线拟合.pptx（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 如果实际问题要求解在如果实际问题要求解在 a a,b b 区间的每一点都区间的每一点都“很好地很好地”逼近逼近f f(x x)的话，运用插值函数有时就要失的话，运用插值函数有时就要失败。另外，插值所需的数据往往来源于观察测量，本败。另外，插值所需的数据往往来源于观察测量，本身有一定的误差。要求插值曲线通过这些本身有误差身有一定的误差。要求插值曲线通过这些本身有误差的点，势必使插值结果更加不准确。的点，势必使插值结果更加不准确。如果由试验提供的数据量比较大，又必然使得插如果由试验提供的数据量比较大，又必然使得插值多项式的次数过高而效果不理想。值多项式的次数过高而效果不理想。5 5.0.0 问题

2、的提出问题的提出 从给定的一组试验数据出发，寻求函数的一个近从给定的一组试验数据出发，寻求函数的一个近似表达式似表达式y y=(x x)，要求近似表达式能够反映数据的，要求近似表达式能够反映数据的基本趋势而又不一定过全部的点基本趋势而又不一定过全部的点(x xi i,y yi i)，这就是，这就是曲线曲线拟合问题拟合问题，函数的近似表达式，函数的近似表达式y y=(x x)称为称为拟合曲线拟合曲线。本章介绍用本章介绍用最小二乘法最小二乘法求拟合曲线。求拟合曲线。第1页/共25页5 5.1.1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组一、矛盾方程组的定义一、矛盾方程组的定义设线性方程

3、组设线性方程组或写为或写为其矩阵形式为其矩阵形式为 当当方程组的系数矩阵与增广矩阵的秩不相等时，方程组的系数矩阵与增广矩阵的秩不相等时，方程组无解，此时方程组称为方程组无解，此时方程组称为矛盾方程组矛盾方程组。对于。对于rankrankA An n（A A的秩为的秩为n n）的矛盾方程组（）的矛盾方程组（NnNn），我们），我们寻求其最小二乘意义下的解。寻求其最小二乘意义下的解。第2页/共25页二、用最小二乘法求解矛盾方程组二、用最小二乘法求解矛盾方程组1.最小二乘原则 由于矛盾方程组的精确解不存在，我们转而由于矛盾方程组的精确解不存在，我们转而寻求其某种意义下，即最小二乘意义下的解。寻求其某

4、种意义下，即最小二乘意义下的解。令令称称 为为偏差偏差。达到最小值，这一条件称为达到最小值，这一条件称为最小二乘原则最小二乘原则。工程实际中的许多问题都可以归结为矛盾方程组，工程实际中的许多问题都可以归结为矛盾方程组，实际中需要寻求矛盾方程组的一组解，以使得偏差的实际中需要寻求矛盾方程组的一组解，以使得偏差的绝对值之和绝对值之和 尽可能地小。为了便于分析尽可能地小。为了便于分析计算和应用，常采用使偏差的平方和计算和应用，常采用使偏差的平方和第3页/共25页 按照最小二乘原则来选择未知数按照最小二乘原则来选择未知数x x1 1,x x2 2,x xn n的的一组取值的方法称为求解矛盾方程组的一组

5、取值的方法称为求解矛盾方程组的最小二乘法最小二乘法。符合条件的一组取值称为矛盾方程组的符合条件的一组取值称为矛盾方程组的最小二乘解最小二乘解。把把Q Q看成是看成是n n个自变量个自变量x x1 1,x x2 2,x xn n的二次函数，的二次函数，记为记为Q Qf f(x x1 1,x x2 2,x xn n)，因此，求矛盾方程组的最，因此，求矛盾方程组的最小二乘解就是求二次函数小二乘解就是求二次函数Q Qf f(x x1 1,x x2 2,x xn n)的最小的最小值点。值点。问题问题：二次函数二次函数Q Qf f(x x1 1,x x2 2,x xn n)是否存在最小值是否存在最小值？若

6、最小值存在，如何求出该最小值点？若最小值存在，如何求出该最小值点？第4页/共25页2.2.最小二乘解的存在唯一性最小二乘解的存在唯一性引理1：设设n n元实函数元实函数f f(x x1 1,x x2 2,x xn n)在点在点P P0 0(a a1 1,a a2 2,a an n)的某个邻域内连续，且有一阶及二阶连续的偏导数，如的某个邻域内连续，且有一阶及二阶连续的偏导数，如果果(1)(2)矩阵是正（负）定矩阵，则是正（负）定矩阵，则f f(a a1 1,a a2 2,a an n)是是n n元实函元实函数数f f(x x1 1,x x2 2,x xn n)的极小（大）值。的极小（大）值。第5

7、页/共25页引理引理2 2：设非齐次线性方程组：设非齐次线性方程组 的系数矩阵的系数矩阵A A=(a aijij)N Nn n，若，若rankrankA A=n n，则，则(1)(1)矩阵矩阵A AT TA A是对称正定矩阵；是对称正定矩阵；(2)(2)n n阶线性方程组阶线性方程组 有唯一的解。有唯一的解。证明：证明：（1 1）矩阵）矩阵A AT TA A显然是对称矩阵。显然是对称矩阵。设齐次线性方程组设齐次线性方程组因为因为rankA=n，故齐次方程组有唯一零解。，故齐次方程组有唯一零解。因此，对于任意的因此，对于任意的 ，有，有 ，从而，从而故矩阵故矩阵A AT TA A是对称正定矩阵。

8、是对称正定矩阵。(2)(2)因为矩阵因为矩阵A AT TA A是正定矩阵，故是正定矩阵，故rank(rank(A AT TA A)=)=n n，从，从而线性方程组而线性方程组 有唯一的解。有唯一的解。证毕证毕第6页/共25页定理定理：设矛盾方程组的系数矩阵的秩为：设矛盾方程组的系数矩阵的秩为n n，则二次，则二次函数函数一定存在最小值。一定存在最小值。证明：证明：因为因为Q Q是是x x1 1,x x2 2,x xn n的二次函数，故的二次函数，故Q Q不仅是不仅是连续函数，且有连续的一阶及二阶偏导数。连续函数，且有连续的一阶及二阶偏导数。因为因为 引理引理2 2说明说明,在条件在条件Rank

9、A=nRankA=n下下,无论线性方程组无论线性方程组Ax=bAx=b是否有解是否有解,构造的构造的n n阶方程组阶方程组A AT TAx=AAx=AT Tb b一定有唯一解。一定有唯一解。第7页/共25页第8页/共25页故故令令即即（*）因为因为rankrankA A=n n，故由引理，故由引理2 2知，上式有唯一解。设解知，上式有唯一解。设解为为x x1 1=a a1 1,x x2 2=a a2 2,x xn n=a an n，记为点，记为点P P0 0(a a1 1,a a2 2,a an n)，即二元函数即二元函数Q Q存在点存在点P P0 0，使，使 。故。故满足引理满足引理1 1的

10、条件（的条件（1 1）。）。第9页/共25页因为因为故故第10页/共25页 由引理由引理2 2知，当知，当rankrankA A=n n时，矩阵时，矩阵M M是对称正定阵，是对称正定阵，M M满足引理满足引理1 1的条件（的条件（2 2），故由引理），故由引理1 1知，二次函数知，二次函数Q Q存存在极小值。在极小值。又因方程组（又因方程组（*）式有唯一解，故）式有唯一解，故Q Q存在的极小值存在的极小值就是最小值，线性方程组（就是最小值，线性方程组（*）式的解就是最小值点。）式的解就是最小值点。证毕证毕Remark1Remark1：线性方程组（：线性方程组（*）式称为正则方程组）式称为正则方

11、程组。Remark2Remark2：该定理说明，只要矛盾方程组的系数矩阵：该定理说明，只要矛盾方程组的系数矩阵A A的秩的秩rankrankA A=n n，则，则（1 1）矛盾方程组的最小二乘解存在；）矛盾方程组的最小二乘解存在；（2 2）正则方程组有唯一解，此解就是矛盾方程组的）正则方程组有唯一解，此解就是矛盾方程组的最小二乘解。最小二乘解。第11页/共25页3.3.最小二乘法解矛盾方程组最小二乘法解矛盾方程组计算步骤：（1 1）判断方程组的秩是否满足）判断方程组的秩是否满足rankrankA A=n n？（2 2）写出正则方程组；）写出正则方程组；（3 3）求解正则方程组，其解就是矛盾方程

12、组）求解正则方程组，其解就是矛盾方程组的最小二乘解。的最小二乘解。第12页/共25页一、曲线拟合模型一、曲线拟合模型确定曲线的类型：确定曲线的类型：一般选取简单的低次多项式。一般选取简单的低次多项式。定义定义：依据某种标准选择一条依据某种标准选择一条“最好最好”的简单的简单曲线作为一组离散数据曲线作为一组离散数据的连续模型的连续模型。5 5.2.2 多项式拟合多项式拟合求一个次数不高于求一个次数不高于N N1 1次的次的多项式：多项式：（其中（其中a a0 0,a a1 1,a am m待定），使其待定），使其“最好最好”的拟合的拟合这组数据。这组数据。“最好最好”的标准是：使得的标准是：使得

13、(x x)在在x xi i的的偏差偏差第13页/共25页的平方和的平方和达到最小达到最小。由于拟合曲线由于拟合曲线y y=(x x)不一定过点不一定过点(x xi i,y yi i)，因此，因此，把点把点(x xi i,y yi i)带入带入y y=(x x)，便得到以，便得到以a a0 0,a a1 1,a am m为为未知量的矛盾方程组未知量的矛盾方程组其矩阵形式为其矩阵形式为第14页/共25页其中其中 (x x)在在x xi i的偏差就是矛盾方程组各方程的偏差。曲的偏差就是矛盾方程组各方程的偏差。曲线拟合的条件就是确定线拟合的条件就是确定a a0 0,a a1 1,a am m，使得偏差

14、的平方，使得偏差的平方和和Q Q达到最小值。达到最小值。据此可知，据此可知，a a0 0,a a1 1,a am m就是矛盾方程组的最小就是矛盾方程组的最小二乘解，也就是正则方程组二乘解，也就是正则方程组 的解。的解。第15页/共25页二、曲线拟合的最小二乘解法二、曲线拟合的最小二乘解法正则方程组为：正则方程组为：第16页/共25页三、解的存在唯一性三、解的存在唯一性定理定理：设：设x x1 1,x x2 2,x xN N互异，且互异，且N N m m+1+1，则上面的正则，则上面的正则方程组有唯一的解。方程组有唯一的解。证明证明：只需证明矛盾方程组的系数矩阵：只需证明矛盾方程组的系数矩阵A

15、A的秩的秩rankrankA A=m m1 1。矛盾方程组的系数矩阵矛盾方程组的系数矩阵A A是是N N(m m+1)+1)的矩阵，记的矩阵，记A A的前的前m m1 1行构成行构成m m1 1阶子矩阵阶子矩阵 该矩阵是范德蒙矩阵，由该矩阵是范德蒙矩阵，由x x1 1,x x2 2,x xN N互异知行列式互异知行列式不为零，从而有不为零，从而有rankrankA A=m m1 1。由引理。由引理2 2知，正则方程组知，正则方程组有唯一解。有唯一解。证毕证毕第17页/共25页四、最小二乘法拟合曲线的步骤四、最小二乘法拟合曲线的步骤1.通过观察、分析得到拟合曲线的数学模型，或通过观察、分析得到拟

16、合曲线的数学模型，或根据经验公式确定数学模型。根据经验公式确定数学模型。2.2.将拟合曲线的数学模型转换为多项式。将拟合曲线的数学模型转换为多项式。3.3.写出矛盾方程组。写出矛盾方程组。4.4.写出正则方程组。（可由多项式模型直接得到）写出正则方程组。（可由多项式模型直接得到）5.5.求解正则方程组，得到拟合曲线的待定系数。求解正则方程组，得到拟合曲线的待定系数。6.6.将正则方程组的解带回到数学模型中，得到拟将正则方程组的解带回到数学模型中，得到拟合曲线。合曲线。第18页/共25页Remark1.1.同一问题可以有不同的拟合曲线，通常根据均方误同一问题可以有不同的拟合曲线，通常根据均方误差

17、差 和最大偏差和最大偏差 的大小来衡量拟合曲线的优劣。均方误差和最大偏差的大小来衡量拟合曲线的优劣。均方误差和最大偏差较小的拟合曲线为较优的拟合曲线。较小的拟合曲线为较优的拟合曲线。2.2.在解决实际问题时，有时通过观察选择多个函数类在解决实际问题时，有时通过观察选择多个函数类型进行计算、分析、比较，最终获得较好的数学模型；型进行计算、分析、比较，最终获得较好的数学模型；有时把经验公式作为数学模型，只是用最小二乘法来有时把经验公式作为数学模型，只是用最小二乘法来确定公式中的待定常数。确定公式中的待定常数。第19页/共25页RemarkRemark3.3.当拟合曲线当拟合曲线(x x)中的待定常

18、数是线性形式时，可直中的待定常数是线性形式时，可直接根据矛盾方程组得到正则方程组而求解。当待定常接根据矛盾方程组得到正则方程组而求解。当待定常数不是线性形式时，则应该先将待定常数线性化，再数不是线性形式时，则应该先将待定常数线性化，再根据矛盾方程组写出正则方程组而求解。根据矛盾方程组写出正则方程组而求解。例例1：例例2：第20页/共25页曲线拟合应用实例曲线拟合应用实例:例例1:1:试用最小二乘法求一个形如试用最小二乘法求一个形如 (a,ba,b为常数为常数)的经验公式的经验公式,使它与下列数据相拟合使它与下列数据相拟合(取四位小数取四位小数)xi12345678yi15.3 20.5 27.

19、436.649.1 65.6 87.8 117.6解解:由于经验公式中待定常数由于经验公式中待定常数a,ba,b是非线性形式是非线性形式,故作故作如下变形如下变形:令令:则有则有:将将x,ux,u带入得到关于带入得到关于A,BA,B的矛盾方程组，进而得正规的矛盾方程组，进而得正规方程组并求出方程组并求出A,BA,B，由，由A,BA,B得到得到a,ba,b即可。即可。（具体计算留作习题）（具体计算留作习题）第21页/共25页例例2.2.对彗星对彗星1968Tentax1968Tentax的移动在某极坐标系下有如的移动在某极坐标系下有如下表所示的观察数据，假设忽略来自行星的干扰下表所示的观察数据，

20、假设忽略来自行星的干扰,坐坐标应满足：标应满足：其中：其中：p p为参数，为参数，e e为偏心率为偏心率,试用最小二乘法拟合试用最小二乘法拟合p p和和e e。r2.702.001.611.201.02480670830108012600.3703700.500000.6211180.833330.9803920.6691310.3907310.121869-0.309017-0.587785解解:变形为变形为:则有如下数据则有如下数据第22页/共25页记记，得拟合模型：，得拟合模型：则矛盾方程组为：则矛盾方程组为：得正则方程组为：得正则方程组为：第23页/共25页解得解得：则则：则拟合方程为则拟合方程为：第24页/共25页感谢您的观看！第25页/共25页