曲线拟合的最小二乘法ppt课件.ppt

3.1 3.1 问题的提出问题的提出 函数解析式未知函数解析式未知,通过实验观测得到的一组数据通过实验观测得到的一组数据, 即在即在某个区间某个区间a, b上给出一系列点的函数值上给出一系列点的函数值 yi= f(xi)xx1x2xmyy1y2ym 3.23.2. . 曲线拟合的最小二乘法曲线拟合的最小二乘法n数据含有误差。数据含有误差。节点上的函数值是由实验或观测得到的节点上的函数值是由实验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近似数据，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点函数曲线精确无误地通过所有的点( (x xi i,y,yi i),),就会使曲线就会使曲线保留着一切测试误差。当个别数据的误差较大时保留着一切测试误差。当个别数据的误差较大时, ,插值效插值效果显然是不理想的。果显然是不理想的。n数据量很大。数据量很大。由实验或观测提供的数据个数往往很多由实验或观测提供的数据个数往往很多, ,如果用插值法如果用插值法, ,势必得到次数较高的插值多项式，这样是势必得到次数较高的插值多项式，这样是不可行的。不可行的。为此为此, ,我们希望从给定的数据我们希望从给定的数据( (x xi i,y,yi i) )出发出发, ,构造一个构造一个近似函数近似函数 , ,不要求函数不要求函数 完全通过所有的数完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋据点，只要求所得的近似曲线能反映数据的基本趋势，如图势，如图3.13.1所示。所示。)(x)(x y o x 图图3.13.1曲线拟合示意图曲线拟合示意图 曲线拟合曲线拟合: :求一条曲线求一条曲线, ,使数据点均在离此曲线的上方使数据点均在离此曲线的上方或下方不远处或下方不远处, ,所求的曲线称为拟合曲线所求的曲线称为拟合曲线, ,它既能反映它既能反映数据的总体分布数据的总体分布, ,又不至于出现局部较大的波动又不至于出现局部较大的波动, ,更能更能反映被逼近函数的特性反映被逼近函数的特性, ,使求得的逼近函数与已知函数使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。从总体上来说其偏差按某种方法度量达到最小。 与函数插值问题不同与函数插值问题不同, ,曲线拟合不要求曲线通过所有曲线拟合不要求曲线通过所有已知点已知点, ,而是要求得到的近似函数能反映数据的基本关系而是要求得到的近似函数能反映数据的基本关系。在某种意义上。在某种意义上, ,曲线拟合更有实用价值曲线拟合更有实用价值。 函数插值是插值函数函数插值是插值函数P(xP(x) )与被插函数与被插函数f(xf(x) )在节点在节点处函数值相同处函数值相同, ,即即 而曲线而曲线拟合函数拟合函数 不要求严格地通过所有数据点不要求严格地通过所有数据点 , ,也也就是说拟合函数就是说拟合函数 在在x xi i处的偏差处的偏差( (亦称残差）亦称残差） 不都严格地等于零。但是不都严格地等于零。但是, ,为了使近似曲线能尽量反为了使近似曲线能尽量反映所给数据点的变化趋势映所给数据点的变化趋势, ,要求要求 按某种度量标准按某种度量标准最小。若记向量最小。若记向量 , ,即要求向量即要求向量 的的某种范数某种范数 最小最小, ,如如 的的1-范数范数 或或-范数范数即即 )()(iixfxP(1,)im)(x),(iiyx)(x()()iiixfx(1,)imi1,Tmeeee1ee111()()mmiiiiiexfxmaxmax ( )() ()iiiiiexf x最大偏差或或 最小。最小。为了便于计算、分析与应用，通常要求为了便于计算、分析与应用，通常要求 的的2-2-范数范数 e112222211()()mmiiiiiexfx（ 均 方 误 差 ）222211()()mmiiiiiexfx即即 为最小。这种要求误差（偏差）平方和最小的拟为最小。这种要求误差（偏差）平方和最小的拟合称为曲线拟合的最小二乘法。合称为曲线拟合的最小二乘法。 一般曲线拟合的 最小二乘法的求法001102010011100111:( )( )( )( )( ),()()()min,0()()()()0(0,1, )( )nnnkkkmniinniiikmkiiinniiixaxaxaxaxS aaaaxaxaxySSaxaxaxaxyknh x设拟合函数为由最小二乘原则应使对函数 求偏导数并令其为零可得若对于任意函数1,( ):,() ()miiig xh gh x g x引入记号000010n01101111n0n1n0011n01,(0,1, )( ),( ),( )nnnkknknknaaafafafaknxxxf 称为法方程即写成矩阵组形式为或正规方程组。当线性无关时，方程组有唯一解。1110211111112111101( )1,( ),( ),mmmniiiiiimmmmniiiiiiiiinmnnmmmnnnniiiiiiiiimxxyaxxxax yaxxxxxxxxx y取相应的法方程组为例例1 1 设有某实验数据如下：设有某实验数据如下： 1 2 3 4 1 2 3 4 1.36 1.37 1.95 2.28 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963 14.094 16.844 18.475 20.963iixiy 用最小二乘法求以上数据的拟合函数用最小二乘法求以上数据的拟合函数. . 解解: :把表中所给数据画在坐标纸上把表中所给数据画在坐标纸上, ,将会看到数据点的将会看到数据点的分布可以用一条直线来近似地描述分布可以用一条直线来近似地描述, ,故设拟合直线为故设拟合直线为 记x1=1.36, x2=1.37, x3 =1.95 x4 =2.28, y1 =14.094, y2= 16.844, y3=18.475, y4=20.963则正规方程组为则正规方程组为 01( )xaa x4401114442011114iiiiiiiiiiiaaxyaxaxx y32. 741iix8434.13412iix376.7041iiy12985.13241iiiyx其中其中 将以上数据代入上式正规方程组将以上数据代入上式正规方程组, ,得得12985.1328434.1332. 7376.7032. 741010aaaa013.9374,7.4626aa解得解得 即得拟合直线即得拟合直线 xy4626. 79374. 3例例2 2 设某实验数据如下：设某实验数据如下： 1 2 3 4 5 6 1 2 3 4 5 6 0 1 2 3 4 5 0 1 2 3 4 5 5 2 1 1 2 3 5 2 1 1 2 3iixiy用最小二乘法求一个多项式拟合这组数据用最小二乘法求一个多项式拟合这组数据. . 解：将已给数据点描在坐标系中，可以解：将已给数据点描在坐标系中，可以看出这些点看出这些点 接近一条抛物线，因此设所求的多项式为接近一条抛物线，因此设所求的多项式为 2210 xaxaay由法方程组由法方程组, , 经计算得经计算得 m=6, 612616161461361261122,30,14,797,225,55,15iiiiiiiiiiiiiiiiyxyxyxxxx其法方程组为其法方程组为 122979225553022555151455156210210210aaaaaaaaa解之得解之得 5000. 0,7857. 2,7143. 4210aaa25000.07857.27143.4xxy所求的多项式为所求的多项式为 （4 4）可化为线性拟合的非线性拟合）可化为线性拟合的非线性拟合n对于一个实际的曲线拟合问题，一般先按观测值在直对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上角坐标平面上描出散点图描出散点图，看一看散点的分布同哪类，看一看散点的分布同哪类曲线图形接近，然后曲线图形接近，然后选用合适的拟合函数选用合适的拟合函数。n非线性拟合函数可以通过非线性拟合函数可以通过变量替换变量替换转化为线性拟合问转化为线性拟合问题题，按线性拟合解出后，按线性拟合解出后再还原再还原为原变量所表示的曲线为原变量所表示的曲线拟合方程。拟合方程。 表表3-4列举了几类经适当变换后化为线性拟合求列举了几类经适当变换后化为线性拟合求解的曲线拟合方程及变换关系解的曲线拟合方程及变换关系 表表3-43-4 曲线拟合方程曲线拟合方程 变换关系变换关系 变换后线性拟合方程变换后线性拟合方程bxya eln,yy(ln)yabx aabaxxyxxyy1,1xbaybaxy1yy1yaxbcbxaxy21yy1cbxaxy2cbxaxxy2yxy cbxaxy2几种常见的数据拟合情况。几种常见的数据拟合情况。图图 ( a ) 数据接近于直线，故宜采用线性函数拟合；数据接近于直线，故宜采用线性函数拟合；图图( (b)b)数据分布接近于抛物线可采数据分布接近于抛物线可采拟合拟合二次多项式二次多项式拟合；拟合；xaay102210 xaxaay y y O x O x ( (a)a)( (b)b)图图( (c)c)：开始曲线上升较快随后逐渐变慢开始曲线上升较快随后逐渐变慢, ,宜采用双曲线型宜采用双曲线型函数函数 或指数型函数或指数型函数 图图( (d)d)：开始曲线下降快：开始曲线下降快, ,随后逐渐变慢随后逐渐变慢, ,宜采用宜采用 或或 或或 等数据拟合。等数据拟合。bxaxyxbaeybxaxy2bxaxybxaey y y O x O x ( c ) ( d )例例3 3 设某实验数据如下设某实验数据如下: : 1 2 3 4 5 6 1 2 3 4 5 6 0 0.5 1 1.5 2 2.5 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3 2.0 1.0 0.9 0.6 0.4 0.3iixiy用最小二乘法求拟合曲线。用最小二乘法求拟合曲线。 解解: :将已给数据点描在坐标系中下图所示将已给数据点描在坐标系中下图所示, ,可以看出这些点可以看出这些点接近指数曲线接近指数曲线, ,因而可取指数函数因而可取指数函数作为拟合函数作为拟合函数. .对函数对函数两边取对数得两边取对数得. . 令令 就得到线性模型就得到线性模型 bxaeybxaeybxaylnln01ln ,ln ,yy aa ab xaay10则正规方程组为则正规方程组为 6601116662011116lnlniiiiiiiiiiiaaxyaxaxxy其中其中 5 . 761iix75.13612iix043302. 2ln61iiy714112. 5ln61iiiyx将以上数据代入上式正规方程组，得将以上数据代入上式正规方程组，得714112. 575.135 . 7043302. 25 . 761010aaaa解得解得 772282. 0,562302. 010aa由由 得得aaln000.5623021.754708,aaeeba1772282.01ab由由 得得于是得到拟合指数函数为于是得到拟合指数函数为 xey772282. 0754708. 1小结小结 插值法和曲线拟合的最小二乘法都是实用性很强插值法和曲线拟合的最小二乘法都是实用性很强的方法。它们解决的实际问题虽然各式各样，但抽象为的方法。它们解决的实际问题虽然各式各样，但抽象为数学问题却有它的共性，即利用已知的数据去寻求某个数学问题却有它的共性，即利用已知的数据去寻求某个较为简单的函数较为简单的函数P(x)P(x)来逼近来逼近f(x)f(x)。插值法和曲线拟合的插值法和曲线拟合的最小二乘法分别给出了寻求这种近似函数的两类不同的最小二乘法分别给出了寻求这种近似函数的两类不同的原则，以及构造近似函数的几种具体方法。其中插值法原则，以及构造近似函数的几种具体方法。其中插值法要求近似函数在已知的数据点必须与要求近似函数在已知的数据点必须与f(x)f(x)完全一致，曲完全一致，曲线拟合法不要求点点一致而只须满足一定的整体逼近条线拟合法不要求点点一致而只须满足一定的整体逼近条件。件。 n插值法中的拉格朗日插值多项式是研究数值微积分插值法中的拉格朗日插值多项式是研究数值微积分与微分方程数值解的重要工具。与微分方程数值解的重要工具。n牛顿插值多项式是拉格朗日插值多项式的变形，具牛顿插值多项式是拉格朗日插值多项式的变形，具有承袭性，比拉格朗日插值多项式节省计算量。有承袭性，比拉格朗日插值多项式节省计算量。n分段低次多项式插值由于具有良好的稳定性与收敛分段低次多项式插值由于具有良好的稳定性与收敛性，且算法简单，便于应用。特别是应用广泛的三性，且算法简单，便于应用。特别是应用广泛的三次样条插值，不但有较好的稳定性和收敛性，而且次样条插值，不但有较好的稳定性和收敛性，而且具有较好的光滑性，从而满足了许多实际问题的要具有较好的光滑性，从而满足了许多实际问题的要求。需对样条函数作进一步了解的读者可参阅有关求。需对样条函数作进一步了解的读者可参阅有关文献文献 n曲线拟合的最小二乘法是处理实验数据的常用方法。本章曲线拟合的最小二乘法是处理实验数据的常用方法。本章主要介绍了最小二乘法的基本原理和线性最小二乘问题的主要介绍了最小二乘法的基本原理和线性最小二乘问题的求解方法。求解方法。n多项式拟合是线性最小二乘拟合问题的一种特殊情况多项式拟合是线性最小二乘拟合问题的一种特殊情况, ,其其特点是拟合多项式形式简单特点是拟合多项式形式简单, ,但当但当n较大时较大时, ,法方程组往往法方程组往往是病态的。用正交多项式进行曲线拟合，避免了法方程组是病态的。用正交多项式进行曲线拟合，避免了法方程组病态所造成的麻烦。病态所造成的麻烦。n关于非线性最小二乘曲线拟合问题关于非线性最小二乘曲线拟合问题, ,一般求解比较困难一般求解比较困难, ,但但对一些特殊情形对一些特殊情形, ,可以转换为线性最小二乘拟合问题。可以转换为线性最小二乘拟合问题。Thank you very much!Thank you very much!