函数逼近与曲线拟合的最小二乘法优秀课件.ppt

函数逼近与曲线拟合的最小二乘法函数逼近与曲线拟合的最小二乘法1第1页，本讲稿共29页本节内容本节内容n 曲线拟合曲线拟合l 曲线拟合基本概念曲线拟合基本概念l 最小二乘算法最小二乘算法l 最小二乘拟合多项式最小二乘拟合多项式2第2页，本讲稿共29页给出一组离散点，确定一个简单函数近似原函数，多项式给出一组离散点，确定一个简单函数近似原函数，多项式插值提供了一种处理手段。插值提供了一种处理手段。然而，在实际问题中，给出的结点处的离散数据或多或少的然而，在实际问题中，给出的结点处的离散数据或多或少的都带有误差，插值要求多项式严格通过这些插值结点，无形都带有误差，插值要求多项式严格通过这些插值结点，无形之中就将这些点处的误差保留下来；之中就将这些点处的误差保留下来；尤其是当结点数目较多时，误差可能累积起来，从而对最终近尤其是当结点数目较多时，误差可能累积起来，从而对最终近似效果产生较大影响（这正是高次插值产生似效果产生较大影响（这正是高次插值产生Runge现象的一现象的一个主要原因）；个主要原因）；此外，即便给出的结点处的离散数据较为精确，但由于插值此外，即便给出的结点处的离散数据较为精确，但由于插值条件的限制，也导致多项式插值仅仅在处理结点附近的函数条件的限制，也导致多项式插值仅仅在处理结点附近的函数值近似问题时较为有效，即插值的局部近似效果好，整体逼值近似问题时较为有效，即插值的局部近似效果好，整体逼近效果差。近效果差。这些都促使我们考虑一种函数逼近的新方法这些都促使我们考虑一种函数逼近的新方法曲线拟合。曲线拟合。3第3页，本讲稿共29页曲线拟合曲线拟合能否找到一个简单易算的能否找到一个简单易算的 p(x)，使得，使得 f(x)p(x)已知已知 f(x)在某些点的函数值：在某些点的函数值：xx0 x1xm f(x)y0y1ym但是但是(1)m 通常很大(2)yi 本身是测量值，不准确，即 yi f(xi)这时不要求这时不要求 p(xi)=yi,而只要而只要 p(xi)yi 总体上尽可能小总体上尽可能小 4第4页，本讲稿共29页l 使使 最小最小l 使使 最小最小曲线拟合曲线拟合 p(xi)yi 总体上尽可能小总体上尽可能小 l 使使 最小最小n 常见做法太复杂太复杂 不可导，求不可导，求解困难解困难 最小二乘法：最小二乘法：目前最好的曲线拟合算法目前最好的曲线拟合算法5第5页，本讲稿共29页最小二乘最小二乘曲线拟合的最小二乘问题l 这个问题实质上是最佳平方逼近问题的这个问题实质上是最佳平方逼近问题的离散形式离散形式。可以将求连续函数的最佳平方逼近函数的方法直接用于求解该问可以将求连续函数的最佳平方逼近函数的方法直接用于求解该问题。题。已知函数值表已知函数值表(xi,yi)，在函数空间，在函数空间 中求中求 S*(x)，使得，使得其中其中 i 是点是点 xi 处的权。处的权。6第6页，本讲稿共29页最小二乘求解最小二乘求解对任意对任意 S(x)=span 0,1,n，可设可设 S(x)=a0 0+a1 1+an n(x)则求则求 S*(x)等价于求下面的多元函数的最小值点等价于求下面的多元函数的最小值点k=0,1,n最小值点最小值点7第7页，本讲稿共29页最小二乘求解最小二乘求解(k=0,1,n)这里的内积是这里的内积是离散带权内积离散带权内积，即，即，法方程法方程G法方程法方程8第8页，本讲稿共29页 要使法方程有唯一解要使法方程有唯一解a0,a1,an,就要求矩阵就要求矩阵G非奇异非奇异.必须指出必须指出,0(x),1(x),n(x)在在a,b上线性无关不能上线性无关不能推出矩阵推出矩阵G非奇异非奇异.例如例如,令令 0(x)=sinx,1(x)=sin2x,x 0,2,显然显然 0(x),1(x)在在0,2 上线性无关上线性无关,但若取但若取点点xk=k,k=0,1,2(n=1,m=2),那么有那么有 0(xk)=1(xk)=0,k=0,1,2,由此得出由此得出G=0(0,0)(0,1)(1,0)(1,1)为保证系数矩阵为保证系数矩阵G非奇异，必须加上另外的条件非奇异，必须加上另外的条件.定义定义 设设 0(x),1(x),n(x)Ca,b的任意线性组合在的任意线性组合在点集点集xi,i=0,l,.,m(m n)上至多只有上至多只有n个不同的零点个不同的零点,则称则称 0(x),1(x),n(x)在点集在点集xi,i=0,l,.,m上满足哈尔上满足哈尔(Haar)条件条件.可以证明可以证明,如果如果 0(x),1(x),n(x)Ca,b在在xi0m上满上满足哈尔足哈尔(Haar)条件条件,则法方程的系数矩阵则法方程的系数矩阵G非奇异非奇异.9第9页，本讲稿共29页最小二乘求解最小二乘求解设法方程的解为：设法方程的解为：a0*,a1*,an*,则则 S*(x)=a0*0+a1*1+an*n(x)结论结论S*(x)是是 f(x)在在 中的中的 最小二乘解最小二乘解10第10页，本讲稿共29页举例举例最小二乘问题中，如何选择最小二乘问题中，如何选择数学模型数学模型很重要，即如何选取很重要，即如何选取函数空间函数空间 =span 0,1,n，通常需要根据物理，通常需要根据物理意义，或所给数据的分布情况来选取合适的数学模型。意义，或所给数据的分布情况来选取合适的数学模型。11第11页，本讲稿共29页多项式拟合多项式拟合Hn=span1,x,.,xn,即 i=xi,则相应的法方程为此时此时 为为 f(x)的的 n 次最小二乘次最小二乘拟合多项式拟合多项式多项式最小二乘曲线拟合12第12页，本讲稿共29页 例例7已知一组实验数据如下，求它的拟合曲线已知一组实验数据如下，求它的拟合曲线.解解将所给数据在坐标纸上标出，将所给数据在坐标纸上标出，见图见图3-5.3-5.图图3-53-5选线性函数作拟合曲线选线性函数作拟合曲线 令令这里这里故故 13第13页，本讲稿共29页解得解得法方程法方程所求拟合曲线为所求拟合曲线为多项式拟合的多项式拟合的Matlab现程序现程序 其中输入参数其中输入参数 为要拟合的数据，为要拟合的数据，为拟合多项式的为拟合多项式的次数，次数，输出参数输出参数 为拟合多项式的系数为拟合多项式的系数.上例的上例的Matlab多项式拟合多项式拟合x=1 1 2 3 3 3 4 5;f=4 4 4.5 6 6 6 8 8.5;aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,r+,x,y,k)xlabel(x);ylabel(y);gtext(y=s1(x)）14第14页，本讲稿共29页例：例：用用 来拟合来拟合 ，w 1解：解：0(x)=1，1(x)=x，2(x)=x27623)(463|484,|1=BcondBB正交多项式与最小二乘拟合正交多项式与最小二乘拟合15第15页，本讲稿共29页例：例：连续型拟合中，取连续型拟合中，取则则 Hilbert阵阵！改进：改进：若能取函数族若能取函数族=0(x),1(x),n(x),，使得任，使得任意一对意一对 i(x)和和 j(x)两两两两（带权）正交（带权）正交，则，则 B 就化为就化为对对角阵角阵！这时直接可算出这时直接可算出ak=16第16页，本讲稿共29页正交多项式拟合正交多项式拟合带权正交（离散情形）给定点集给定点集 以及各点的权系数以及各点的权系数 ，如果函数族，如果函数族 满足满足则称则称 关于点集关于点集 带权带权 正交正交若若 0,1,n 是多项式，则可得正交多项式族是多项式，则可得正交多项式族17第17页，本讲稿共29页正交多项式拟合正交多项式拟合用正交多项式做最小二乘设多项式设多项式 p0,p1,pn 关于点集关于点集 x0,x1,xm 带权带权 0,1,m 正交，则正交，则 f(x)在在 Hn 中的中的最小二乘最小二乘拟合多项式拟合多项式为为其中其中k=0,1,nl 误差误差离散形式的离散形式的 2-范数范数18第18页，本讲稿共29页正交多项式的构造正交多项式的构造给定给定 和权系数和权系数 ，如何构造正交多项式族，如何构造正交多项式族可以证明：可以证明：关于点集关于点集 带权带权 正正交交l 三项递推公式：三项递推公式：k=1,n-1其中其中(k=0,1,n-1)(k=1,2,n-1)19第19页，本讲稿共29页几点注记几点注记(1)可以将构造正交多项式族、解法方程、形成拟合多项式穿插进行；(2)n 可以事先给定，或在计算过程中根据误差来决定；(3)该方法非常适合编程实现，只用递推公式，并且当逼近次数增加时，只要将相应地增加程序中的循环次数即可。(4)该方法是目前多项式拟合最好的计算方法，有通用程序。20第20页，本讲稿共29页例：例：用用 来拟合来拟合 ，w 1解：解：通过正交多项式通过正交多项式 0(x),1(x),2(x)求解求解设设)()()(221100 xaxaxay +=1)(0=x 229),(),(0000=ya25),(),(00001=a ax25)()()(011=xxxx a a 537),(),(1111=ya25),(),(11112=a ax45),(),(00111=b b55)(45)()25()(2012+=xxxxxx 21),(),(2222=ya与前例结果一致。与前例结果一致。注：注：手算时也可手算时也可用待定系数法确用待定系数法确定函数族。定函数族。21第21页，本讲稿共29页三、可线性化的非线性最小二乘拟合三、可线性化的非线性最小二乘拟合 曲线拟合问题的关键在于四点，其一是确定恰当拟合函曲线拟合问题的关键在于四点，其一是确定恰当拟合函数类型（这是最重要也是最困难的一点）；其二是确定最佳数类型（这是最重要也是最困难的一点）；其二是确定最佳拟合的标准（例如最小二乘原理）；其三是确定拟合函数中拟合的标准（例如最小二乘原理）；其三是确定拟合函数中的待定参数（利用函数极值理论建立并求解方程组）；其四的待定参数（利用函数极值理论建立并求解方程组）；其四是对拟合效果进行评价（如：利用偏差平方和、均方差等）。是对拟合效果进行评价（如：利用偏差平方和、均方差等）。在前两目的学习中，我们看到最终确定拟合函数中的系在前两目的学习中，我们看到最终确定拟合函数中的系数是利用线性方程组的求解来实现，因此我们将其称作是线数是利用线性方程组的求解来实现，因此我们将其称作是线性最小二乘拟合。若待定系数的确定需要用到非线性方程组，性最小二乘拟合。若待定系数的确定需要用到非线性方程组，则称为是非线性最小二乘拟合。这类问题由于牵涉到非线性则称为是非线性最小二乘拟合。这类问题由于牵涉到非线性方程组的求解，因此变得有些困难。然而不少非线性拟合问方程组的求解，因此变得有些困难。然而不少非线性拟合问题都可以利用某些手段（如变量代换）将其转化为线性拟合题都可以利用某些手段（如变量代换）将其转化为线性拟合问题。问题。22第22页，本讲稿共29页例例3：在某化学反应里：在某化学反应里,测得生成物浓度测得生成物浓度y%与时间与时间t的数据如下，的数据如下，试建立试建立y关于关于t的经验公式的经验公式t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00,10.20,10.32,10.42,10.50,10.55,10.58,10.60解：解：第一步：画出生成物浓度与反应时间的散点图第一步：画出生成物浓度与反应时间的散点图第二步：确定拟合函数类型。作为例题我们直接给出第二步：确定拟合函数类型。作为例题我们直接给出下面两种函数：下面两种函数：（1）指数函数形式）指数函数形式（2）双曲函数形式）双曲函数形式其中，其中，a，b是待定系数是待定系数23第23页，本讲稿共29页第三步：确定最佳拟合原则。这里我们依然采用最小二乘原第三步：确定最佳拟合原则。这里我们依然采用最小二乘原理。我们以第一种函数类型为例：即确定一组系数理。我们以第一种函数类型为例：即确定一组系数a，b使得使得最小。最小。第四步：利用多元函数极值理论，建立关于待定系数第四步：利用多元函数极值理论，建立关于待定系数a，b的的方程组。方程组。令令24第24页，本讲稿共29页即，即，显然，上面的方程组整理之后，是关于显然，上面的方程组整理之后，是关于a，b的非线性的非线性方程组（这就是非线性拟合的含义），这直接导致了方程组（这就是非线性拟合的含义），这直接导致了a，b求解的困难。求解的困难。我们考虑用下面的变量代换手段将此问题线性化。我们考虑用下面的变量代换手段将此问题线性化。25第25页，本讲稿共29页对于指数函数形式对于指数函数形式在方程两端取对数，在方程两端取对数，作变量代换：作变量代换：得到：得到：，其中，其中A、b是待定系数是待定系数由此我们将由此我们将y与与t的关系转化为的关系转化为Y与与T的关系，利用最小二乘原理的关系，利用最小二乘原理可以得到可以得到A、b的最优解。的最优解。A=2.4270，b=-1.0567，由此，由此a=11.3252，即，即26第26页，本讲稿共29页对于双曲函数形式对于双曲函数形式两边取倒数后再利用变量两边取倒数后再利用变量代换的手段同样可以将问题线性化，请自行完成。代换的手段同样可以将问题线性化，请自行完成。参考解答：参考解答：a=0.0802，b=0.1627，即，即思考：该如何评判两种不同曲线的拟合效果？思考：该如何评判两种不同曲线的拟合效果？27第27页，本讲稿共29页28第28页，本讲稿共29页可化为线性拟合问题的常见函数类型可化为线性拟合问题的常见函数类型拟合函数类型拟合函数类型变量代换变量代换线性化的拟合函数线性化的拟合函数29第29页，本讲稿共29页