曲线拟合的最小二乘法讲稿.ppt

《曲线拟合的最小二乘法讲稿.ppt》由会员分享，可在线阅读，更多相关《曲线拟合的最小二乘法讲稿.ppt（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于曲线拟合的最小二乘法第一页，讲稿共四十六页哦曲线拟合问题曲线拟合问题:(建立试验数据的模型)在实际应用中，往往并不需要曲线通过给定的数据点，而只要求用曲线(函数)近似代替给定的列表函数时，其 误差在某种度量意义下最小。函数逼近问题函数逼近问题:(连续函数的逼近)在实际应用中常需为解析式子比较复杂的函数寻找一个简单函数来近似代替它，并要求其误差在某种度量意义下最小。可统称为最佳逼近问题最佳逼近问题 3.1 拟合与逼近问题拟合与逼近问题第二页，讲稿共四十六页哦插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同，而在其他点上没有要求。在非插值节点上有时函

2、数值会相差很大。若要求在被插函数的定义区间上都有较好的近似，就是最佳逼近问题。必须找到一种度量标准来衡量什么是最佳逼近.第三页，讲稿共四十六页哦 最佳一致逼近是在函数空间 M中选 P(x)满足 但由于绝对值函数不宜进行分析运算，常替之以来讨论，于是最佳逼近问题变为最佳平方逼近问题 这即为连续函数的最佳平方逼近.对于离散的问题，最佳平方逼近问题为:就是常说的曲线拟合的最小二乘法.(*)min)()(maxxpxfbxamin)()()(2dxxxpxfbamin)()(20 xpxfiimii第四页，讲稿共四十六页哦二.预备知识K,(u,v),:(1)(u,u)0,(u,u)=0u=0;(2)(

3、u,v)=(u,v);(3)(u,v)=(u,v),K;(4)(u+v,w)=(u,w)+(v,w),wX,(u,v)u v X设X是数域K上的线性空间,若对 u,vX,有 中一个数与之对应 记为其满足且则 称为 与的内积;而定义了内积的线性空间 称为内积空间.内积:第五页，讲稿共四十六页哦常采用的内积与范数n12121.Rxyx(,)y(,)iiiTnTnx yx xxy yyni=1向量空间上的内积:(,)=212:x(x,x)niiix由内积定义范数（满足三个条件）范数第六页，讲稿共四十六页哦2.,:,(,)()();(,)()()(),().babaC a bf gC a bf gf

4、x g x dxf gx f x g x dxx 连续函数空间 上的内积设 定义内积:及加权内积为权函数1122222:(,)()()bafffx fx dx范数第七页，讲稿共四十六页哦0123.1.1,(Gram)nC a b 定理设由他们的内积构成的矩阵 称矩阵G),(),(),(01000n),(),(),(11101n),(),(),(10nnnn012G,.n 则 非奇异的充分必要条件是:线性无关第八页，讲稿共四十六页哦1.正交函数族与正交多项式 定义1 若f(x),g(x)Ca,b,(x)为a,b上的权函数 且满足:则称f(x)与g(x)在a,b上带权(x)正交正交。正交多项式 第

5、九页，讲稿共四十六页哦若函数族 0(x),1(x),n(x),满足关系 则称k(x)是a,b上带权(x)的正交函数族正交函数族。例如，三角函数族 1,cosx,sinx,cos2x,sin2x,就是在区间-,上的正交函数族。第十页，讲稿共四十六页哦定义2 设 n(x)是a,b上首项系数 an0 的 n次多项式,(x)为a,b上权函数，如果多项式序列 满足关系式:则称为多项式序列 为在a,b上带权(x)正交正交，称n(x)为a,b上带权(x)的n次正交多项式正交多项式。第十一页，讲稿共四十六页哦 只要给定区间a,b及权函数(x),均可由一族线性无关的幂函数 1,x,xn,利用逐个正交化手续(Gr

6、am-Schmidt正交化方法)：构造出正交多项式序列 。第十二页，讲稿共四十六页哦2.勒让德多项式 定义3 当区间为-1,1,权函数(x)1 时,由1,x,xn,正交化得到的多项式就称为勒让德(Legendre)多项式,并用 P0(x),P1(x)，Pn(x)，表示。这是勒让德于1785年引进的。1814年罗德利克(Rodrigul)给出了简单的表达式：第十三页，讲稿共四十六页哦 由于(x2-1)n 是2n次多项式，求n阶导数后得到 于是得首项 xn 的系数显然最高项系数为1的勒让德多项式为:第十四页，讲稿共四十六页哦勒让德多项式有下述几个重要性质：性质1.正交性性质2.奇偶性 pn(-x)

7、=(-1)n pn(x)性质3.递推关系 (n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x)(n=1,2,)(*)由p0(x)=1，p1(x)=x，利用(*)就可推出pn(x)的表达式:第十五页，讲稿共四十六页哦性质4.pn(x)在区间-1，1内有n个不同的实零点。第十六页，讲稿共四十六页哦实例：考察某种纤维的强度y与其拉伸倍数x的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:编 号 拉伸倍数 强 度编 号 拉伸倍数 强 度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662

8、.72.5187.15.373.531986.583.52.72087944218.98.51043.52298114.54.2239.58.1124.63.524108.1iiyx强度iiyx强度一.实例讲解 3.2 曲线拟合(最小二乘法)第十七页，讲稿共四十六页哦1234567891012345678912345678910123456789纤维强度随拉伸倍数增加而增加yx因此可以认为强度与拉伸倍数 的主要关系应是线性关系并且24个点大致分布在一条直线附近xxy10)(为待定参数其中10,-(1)第十八页，讲稿共四十六页哦越接近越好样本点与所有的数据点我们希望),)()(10iiyxxxy

9、必须找到一种度量标准来衡量什么曲线最接近所有数据点.二、*()(,)0,1,-(1),()().iiiyf xxxfimySxf x设在m+1个节点a,b上的值给定,即要在某一个特定的函数空间中 找一个函数作为的近似模型第十九页，讲稿共四十六页哦),1,0)(nixi的基函数为设函数类mn 一般要求即生成的函数集是由也称,),1,0)(nixi)(,),(),(10 xxxspann2220mii定义平方误差(偏差平方和):0()()njjjS xax则可设01(,),()()TmiiiS xf 其中误差或残差第二十页，讲稿共四十六页哦我们选取的度量标准是*()Sx在函数空间中选取一个函数nj

10、jjxaxS0*)()(*0011()()()nnaxaxax22*20(*()miiiSxf2()0min()miiS xiS xf22)(minxS中的任意函数为其中mjjjxaxS0)()(-(2)-(3)使得第二十一页，讲稿共四十六页哦*0(3)*()()njjjSxax称满足条件的求函数 的方法为数据拟合的最小二乘法为最小二乘解njjjxaxS0*)()(*为拟合系数为拟合函数),1,0(,)()(0njaxaxSjnjjj),1,0(,)(njaxSj如何求拟合系数后在确定了拟合函数*0*()()(3)njjjSxax使得 满足拟合条件呢？误差称为最小二乘解的平方22*第二十二页，

11、讲稿共四十六页哦200()mnjjiiijaxf 20()miiiS xf三、法方程组22njjjxaxS0)()(由的函数为拟合系数),1,0(njaj可知因此可假设01(,)nF a aa200()mnjjiiijaxf 因此求最小二乘解转化为二次函数第二十三页，讲稿共四十六页哦*0101(,)(),nna aaa aa求F的最小值 极小值 点 的问题.由多元函数取极值的必要条件01(,)0nkF a aaank,1,0002()()mnjjiikiijaxfxkFa0得即000()()()mnmjjikiikiijiaxxfx00()()()0mnjjikiikiijaxxfx 第二十四

12、页，讲稿共四十六页哦000()()()mnmjjikiikiijiaxxfx000()()()nmmjikijikijiixxafx nk,1,0-(4)00110000()()()()()()()mmmikiikinnikiiiimikiiaxxaxxaxxfxnk,1,0即第二十五页，讲稿共四十六页哦元线性方程组的是一个关于显然1,)4(10naaan引入记号)(,),(),(10mrrrxxxr01(,)mffff)()(),(0ijmiikjkxx则由内积的概念可知0(,)()mkkiiifx f-(5)-(6),(jk),(kj显然内积满足交换律第二十六页，讲稿共四十六页哦方程组(4

13、)便可化为),(),(),(),(1100faaaknknkknk,1,0-(7)的线性方程组常数项为这是一个系数为),(),(fkjk将其表示成矩阵形式naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn-(8)nG ad简单记为第二十七页，讲稿共四十六页哦0101(8)(),(),(),nmxxxx xx称式为函数序列在节点上的法方程组,并且其系数矩阵为对称阵.根据Cramer法则,法方程组有唯一解*0011,nnaa aaaa,!,n,1,G,nspanxxnm 这里没有一般的理论 具体问题具体分析但在应用中

14、 常取为 阶多项式空间即且这时 是非奇异的:(8),G?问题 方程解的存在唯一性 即 是否非奇异第二十八页，讲稿共四十六页哦*01(,)nF a aa200()mnjjiiijaxf 01(,)nF a aa即是的最小值22*20(*()miiiSxf2()0min()miiS xiS xf22)(minxS所以*200()mnjjiiijaxf 2()00min()mnjjiiS xijaxf*200()mnjjiiijaxf*0()()njjjSxax为最小二乘解.因此第二十九页，讲稿共四十六页哦()()(,)(0,1,)niiS xP xxfim常使用多项式作为的拟合函数,作为一种简单的

15、情况,()()nS xP x拟合函数的基函数为:,1)(0 x,)(1xx,)(,kkxx nnxx)(基函数之间的内积为)()(),(0ijmiikjkxxmijikixx0mijkix00(,)()mkkiiifx f0mkiiix f22*平方误差20(*()miiiSxf*0(,)(,)njjjf faf第三十页，讲稿共四十六页哦例1.回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系01()()S xy xaa x故可选取线性函数为拟合函数，其基函数为1)(0 xxx)(1建立法方程组根据内积公式，可得第三十一页，讲稿共四十六页哦24),(005.127),(1

16、061.829),(111.113),(0f6.731),(1f法方程组为61.8295.1275.1272410aa6.7311.1131505.00a*()0.15050.8587Syxx即为所求的最小二乘解8587.01a解得6615.5*22平方误差为第三十二页，讲稿共四十六页哦1234567891012345678912345678910123456789拟合曲线与散点的关系如右图:第三十三页，讲稿共四十六页哦四、加权最小二乘法(,)(0,1,)iixfim对于一组给定的数据点(,)(0,1,)iix fim在拟合的数据点中各点的重要性可能是不一样的()(,)0,1,iiiixxfi

17、m假设=表示数据点的权(或权重),权:即权重或者密度，统称为权系数.定义加权平方误差为2220miii 20()miiiiS xf-(9)第三十四页，讲稿共四十六页哦来自函数类设拟合函数)(xS),1,0)(nixi的基函数为函数类)(,),(),(10 xxxspann*20()miiiiSxf)(xS)()()(1100 xaxaxann为拟合系数),1,0(njaj*(0,1,)jajn拟合的目标仍然为找一组22*2()0min()miiiS xiS xf22)(minxS使得第三十五页，讲稿共四十六页哦01(,)na aa求F200()mnijjiiijaxf*01(),na aa的最

18、小值 极小值 点 的问题由多元函数取极值的必要条件01(,)0nkF a aaank,1,0002()()mnijjiikiijaxfxkFa0得即000()()()mnmijjikiiikiijiaxxfx 00()()()0mnijjikiiikiijaxxfx第三十六页，讲稿共四十六页哦000()()()mnmiijikiiikiijiaxxfx 000()()()nmmijikijiikijiixxafx nk,1,0元线性方程组的是一个关于显然1,)10(10naaan引入记号)(,),(),(10mrrrxxxr01(,)mffff定义加权内积-(10)第三十七页，讲稿共四十六页哦

19、0(,)()()mkjikijiixx 0(,)()mkikiiifx f),(),(),(),(1100faaaknknkknk,1,0矩阵形式(法方程组)为naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn方程组(10)式化为-(11)-(12)第三十八页，讲稿共四十六页哦平方误差为20(*()miiiiSxf22*作为特殊情形,用多项式作拟合函数的法方程组为000002110000120000mmmmniiiiiiiiiiimmmmniiiiiiiiiiiiimmmmnnnniiiiiiiiiiiiixxf

20、axxxx faaxxxx f-(13)第三十九页，讲稿共四十六页哦五、最小二乘原理的其他应用五、最小二乘原理的其他应用1、算术平均：最小二乘意义下误差最小2、超定方程组的最小二乘解 P103 例3.3.3第四十页，讲稿共四十六页哦 3.3 连续函数的最佳平方逼近0102*222*,.(),()();()()()()()()()().minnniiibabaSfC a bspanC a bS xS xaxfSxf xSxdxxf xSxdxSxf x 设为的最佳平方逼近1.最佳平方逼近问题-(14)第四十一页，讲稿共四十六页哦2.解法(法方程)2010*010(14)F(,)()()()(,)

21、,F2()()()()0,1,.nbniiainnbiikaika aaxf xaxdxa aaxf xaxx dxakn式等价于求解多元函数的极小值点则必有于是,-(15)第四十二页，讲稿共四十六页哦0(,)(,)(,)()()()(,)()()()0,1,xnkiikkibkikiabkkkaafdxxx dxdfx f xx dxknGd ),(),(),(01000n),(),(),(11101n),(),(),(10nnnnG 第四十三页，讲稿共四十六页哦*001122*22Gram,.S()()()(),.nnxaxaxaxfSfSS G为矩阵 非奇异则上方程组唯一解:为(15)式的极小值,即满足第四十四页，讲稿共四十六页哦最小二乘法方法评注第四十五页，讲稿共四十六页哦感谢大家观看第四十六页，讲稿共四十六页哦