数值计算方法CH插值法与最小二乘法—数据拟合的最小二乘法.pptx

《数值计算方法CH插值法与最小二乘法—数据拟合的最小二乘法.pptx》由会员分享，可在线阅读，更多相关《数值计算方法CH插值法与最小二乘法—数据拟合的最小二乘法.pptx（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、实例：实例：考察某种纤维的强度与其拉伸倍数的关系考察某种纤维的强度与其拉伸倍数的关系,下表是实下表是实际测定的际测定的2424个纤维样品的强度与相应的拉伸倍数的记录个纤维样品的强度与相应的拉伸倍数的记录:3.7 数据拟合的最小二乘法数据拟合的最小二乘法第1页/共28页可见可见:纤维强度随拉伸倍数增加而增加纤维强度随拉伸倍数增加而增加,并且并且2424个点大致分个点大致分布在一条直线附近布在一条直线附近.因此可以认为强度因此可以认为强度S S 与拉伸倍数与拉伸倍数t t 的关系近似满足线性关系的关系近似满足线性关系第2页/共28页 数数据据拟拟合合法法是是函函数数逼逼近近的的另另一一种种方方法法

2、.它它与与插插值值法法不不同同，它它不不要要求求曲曲线线完完全全通通过过所所有有已已知知的的节节点点，而而是是从从给给出出的的一一大大堆堆数数据据中中找找出出规规律律，即即设设法法构构造造一一条条曲曲线线反反映映数数据据点点的的总总的的趋趋势势，以以消消除除其其局局部部波波动动。这这在在一一定定条条件件下下比比插插值值法法更更能能反反映映客客观观实实际际.数数据据有有误误差差往往往往是是难难免免的的，数数据据拟拟合合法法是从总偏差最小的角度来取近似曲线是从总偏差最小的角度来取近似曲线.第3页/共28页 根根据据上上述述实实例例图图中中测测试试点点的的分分布布情情况况,可可以以画画出出很很多多条

3、条靠近这些点的直线靠近这些点的直线,其方程都可表示为：其方程都可表示为：一、最小二乘法的基本概念一、最小二乘法的基本概念(1)(2)其其中中:a,b 待待定定.要要从从形形如如(1)(1)式式的的所所有有直直线线中中,找找出出一一条条用用某某种种度度量量标标准准来来衡衡量量最最靠靠近近所所有有数数据据点点 的的直直线线.若若 a,b 给定给定,计算值计算值 S(ti)与测量数据与测量数据 si 之差为之差为:称之为称之为误差误差,其大小依赖于其大小依赖于 a,b 的选取的选取.第4页/共28页(3)注注:(1):(1)式式是是一一条条直直线线，但但现现实实生生活活中中的的函函数数关关系系并并不

4、不都都是是线线性关系，因此下面将问题推广到一般情况性关系，因此下面将问题推广到一般情况.一般使用误差的加权平方和一般使用误差的加权平方和用用i 表表示示测测量量数数据据 (ti,si)的的重重度度,称称为为权权系系数数,表表示示在在不不同同点点 (ti,si)处的数据比重不同处的数据比重不同.作为衡量作为衡量 S(t)与数据点与数据点 (ti,si)(i=0,1,m)偏离大小的偏离大小的度量标准度量标准.使使 最最小小的的 S(t)最最接接近近 ,以以此此为为依依据据可可确定确定(1)(1)式中的待定系数式中的待定系数 a,b.问问:如何衡量直线与数据点偏离程度如何衡量直线与数据点偏离程度?第

5、5页/共28页(4)(5)(6)最小二乘解 定义定义:设设 为给定一组数据为给定一组数据,为各点的权系数为各点的权系数 ,要求在函数类要求在函数类中中,求一函数求一函数使误差的加权平方和最小使误差的加权平方和最小,即即最小平方误差其中：其中：为为中任意函数，称为中任意函数，称为拟合函数拟合函数.称按条件称按条件(6)(6)求函数求函数 S*(x)的方法为的方法为数据拟合的最小二乘法数据拟合的最小二乘法,简称简称最小二乘法最小二乘法.数据点数-1基底个数-1已知求条件拟合条件构造第6页/共28页问：问：确定拟合函数确定拟合函数 S(x)后后,如何求拟合系数如何求拟合系数 ,使得使得 满足拟合条件

6、满足拟合条件(6)(6)？二、法方程组二、法方程组由由可知可知为拟合系数为拟合系数 的函数的函数.因此因此,可设平方误差为可设平方误差为:第7页/共28页由多元函数取极值的必要条件由多元函数取极值的必要条件得：得：移项整理得：移项整理得：转化求最小二乘解求最小二乘解 的问题的问题 取极小值取极小值 的问题的问题第8页/共28页(7)交换求和号顺序得：交换求和号顺序得：即即显然显然(7)(7)式是一个关于式是一个关于 的的n+1+1阶线性方程组阶线性方程组.定义向量：定义向量：第9页/共28页定义内积：定义内积：(9)方程组方程组(7)(7)便可化为便可化为:(10)(8)这是一个系数为这是一个

7、系数为 ,常数项为常数项为 的线性方程组的线性方程组.将其表示为矩阵形式：将其表示为矩阵形式：第10页/共28页(11)称为函数系称为函数系 在离散点在离散点 的的法方程组法方程组.并且其系数矩阵为对称阵并且其系数矩阵为对称阵.坡度矩阵,HilbertHilbert矩阵由于由于 为函数类为函数类的基的基,因此它们必然因此它们必然线性无关线性无关,所以法方程组的系数矩阵非奇异所以法方程组的系数矩阵非奇异,即即根据根据CramerCramer法则法则,法方程组有唯一解：法方程组有唯一解：第11页/共28页即即的最小值的最小值.是是可以证明可以证明,所对应的所对应的 是最小二乘解是最小二乘解(证明见

8、证明见109109页页).).为为均方差均方差.称称为最小二乘解为最小二乘解 的的平方误差平方误差.第12页/共28页可以证明可以证明:例例1 1.求拟合下列数据的最小二乘解求拟合下列数据的最小二乘解i01234560.00.20.40.60.81.01.20.91.92.83.34.05.76.5(12)平方误差的内积表示形式平方误差的内积表示形式:故有故有解：解：1)1)在坐标平面上描点（参见教材在坐标平面上描点（参见教材P111P111）第13页/共28页 从从散散点点图图可可以以看看出出函函数数关关系系近近似似线线性性关关系系，所所以以选选择择线性函数：线性函数：其基底为其基底为3)3

9、)建立法方程组建立法方程组根据内积公式根据内积公式:计算下列各值：计算下列各值：取取作为拟合函数作为拟合函数,2)2)根据散点的分布情况，选择基底根据散点的分布情况，选择基底（难点）（难点）第14页/共28页得法方程组：得法方程组：第15页/共28页4)4)解法方程组解法方程组,求拟合函数系数求拟合函数系数因此因此,为所有的最小二乘解为所有的最小二乘解.5)5)求拟合误差求拟合误差求得线性函数两系数求得线性函数两系数:第16页/共28页最小二乘拟合的一般步骤最小二乘拟合的一般步骤:1.1.描点描点(若给定拟合函数形式若给定拟合函数形式,这一步骤可以省略这一步骤可以省略););2.2.根据数据点

10、的分布情况根据数据点的分布情况,确定拟合函数确定拟合函数,进一步确进一步确定拟合函数的基底定拟合函数的基底;3.3.建立法方程组建立法方程组(涉及到一些内积运算涉及到一些内积运算););4.4.求解法方程组求解法方程组(推荐使用推荐使用GaussGauss列主元消去法列主元消去法),),得得拟合函数的系数拟合函数的系数;5.5.将这组系数代入拟合函数，即为最小二乘解将这组系数代入拟合函数，即为最小二乘解;6.6.求拟合误差求拟合误差:最小平方误差最小平方误差.第17页/共28页例例2.2.求拟合下列数据的最小二乘解求拟合下列数据的最小二乘解解解:其中：其中：a,b,c 为待定参数为待定参数,基

11、底为基底为:0.240.650.951.241.732.012.232.532.772.990.23-0.26-1.10-0.450.270.10-0.290.240.561.00110.80.911110.90.91 1）在坐标平面上描点）在坐标平面上描点2 2）根据散点的分布情况选择基底）根据散点的分布情况选择基底由数据的散点图由数据的散点图,根据经验判断根据经验判断,所求函数可用所求函数可用的线性组合表示的线性组合表示.故拟合函数类为：故拟合函数类为：第18页/共28页3 3）建立法方程组）建立法方程组根据内积公式根据内积公式：计算得法方程组为：计算得法方程组为：4 4）用）用Gauss

12、Gauss列主元消去法解法方程组列主元消去法解法方程组,得拟合函数系数得拟合函数系数:取取第19页/共28页拟合的平方误差为：以上两个例题均属于以上两个例题均属于线性最小二乘拟合线性最小二乘拟合.第20页/共28页非线性最小二乘问题非线性最小二乘问题 当用非多项式函数当用非多项式函数(例如例如:指数函数类指数函数类 或幂函或幂函数类数类 等等)拟合给定的一组数据时拟合给定的一组数据时,拟合函数是关于拟合函数是关于待定参数的非线性函数待定参数的非线性函数.若按最小二乘准则若按最小二乘准则:用极值原理建立的法方程组将是关于待定参数的非线性方用极值原理建立的法方程组将是关于待定参数的非线性方程组程组

13、.称这类数据拟合问题为称这类数据拟合问题为非线性最小二乘拟合非线性最小二乘拟合.简单的简单的非线性最小二乘拟合问题求解方法非线性最小二乘拟合问题求解方法:转化为线性最小转化为线性最小二乘问题求解二乘问题求解.第21页/共28页例例4 给定一组实验数据如下：给定一组实验数据如下：1.22.84.35.46.87.92.111.528.141.972.391.4求最小二乘拟合函数求最小二乘拟合函数.解：解：2）根据散点分布情况取幂函数）根据散点分布情况取幂函数由题意知：由题意知：构造平方误差函数：构造平方误差函数：求求 使使1）在坐标平面上描点）在坐标平面上描点(图参见教材图参见教材P118)作拟

14、合函数作拟合函数.其中：其中：a,b为待定参数为待定参数.第22页/共28页由极值的必要条件：由极值的必要条件：3）转化为线性问题求解）转化为线性问题求解对对 两边取对数有：两边取对数有：令令其中：其中：b,c 是待定系数是待定系数(1)(2)则有：则有：第23页/共28页0.07920.44720.63350.73240.83250.89760.32221.06071.44871.62221.85911.96094）建立法方程组：）建立法方程组：基底：基底：由由 可得相应可得相应 的数据表的数据表:第24页/共28页故法方程组为：故法方程组为：解上述方程组得：解上述方程组得：再由再由(1)(

15、1)式可得：式可得：最小二乘拟合函数为：最小二乘拟合函数为：第25页/共28页内容总结 数数据据拟拟合合法法是是函函数数逼逼近近的的另另一一种种方方法法.它它与与插插值值法法不不同同，它它不不要要求求曲曲线线完完全全通通过过所所有有已已知知的的节节点点，而而是是从从给给出出的的一一大大堆堆数数据据中中找找出出规规律律，设设法法构构造造一一条条曲曲线线反反映映数数据据点点的的总总的趋势，从总偏差最小的角度来取近似曲线的趋势，从总偏差最小的角度来取近似曲线.最小二乘法：最小二乘法：求函数求函数 S*(x)的方法为的方法为数据拟合的最小二乘法数据拟合的最小二乘法,简称简称最小二最小二乘法乘法.称按条件称按条件第26页/共28页法方程组法：法方程组法：1.描点；描点；2.选择基底，构造拟合函数；选择基底，构造拟合函数；3.建立法方程组；建立法方程组；4.解法方程组，求出最小二乘解解法方程组，求出最小二乘解.第27页/共28页感谢您的观看。第28页/共28页