第03章曲线拟合的最小二乘法优秀PPT.ppt

《第03章曲线拟合的最小二乘法优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第03章曲线拟合的最小二乘法优秀PPT.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第03章曲线拟章曲线拟合的最小二乘合的最小二乘法法现在学习的是第1页，共45页本章内容本章内容n3.1 引言引言n3.2 什么是最小二乘法什么是最小二乘法n3.3 最小二乘解的求法最小二乘解的求法n3.4 加权最小二乘法加权最小二乘法n小结小结n作业与实验作业与实验2现在学习的是第2页，共45页本章要求本章要求n1.熟悉插值法和拟合法的区别；熟悉插值法和拟合法的区别；n2.了解偏差的概念了解偏差的概念;n3.掌握使用最小二乘法进行数据拟合。掌握使用最小二乘法进行数据拟合。3现在学习的是第3页，共45页3.1 引言引言n本节内容本节内容一一.问题提出问题提出二二.科学计算中两类逼近问题科学计算

2、中两类逼近问题三三.多项式逼近多项式逼近四四.函数逼近问题描述函数逼近问题描述五五.插值和拟合的概念与区别插值和拟合的概念与区别返回章节目录返回章节目录4现在学习的是第4页，共45页3.1 引言引言n一一.问题提出问题提出某种合成纤维的强度与其拉伸倍数有直接关系，某种合成纤维的强度与其拉伸倍数有直接关系，下表是实际测定的下表是实际测定的 24 个纤维样品的强度与相应个纤维样品的强度与相应拉伸倍数的记录。拉伸倍数的记录。提示：将拉伸倍数作为提示：将拉伸倍数作为 x，强度作为，强度作为 y，在座标，在座标纸上标出各点，可以发现什么纸上标出各点，可以发现什么?5现在学习的是第5页，共45页3.1 引

3、言引言6现在学习的是第6页，共45页3.1 引言引言从图中可以看出从图中可以看出,纤维纤维强度与拉伸倍数大致成强度与拉伸倍数大致成线形关系线形关系,并且并且 24 个点个点大致分布在一条直线大致分布在一条直线附近附近,可用一条直线来可用一条直线来表示两者之间的关系。表示两者之间的关系。解：设解：设 y*=a+bxi 我们希望我们希望y*=a+bxi与所有的数据点与所有的数据点(样本点样本点)(xi,yi)越接近越好。即令越接近越好。即令=yi-y*i最小。必须找到一种最小。必须找到一种度量标准度量标准来衡量什么曲线来衡量什么曲线最接近所有数据点最接近所有数据点。7现在学习的是第7页，共45页3

4、.1 引言引言n二二.科学计算中科学计算中两类逼近两类逼近问题：问题：1、关于、关于数学函数数学函数的逼近问题：的逼近问题：计算机只能做计算机只能做算术运算算术运算，因此，在计算机上计算数，因此，在计算机上计算数学函数必须用其它学函数必须用其它简单的函数简单的函数来逼近，且用它来代替来逼近，且用它来代替原来精确的数学函数的计算。原来精确的数学函数的计算。如：如：f(x)=sin(x)用用 代替等。代替等。函数逼近的特点：函数逼近的特点：（1）要求高精度逼近；）要求高精度逼近；（2）要求快速计算（计算量要小）。）要求快速计算（计算量要小）。无穷级数与函数逼近8现在学习的是第8页，共45页3.1

5、引言引言2、建立、建立实验数据实验数据的数学模型：的数学模型：给定函数的实验数据，需要用给定函数的实验数据，需要用较简单和合适较简单和合适的函数的函数来逼近（或来逼近（或拟合拟合实验数据）实验数据）例：已知例：已知 y=f(x)实验数据实验数据 希望建立希望建立y=f(x)数学模型（近似表达式）数学模型（近似表达式）数据逼近的特点：数据逼近的特点：（1）要求适度的精度；）要求适度的精度；（2）实验数据有小的误差；）实验数据有小的误差；（3）有些问题会有特殊信息来选择数学模型。）有些问题会有特殊信息来选择数学模型。9现在学习的是第9页，共45页3.1 引言引言n三三.多项式逼近（已学过）多项式逼

6、近（已学过）1、Taylor多项式逼近函数（在多项式逼近函数（在xx0点）点）（详见教材（详见教材P88）n例：教材例：教材89例例12、插值多项式逼近函数、插值多项式逼近函数 （详见教材（详见教材P88，另教材第，另教材第2章）章）P88?10现在学习的是第10页，共45页3.1 引言引言n四四.函数逼近问题描述函数逼近问题描述设设f(x)为为a,b上连续函数上连续函数,寻求一个近似函数寻求一个近似函数P(x)(多项式多项式)使在使在a,b上均匀逼近上均匀逼近f(x)。11现在学习的是第11页，共45页3.1 引言引言n五五.插值和拟合的概念与区别插值和拟合的概念与区别插值法是使用插值多项式

7、来逼近未知或复杂函数的插值法是使用插值多项式来逼近未知或复杂函数的,它要求插值函数与被插函数在它要求插值函数与被插函数在插值节点上函数值相同插值节点上函数值相同,而在其他点上没有要求。在非插值节点上有时函数而在其他点上没有要求。在非插值节点上有时函数值会相差很大。值会相差很大。最佳逼近问题要求在被插函数的最佳逼近问题要求在被插函数的定义区间上定义区间上,所选近似所选近似函数都能与被插函数有函数都能与被插函数有较好的近似较好的近似。最佳逼近是在函数空间最佳逼近是在函数空间 M中选中选 P(x)满足满足12现在学习的是第12页，共45页3.1 引言引言但由于绝对值函数不宜进行分析运算但由于绝对值函

8、数不宜进行分析运算,常将上式化为常将上式化为 来讨论来讨论,于是最佳逼近问题变为于是最佳逼近问题变为最佳平方逼近最佳平方逼近问题问题,而离散的最佳平方逼进问题就是常说的而离散的最佳平方逼进问题就是常说的曲线拟合曲线拟合 它们都可用最小二乘法求解。它们都可用最小二乘法求解。插值法插值法适用于适用于数据精确或可靠度较高的情况数据精确或可靠度较高的情况 曲线拟合法曲线拟合法适用于适用于数据本身就有误差的情况数据本身就有误差的情况13现在学习的是第13页，共45页3.2 什么是最小二乘法什么是最小二乘法n本节内容本节内容一一.问题背景问题背景二二.偏差的概念偏差的概念三三.最小二乘原则最小二乘原则四四

9、.最小二乘法最小二乘法返回章节目录返回章节目录14现在学习的是第14页，共45页3.2 什么是最小二乘法什么是最小二乘法n一一.问题背景问题背景科学实验，统计分析，获得大量数据科学实验，统计分析，获得大量数据15现在学习的是第15页，共45页3.2 什么是最小二乘法什么是最小二乘法 16现在学习的是第16页，共45页3.2 什么是最小二乘法什么是最小二乘法当当数据量特别大时数据量特别大时一般不用插值法。这是因为数据量很大一般不用插值法。这是因为数据量很大时所求插值曲线中的未知参数就很多，而且数据量很大时，时所求插值曲线中的未知参数就很多，而且数据量很大时，多项式插值会出现高次插值（效果不理想）

10、或分段低次插多项式插值会出现高次插值（效果不理想）或分段低次插值（精度不高）；另外，测量数据本身往往就有误差，所值（精度不高）；另外，测量数据本身往往就有误差，所以，使插值曲线刻意经过这些点也不必要。以，使插值曲线刻意经过这些点也不必要。而曲线拟合是，首先根据物理规律或描点画草图确定一条而曲线拟合是，首先根据物理规律或描点画草图确定一条用来拟合的函数曲线形式，也可选择低次多项式形式（所用来拟合的函数曲线形式，也可选择低次多项式形式（所含参数比较少），然后按最小二乘法求出该曲线，它未必含参数比较少），然后按最小二乘法求出该曲线，它未必经过所有已知点，但它能反映出数据的基本趋势，且误差经过所有已知

11、点，但它能反映出数据的基本趋势，且误差最小，效果比较好。最小，效果比较好。17现在学习的是第17页，共45页3.2 什么是最小二乘法什么是最小二乘法n二二.偏差（残差）的概念偏差（残差）的概念在回归分析中称为残差在回归分析中称为残差仍然是已知仍然是已知 x1 xm;y1 ym,求一个简单易算求一个简单易算的近似函数的近似函数 y(x)f(x)。但是但是 m 很大；很大；i 本身是测量值本身是测量值,不准确不准确,即即i f(xi)这时没必要取这时没必要取 (xi)=yi,而要使而要使 (xi)yi 总体总体上尽可能小。上尽可能小。P7118现在学习的是第18页，共45页3.2 什么是最小二乘法

12、什么是最小二乘法 常见做法：常见做法：使使 最小最小/*minimax problem*/偏差最大绝对值最小偏差最大绝对值最小 使使 最小最小 偏差绝对值之和偏差绝对值之和使使 最小最小 /*Least-Squares method*/偏差平方和最小偏差平方和最小 太复杂不可导，求解困难19现在学习的是第19页，共45页3.2 什么是最小二乘法什么是最小二乘法n三三.最小二乘原则最小二乘原则1.最小二乘原则最小二乘原则n使使偏差平方和最小偏差平方和最小（上页中方法（上页中方法3）的原则称为）的原则称为最小最小二乘原则二乘原则；2.最小二乘法最小二乘法n按最小二乘原则选择拟合曲线按最小二乘原则选

13、择拟合曲线y=(x)的方法的方法P7120现在学习的是第20页，共45页3.2 什么是最小二乘法什么是最小二乘法n四四.最小二乘法最小二乘法P7221现在学习的是第21页，共45页3.2 什么是最小二乘法什么是最小二乘法22现在学习的是第22页，共45页3.3 最小二乘解的求法最小二乘解的求法n本节内容本节内容一一.最小二乘解的求法最小二乘解的求法二二.最小二乘拟合多项式的存在唯一性最小二乘拟合多项式的存在唯一性三三.一般最小二乘拟合一般最小二乘拟合返回章节目录返回章节目录23现在学习的是第23页，共45页3.3 最小二乘解的求法最小二乘解的求法n一一.最小二乘解的求法最小二乘解的求法24现在

14、学习的是第24页，共45页3.3 最小二乘解的求法最小二乘解的求法P73 3.3.225现在学习的是第25页，共45页3.3 最小二乘解的求法最小二乘解的求法26现在学习的是第26页，共45页3.3 最小二乘解的求法最小二乘解的求法P74 m次多项式拟合27现在学习的是第27页，共45页3.3 最小二乘解的求法最小二乘解的求法（1）直线拟合（一次多项式拟合）直线拟合（一次多项式拟合）若若 ，a0,a1满足法方程组满足法方程组 即即a0,a1是法方程组的解。是法方程组的解。28现在学习的是第28页，共45页3.3 最小二乘解的求法最小二乘解的求法例例1 已知一组试验数据已知一组试验数据试用试用直

15、线拟合直线拟合这组数据这组数据.(计算过程保留计算过程保留3位小数位小数)。解解 设直线设直线ya0+a1x，那么，那么a0,a1满足的法方程组公式为满足的法方程组公式为29现在学习的是第29页，共45页故法方程组为故法方程组为解得解得a0=1.229 a1=1.483 所求直线方程为所求直线方程为 y=1.229+1.483x 3.3 最小二乘解的求法最小二乘解的求法计算列表如下：计算列表如下：30现在学习的是第30页，共45页3.3 最小二乘解的求法最小二乘解的求法（2）二次多项式拟合）二次多项式拟合 若若 满足法方程组满足法方程组 即即a0,a1,a2是法方程组的解。是法方程组的解。31

16、现在学习的是第31页，共45页3.3 最小二乘解的求法最小二乘解的求法例例2 已知一组试验数据已知一组试验数据 试用试用二次多项式二次多项式拟合这组数据拟合这组数据.(计算过程保留计算过程保留2位小数位小数)解解 设设 满足的法方程组满足的法方程组32现在学习的是第32页，共45页3.3 最小二乘解的求法最小二乘解的求法计算列表如下：计算列表如下：33现在学习的是第33页，共45页3.3 最小二乘解的求法最小二乘解的求法故法方程组为故法方程组为解得解得a0=5.05 a1=-4.04 a2=1.01所求二次多项式为所求二次多项式为 y=5.054.04x+1.01x234现在学习的是第34页，

17、共45页3.3 最小二乘解的求法最小二乘解的求法n二二.最小二乘拟合多项式的存在唯一性最小二乘拟合多项式的存在唯一性 定理：设点定理：设点x0,x1,xm互异，则法方程组互异，则法方程组 存在唯一的一组解存在唯一的一组解 证明：用反证法（略）证明：用反证法（略）35现在学习的是第35页，共45页3.3 最小二乘解的求法最小二乘解的求法n三三.一般最小二乘拟合一般最小二乘拟合36现在学习的是第36页，共45页3.3 最小二乘解的求法最小二乘解的求法两种非线性最小二乘问题的求解途径两种非线性最小二乘问题的求解途径 （1）化为线性最小二乘问题）化为线性最小二乘问题 部分可化为线性拟合问题的常见函数类

18、型见部分可化为线性拟合问题的常见函数类型见下页表下页表 （2）马奎特（）马奎特（Marquardt）方法）方法 是在计算机上求解非线性最小二乘拟合问题是在计算机上求解非线性最小二乘拟合问题的最为常用和有效的方法之一。（略）的最为常用和有效的方法之一。（略）37现在学习的是第37页，共45页3.3 最小二乘解的求法最小二乘解的求法38现在学习的是第38页，共45页3.4 加权最小二乘法加权最小二乘法n本节内容本节内容一一.加权最小二乘法加权最小二乘法二二.例例返回章节目录返回章节目录39现在学习的是第39页，共45页3.4 加权最小二乘法加权最小二乘法n一一.加权最小二乘法加权最小二乘法 重度：

19、即权重或者密度，统称为重度：即权重或者密度，统称为权系数权系数。它的大小反。它的大小反映了数据（映了数据（xi,yi）地位的强弱。）地位的强弱。定义加权平方误差为：定义加权平方误差为：40现在学习的是第40页，共45页3.4 加权最小二乘法加权最小二乘法41现在学习的是第41页，共45页3.4 加权最小二乘法加权最小二乘法n二二.例例 例例3 已知一组实验数据（已知一组实验数据（xi,yi）及权）及权 Wi 如表所示。若如表所示。若 x 与与 y 之间有线性关系之间有线性关系ya+bx，试用最小二乘法确试用最小二乘法确定系数定系数 a 和和 b。P8442现在学习的是第42页，共45页3.4

20、加权最小二乘法加权最小二乘法n解解 因拟合曲线为一次多项式曲线（直线）因拟合曲线为一次多项式曲线（直线）1(x)=a+bx，故相应的法方程组形式如，故相应的法方程组形式如式式。将表中各已知数据代入即得法方程组将表中各已知数据代入即得法方程组 解之得解之得43现在学习的是第43页，共45页小结小结n3.1 引言引言n3.2 什么是最小二乘法什么是最小二乘法n3.3 最小二乘解的求法最小二乘解的求法n3.4 加权最小二乘法加权最小二乘法44现在学习的是第44页，共45页作业与实验作业与实验n作业（上作业本）：作业（上作业本）：习题三（习题三（P89P89）：）：1 1、3 3n实验实验实验名称：实验二实验名称：实验二 最小二乘法最小二乘法实验目的：验证多项式曲线拟合的最小二乘解，进一步加深对最实验目的：验证多项式曲线拟合的最小二乘解，进一步加深对最小二乘法的理解。小二乘法的理解。实验日期：实验日期：n0909计计1111：5 5月月1313日（周五）日（周五）7 7、8 8节、节、2020日（周五）日（周五）7 7、8 8节节n0909计计6161：5 5月月1010日（周二）日（周二）1 1、2 2节、节、1717日（周二）日（周二）1 1、2 2节节具体要求见另外文档具体要求见另外文档45现在学习的是第45页，共45页