最小二乘法与曲线拟合精选PPT.ppt
关于最小二乘法与曲线拟合第1页，讲稿共39张，创作于星期二 如果已知函数如果已知函数f(x)f(x)在若干点在若干点x xi i(i=1,2,n)(i=1,2,n)处处的值的值y yi i,便可根据插值原理来建立插值多项式作为便可根据插值原理来建立插值多项式作为f(x)f(x)的的近似。但在科学实验和生产实践中，往往会遇到这样一种情近似。但在科学实验和生产实践中，往往会遇到这样一种情况，即节点上的函数值并不是很精确的，这些函数值是由实况，即节点上的函数值并不是很精确的，这些函数值是由实验或观测得到的数据，不可避免地带有测量误差，如果要求验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的点所得的近似函数曲线精确无误地通过所有的点(x(xi i,y,yi i),),就会就会使曲线保留着一切测试误差。使曲线保留着一切测试误差。最小二乘法与曲线拟合最小二乘法与曲线拟合第2页，讲稿共39张，创作于星期二为此为此,我们希望从给定的数据我们希望从给定的数据(x(xi i,y,yi i)出发出发,构造一个近似函数构造一个近似函数 ,不要求函数不要求函数 完全通过所有的数据点，只要求所得的完全通过所有的数据点，只要求所得的近似曲线能反映数据的基本趋势，近似曲线能反映数据的基本趋势，如图如图5-75-7所示。所示。图图5-7 5-7 曲线拟合示意图曲线拟合示意图 第3页，讲稿共39张，创作于星期二也就是说拟合函数也就是说拟合函数 在在xi处的偏差处的偏差(亦称残差）亦称残差）不都严格地等于零。不都严格地等于零。即为矛盾方程组。即为矛盾方程组。曲线拟合函数曲线拟合函数 不要求严格地通过所有数据点不要求严格地通过所有数据点 但是但是,为了使近似曲线能尽量反映所给数据点的为了使近似曲线能尽量反映所给数据点的变化趋势变化趋势,要求要求 按某种度量标准最小。若记向量按某种度量标准最小。若记向量即要求向量即要求向量 的某种范数的某种范数 最小最小,如如 的的1-1-范数范数 或或-范数范数第4页，讲稿共39张，创作于星期二即即 为最小。这种要求误差（偏差）平方和最小的拟合称为最小。这种要求误差（偏差）平方和最小的拟合称为曲线拟合的最小二乘法。为曲线拟合的最小二乘法。为了便于计算、分析与应用，通常要求为了便于计算、分析与应用，通常要求 的的2-2-范数范数 实质仍然是求矛盾方程组的最小二乘解。实质仍然是求矛盾方程组的最小二乘解。第5页，讲稿共39张，创作于星期二作拟合直线作拟合直线（1 1）直线拟合）直线拟合该直线不是通过所有的数据点该直线不是通过所有的数据点 ,而是使偏差平方和而是使偏差平方和设已知数据点设已知数据点 ,分布大致为一条直线。分布大致为一条直线。为最小，为最小，第6页，讲稿共39张，创作于星期二其中每组数据与拟合曲线的偏差为其中每组数据与拟合曲线的偏差为根据最小二乘原理，应取根据最小二乘原理，应取 和和 使使 有极有极小值，小值，故故 和和 应满足下列条件：应满足下列条件：解法一：解法一：第7页，讲稿共39张，创作于星期二即得如下正规方程组即得如下正规方程组求解该方程组，解得求解该方程组，解得代人代人 即得拟合曲线。即得拟合曲线。第8页，讲稿共39张，创作于星期二也可将条件带入构成矛盾方程组也可将条件带入构成矛盾方程组其中其中利用利用解法二：解法二：第9页，讲稿共39张，创作于星期二即得如下正规方程组即得如下正规方程组求解该方程组，解得求解该方程组，解得代人代人 即得拟合曲线。即得拟合曲线。第10页，讲稿共39张，创作于星期二例：某种合成纤维的强度与其拉伸倍数有直接关例：某种合成纤维的强度与其拉伸倍数有直接关系，下表是实际测定的系，下表是实际测定的2424个纤维样品的强度与个纤维样品的强度与相应拉伸倍数的记录。试确定这种关系。相应拉伸倍数的记录。试确定这种关系。第11页，讲稿共39张，创作于星期二（提示：将拉伸倍数作为（提示：将拉伸倍数作为x,x,强度作为强度作为y,y,在座标纸上标出各点，可以发现什么在座标纸上标出各点，可以发现什么?）第12页，讲稿共39张，创作于星期二解：设解：设 y=a+bx从上图中可以看出强度与拉伸倍数大致成线形关系，从上图中可以看出强度与拉伸倍数大致成线形关系，可用一条直线来表示两者之间的关系。可用一条直线来表示两者之间的关系。则：则：第13页，讲稿共39张，创作于星期二解得：解得：a=0.15,b=0.859 直线方程为：直线方程为：y=0.15+0.859x计算出它的正规方程得计算出它的正规方程得第14页，讲稿共39张，创作于星期二 1 2 3 4 1 2 3 4 1.36 1.37 1.95 2.28 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963 14.094 16.844 18.475 20.963 用最小二乘法求以上数据的拟合函数用最小二乘法求以上数据的拟合函数 例例 设有某实验数据如下：设有某实验数据如下：解解:把表中所给数据画在坐标纸上把表中所给数据画在坐标纸上,将会看到数据点的分将会看到数据点的分布可以用一条直线来近似地描述布可以用一条直线来近似地描述,第15页，讲稿共39张，创作于星期二设所求的设所求的拟合直线为拟合直线为则正规方程组为则正规方程组为第16页，讲稿共39张，创作于星期二解得解得即得拟合直线即得拟合直线 将以上数据代入上式正规方程组将以上数据代入上式正规方程组,得得其中其中 第17页，讲稿共39张，创作于星期二（2 2）多项式拟合）多项式拟合 有有时时所所给给数数据据点点的的分分布布并并不不一一定定近近似似地地呈呈一一条条直直线线,这时仍用直线拟合显然是不合适的这时仍用直线拟合显然是不合适的,可用多项式拟合。可用多项式拟合。对于给定的一组数据，对于给定的一组数据，寻求次数不超过寻求次数不超过m(mn)的多项式，的多项式，第18页，讲稿共39张，创作于星期二来拟合所给定的数据，与线性拟合类似，使偏差的来拟合所给定的数据，与线性拟合类似，使偏差的平方和平方和为最小为最小第19页，讲稿共39张，创作于星期二由由于于Q可可以以看看作作是是关关于于 (j=0,1,2,j=0,1,2,m)m)的的多多元元函函数数,故故上上述述拟拟合合多多项项式式的的构构造造问问题题可可归归结结为为多多元元函函数数的的极值问题。令极值问题。令得得第20页，讲稿共39张，创作于星期二即有即有这是关于系数这是关于系数 的线性方程组的线性方程组正则方程组正则方程组第21页，讲稿共39张，创作于星期二也可利用矛盾方程组来做也可利用矛盾方程组来做第22页，讲稿共39张，创作于星期二即有即有利用利用第23页，讲稿共39张，创作于星期二1 2 3 4 5 61 2 3 4 5 60 1 2 3 4 50 1 2 3 4 55 2 1 1 2 35 2 1 1 2 3用最小二乘法求一个多项式拟合这组数据用最小二乘法求一个多项式拟合这组数据 例例 设某实验数据如下：设某实验数据如下：解：将已给数据点描在坐标系中，可以看出这些点解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为接近一条抛物线，因此设所求的多项式为第24页，讲稿共39张，创作于星期二由法方程组（由法方程组（5.465.46）,n=6,经计算得经计算得 其法方程组为其法方程组为 第25页，讲稿共39张，创作于星期二解之得解之得所求的多项式为所求的多项式为第26页，讲稿共39张，创作于星期二例1 设函数y=f(x)的离散数据如下表所示01234500.20.40.60.811.0001.2211.4921.8222.2262.718试用二次多项式拟和上述数据解：设第27页，讲稿共39张，创作于星期二则第28页，讲稿共39张，创作于星期二由 可得第29页，讲稿共39张，创作于星期二例：试用最小二乘法求形如例：试用最小二乘法求形如 的多项式，的多项式，使之与下列数据拟合。使之与下列数据拟合。1234529163052解：解：由题目可知：由题目可知：第30页，讲稿共39张，创作于星期二由 可得第31页，讲稿共39张，创作于星期二（3 3）可化为线性拟合的非线性拟合）可化为线性拟合的非线性拟合1 2 3 4 5 61 2 3 4 5 60 0.5 1 1.5 2 2.50 0.5 1 1.5 2 2.52.0 1.0 0.9 0.6 0.4 0.32.0 1.0 0.9 0.6 0.4 0.3用最小二乘法求拟合曲线用最小二乘法求拟合曲线 例例 设某实验数据如下设某实验数据如下:解解:将已给数据点描在坐标系中下图所示将已给数据点描在坐标系中下图所示,第32页，讲稿共39张，创作于星期二可以看出这些点接近指数曲线可以看出这些点接近指数曲线,因而可取指数函数因而可取指数函数作为拟合函数：作为拟合函数：对函数对函数 两边取对数得两边取对数得.令令 则就得到线性模型则就得到线性模型得得第33页，讲稿共39张，创作于星期二则正规方程组为则正规方程组为其中其中第34页，讲稿共39张，创作于星期二将以上数据代入上式正规方程组，得将以上数据代入上式正规方程组，得解得解得第35页，讲稿共39张，创作于星期二由由 得得于是得到拟合指数函数为于是得到拟合指数函数为 由由 得得 第36页，讲稿共39张，创作于星期二 有些非线性拟合曲线可以通过适当的变量替换有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理，对于转化为线性曲线，从而用线性拟合进行处理，对于一个实际的曲线拟合问题，一般先按观测值在直角一个实际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点的分布同哪类坐标平面上描出散点图，看一看散点的分布同哪类曲线图形接近，然后选用相接近的曲线拟合方程。曲线图形接近，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性拟合问题，按线再通过适当的变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方性拟合解出后再还原为原变量所表示的曲线拟合方程。程。第37页，讲稿共39张，创作于星期二下表列举了几类经适当变换后化为线性拟合求解的下表列举了几类经适当变换后化为线性拟合求解的曲线拟合方程及变换关系曲线拟合方程及变换关系 第38页，讲稿共39张，创作于星期二感谢大家观看第39页，讲稿共39张，创作于星期二
