数值分析最小二乘法幻灯片.ppt

《数值分析最小二乘法幻灯片.ppt》由会员分享，可在线阅读，更多相关《数值分析最小二乘法幻灯片.ppt（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1页，共29页，编辑于2022年，星期六一、最小二乘法的定义一、最小二乘法的定义1.“曲线拟合曲线拟合”问题问题已已知知：一一组组实实验验数数据据（xi，yi）(i=0,1,m)，且观测数据有误差且观测数据有误差求求：自自变变量量x与与因因变变量量y之之间间的的函函数数关关系系y=F(x)，不不要要求求y=F(x)经经过过所所有有点点，而而只只要要求求在在给给定定点点上误差上误差按按某种标准某种标准最小。最小。第2页，共29页，编辑于2022年，星期六(1)使残差的最大绝对值为最小使残差的最大绝对值为最小(2)使残差的绝对值之和为最小使残差的绝对值之和为最小(3)使残差的平方和为最小使残差的

2、平方和为最小最小二乘法度度量量标标准准不不同同，将将导导致致不不同同的的拟拟合合结结果果，常常用用的的准准则有如下三种：则有如下三种：第3页，共29页，编辑于2022年，星期六2.多项式拟合的一般定义多项式拟合的一般定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求：在函数类在函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小，即即这里这里第4页，共29页，编辑于2022年，星期六3.一般定义一般定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求：在函数类在函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小

3、，即即这里这里第5页，共29页，编辑于2022年，星期六4.广义定义广义定义通常把最小二乘法通常把最小二乘法 都考虑为加权平方和都考虑为加权平方和 即即其中其中注：权函数在实际问题中有重要作用！注：权函数在实际问题中有重要作用！第6页，共29页，编辑于2022年，星期六二、求解方法二、求解方法求求S S*(x)(x)求如下多元函数的最小值求如下多元函数的最小值由由多多元元函函数数求求极极值值的的必必要条件要条件第7页，共29页，编辑于2022年，星期六展开展开法方程法方程第8页，共29页，编辑于2022年，星期六解方程组解方程组第9页，共29页，编辑于2022年，星期六三、求解步骤三、求解步骤

4、确定拟合曲线的形式确定拟合曲线的形式确定变量对应的数据确定变量对应的数据确定法方程确定法方程求解法方程求解法方程最困难！最困难！第10页，共29页，编辑于2022年，星期六四、举例四、举例例例1.已知一组实验数据如下，求它的拟合曲线已知一组实验数据如下，求它的拟合曲线.xi12345fi44.5688.5i21311解解根根据据所所给给数数据据，在在坐坐标标纸纸上上标标出出，从从图图中中看看到到各各点点在在一一条条直直线线附附近近，故故可可选选择择线线性性函数作拟合曲线，即令函数作拟合曲线，即令第11页，共29页，编辑于2022年，星期六得法方程为得法方程为解得解得于是所求拟合曲线为于是所求拟

5、合曲线为第12页，共29页，编辑于2022年，星期六例例2.在在某某化化学学反反应应里里，根根据据实实验验所所得得生生成成物物的的浓浓度度与与时时间间关关系系如如下下表表，求求浓浓度度y与与时时间间t的的拟拟合合曲曲线线y=F(t).t12345678Y4.006.408.008.809.229.509.709.86t910111213141516y10.0010.2010.3210.4210.5010.5510.5810.60第13页，共29页，编辑于2022年，星期六解解根据所给数据，在坐标纸上标出，得下图根据所给数据，在坐标纸上标出，得下图ty从从图图中中可可以以看看出出开开始始时时浓浓

6、度度增增加加较较快快，后后来来逐逐渐渐减减弱弱，到到一一定定时时间间就就基基本本稳稳定定在在一一个个数数值值上上，即即当当t时时，y趋趋于于某某个个常常数数，故故有有一一水水平平渐渐近近线线。另另外外 t=0 时时，反反应应未未开开始始，浓浓度度为为0。概概括括起起来为来为第14页，共29页，编辑于2022年，星期六根据这些条件，可设想两种形式的函数关系：根据这些条件，可设想两种形式的函数关系：y=F(t)是双曲线型是双曲线型y=F(t)是指数形式是指数形式 b0第15页，共29页，编辑于2022年，星期六y=F(t)是双曲线型是双曲线型为了确定为了确定a、b，令，令于是可用于是可用 x 的线

7、性函数的线性函数 拟合拟合数据数据 。可由原始可由原始数据数据 计算出来。计算出来。第16页，共29页，编辑于2022年，星期六可求得可求得 代入法方程得代入法方程得解得解得从而得到从而得到第17页，共29页，编辑于2022年，星期六于于是是由由 计计算算出出 ，拟拟合合数数据据 的曲线仍设为的曲线仍设为y=F(t)是指数形式是指数形式 为了确定为了确定a 与与b，对上式两边取对数得，对上式两边取对数得令令第18页，共29页，编辑于2022年，星期六得法方程得法方程解得解得从而得到从而得到第19页，共29页，编辑于2022年，星期六?请回答请回答:怎样比较这两个数学模型的好坏呢？怎样比较这两个

8、数学模型的好坏呢？答答：只只要要分分别别计计算算这这两两个个数数学学模模型型的的误误差差，从中挑选误差较小的模型即可。从中挑选误差较小的模型即可。第20页，共29页，编辑于2022年，星期六本例经过计算可得本例经过计算可得而均方误差为而均方误差为由此可知第二个模型较好。由此可知第二个模型较好。第21页，共29页，编辑于2022年，星期六结论：结论：选择拟合曲线的数学模型，并不一定开始就能选择拟合曲线的数学模型，并不一定开始就能选好，往往需要通过分析若干模型后，经过实选好，往往需要通过分析若干模型后，经过实际计算才能选到较好的模型，如本例的指数模际计算才能选到较好的模型，如本例的指数模型就比双曲

9、线模型好得多。型就比双曲线模型好得多。第22页，共29页，编辑于2022年，星期六例例3.用最小二乘法解超定方程组用最小二乘法解超定方程组解解欲欲求求（x,y）使使得得其其尽尽可可能能使使四四个个等等式式成成立立，即使即使达到最小达到最小第23页，共29页，编辑于2022年，星期六则（则（x,y）应满足）应满足即即解得解得所以用最小二乘法解得的超定线性方程组的解为所以用最小二乘法解得的超定线性方程组的解为第24页，共29页，编辑于2022年，星期六第三章第三章 补充补充 逼近问题的发展逼近问题的发展第25页，共29页，编辑于2022年，星期六对对基基于于经经验验数数据据估估计计函函数数依依赖赖

10、关关系系的的方方法法的的研研究究（从从实实例例学学习习的的研研究究）已已经经有有很很长长的的历历史史了了。这这些些研研究究是是由由两两个个伟伟大大的的数数学学家家开开始始的的：他他们们是是高高 斯斯（Gauss,1777-1855）和和拉拉 普普 拉拉 斯斯（Laplace,1749-1827），他他们们提提出出了了从从天天文文学学和和物物理理学学中中的的观观测测结结果果估估计计依依赖赖关关系系的的两两种种不不同方法。同方法。逼近问题的发展逼近问题的发展第26页，共29页，编辑于2022年，星期六高高斯斯提提出出了了最最小小二二乘乘法法，而而拉拉普普拉拉斯斯提提出出了了最最小小模模方方法法。从

11、从那那时时起起就就有有了了下下面面的的问问题题：那那种种方方法法更更好好呢呢？在在19世世纪纪和和20世世纪纪初初，人人们们更更趋趋向向于于最最小二乘法。小二乘法。在在1953年年，L.Le Cam定定义义了了ML方方法法一一致致收收敛敛的的一一些些充充分分条条件件后后，人人们们发发现现：如如果果离离散散数数据据点点的的噪噪声声是是服服从从高高斯斯（正正态态）规规律律的的，则则最最小小二二乘乘法法给给出出最最好好的的结结果果；若若噪噪声声是是服服从从拉拉普普拉拉斯斯规规律律的的，则最小模法给出最好的结果。则最小模法给出最好的结果。第27页，共29页，编辑于2022年，星期六 但但遗遗憾憾的的是是，在在实实际际中中噪噪声声的的形形式式往往往往是是未未知知的的。在在上上个个世世纪纪60年年代代，Tukey说说明明了了在在现现实实情情况况中中，噪噪声声的的形形式式与与高高斯斯或或拉拉普普拉拉斯斯规规律律都都相相去去甚甚远。远。回到起点！回到起点！第28页，共29页，编辑于2022年，星期六作业：作业：习题习题 1616，1717，1818(数据有删减数据有删减)第29页，共29页，编辑于2022年，星期六