数值分析之最小二乘法与最佳一致逼近.ppt

《数值分析之最小二乘法与最佳一致逼近.ppt》由会员分享，可在线阅读，更多相关《数值分析之最小二乘法与最佳一致逼近.ppt（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 4 曲线拟合的最小二乘法曲线拟合的最小二乘法 1 最小二乘法及其计算最小二乘法及其计算 在函数的最佳平方逼近中 如果 只在一组离散点集 上给定，这就是科学实验中经常见到的实验数据 的曲线拟合.1 记误差 则 的各分量分别为 个数据点上的误差.问题为利用 求出一个函数与所给数据 拟合.2 设 是 上线性无关函数族，在 中找一函数 ，使误差平方和这里 3 这个问题称为最小二乘逼近，几何上称为曲线拟合的最小二乘法.用最小二乘求拟合曲线时,首先要确定 的形式.确定 的形式问题不仅是数学问题,还与问题的实际背景有关.通常要用问题的运动规律及给定的数据进行数据描图,确定 的形式,然后通过实际计算选出较好

2、的结果.4 为了使问题的提法更有一般性，通常在最小二乘法中考虑加权平方和 这里 是 上的权函数，它表示不同点 处的数据比重不同.就是 次多项式.若 是 次多项式，的一般表达式为线性形式.5 这样，最小二乘问题就转化为求多元函数 的极小点 问题.用最小二乘法求拟合曲线的问题，就是在 中求一函数 ，由求多元函数极值的必要条件，有 使误差取得最小.6若记 上式可改写为 这个方程称为法方程法方程，可写成矩阵形式7其中 要使法方程有唯一解，就要求矩阵 非奇异，而 在 上线性无关不能推出矩阵 非奇异，必须加上另外的条件.8 显然 在任意 个点上满足哈尔条件.哈尔条件，则法方程 的系数矩阵 非奇异，如果 在

3、 上满足函数 的最小二乘解为定义定义1010设 的任意线性组合在点集 上至多只有 个不同的零点，则称 在点集 上满足哈尔哈尔(Haar)条件条件.方程存在唯一的解从而得到于是9这样得到的 ，对任何的 都有故 确是所求最小二乘解.10一般可取 ，但这样做当 时，通常对 的简单情形都可通过求法方程得到 给定 的离散数据 ，求解法方程时将出现系数矩阵 为病态的问题，我们在下面考虑用正交多项式的方法解决。用正交多项式的方法解决。11 例例1 1已知一组实验数据如下，求它的拟合曲线.12 解解 从图中看到各点在一条直线附近，故可选择线性函数作拟合曲线，将所给数据在坐标纸上标出，见图3-4.图3-413

4、令这里故 14解得可得方程组 于是所求拟合曲线为15 关于多项式拟合，Matlab中有现成的程序 其中输入参数 为要拟合的数据，为拟合多项式的次数，输出参数 为拟合多项式的系数.利用下面的程序，可在Matlab中完成上例的多项式拟合.16x=1 1 2 3 3 3 4 5;f=4 4 4.5 6 6 6 8 8.5;aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,r+,x,y,k)xlabel(x);ylabel(y);gtext(y=s1(x)）17结果如下：18有时根据给定数据图形，其拟合函数 表面上不是线性模型的形式，但通过变换仍可化为线性模型.例如，若两

5、边取对数得此时，若令 这样就变成了线性模型.19 例例2 2设数据 由表3-1给出，用最小二乘法确定 及 .解解表中第4行为通过描点可以看出数学模型为它不是线性形式.用给定数据描图可确定拟合曲线方程为两边取对数得20 若令先将 转化为为确定 ，根据最小二乘法，取 则得数据表见表3-1.得21故有法方程 解得 于是得最小二乘拟合曲线为 22 利用下面的程序，可在Matlab中完成曲线拟合.x=1.00 1.25 1.50 1.75 2.00;y=5.10 5.79 6.53 7.45 8.46;y1=log(y);aa=poly(x,y1,1);a=aa(1);b=exp(aa(2);y2=b*

6、exp(a*x);plot(x,y,r+,x,y2,k)xlabel(x);ylabel(y);gtext(y=a*exp(bx);23结果如下：24 2 用正交多项式做最小二乘拟合用正交多项式做最小二乘拟合 如果 是关于点集 用最小二乘法得到的法方程组，其系数矩阵 是病态的.带权 正交的函数族，即（5.6）25则方程的解为 且平方误差为 26 接下来根据给定节点 及权函数 构造带权 正交的多项式 .注意 ，用递推公式表示 ，即这里 是首项系数为1的 次多项式，根据 的正交性，得27 下面用归纳法证明这样给出的 是正交的.28 假定 对 及要证 对 均成立.有 由 的表达式，有 均成立，29

7、而 ，当 时，另外，是首项系数为1的 次多项式，它可由由归纳法假定，当 时的线性组合表示.由归纳法假定又有30由假定有 再考虑 利用 表达式及以上结果，得 31至此已证明了此多项式 组成一个关于点集 的正交系.用正交多项式 的线性组合作最小二乘曲线拟合，只要根据公逐步求 的同时，相应计算出系数最后，由 和 的表达式（5.11）有 32并逐步把 累加到 中去，最后就可得到所求的 用这种方法编程序不用解方程组，只用递推公式，并且当逼近次数增加一次时，只要把程序中循环数加1，其余不用改变.这里 可事先给定或在计算过程中根据误差确定.拟合曲线33以上述例1为例 先求正交系 34例3设X=1.00,1.

8、25,1.50,1.75,2.00,在X上定义内积 5 (f,g)=xi f(xi)g(xi)i=1 1)在函数系 1,x2中求一个X上的正交函数系.2)用最小二乘法求一个形如y=a+bx2的经验公式，使它与下列数据拟合.xiyi 3536375 最佳一致逼近多项式最佳一致逼近多项式 1.基本概念及其理论基本概念及其理论 设 在 中求多项式这就是最佳一致逼近或切比雪夫逼近问题.使其误差38使误差 对连续函数 ，它不能用有限个线性无关的函数表示，故 是无限维的，但它的任一元素 均可用有限维的 逼近，(为任给的小正数)，这就是著名的魏尔斯特拉斯定理.39使 定理定理1 1总存在一设 ，则对任何 ，

9、个代数多项式 ，在 上一致成立.伯恩斯坦1912年给出的证明是一种构造性证明.他根据函数整体逼近的特性构造出伯恩斯坦多项式 40 为二项式展开系数，并证明了在 上一致成立；若 在 上 阶导数连续，则其中 这个结果不但证明了定理1，而且给出了 的一个逼近多项式.41定理定理2(最佳一致逼近的存在性）最佳一致逼近的存在性）设设f(x)在在a,b上连续，则存在上连续，则存在pn*(x)Hn使使下面研究求下面研究求pn*(x)的方法定义：设定义：设f(x)Ca,b,p(x)Hn,若若x=x0时时则称则称x0为为p(x)的偏差点的偏差点.42要证明的是这样的点组称为切比雪夫交错点组切比雪夫交错点组.证明

10、证明 假定在 上有 个点使上式成立，定理定理3 3即有 个点 ，“负”的偏差点，在 上至少有 个轮流为“正”、是 的最佳逼近多项式的充分必要条件是使是 在 上的最佳逼近多项式.只证充分性.43 用反证法，若存在 ，由于 故 也在 个点上轮流取“+”、“-”号.使 由连续函数性质，它在 内有 个零点，但因 是不超过 次的多项式，不能超过 .所以它的零点个数在点 上的符号与一致，44 这说明假设不对，故 就是所求最佳逼近多项式.必要性证明略.推论推论1 1 若 ，充分性得证.则在 中存在唯一的最佳逼近多项式.45 零偏差最小问题46 证明证明且点 是 的切比雪夫交错点组，定理定理4 4在区间 上所

11、有最高次项系数为1的 次多项式中，与零的偏差最小，其偏差为由于47由定理3可知，即 是与零的偏差最小的多项式.区间 上 在 中最佳逼近多项式为定理得证.48由定理6可知，多项式 与零偏差最小，解解由题意，所求最佳逼近多项式 应满足当时，故例例3 3求 在 上的最佳2次逼近多项式.49就是 在 上的最佳2次逼近多项式.50 2 最佳一次逼近多项式最佳一次逼近多项式 定理3给出了 的特性，这里讨论具体求法.先讨论 的情形.假定且 在 内不变号，根据定理3可知,至少有3个点求最佳一次逼近多项式 .我们要51即 .由于 在 上不变号，故 单调，在 内只有一个零点，记为 ，另外两个偏差点必是区间端点，即 且 由此得到 于是满足52解出 代入得 这就得到最佳一次逼近多项式 ，其几何意义如图3-3.53 直线 与弦MN平行，且通过MQ的中点D，图3-3其方程为54由 可算出 例例1 1求 在 上的最佳一次逼近多项式.解解又 由 得 故解得55即 误差限为 于是得 的最佳一次逼近多项式为 56在上式中若令则从而可得一个求根式的公式57