数值分析函数逼近与最小二乘法幻灯片.ppt

《数值分析函数逼近与最小二乘法幻灯片.ppt》由会员分享，可在线阅读，更多相关《数值分析函数逼近与最小二乘法幻灯片.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数值分析课件函数逼近与最小二乘法数值分析课件函数逼近与最小二乘法第1页，共52页，编辑于2022年，星期六函数逼近函数逼近n问题问题l数值计算中经常要计算函数值，如计算机中计算基本 初等函数及其他特殊函数；(连续情形)l当函数只在有限点集上给定函数值，要在包含该点集 的区间上用公式给出函数的简单表达式.(离散情形)n这些都涉及到在已知区间上用这些都涉及到在已知区间上用简单函数简单函数逼近已逼近已 知复杂函数或未知函数的问题，这就是知复杂函数或未知函数的问题，这就是函数逼函数逼 近问题近问题l插值方法就是一种逼近，要求在给定的节点处插值方法就是一种逼近，要求在给定的节点处P P(x x)与与f

2、f(x x)相等（甚至导数值相等），因此在节点附近，逼近效相等（甚至导数值相等），因此在节点附近，逼近效果较好，而在远离节点的地方，由果较好，而在远离节点的地方，由RungeRunge现象知道，有时效现象知道，有时效果会很差。果会很差。第2页，共52页，编辑于2022年，星期六函数逼近函数逼近l由观测得到的实验数据不可避免地带有误差，甚至是由观测得到的实验数据不可避免地带有误差，甚至是 较大的误差，此时要求近似函数较大的误差，此时要求近似函数P P(x x)过全部已知点，过全部已知点，相当于保留全部数据误差，所以使用插值法不合理。相当于保留全部数据误差，所以使用插值法不合理。l对逼近函数对逼近

3、函数P P(x x)不必要求不必要求过给定的点过给定的点，只要求，只要求总体上 尽可能小，即要求即要求P P(x x)尽可能反映给定数据点的总体尽可能反映给定数据点的总体 趋势，在趋势，在某种意义某种意义（要求或标准）下与函数最（要求或标准）下与函数最“逼近逼近”。函数逼近问题可叙述为函数逼近问题可叙述为函数逼近问题可叙述为函数逼近问题可叙述为：对函数类对函数类对函数类对函数类 A A A A 中给定的函数中给定的函数中给定的函数中给定的函数 f f f f(x x x x)，需要在另一类较简单的便于计算的函数类需要在另一类较简单的便于计算的函数类需要在另一类较简单的便于计算的函数类需要在另一

4、类较简单的便于计算的函数类 B B B B （B B B BA A A A）中，找一）中，找一）中，找一）中，找一个函数个函数个函数个函数P P P P(x x x x)，使，使，使，使P P P P(x x x x)与与与与f f f f(x x x x)之差在某种之差在某种之差在某种之差在某种度量意义度量意义度量意义度量意义下达到最小。下达到最小。下达到最小。下达到最小。第3页，共52页，编辑于2022年，星期六最常见的两种度量标准最常见的两种度量标准l一致逼近（均匀逼近）一致逼近（均匀逼近）以以以以 作为度量误差作为度量误差作为度量误差作为度量误差f f(x)-P(x)的的的的 “大小大

5、小”标准。标准。标准。标准。l l平方逼近（均方逼近）平方逼近（均方逼近）平方逼近（均方逼近）平方逼近（均方逼近）以以以以 作为度量误差作为度量误差作为度量误差作为度量误差f(x x)-)-P(x x)的的的的 “大小大小大小大小”标准。标准。第4页，共52页，编辑于2022年，星期六预备知识预备知识l线性空间、线性相关、线性无关线性空间、线性相关、线性无关l基、维数、有限维空间与无限维空间基、维数、有限维空间与无限维空间l常见线性空间：常见线性空间：Rn、Hn、Ca,b、Cma,b赋范线性空间赋范线性空间Ca,b2-范数：范数：-范数：范数：1-范数范数：线性空间线性空间Ca,b，f(x)C

6、a,b 第5页，共52页，编辑于2022年，星期六(1)(2)(3)(4)，等号当且仅当等号当且仅当u=0时成立时成立内积空间内积空间内积空间内积空间设设X是数域是数域K(R 或或C)上的线性空间，对上的线性空间，对 u,v X 有有K中的一个数中的一个数(u,v)与之对应，且满足与之对应，且满足 称称(u,v)为为X上的内积，定义了内积的线性空间称为上的内积，定义了内积的线性空间称为内积空间内积空间u,v正交正交(u,v)=0第6页，共52页，编辑于2022年，星期六内积空间内积空间定理定理设设X是一个内积空间，对是一个内积空间，对 u,v X 有有Cauchy-Schwarz不等式不等式定

7、理定理设设X是是内积空间，内积空间，u1,u2,un X，定义矩，定义矩阵阵则则G非奇异非奇异当且仅当当且仅当u1,u2,un线性无关。线性无关。Gram矩阵矩阵第7页，共52页，编辑于2022年，星期六内积内积内积导出范数：内积导出范数：例：例：Rn 上的内积：上的内积：导出的范数为导出的范数为加权内积加权内积给定给定正实数正实数 1,2,n,定义定义正实数正实数 1,2,n称为称为加权系数加权系数第8页，共52页，编辑于2022年，星期六内积内积例：例：Cn 上的内积：上的内积：加权内积加权内积 1,2,n为正实数为正实数例：例：Ca,b 上的内积：上的内积：第9页，共52页，编辑于202

8、2年，星期六权函数权函数权函数权函数设设 (x)是是a,b 上的非负函数，满足上的非负函数，满足(1)，存在且为有限值，存在且为有限值(2)对对a,b上的任意非负连续函数上的任意非负连续函数g(x)，则称则称 (x)是是a,b 上一个权函数上一个权函数la,b 可以是无限区间，即可以是无限区间，即a,b 可以是无穷大可以是无穷大l权函数与定义区间有关权函数与定义区间有关若若，则则(k=0,1,2,)第10页，共52页，编辑于2022年，星期六常见的权函数常见的权函数q常见的权函数常见的权函数第11页，共52页，编辑于2022年，星期六带权内积带权内积带权内积带权内积设设 (x)是是a,b 上的

9、权函数，上的权函数，f(x),g(x)Ca,b导出范数导出范数性质性质设设 0,1,n Ca,b，则，则 0,1,n 线线性无关当且仅当性无关当且仅当det(G)0，其中，其中第12页，共52页，编辑于2022年，星期六正交函数族正交函数族定义定义设设f(x),g(x)Ca,b，(x)是是a,b 上的权函上的权函数，若数，若则称则称f(x)与与g(x)在在a,b上上带权带权 (x)正交正交定义定义若函数族若函数族 0(x),1(x),n(x)Ca,b满足满足则称则称 k(x)是是a,b上上带权带权 (x)的正交函数族的正交函数族若所有若所有Ak=1，则称为，则称为标准正交函数族标准正交函数族第

10、13页，共52页，编辑于2022年，星期六举例举例例：例：三角函数系三角函数系1，cosx，sinx，sin2x，cos2x，在在-,上是带权上是带权 (x)=1的正交函数族的正交函数族证：证：(m,n=1,2,3,)(m,n=0,1,2,)第14页，共52页，编辑于2022年，星期六正交多项式正交多项式定义定义设设 n(x)是首项系数不为是首项系数不为0的的n次多项式，若次多项式，若则称则称为为a,b上带权上带权 (x)正交正交称称 n(x)为为n次正交多项式次正交多项式设设是是a,b上带权上带权 (x)的正交多项式族，则的正交多项式族，则 n(x)在在(a,b)内有内有n个不同的零点个不同

11、的零点性质性质 1第15页，共52页，编辑于2022年，星期六正交多项式正交多项式性质性质 2设设是是a,b上带权上带权 (x)的正交多项式族，则的正交多项式族，则对对 p(x)Hn-1，有，有性质性质 3设设是是首项系数为首项系数为1的正交多项式族，则有的正交多项式族，则有其中其中 0(x)=1,1(x)=x，n=1,2,第16页，共52页，编辑于2022年，星期六 只要给定区间a,b及权函数(x),均可由一族线性无关的幂函数 1,x,xn,利用逐个正交化手续(Gram-Schmidt正交化方法)：n构造出正交多项式序列 。第17页，共52页，编辑于2022年，星期六正交多项式正交多项式lL

12、egendre多项式多项式lChebyshev多项式多项式l第二类第二类Chebyshev多项式多项式lLaguerre多项式多项式lHermite多项式多项式q几类重要的正交多项式几类重要的正交多项式第18页，共52页，编辑于2022年，星期六LegendreLegendre多项式多项式lPn(x)的首项的首项xn 的系数为：的系数为：Legendre 多项式多项式在在-1,1上带权上带权 (x)=1的正交多项式称为的正交多项式称为勒让德多项式勒让德多项式x-1,1，n=1,2,记号：记号：P0,P1,P2,.则则是是首项系数为首项系数为1的勒让德多项式的勒让德多项式l令令第19页，共52页

13、，编辑于2022年，星期六Legendre Legendre 多项式多项式q勒让德多项式有以下性质：勒让德多项式有以下性质：(1)正交性：正交性：(3)递推公式：递推公式：其中其中P0(x)=1,P1(x)=x，n=1,2,(4)Pn(x)在在(-1,1)内有内有n个不同的零点个不同的零点(2)奇偶性：奇偶性：(5)P2n(x)只只含含偶次幂，偶次幂，P2n+1(x)只只含奇含奇次幂次幂第20页，共52页，编辑于2022年，星期六LegendreLegendre多项式多项式第21页，共52页，编辑于2022年，星期六函数逼近函数逼近记记Hn为所有次数不超过为所有次数不超过n的多项式组的多项式组

14、成的集合，给定函数成的集合，给定函数f(x)Ca,b，若，若P*(x)Hn 使得使得则称则称P*(x)为为f(x)在在Ca,b上的上的最佳逼近多项式最佳逼近多项式最佳逼近最佳逼近取不同的范数，就可以定义不同的最佳逼近方式取不同的范数，就可以定义不同的最佳逼近方式第22页，共52页，编辑于2022年，星期六函数逼近函数逼近最佳平方逼近最佳平方逼近最佳一致逼近最佳一致逼近第23页，共52页，编辑于2022年，星期六曲线拟合曲线拟合能否找到一个简单易算的能否找到一个简单易算的p(x)，使得，使得f(x)p(x)已知已知f(x)在某些点的函数值：在某些点的函数值：xx0 x1xmf(x)y0y1ym但

15、是但是(1)m通常很大通常很大(2)yi本身是测量值，不准确，即本身是测量值，不准确，即yi f(xi)这时不要求这时不要求p(xi)=yi,而只要而只要p(xi)yi 总体上尽可能小总体上尽可能小第24页，共52页，编辑于2022年，星期六l使使最小最小l使使最小最小曲线拟合曲线拟合p(xi)yi 总体上尽可能小总体上尽可能小l使使最小最小q常见做法常见做法太复杂太复杂不可导，求不可导，求解困难解困难最小二乘法：最小二乘法：目前最好的多项式曲线拟合算法目前最好的多项式曲线拟合算法第25页，共52页，编辑于2022年，星期六最小二乘最小二乘曲线拟合的最小二乘问题曲线拟合的最小二乘问题l这个问题

16、实质上是最佳平方逼近问题的这个问题实质上是最佳平方逼近问题的离散形式离散形式。可以将求连续函数的最佳平方逼近函数的方法直接用于求解可以将求连续函数的最佳平方逼近函数的方法直接用于求解该问题。该问题。已知函数值表已知函数值表(xi,yi)，在函数空间，在函数空间 中求中求S*(x)，使得，使得其中其中 i 是点是点xi处的权。处的权。第26页，共52页，编辑于2022年，星期六注注最小二乘问题中，如何选择最小二乘问题中，如何选择数学模型数学模型很重要，即如何选取函很重要，即如何选取函数空间数空间 =span 0,1,n，通常需要根据物理意义，通常需要根据物理意义，或所给数据的分布情况来选取合适的

17、数学模型。或所给数据的分布情况来选取合适的数学模型。第27页，共52页，编辑于2022年，星期六最小二乘求解最小二乘求解对任意对任意S(x)=span 0,1,n，可设可设S(x)=a0 0+a1 1+an n(x)则求则求S*(x)等价于求下面的多元函数的最小值点等价于求下面的多元函数的最小值点k=0,1,n最小值点最小值点第28页，共52页，编辑于2022年，星期六最小二乘求解最小二乘求解(k=0,1,n)这里的内积是这里的内积是离散带权内积离散带权内积，即，即，法方程法方程G法方程法方程第29页，共52页，编辑于2022年，星期六最小二乘求解最小二乘求解法方程存在唯一解法方程存在唯一解d

18、et(G)0Haar条件条件 0,1,n 的任意线性组合在点集的任意线性组合在点集x0,x1,xm 上上至多只有至多只有n个不同的零点，则称个不同的零点，则称 0,1,n在点在点集集x0,x1,xm 上满足上满足Haar条件条件 0,1,n线性无关线性无关m n若若 0,1,n Ca,b在点集在点集x0,x1,xm 上满足上满足Haar条件，则法方程的解存在唯一条件，则法方程的解存在唯一第30页，共52页，编辑于2022年，星期六最小二乘求解最小二乘求解设法方程的解为：设法方程的解为：a0*,a1*,an*,则则S*(x)=a0*0+a1*1+an*n(x)结论结论S*(x)是是f(x)在在

19、中的中的最小二乘解最小二乘解第31页，共52页，编辑于2022年，星期六举例举例例：例：给定函数值表，求给定函数值表，求f(x)的最小二乘拟合函数的最小二乘拟合函数S*(x)i123456789 13456789101054211234解：解：将所给数据点画在坐标纸上，如图可以看出将所给数据点画在坐标纸上，如图可以看出第32页，共52页，编辑于2022年，星期六即有即有这些点大致在一条抛物线上。这些点大致在一条抛物线上。设拟合曲线方程为设拟合曲线方程为相应的正规方程组为相应的正规方程组为第33页，共52页，编辑于2022年，星期六于是可得因而所求拟合多项式为 第34页，共52页，编辑于2022

20、年，星期六多项式拟合多项式拟合 Hn=span1,x,.,xn,即即 i=xi,则相应的法方程为则相应的法方程为此时此时 为为f(x)的的n次最小二乘次最小二乘拟合多项式拟合多项式多项式最小二乘曲线拟合多项式最小二乘曲线拟合第35页，共52页，编辑于2022年，星期六举例举例例：例：求下面数据表的二次最小二乘拟合多项式求下面数据表的二次最小二乘拟合多项式得法方程得法方程xi00.250.500.751.00f(xi)1.00001.28401.64872.11702.7183解：解：设二次拟合多项式为设二次拟合多项式为解得解得所以此组数据的二次最小二乘拟合多项式为所以此组数据的二次最小二乘拟合

21、多项式为(1)若题目中没有给出各点的权值若题目中没有给出各点的权值 i，默认为，默认为 i=1(2)该方法不适合该方法不适合 n 较大时的情形较大时的情形（病态问题）（病态问题）第36页，共52页，编辑于2022年，星期六正交多项式拟合正交多项式拟合带权正交（离散情形）带权正交（离散情形）给定点集给定点集以及各点的权系数以及各点的权系数，如果函数族，如果函数族满足满足则称则称关于点集关于点集带权带权正交正交若若 0,1,n 是多项式，则可得正交多项式族是多项式，则可得正交多项式族第37页，共52页，编辑于2022年，星期六正交多项式拟合正交多项式拟合用正交多项式做最小二乘用正交多项式做最小二乘

22、设多项式设多项式p0,p1,pn 关于点集关于点集x0,x1,xm带权带权 0,1,m正交，正交，则则f(x)在在Hn中的中的最小二乘最小二乘拟合多项式拟合多项式为为其中其中k=0,1,nl误差误差离散形式的离散形式的2-范数范数第38页，共52页，编辑于2022年，星期六正交多项式的构造正交多项式的构造给定给定和权系数和权系数，如何构造正交多项式族，如何构造正交多项式族可以证明：可以证明：关于点集关于点集带权带权正交正交l三项递推公式：三项递推公式：k=1,n-1其中其中(k=0,1,n-1)(k=1,2,n-1)第39页，共52页，编辑于2022年，星期六几点注记几点注记(1)可以将构造正

23、交多项式族、解法方程、形成拟合多项式穿插可以将构造正交多项式族、解法方程、形成拟合多项式穿插进行；进行；(2)n 可以事先给定，或在计算过程中根据误差来决定；可以事先给定，或在计算过程中根据误差来决定；(3)该方法非常适合编程实现，只用递推公式，并且当逼近次数该方法非常适合编程实现，只用递推公式，并且当逼近次数增加时，只要将相应地增加程序中的循环次数即可。增加时，只要将相应地增加程序中的循环次数即可。(4)该方法是目前多项式拟合最好的计算方法，有通用程序。该方法是目前多项式拟合最好的计算方法，有通用程序。第40页，共52页，编辑于2022年，星期六举例举例例：例：给定数据点及权系数，求二次最小

24、二乘拟合多项式给定数据点及权系数，求二次最小二乘拟合多项式xi00.50.60.70.80.91.0yi 1.001.751.962.192.442.713.00 i1111111解：解：通过直接计算，可得通过直接计算，可得Matlab正交多项式最小二乘拟合函数正交多项式最小二乘拟合函数:polyfit(x,y,n)Matlab曲线拟合工具箱：曲线拟合工具箱：cftool第41页，共52页，编辑于2022年，星期六非线性最小二乘非线性最小二乘有时需要其它函数，如有时需要其它函数，如，等拟合给定的数等拟合给定的数据，这时建立的法方程是一个非线性方程组，称这类拟合问题据，这时建立的法方程是一个非线

25、性方程组，称这类拟合问题为为非线性最小二乘问题非线性最小二乘问题。xi1.001.251.501.752.00yi 5.105.796.537.458.46xi0.10.20.30.40.50.60.70.8yi 0.61.11.61.82.01.91.71.3例：例：用指数函数用指数函数拟合下面的数据拟合下面的数据例：例：用函数用函数拟合表中的数据拟合表中的数据第42页，共52页，编辑于2022年，星期六可化为线性拟合问题的常见函数类可化为线性拟合问题的常见函数类 拟合函数类型拟合函数类型拟合函数类型拟合函数类型 变量代换变量代换变量代换变量代换 化成的拟合函数化成的拟合函数化成的拟合函数化

26、成的拟合函数 对于一些较特殊的非线性拟合函数类型，可以通过适当对于一些较特殊的非线性拟合函数类型，可以通过适当对于一些较特殊的非线性拟合函数类型，可以通过适当对于一些较特殊的非线性拟合函数类型，可以通过适当的变量代换后化为线性最小二乘问题的变量代换后化为线性最小二乘问题的变量代换后化为线性最小二乘问题的变量代换后化为线性最小二乘问题q第43页，共52页，编辑于2022年，星期六非线性拟合举例非线性拟合举例在某化学反应里，根据实验所得生成物的浓度与时间在某化学反应里，根据实验所得生成物的浓度与时间在某化学反应里，根据实验所得生成物的浓度与时间在某化学反应里，根据实验所得生成物的浓度与时间关系数据

27、见下表，求浓度关系数据见下表，求浓度关系数据见下表，求浓度关系数据见下表，求浓度y y与时间与时间与时间与时间t t 的拟合曲线的拟合曲线的拟合曲线的拟合曲线y y=F F(t t)：t ti i1 12 23 34 45 56 67 78 8y yi i(*10(*10-3-3)4.004.006.406.408.08.08.808.809.229.229.509.509.709.709.869.86t ti i9 91010111112121313141415151616y yi i(*10(*10-3-3)10.010.010.210.210.3210.3210.4210.4210.52

28、10.5210.5510.5510.5810.5810.6010.6061086422yx1816141210840将数据标在将数据标在将数据标在将数据标在坐标纸上如图坐标纸上如图坐标纸上如图坐标纸上如图第44页，共52页，编辑于2022年，星期六（1 1）取拟合函数为）取拟合函数为）取拟合函数为）取拟合函数为双曲型双曲型双曲型双曲型 可见可见可见可见y y关于参数关于参数关于参数关于参数a a,b b是非线性的为确定是非线性的为确定是非线性的为确定是非线性的为确定a a,b b可令：可令：可令：可令：则拟合函数化为则拟合函数化为则拟合函数化为则拟合函数化为y y=a a+b tb t，而将数

29、据，而将数据，而将数据，而将数据(t ti i,y yi i)相应地变相应地变相应地变相应地变 ，如下表：，如下表：，如下表：，如下表：t ti i1 11/21/21/31/31/41/41/51/51/61/61/71/71/81/8y yi i(*10(*10-3-3)0.25000.25000.15620.15625 50.12560.12560 00.11360.11364 40.10840.10846 60.10520.10526 60.10300.10309 90.10140.10142 2t ti i1/91/91/101/101/111/111/121/121/131/131

30、/141/141/151/151/161/16y yi i(*10(*10-3-3)0.10140.10142 20.09800.09804 40.09690.09690 00.09590.09597 70.09520.09524 40.09470.09479 90.09450.09452 20.09430.09434 4第45页，共52页，编辑于2022年，星期六（2 2）取拟合函数为）取拟合函数为）取拟合函数为）取拟合函数为指数型指数型指数型指数型 第46页，共52页，编辑于2022年，星期六 同拟合函数为双曲线型过程类似，先由同拟合函数为双曲线型过程类似，先由同拟合函数为双曲线型过程类似

31、，先由同拟合函数为双曲线型过程类似，先由(t ti i,y yi i)算出相应的算出相应的算出相应的算出相应的(t ti i,y yi i)，然后进行多项式拟合，解得，然后进行多项式拟合，解得，然后进行多项式拟合，解得，然后进行多项式拟合，解得a a=4.48072,=4.48072,b b=1.056691.05669，从而得，从而得，从而得，从而得a a=e e a a=1.1325310=1.13253102 2，所以拟合函数：，所以拟合函数：，所以拟合函数：，所以拟合函数：一般可通过比较拟合函数与所给数据误差大小来确定。一般可通过比较拟合函数与所给数据误差大小来确定。一般可通过比较拟合

32、函数与所给数据误差大小来确定。一般可通过比较拟合函数与所给数据误差大小来确定。可见可见y=F2 2(t)的误差比较小，的误差比较小，的误差比较小，的误差比较小，用它作为拟合曲线更好。用它作为拟合曲线更好。用它作为拟合曲线更好。用它作为拟合曲线更好。第47页，共52页，编辑于2022年，星期六最佳平方逼近最佳平方逼近设设f(x)Ca,b，0(x),1(x),n(x)Ca,b线性无线性无关，令关，令求求S*(x)，使得使得S*(x)称为称为f(x)在在 中的中的最佳平方逼近函数最佳平方逼近函数其中其中第48页，共52页，编辑于2022年，星期六最佳平方逼近最佳平方逼近如何求如何求 S*(x)？对任

33、意对任意S(x)，可设可设S(x)=a0 0+a1 1+an n(x)则求则求S*(x)等价于求下面的多元函数的最小值点等价于求下面的多元函数的最小值点k=0,1,n第49页，共52页，编辑于2022年，星期六最佳平方逼近最佳平方逼近即即k=0,1,n法方程法方程G第50页，共52页，编辑于2022年，星期六最佳平方逼近最佳平方逼近法方程存在唯一解法方程存在唯一解det(G)0 0,1,n线性无关线性无关最佳平方逼近函数的存在唯一性最佳平方逼近函数的存在唯一性设法方程的解为：设法方程的解为：a0*,a1*,an*,则则S*(x)=a0*0+a1*1+an*n(x)性质性质S*(x)是是f(x)在在 中中唯一最佳平方逼近函数，唯一最佳平方逼近函数，且逼近误差为且逼近误差为证明：证明：(板书板书)第51页，共52页，编辑于2022年，星期六求求在在0,1上的一次最佳平方逼近多项式上的一次最佳平方逼近多项式举例举例例：例：解：解：S*(x)=0.934+0.426x第52页，共52页，编辑于2022年，星期六