第3章 函数逼近与快速傅里叶变换精选PPT.ppt

第3章 函数逼近与快速傅里叶变换第1页，本讲稿共129页在数值计算中经常要计算函数值，如计算机中计算基在数值计算中经常要计算函数值，如计算机中计算基本初等函数及其他特殊函数；当函数只在有限点集上给定本初等函数及其他特殊函数；当函数只在有限点集上给定函数值，要在包含该点集的区间上用公式给出函数的简单函数值，要在包含该点集的区间上用公式给出函数的简单表达式，这些都涉及在区间表达式，这些都涉及在区间a,b上用简单函数逼近已知上用简单函数逼近已知复杂函数的问题，这就是函数逼近问题复杂函数的问题，这就是函数逼近问题.第第2章讨论的插章讨论的插值法就是函数逼近的一种值法就是函数逼近的一种.3.1 函数逼近的基本概念函数逼近的基本概念3.1.1 函数函数逼近与函数空间逼近与函数空间第2页，本讲稿共129页 本章讨论的函数逼近，是指本章讨论的函数逼近，是指“对函数类对函数类A中给定的中给定的函数函数f(x)，记作，记作f(x)A，要求在另一类简单的便于计算，要求在另一类简单的便于计算的函数类的函数类B中求函数中求函数p(x)B，使，使 p(x)与与 f(x)的误差在某的误差在某种度量意义下最小种度量意义下最小”.函数类函数类A通常是区间通常是区间a,b上的连上的连续函数，记作续函数，记作Ca,b，称为，称为函数逼近空间函数逼近空间;而函数而函数B通常通常为为n次多项式次多项式,有理函数有理函数或或分段低次多项式分段低次多项式等等.为了在数学为了在数学上描述更精确，先要介绍代数和分析中一些基本概念及预备上描述更精确，先要介绍代数和分析中一些基本概念及预备知识知识.第3页，本讲稿共129页 数学上常把在各种集合中引入某一些不同的确定关数学上常把在各种集合中引入某一些不同的确定关系称为赋予集合以某种空间结构，并将这样的集合系称为赋予集合以某种空间结构，并将这样的集合称为空称为空间。间。例例1 所有实所有实n维向量集合，按向量的加法和数乘构成实数域维向量集合，按向量的加法和数乘构成实数域R上的上的线性空间线性空间-Rn,称为称为n维向量空间维向量空间.例例2 对次数不超过对次数不超过n的（的（n为正整数）实系数多项式全体，为正整数）实系数多项式全体，按多项式加法和数乘构成数域按多项式加法和数乘构成数域R上的多项式上的多项式线性空间线性空间-Hn,称为称为多项式空间多项式空间.例例3 所有定义在所有定义在 a,b 集合上的连续函数全体，按函数集合上的连续函数全体，按函数的加法和数乘构成的加法和数乘构成数域数域R上的上的连续函数连续函数线性空间线性空间 Ca,b,称为称为连续函数空间连续函数空间.类似地记类似地记Cpa,b为为具有具有p阶连续阶连续导数的函数空间导数的函数空间.第4页，本讲稿共129页则称则称x1,x2,xn 线性相关线性相关，否则称，否则称x1,x2,xn 线性无关线性无关，即只有当即只有当a1=a2=an=0时等式时等式(1.1)才成立才成立.定义定义1 设集合设集合S是数域是数域P上的线性空间，元素上的线性空间，元素x1,x2,xnS，如果存在不全为零的数，如果存在不全为零的数a1,a2,anP，使，使得得(1.1)第5页，本讲稿共129页则则x1,xn称为空间称为空间S的的一组基一组基,记为记为S=spanx1,xn,并称并称空间空间S为为n维空间维空间，系数，系数a1,an为为x在基在基x1,xn下的下的坐标坐标，记作记作(a1,an)，如果，如果S中有无限多个线性无关元素中有无限多个线性无关元素x1,xn,，则称，则称S为为无限维线性空间无限维线性空间.若线性空间若线性空间S是由是由n个线性无关元素个线性无关元素x1,xn生成的，即生成的，即对任意对任意xS，都有，都有第6页，本讲稿共129页它由它由n+1个系数个系数(a0,a1,an)唯一确定唯一确定.1,x,xn 线性无线性无关，它是关，它是Hn的一组基，故的一组基，故集合集合 Hn=span1,x,xn，且且(a0,a1,an)是是p(x)的坐标向量，的坐标向量，Hn是是n+1维维的的.下面考虑下面考虑次数不超过次数不超过n实系数多项式集合实系数多项式集合Hn，其元素，其元素p(x)Hn表示为表示为第7页，本讲稿共129页其中其中为任意给的小正数，即精度要求为任意给的小正数，即精度要求.这就是下面著名的这就是下面著名的魏魏尔斯特拉斯（尔斯特拉斯（Weierstrass）定理）定理.对连续函数对连续函数f(x)Ca,b，它不能用有限个线性无关，它不能用有限个线性无关的函数表示，故的函数表示，故Ca,b是无限维的，但它的任一元素是无限维的，但它的任一元素f(x)Ca,b均可用有限维的均可用有限维的p(x)Hn逼近，使误差逼近，使误差第8页，本讲稿共129页在在a,b上一致成立上一致成立.（证明略，见书（证明略，见书p52有说明有说明.）定理定理1 设设f(x)Ca,b，则对任何，则对任何0，总存在一个，总存在一个代数多项式代数多项式p(x)，使，使第9页，本讲稿共129页由由(1.3)式给出的式给出的Bn(f,x)也是也是f(x)在在0,1上的一个上的一个逼近多项式，但它收敛太慢，实际中很少使用逼近多项式，但它收敛太慢，实际中很少使用.第10页，本讲稿共129页 更一般地，可用一组在更一般地，可用一组在Ca,b上线性无关的函数上线性无关的函数集合集合 来逼近来逼近f(x)Ca,b，元素表示为，元素表示为 函数逼近问题就是对任何函数逼近问题就是对任何f(x)Ca,b，在子空间，在子空间 中找一个元素中找一个元素*(x)，使，使f(x)-*(x)在某种意义下最在某种意义下最小小.第11页，本讲稿共129页3.1.2 范数与赋范线性空间范数与赋范线性空间 为了对线性空间中元素大小进行衡量，需要引进为了对线性空间中元素大小进行衡量，需要引进范数定义，它是范数定义，它是Rn空间中向量长度概念的直接推广空间中向量长度概念的直接推广.定义定义2 设设S为线性空间，为线性空间，x S，若存在唯一实数，若存在唯一实数 ，满足条件：，满足条件：(1)x0;当且仅当当且仅当x0时时,x=0;(正定性正定性)(2)x=|x,R;(齐次性齐次性)(3)x+yx+y,x,y S.(三角不等式三角不等式)则称则称 为线性空间为线性空间S上的上的范数范数，S 与与 一起称为一起称为赋范赋范线性空间线性空间，记为，记为X.第12页，本讲稿共129页对对Rn上的向量上的向量 x(x1,x2,xn)T,三种常用范数为三种常用范数为：第13页，本讲稿共129页 类似的对连续函数空间类似的对连续函数空间Ca,b,若若fCa,b可定义以可定义以下三种常用下三种常用函数的范数函数的范数可以验证这样定义的范数均满足定义可以验证这样定义的范数均满足定义2中的三个条件中的三个条件.第14页，本讲稿共129页3.1.3 内积与内积空间内积与内积空间 在线性代数中，在线性代数中，Rn上的两个向量上的两个向量 x(x1,x2,xn)T与与y(y1,y2,yn)T的内积定义为的内积定义为 (x,y)=x1 y1+x2 y2+xn yn.(1.5)若将它推广到一般的线性空间若将它推广到一般的线性空间X，则有下面的定义，则有下面的定义.第15页，本讲稿共129页 定义定义3 设设X是数域是数域K(R或或C)上的线性空间，对任意上的线性空间，对任意u,vX，有，有K中一个数与之对应，记为中一个数与之对应，记为(u,v)，它满足以下条件：，它满足以下条件：则称则称(u,v)为为X上上u与与v的的内积内积，对应了内积的线性空间称为，对应了内积的线性空间称为内积空间内积空间.定义中定义中(1)当当K为实数域为实数域R时为时为(u,v)(v,u).如果如果(u,v)=0，则称，则称u与与v正交正交(记为记为uv)，这是向量，这是向量相互垂直概念的推广相互垂直概念的推广.关于内积空间有以下重要定理关于内积空间有以下重要定理.第16页，本讲稿共129页 定理定理2 设设X为一个内积空间为一个内积空间,对任意对任意u,vX有如下不等有如下不等式成立式成立 它称为它称为柯西施瓦茨柯西施瓦茨(Cauchy-Schwarz)不等式不等式.证明证明 当当v=0=0时时,显然成立显然成立.设设v00，则，则 (v,v)0 0,且对且对任何数任何数t 有有(这里设为这里设为实空间实空间)取取 t=-=-(u,v)/(v,v),代入上式右端，得代入上式右端，得即得即得v00时有时有第17页，本讲稿共129页定理定理3 设设X为一个内积空间，为一个内积空间，u1,u2,unX，矩阵，矩阵称为格称为格拉姆拉姆(Gram)矩阵矩阵,则则G非奇异的非奇异的充分必要条件充分必要条件是是u1,u2,un线性无关线性无关.证明证明 G非奇异等价于非奇异等价于detG0，其充分必要条件是下面齐，其充分必要条件是下面齐次线性方程组只有零解次线性方程组只有零解第18页，本讲稿共129页而而从以上的等价关系可从以上的等价关系可知道，知道，detG0等价于从方程等价于从方程(1.8)推出推出a1=a2=an=0，而后者等价于从方程，而后者等价于从方程(1.9)推出推出a1=a2=an=0，即即u1,u2,un线性无关线性无关.证毕证毕第19页，本讲稿共129页 在在内积空间内积空间X上可以由内积导出一种范数，即对于上可以由内积导出一种范数，即对于uX，记，记容易验证它满足范数定义的三条性质容易验证它满足范数定义的三条性质,其中三角不等式其中三角不等式可由定理可由定理2直接得出，即直接得出，即两端开方即两端开方即得得(1.11).第20页，本讲稿共129页 例例1 Rn的内积，设的内积，设x,yRn，x(x1,x2,xn)T，y(y1,y2,yn)T，则其内积定义为，则其内积定义为由此导出的向量由此导出的向量2-范数范数为为若给定实数若给定实数 i0(i=1,n)，i称为称为权函数权函数，则在，则在Rn上可上可定义定义加权内积加权内积为为第21页，本讲稿共129页相应的向量相应的向量2-范数范数为为不难验证不难验证(1.13)给出的给出的(x,y)满足内积定义的四条性质满足内积定义的四条性质.当当 i=1(i=1,n)时，时，(1.13)就是就是(1.12).如果如果x,y Cn，带权内积定义带权内积定义为为这里这里 i仍为正实数序列仍为正实数序列.在在Ca,b上也可以类是定义带权内积上也可以类是定义带权内积，为此先给出权为此先给出权函数定义函数定义.第22页，本讲稿共129页 定义定义4 设设a,b是有限或无限区间，在是有限或无限区间，在a,b上的上的非负非负函数函数(x)满足条件：满足条件：则称则称(x)为为a,b上上的一个的一个权函数权函数.它的物理意义可以解它的物理意义可以解释为释为密度函数密度函数.第23页，本讲稿共129页 例例2 Ca,b上的内积，设上的内积，设f(x),g(x)Ca,b，(x)是上是上给定的权函数，则可内积定义为给定的权函数，则可内积定义为容易验证它满足容易验证它满足内积定义的内积定义的4 4条，由此条，由此内积导出的范数内积导出的范数称称(15)和和(16)为带权为带权(x)的的内积和范数，特别常用的是内积和范数，特别常用的是(x)1的情形，即的情形，即第24页，本讲稿共129页 若若 0,1,n是是Ca,b中的线性无关函数族，记中的线性无关函数族，记=span 0,1,n，它的，它的拉姆拉姆(Gram)矩阵矩阵为为根据根据定理定理3知知 0,1,n 线性无关线性无关的充分必要条件是的充分必要条件是 detG(0,1,n)0.第25页，本讲稿共129页3.1.4 最佳逼近最佳逼近则称则称P*(x)是是f(x)在在a,b上的上的最佳逼近多项式最佳逼近多项式.如果如果P(x)=span 0,1,n，则称相应的，则称相应的P*(x)为为最佳最佳逼近函数逼近函数.通常范数通常范数 取为取为 或或 2.若取若取 ,即即函数逼近主要讨论给定函数逼近主要讨论给定f(x)Ca,b，求它的最佳逼，求它的最佳逼近多项式近多项式.若若P*(x)Hn=span1,x,xn，使误差，使误差第26页，本讲稿共129页则称则称P*(x)是是f(x)在在a,b上的上的最佳一致逼近多项式最佳一致逼近多项式.这这时求时求P*(x)就是求就是求a,b上使得最大误差最小的多项式上使得最大误差最小的多项式.如果范数如果范数 取为取为 2，即，即则称则称P*(x)为为f(x)在在a,b上的上的最佳平方逼近多项式最佳平方逼近多项式.第27页，本讲稿共129页若若f(x)是是a,b上的一个列表函数，在区间节点上的一个列表函数，在区间节点ax0 x1n，由，由 n(x)的正交性可知的正交性可知第37页，本讲稿共129页例题例题：利用：利用 Gram-schmidt 方法构造方法构造 0,1 上带上带权权 的前的前3个正交多项式个正交多项式 解解：利用正交化公式来求：利用正交化公式来求 第38页，本讲稿共129页于是于是于是于是第39页，本讲稿共129页3.2.2 勒让德多项式勒让德多项式 当区间当区间-1,1,权函数权函数(x)1时时,由由1,x,xn,正交正交化得到的多项式就称为化得到的多项式就称为勒让德勒让德(Legendre)多项式多项式,并用并用P0(x),P1(x),Pn(x),表示表示.这是这是勒让德勒让德于于1785年引进的年引进的.1814年年罗德利克罗德利克(Rodrigul)给出了简单的表达式为给出了简单的表达式为由于由于(x2-1)n是是2n次多项式，求次多项式，求n阶导数后得阶导数后得第40页，本讲稿共129页显然得到显然得到最高项系数为最高项系数为1的勒让德多项式为的勒让德多项式为于是得于是得Pn(x)的首项的首项xn的系数为的系数为勒让德多项式有下述勒让德多项式有下述几个重要性质几个重要性质：性质性质1(正交性正交性)第41页，本讲稿共129页令令 ，则，则设设Q(x)是在区间是在区间-1,1上有连续上有连续n阶可微的函数，有分部积阶可微的函数，有分部积分法知分法知(用用(2.5)式式)下面分两种情况讨论下面分两种情况讨论(1)若若Q(x)的次数小于的次数小于n，则，则Q(n)(x)0，得，得第42页，本讲稿共129页(2)若若则则于是于是由于由于故故于是于是(2.7)式得证式得证.第43页，本讲稿共129页性质性质2(奇偶性奇偶性)由于由于(x)=(x2-1)n是偶次多项式，经过偶次求导仍为偶是偶次多项式，经过偶次求导仍为偶次多项式，经过奇次求导仍为奇次多项式，故次多项式，经过奇次求导仍为奇次多项式，故n为偶数时为偶数时Pn(x)为偶函数，为偶函数，n为奇数时为奇数时Pn(x)为奇函数，于是为奇函数，于是(2.8)式成立式成立.性质性质3(递推关系递推关系)考虑考虑n+1次多项式次多项式xPn(x)，它可表示为它可表示为第44页，本讲稿共129页两边乘两边乘Pk(x)，并从，并从-1到到1积分，利用正交性得积分，利用正交性得当当kn-2时，时，xPk(x)次数小于等于次数小于等于n-1，上式左端积分为，上式左端积分为0，故，故得得ak=0.当当k=n时，时，xP2n(x)为奇函数，左端积分仍为为奇函数，左端积分仍为0，故，故得得an=0.于是于是其中其中代入上式整理即得递推公式代入上式整理即得递推公式(2.9).第45页，本讲稿共129页由由P0(x)=0,P1(x)=x，利用，利用(2.9)式就可推出式就可推出性质性质4 4 Pn(x)在区间在区间-1,1内有内有n个不同的个不同的实零点实零点.第46页，本讲稿共129页3.2.3 切比雪夫多项式切比雪夫多项式区间为区间为-1,1-1,1时时,取权函数取权函数由序列由序列1,x,xn,正交化得到的多项式就是正交化得到的多项式就是切切比雪夫多项式比雪夫多项式，它可表示为，它可表示为若令若令x=cos，则，则Tn(x)=cosn，0.Tn(x)=cos(narccosx),|x|1.(2.10)第47页，本讲稿共129页切比雪夫多项式有很多切比雪夫多项式有很多重要性质重要性质：性质性质1(递推关系递推关系)这只要由三角恒等式这只要由三角恒等式令令x=cos 即得，由即得，由(2.11)式就可以推出式就可以推出于是得于是得Tn(x)的首项的首项系数为系数为 an=2n-1(n 1).第48页，本讲稿共129页性质性质2 切比雪夫多项式切比雪夫多项式Tk(x)在区间在区间-1,1上带权上带权正交且正交且事实上，令事实上，令x=cos，则，则dx=-sin d ，于是得，于是得第49页，本讲稿共129页性质性质3 T2k(x)只含只含x的的偶次幂偶次幂,T2k+1(x)只含只含x的的奇次幂奇次幂.此性质可由递推关系直接得到此性质可由递推关系直接得到.性质性质4 Tn(x)在区间在区间-1,1上有上有n个零点个零点.性质性质5 Tn(x)的首项的首项xn的系数为的系数为2n-1(n=1,2,.).第50页，本讲稿共129页若将若将xn用用T0(x),T1(x),Tn(x)的线性组合表示，则的线性组合表示，则其公式为其公式为这里规定这里规定T0(x)=1.n=1,2,6时的结果如下时的结果如下第51页，本讲稿共129页若令，则若令，则多项式多项式 是首项系数为是首项系数为 1 的切比雪夫多项式的切比雪夫多项式.若若记记 为所有次数小于等于为所有次数小于等于n的首项系数为的首项系数为 1 的多项式的多项式集合，对集合，对 有以下性质有以下性质.定理定理6 设设 是首项系数为是首项系数为 1 的切比雪夫多项式，的切比雪夫多项式，则则且且第52页，本讲稿共129页定理的证明可参看文献定理的证明可参看文献22.定理定理6表明在所有表明在所有首项系数为首项系数为1的的n次多项式集合次多项式集合 中中所以所以 是是 中最大值最小的多项式，即中最大值最小的多项式，即利用这一结论，可求利用这一结论，可求P(x)Hn在在Hn-1中的最佳中的最佳(一一致致)逼近多项式逼近多项式.第53页，本讲稿共129页 例例3 求求f(x)=2x3+x2+2x-1在在-1,1上的最佳上的最佳2次逼近多项式次逼近多项式.解解 由题意，所求最佳逼近多项式由题意，所求最佳逼近多项式P2*(x)应满足应满足由定理由定理6可知，当可知，当时，多项式时，多项式f(x)P2*(x)与零偏差最小，故与零偏差最小，故就是就是f(x)在在-1,1上的最佳上的最佳2次逼近多项式次逼近多项式.第54页，本讲稿共129页则当则当x在在 0,1 变化时，此时函数为变化时，此时函数为解解：作变量变换，令：作变量变换，令t=2x-1，t-1,1，设设P3*(x)为为f(x)在在 0,1 上的三次最佳一致逼近多项式上的三次最佳一致逼近多项式,由于由于 例例 求求f(x)=x4+3x3-1在在0,1上的三次最佳逼近多项式上的三次最佳逼近多项式.由于切比雪夫多项式是在区间由于切比雪夫多项式是在区间-1,1上定义的，对于一上定义的，对于一般区间般区间a,b，要通过变量替换变换到，要通过变量替换变换到-1,1,可令可令则可将则可将x a,b变换到变换到t-1,1.第55页，本讲稿共129页 即即 从而从而 的首相系数为的首相系数为，故有故有第56页，本讲稿共129页3.2.4 切比雪夫多项式零点插值切比雪夫多项式零点插值切比雪夫多项式切比雪夫多项式Tn(x)在区间在区间-1,1上有上有n个零点个零点.和和n+1个极值个极值点点(包括端点包括端点).这两组这两组点称为点称为切比雪夫点切比雪夫点，它们在插值中有重要作用，它们在插值中有重要作用.(几何意义见书几何意义见书p63)第57页，本讲稿共129页 利用切比雪夫点做插值，可使插值区间最大误差最利用切比雪夫点做插值，可使插值区间最大误差最小化小化.下面设插值点下面设插值点 x0,x1,xn -1,1,f C Cn n+1+1-1,1,Ln(x)为相应的为相应的n次拉格朗日插值多项式次拉格朗日插值多项式,那么插值余项那么插值余项于是于是其中其中是由被插值函数确定的是由被插值函数确定的.第58页，本讲稿共129页如果插值节点为如果插值节点为Tn+1(x)的零点的零点则由则由(2.13)式可得式可得由此可导出插值误差最小化的结论由此可导出插值误差最小化的结论.第59页，本讲稿共129页 定理定理7 设插值节点设插值节点 x0,x1,xn 为切比雪夫多项式为切比雪夫多项式Tn+1(x)的零点，被插函数的零点，被插函数f C Cn n+1+1-1,1，Ln(x)为相应的为相应的插值多项式，则插值多项式，则 对于一般区间对于一般区间a,b上的插值只要利用变换上的插值只要利用变换(2.14)式式则可得到相应结果，此时插值节点为则可得到相应结果，此时插值节点为第60页，本讲稿共129页 解解 利用利用T5(x)的零点和区间变换可知节点的零点和区间变换可知节点 例例4 求求f(x)=ex在在0,1上的上的4次拉格朗日插值多项式次拉格朗日插值多项式L4(x)，插值节点用，插值节点用T5(x)的零点，并估计误差的零点，并估计误差即即对应的拉格朗日插值多项式为对应的拉格朗日插值多项式为第61页，本讲稿共129页利用利用(2.15)式可得误差估计式可得误差估计而而于是有于是有在第在第2章中已经知道，由于高次插值出现龙格现象，一章中已经知道，由于高次插值出现龙格现象，一般般Ln(x)不收敛于不收敛于f(x)，因此它并不适用，因此它并不适用.但若用切比雪夫多但若用切比雪夫多项式零点插值却可避免龙格现象，可保证整个区间上收敛项式零点插值却可避免龙格现象，可保证整个区间上收敛.见书见书p65例例5.第62页，本讲稿共129页3.2.5 其他常用的正交多项式其他常用的正交多项式 一般说，如果区间一般说，如果区间a,b及权函数及权函数(x)不同不同,则由则由1,x,xn,正交化得到的多项式也不同正交化得到的多项式也不同.除上述两种最重要除上述两种最重要的正交多项式外，下面再给出三种较常用的正交多项式的正交多项式外，下面再给出三种较常用的正交多项式.1.第二类切比雪夫多项式第二类切比雪夫多项式区间为区间为-1,1时时,取权函数取权函数由序列由序列1,x,xn,正交化得到的多项式就称为正交化得到的多项式就称为第二类切第二类切比雪夫多项式比雪夫多项式，其表达式为，其表达式为第63页，本讲稿共129页令令x=cos，可得，可得即即Un(x)为为-1,1上正交多项式族，且有递推关系式为上正交多项式族，且有递推关系式为第64页，本讲稿共129页2.拉盖尔多项式拉盖尔多项式区间为区间为 0,+)时时,取权函数取权函数由序列由序列1,x,xn,正交化得到的多项式就称为正交化得到的多项式就称为拉盖尔拉盖尔(Laguerre)多项式多项式，其表达式为，其表达式为它也具有正交性质它也具有正交性质和递推关系式和递推关系式第65页，本讲稿共129页3.埃尔米特多项式埃尔米特多项式区间为区间为(-,+)(-,+)时时,取权函数取权函数由序列由序列1,x,xn,正交化得到的多项式就称为正交化得到的多项式就称为埃尔米埃尔米特特(Hermite)多项式多项式，其表达式为，其表达式为它也具有正交性质它也具有正交性质和递推关系式和递推关系式第66页，本讲稿共129页3.3 最佳平方逼近最佳平方逼近3.3.1 最佳平方逼近及其计算最佳平方逼近及其计算现在我们研究区间现在我们研究区间a,b上一般的最佳平方逼近问题上一般的最佳平方逼近问题.对函数对函数f(x)Ca,b及集合及集合Ca,b中的一个子集中的一个子集 =span 0(x),1(x),n(x),若存在若存在S*(x),使使则称则称 S*(x)是是f(x)在子集在子集 中的中的最佳平方逼近函最佳平方逼近函数数.第67页，本讲稿共129页为了求为了求S*(x),由由(3.1)式可知该问题等价于求多元函数式可知该问题等价于求多元函数的最小值的最小值.由于由于I(a0,a1,an)是关于是关于a0,a1,an的二次函的二次函数，利用多元函数求极值的必要条件有数，利用多元函数求极值的必要条件有即即第68页，本讲稿共129页于是有于是有是关于是关于a0,a1,an的线性方程组，称为的线性方程组，称为法方程法方程，即，即第69页，本讲稿共129页由于函数组由于函数组线性无关，故系数矩阵的行列式非零，即线性无关，故系数矩阵的行列式非零，即从而得到从而得到最佳平方逼近函数最佳平方逼近函数于是方程组有唯一解于是方程组有唯一解第70页，本讲稿共129页 下面证明下面证明S*(x)必定满足最佳平方逼近的定义，即必定满足最佳平方逼近的定义，即但我们只需证明对任意的但我们只需证明对任意的S(x)有有为此我们只要考虑为此我们只要考虑第71页，本讲稿共129页由于由于S*(x)的系数的系数ak*是法方程是法方程(3.3)的解，故的解，故从而上式第二项积分为从而上式第二项积分为0.于是可得于是可得即得即得S*(x)必定是所求函数必定是所求函数f(x)的的最佳平方逼近函数最佳平方逼近函数.第72页，本讲稿共129页 根据以上推论，也可得出最佳函数逼近的求法。根据以上推论，也可得出最佳函数逼近的求法。另外，由证明第二项积分为另外，由证明第二项积分为0.我们可得我们可得 推论：推论：C a,b是内积空间，是内积空间，Ca,b是其有限维子是其有限维子空间，空间，f(x)Ca,b，中中S*(x)是是f(x)的的最佳平方逼近的的最佳平方逼近函数函数的的充要条件充要条件是是f-S*与与 中任一函数正交中任一函数正交.设设则对任意函数则对任意函数S，有，有由推论得由推论得也得也得法方程法方程为为第73页，本讲稿共129页 若记若记余项余项(x)=f(x)-S*(x)，则，则平方误差平方误差为为第74页，本讲稿共129页 若取若取 则要在则要在Hn中求中求n次最佳平方逼近多项式次最佳平方逼近多项式此时此时第75页，本讲稿共129页若用若用H表示表示 对应的矩阵，即对应的矩阵，即则称则称H为为希尔伯特希尔伯特(Hilbert)矩阵矩阵，若记向量，若记向量则则法方程法方程为为其解其解ak=ak*(k=0,1,n),即得所求最佳平方多项式即得所求最佳平方多项式为为 的系数的系数.第76页，本讲稿共129页 解解 由公式有由公式有得法方程组得法方程组 例例6 求求 在在 0,1上的一次最佳平方逼近上的一次最佳平方逼近多项式多项式(注意与注意与例例4的区别的区别).解出解出第77页，本讲稿共129页故得所求的一次最佳平方逼近多项式为故得所求的一次最佳平方逼近多项式为平方误差为平方误差为最大误差为最大误差为 若用若用1,x,xn做基，求最佳平方多项式，计算简单，做基，求最佳平方多项式，计算简单，但当但当n较大时较大时,系数矩阵系数矩阵H是是高度病态高度病态的的(见第见第5章章),因此直接因此直接求解法方程是相当困难的，故求解法方程是相当困难的，故通常是采用正交多项式做基通常是采用正交多项式做基底构造最佳平方多项式底构造最佳平方多项式.第78页，本讲稿共129页解解：法方程组为：法方程组为：于是于是 例例 设设求求2次最佳平方逼近多项式次最佳平方逼近多项式解得解得第79页，本讲稿共129页3.3.2 用正交函数族作最佳平方逼近用正交函数族作最佳平方逼近 设设f(x)Ca,b，若若 是正交函数族，即满足是正交函数族，即满足故法方程故法方程(3.3)的系数矩阵为的系数矩阵为非奇异对角阵非奇异对角阵，即，即第80页，本讲稿共129页立刻得到法方程的解为立刻得到法方程的解为第81页，本讲稿共129页于是于是f(x)Ca,b在在 中的中的最佳平方逼近函数最佳平方逼近函数为为可得可得均方误差均方误差为为由此可得由此可得贝塞尔贝塞尔(Bessel)不等式不等式第82页，本讲稿共129页若若f(x)Ca,b,按正交函数族按正交函数族展开，而系数按下式计算得到展开，而系数按下式计算得到得得级数级数称为称为f(x)的的广义傅立叶广义傅立叶(Foureir)级数级数,系数系数称为称为广义傅立叶系数广义傅立叶系数.它是它是傅立叶级数傅立叶级数的直接推广的直接推广.第83页，本讲稿共129页 证明略，可见文献证明略，可见文献23.下面讨论特殊情况，设下面讨论特殊情况，设 是正交是正交多项式多项式 可由可由 正交化得到，则有下面的正交化得到，则有下面的收敛定理收敛定理.定理定理8 设设f(x)Ca,b，S*(x)是是f(x)的的最佳平方最佳平方逼近多项式逼近多项式，其中，其中 是是正交多项式族正交多项式族，则有则有第84页，本讲稿共129页 下面考虑函数下面考虑函数f(x)C-1,1，按勒让得多项式，按勒让得多项式P0(x),P1(x),Pn(x)展开，由公式可得展开，由公式可得其中其中根据根据(3.10)式，平方逼近的误差为式，平方逼近的误差为由定理由定理8可得可得第85页，本讲稿共129页 证明略，可见文献证明略，可见文献23.定理定理9 设设f(x)C2-1,1，Sn*(x)由由(3.13)式给出式给出,则对任意则对任意x-1,1和任意和任意 0，当，当n充分大时有充分大时有 如果如果f(x)满足光滑性条件还可得到满足光滑性条件还可得到S*(x)一致收敛于一致收敛于f(x)的结论的结论.第86页，本讲稿共129页 对首项系数为对首项系数为1的勒让德多项式的勒让德多项式 有以下性质有以下性质 定理定理10 在所有最高次项系数为在所有最高次项系数为1的的n次多项式中次多项式中,勒让德多项式勒让德多项式 在在-1,1上与零的平方误差最小上与零的平方误差最小.即可以理解为即可以理解为 最小等价于最小等价于与零的平方误差最小与零的平方误差最小.证明证明 设设Qn(x)是任意一个最高次项系数为是任意一个最高次项系数为1的的n次多项式，次多项式，它可表示为它可表示为第87页，本讲稿共129页于是于是因此当且仅当因此当且仅当 时等号才成立，即当时等号才成立，即当 时平方误差最小时平方误差最小.第88页，本讲稿共129页 解解 先计算先计算(f(x),Pk(x)(k=0,1,2,3)例例7 求求f(x)=ex在在-1,1上的三次最佳平方逼近多项式上的三次最佳平方逼近多项式.由公式由公式 解得解得第89页，本讲稿共129页得三次最佳平方逼近多项式为得三次最佳平方逼近多项式为可得均方误差为可得均方误差为可得最大误差为可得最大误差为第90页，本讲稿共129页 如果如果f(x)Ca,b，求，求a,b上的最佳平方逼近多项式，上的最佳平方逼近多项式，做变换做变换于是于是 在在-1,1上可用勒让德多项式上可用勒让德多项式做做最佳平方逼近多项式最佳平方逼近多项式 S*(t)，从而可得到区间从而可得到区间a,b上的上的最佳平方逼近多项式最佳平方逼近多项式第91页，本讲稿共129页 由于勒让德多项式由于勒让德多项式Pk(x)是在是在-1,1上由多项式基上由多项式基1,x,xn,正交化得到的，因此正交化得到的，因此利用函数的勒让德展开利用函数的勒让德展开部分和得到最佳平方逼近多项式部分和得到最佳平方逼近多项式与由与由直接通过解法方程得到直接通过解法方程得到Hn中的最佳平方逼近多项式是一致的中的最佳平方逼近多项式是一致的，只有当只有当n较大时法方程出现病态，计算误差较大，不能使用，较大时法方程出现病态，计算误差较大，不能使用，而用勒让德展开不用解线性方程组，不存在病态问题，计算而用勒让德展开不用解线性方程组，不存在病态问题，计算公式比较方便，公式比较方便，因此通常都用这种方法求最佳平方逼近多项因此通常都用这种方法求最佳平方逼近多项式式.第92页，本讲稿共129页3.3.3 切比雪夫级数切比雪夫级数其中系数根据其中系数根据(3.8)式，由式，由(2.12)式得到式得到如果设如果设f(x)C-1,1，按，按Tk(x)展成广义傅里叶级数，展成广义傅里叶级数，由由(3.12)式可得级数式可得级数这里这里 Tk(x)=cos(karccosx),|x|1.级数级数(2.16)称为称为f(x)在在-1,1上的上的切比雪夫级数切比雪夫级数.第93页，本讲稿共129页若令若令x=cos,0 ，则，则(3.16)式就是式就是f(cos)的傅里的傅里叶级数，其中叶级数，其中取它的部分和取它的部分和于是根据傅里叶级数理论知，只要于是根据傅里叶级数理论知，只要(x)在在-1,1上分段上分段连续，则连续，则f(x)在在-1,1上的切比雪夫上的切比雪夫(3.16)一致收敛于一致收敛于f(x).从而可表示为从而可表示为第94页，本讲稿共129页其误差为其误差为在在-1,1上上Tn+1(x)是均匀分布的是均匀分布的,它的最大值它的最大值最小，因此最小，因此 可作为可作为f(x)在在-1,1上的近似最佳一上的近似最佳一致逼近多项式致逼近多项式.第95页，本讲稿共129页 解解 由由(3.18)式得式得 例例8 求求f(x)=ex在在-1,1上的切比雪夫级数部分和上的切比雪夫级数部分和它可用数值积分它可用数值积分(见第见第4章章)求得求得由由(3.20)式及式及Tk(x)的表达式可求得的表达式可求得及误差及误差第96页，本讲稿共129页3.4 曲线拟合的最小二乘法曲线拟合的最小二乘法最小二乘法的基本原理最小二乘法的基本原理具体的做法是求具体的做法是求 p(x)使使 几何意义几何意义:求在给定点求在给定点 x0,x1,xm 处与点处与点(x0,y0),(x1,y1),(xm,ym)的的距离距离平方和最小的曲线平方和最小的曲线y=p(x),这就是这就是最小二乘曲线拟合问题最小二乘曲线拟合问题.第97页，本讲稿共129页3.4.1 最小二乘法及其计算最小二乘法及其计算中找一函数中找一函数y=S*(x)使误差平方和使误差平方和 在函数的最佳平方逼近中在函数的最佳平方逼近中f(x)Ca,b，如果如果f(x)只在一组离散点集只在一组离散点集xi,i=0,1,m上给定，这就是科上给定，这就是科学实验中经常见到的实验数据学实验中经常见到的实验数据(xi,yi),i=0,1,m的的曲线拟合，这里曲线拟合，这里yi=f(xi),i=0,1,m，要求一个函数，要求一个函数y=S*(x)与所给数据与所给数据(xi,yi),i=0,1,m拟合拟合,若记拟若记拟合误差合误差i=S*(xi)-yi,i=0,1,m,=(0,1,m)T,设设 是是a,b上线性无关函数族，在上线性无关函数族，在 第98页，本讲稿共129页这就是一般的这就是一般的最小二乘逼近最小二乘逼近，用几何语言说，就称为，用几何语言说，就称为曲线拟合的最小二乘法曲线拟合的最小二乘法.这里这里 用最小二乘法求拟合曲线时，首先要确定用最小二乘法求拟合曲线时，首先要确定S(x)的的形式形式.这不是单纯的数学问题，还要与所研究问题的这不是单纯的数学问题，还要与所研究问题的运动规律及所得观测数据运动规律及所得观测数据(xi,yi)有关；有关；通常要从问题通常要从问题的运动规律及所给定数据描图，确定的运动规律及所给定数据描图，确定S(x)的形式并通过实的形式并通过实际计算选出较好的结果，这点将从下面的例题得到说明际计算选出较好的结果，这点将从下面的例题得到说明.第99页，本讲稿共129页 S(x)的一般表达式为的一般表达式为(4.2)式表示的线性形式式表示的线性形式.若若 k(x)是是k次多项式，次多项式，S(x)就是就是n次多项式次多项式.为了使问题的提为了使问题的提法更有一般性，通常在最小二乘法中误差平方和都考虑法更有一般性，通常在最小二乘法中误差平方和都考虑加加权平方和权平方和，即，即这里这里(x)0是是a,b上的上的权函数权函数,它表示不同点它表示不同点(xi,f(xi)处的数据比重不同，例如，处的数据比重不同，例如，(xi)可表示在点可表示在点(xi,f(xi)处处重复观测的数据重复观测的数据.第100页，本讲稿共129页用最小二乘法求拟合曲线的问题用最小二乘法求拟合曲线的问题,就是在形如就是在形如(4.2