第三章函数与数据的逼近教案.doc

第三章 函数与数据的逼近教学目的 1. 理解连续函数空间，正交多项式理论；2. 掌握最佳平方逼近及最小二乘逼近函数的求解方法；3. 理解非线性模型举例的有关知识的基础上会求模型的逼近函数。教学重点及难点 重点是最佳平方逼近及最小二乘逼近函数的求解。难点是会求非线性模型的逼近函数。教学时数 10学时教学过程§1 引言在科学计算中有下述两类逼近问题。1关于数学函数的逼近问题由于电子计算机只能做算术运算，因此，在计算机上计算数学函数（例如等在有限区间上计算）必须用其他简单的函数来逼近（例如用多项式或有理分式来逼近数学函数，）且用它来代替原来精确的数学函数的计算。这种函数逼近的特点是：（a）要求是高精度逼近；（b）要快速计算（计算量越小越好）。2建立实验数据的数学模型给定函数的实验数据，需要用较简单和合适的函数来逼近（或拟合实验数据）。例如，已知实验数据希望建立数学模型（近似表达式），这种逼近的特点是：（a）适度的精度是需要的；（b）实验数据有小的误差；（c）对于某些问题，可能有某些特殊的信息能够用来选择实验数据的数学模型。事实上，我们已经学过一些用多项式逼近一个函数的问题，例如（1）用在点Taylor多项式逼近函数设在a,b上各阶导数存在且连续，则有 其中在和之间。于是，可用次多项式）来逼近，即且误差为：且当时，则有误差估计显然有：说明是利用在处函数值及各阶导数值来摸拟的性质，且当越接近于，误差就越小，越偏离，误差就越大。由此，在a,b上要提高逼近的精度，就要提高的次数，这就使得计算量增大。（2）用插值多项式逼近函数设已知则存在唯一次插值多项式使其中且互不相同，于是可作为近似函数，即 插值多项式逼近也是利用个点上的函数值来模似的性质，在个节点上逼近无误差，当时，逼近，也可能使误差较大。如果实际问题要求：对（其中是给定精度要求），用插值多项式去逼近就可能失败。例1 设，试考查用4次Taylor多项式逼近的误差。解 用在展开的4次Taylor多项式逼近；其中在和0之间。于是有误差估计： 且有当误差随增加（）而增加（对同理可说明），说明误差在整个区间-1，1不是均匀分布，如图3-1。现提出下述函数逼近问题。问题：设为上连续函数，寻求一个近似函数（多项式）使在上均匀逼近。下面给出最佳逼近的数学提法：为上实连续函数为实数B为较简单且便于计算的函数类，例如为代数多项式或三角项式或分式有理函数等。设给定要求在B中寻求一个函数使误差-在其种度量意义下最小。1 最佳一致逼近设给定作为度量误差-的“大小”标准，寻求次数的多项式使最大误差最小，即如果这样多项式存在，称为在上次最佳一致逼近多项式。这个逼近问题近问题称炒最佳一致逼近（或称为Chebyshev逼近，或称为极大极小逼近）。在现论上可以证明，对任意的上连续函数的次最佳一致逼近多项式存有且唯一。最佳一致逼近主要用于初等函数的计算。2最佳平方逼近以均方误差作为度量误差-的大小“标准， 寻求使均方误差最小，即 其中为权函数。如果这样的多项式存在，称为在中的最佳平方逼近多项近。这种逼近问题称为最佳平方逼近。对于离散数据的逼近问题有：3 小二乘逼近如果仅仅在有限个点上给定，即已知实验数据寻求次数多项式使编差平方（或带权）和最小，即如果这样的多项式存在，称为实验数据的最小二乘逼近函数或称为实验数据的最小二乘拟合多项式或称为的经验公式（数学模型）。对于给定，需要研究的问题是：（1）在各种度量意义下最佳逼近多项式是否存在，是否唯一。本章主要讲座最佳平方逼近，最小二乘逼近存在性及唯一性。（2）如何具体寻找或构造或构造各种最佳逼近意义下多项式。 §2 连续函数空间，正交多项式理论2 1连续函数空间上所有实连续函数集合C，关于函数的加法及与数（实数）乘法运算为一线性空间，对于称为中一个元素，下面将在内引进内积，范数等概念。1内积设为任一对元素，定义为一实数（其中且于为可积，各对任何子区间称为权函数）称为元素的内积。显然，连续函数空间中元素的内积满足下述性质：为常数当且仅当又称为内积空间。3 范数定义1 关于函数的某个实值非负函数如果满足下述条件：当且仅当为实数）三角不等式：对任意，有称为的范数或模。定义2 （1）设，称为的“”范教（或Chebyshev范数）。（2）设称为的“2”范数（或模）。可以验证满足范数的3个条件（见定理1）。定理1 设则有（1）哥西-许瓦兹(Cauchy-Schwarz)不等式 （2）三角不等式证明（1）对任对（不妨设）及任何实数则有其中 则有 即（2）考查由哥西-许瓦兹不等式，则有3距离概念定义3 设为之间距离（其中）。4正交函数组定义4 （1）设，如果称。（2）设有函数组 称上带权正交函数组。（3）如果 称为上带权标准正交组。例2 三角函数组于上组成一正交组。解 显然有（1）（2）（3）（4）（1，1）=5函数组的线性无关定义5 设有函数组，其中（1）如果存在不全为零数使 ，对所有称函数组在上为线性相关。（2）如果，对所有则，称在上是线性无关。例3 函数组，其中于为线性无关。证明 反证法。设于为线性相关，即存在不全为零的数使 （2。1）对所有（2。1）式成立，而为次数多项式，最多有个零点，而（2。1）式说明有无穷多零点，矛盾。定理2 内函数组于线性无关充要条件是行列式行列式称为函数组的Gram行列式。证明 必要性：设于线性无关，采用反证法。若行列式G，于是，齐次方程组有非零解，即存在不全为零解使 （22）记 于是，由（22）式有从而有， 故即存在不全为零数使说明于线性相关，与假设矛盾，故充分性：设，求证于线性无关。反证法：若于线性相关，于是，存在不全为零使 （2.3）（2.3）式两边与作内积得到 （2.4）由于不全为零，说明齐次方程组（2.4）有非零解故系数矩阵的行列式为零，即与假设矛盾。22正交多项式理论定义6 设为中线性无关组，称集合为由生成的集合。显然，为的一个子空间。下面讨论，对于给定上权函数，如何由H。中基构造中正交基。定理3 （格兰姆-史密特（Gram-Schmidt）正交化）（1）设（2）为给定的权函数（在任何一个子区间不恒为零的可积函数）。则由基可构造于以为权函数的正交多项式组； 其中为首项（即项）系数为1的次多项式，。证明 （1）令=1。（2）构造选取使即选取（3）设已构造且满足是首项系数为1的次多项式当现由组合构造选择系数使即选取 于是，得到为具有权函数的正交多项式组，即 推论 （1）设为带权的正交多项式组。其中首项系数为1的次多项式。（2）设为任一次数多项式，则于线性无关；，其中证 （2）由设 (2.5)且由 (2.6)将(2.6)代入(2.5)即得推论说明。定理4 (正交多项式的三项递推公式)设式,则满足递推公式:且于为正交多项式组为首项系数为1的k次多项式)是唯一的。证明 显然次多项式,由推论,则有 (2.7)用与(2.7)两边作内积,则有 所以 (1)考查其中 所以,(2)考查,或 (3)于是,或 定理5 设是上带权的正交多项式序列,则次多项式在内恰好有个不同的实根.证明 设在内有奇数重的根,如果将推出矛盾.即其中，为奇数，在内不变号。令于是，不变号，则另一方面，如果，则有这与矛盾，做。1勒让德（Legendre）多项式取，权函数，则由定理4可得于具有权函数的正交多项式组且有为首项系数为1的次多项式。定义7 次多项式 称为Legendre 多项式。显然有 （2。8）（1）求的首项系数即求首项系数，由于是次多项式，即为求的阶导数后的系数从而，首项系数且（2）具有简单性质（）（）令，则,当时（3）Legendre多项式为-1，1具有权函数的正交多项式，即证明 设，且记及于是， 当时，记(令且)又由唯一性，于是有（4）Legendre多项式奇的偶性（5）Legendre多项式的三项递推其中所以有三项递推： 利用关系式，则有Legendre多项式的三项递推公式2切比雪夫（Chebshev）多项式取权函数则由定理4可得于具有权函数的正交多项式组且有当。为首项系数为1的次多项式。定义8 次多项式称为次Chebyshev多项式，显然有： （29）显然，首项系数为。（1）Chebyshev多项式，是具有权函数的正交多项式组。即 事实了，由直接计算可得，令 当当(2)Chebyshev三项递推公式其中 由三角公式得到或（3）Chebyshev多项式零点由其中 于是，当时，则或当时，则说明次Chebyshev多项式于-1，1内有个不同的零点：（4）（5）于-1，1极值点，求使的值当 时，则），即 或当时，则说明在-1，1上有个点使轮流取最大值和最小值，如图3-2。3拉盖尔（Leguerre）多项式多项式称为拉盖尔多项式。且有递推公式：首项系数为4埃尔米特（Hermite）多项式权函数，多项式称为埃尔米特多项式。且有 及递推公式首项系数为。§3 最佳平方逼近31法方程设已知，且选择一函数类，其中且设于线性无关（例如取或等）。研究最佳平方逼近问题：寻求（31）或写为 研究最佳平方逼近函数存在性，唯一性，计算等问题。设有，即使（31）式成立，来考查应满足什么条件。对于任一，即有，于是 (3.2) (3.2)式说明均方误差是多元函数（为二次函数），由设存在是极值问题（3.1）解，即说明存在使由多元函数取极值的必要条件，则有计算由（3。3）式，则有应满足方程组或或总结上述讨论有结论：（1）如果是最佳平方逼近函数，则系数满足方程组其中系数矩阵G是由基函数作内积构成，方程组称为法方程组。（b）误差函数与基函数正交，即 事实上，由（3.4）式有 即 所以 (2)由设线性无关,则法方程组有唯一解在S中最佳平方逼近函数。事实上，由没有即有 （3.5）如果能证明，对任何，则有那么，满足考查（记） （因为），及（3.5）式有总结上述讨论有结论：定理6 （最佳平方逼近）（1）设；（2）选择函数类其中且于线性无关。则在S中最佳平方逼近函数存在且唯一，即存在使且可由解法方程组求得，于是的最佳平方逼近函数为 （因为）32用多项式作最佳平方逼近已知。（1） 选取寻求使 显然，计算（2）求解法方程组： 即得物别，设，则法方程组为： （或）求解，则可是矩阵称为Hilbert矩阵，是一个著名病态矩阵（对解而言），且随增大，病态愈严重，求得比较准确的计算解就愈困难。因此，取中基，求是佳平方逼近多项式当较大时用一般计算方法救得的计算解是不可靠的，当增加时，这种方程组计算解精度由舍入误差影响而迅速恶化。一个补救的办法是取中正交基。33用正效多项式作最佳平方逼近设。（1）选取中正交基权函数，寻求使 由设，。（2）求解法方程组 于是，得到在最佳平方逼近多项式 定理7 （用正交多项式作最佳平方逼近）（1） 设；（2） 选取中正交基即，为权函数，则在中最佳平方逼近多项式其中，均方误差 由此，用正交多项式求得佳平方逼近多项式，避免解法方程组。例4 求在-1，1上3次最佳平方逼近多项式。解 取中正交基其中为Legendre多项式。于-1，1在中3次最佳逼近多项式为：其中且表3-1所以由表3-1： 用Chebyshev多项式作最佳平方逼近。设。选取中正交基，其中为Chebyshev多项式。，权函数，寻求使由定理7，在中最佳平方逼近多项式为或均方误差 如果，要求在上最佳平方逼近多项式：作变换 于是， 且可用Legendre多项式求在-1，1的最佳平方逼近，其中最后，利用可得函数在上最佳平方逼近多项式例5 用Chebyshev多项式求在-1，1上3次最佳平方逼近多项式。解 3次最佳逼近多项式为其中，令于是，可用数值分计算积分（见表3.2） 表3。21234562.532131761.130318210.271495340.044336840.005474240.000542930.000044977 在上3次最佳逼近多项式为：且或 用Chebyshev多项式求得的3次最佳平方逼近的最大误差接近3最佳一致逼近的误差（见图3-3），且误差函数的分布很相似（见本章§6）。§4 最小二乘逼近41一般的最小二乘逼近设已知的实验数据其中。且选取中一函数类 记且最小二乘逼近问题：在S中寻求怀函数使使 （4.1）其中为仅系数。研究的问题：在S中是否存在，是唯一及计算等问题。定义9 设已知关于点集上函数值，为权系数。（1）离散函数的内积： （2）范数： （对离散情况是指在上不全为零，于是，当时，则）（3）如果 则称与关于权及点集X为正交。（4）设有连续函数组如果，当时成立，则，称在点集X上线性无关，否则称在X上线性相关。若记显然，函数组关于X线性无关，即是向量组线性无关。类似于定理2 可证明下述结论。定理连续函数组在点集上线性无关是。其中 显然，如先取，则关于上是线性无关。设连续函数组关于点集X线性无关。设存在使(4.1)式成立，现考查系数应满足的条件对任何，于是有(4.1) 式成立即说明，存在使 （4.2）于是由多元函数取极值的必要条件，则有满足即 应满足方组：或 （4.4）其中,（43）式即说明应满足 （4. 4）反之,如果为解,则为的最小二乘逼近函数，即满足（4.1）式。总结上述讨论，有下述结论。定理8 设有实验数据且，其中关于点集线性无关，则是在S中最小二乘逼近函数是满足法方程组或误差函数满足足正交条件由定理可知，当假设连续数组在点集线性无关时，则法方程组有唯一解。定理9 （最小二乘逼近）（1）设已知实验数据。（2）设中函数组关于点集线性无关，则有在中最小二乘逼近函数 存在且唯一。即存在使（b）且最小二乘逼近多项式的系数可由解法方程组求得，或其中，最小平方误差最大偏差 注意下列问题：（1）权系数的选取：特别可取权系数或选取为下面的（4.5）式。即选取权系数为： （4.5）则即离散内积近似于连续内积。事实上 （4.6）当利梯形公式计算积分,即有将(4.7)代入(4.6)式,即得其中为(4.5)式(当较大时)。 权系数还可根据实验数据的准确程度来先取，当较准确时，就分配较大的权系数。（2）设权系数，将第个基函数在处值记为：，则，即法方程组为，且为对称正定阵（当在线性无关时）。（3）设已知的实验数据 （4.8）选取中基，权系数计算求解法方程：得到的最小二乘逼近多项式实际计算表明，当时，法方程组是病态方程组，用一般方法求解时误差较大，一般选取中正交基作曲线拟合比较适合，可避免解病态方程组。（4）设有实验数据（4.8）式。选取中正交基（在连续内积意义下正交，即）计算（b）求解法方程组其中，。可求得中最小二乘逼近多项式即有可选取为Chebyshev正交多项式基或Legendre下交多项式基当。由此，可设计一个选基的最小二乘逼近的软件。若选基就需要编制一个计算第个基函数在处值的函数于程序。例6 已知的实验数据如下表，试用最小二乘法求的3次拟合多项多。即选取中基，及基（Chebyshev多项式），其中，。解 选取中基，求实验数据的似合多项式（在PC机上计算果）法方程组系数矩阵：常数项：系数：注法方程组是一个病态议程组，用一般方法要求得较精确的解可能是困难的（参见第五章§9）。选取中基（Chebyshev多项式）求实验数据的似合多项式法方程组系数矩阵：常数项：系数：最小平方误差：0.1927446最大偏差：0.8865869注法方程为良态方程组。4.3 用正交多项式作曲线拟合算法设已知的实验数据（且）记。选取中关于点集X及权系数为正交多项式组即则有唯一使最小二乘逼近多项式其中，计算需要计算值当增加时，可用递推公式计算最小平方误差。记，则有问题：对于给定点集及权系数，能否构造关于X及为正交的多项式！类似本章§2定理3、定理4有下述结果。定理10 设已知点集及权系数，则有关于及为正交多项式组且可由下述三项递推公式产生(4.9)其中（1）首项系数为1的次多项式。（2）利用正交多项式（关于点集及权系数为正交）作曲线拟合，其优点是不用解法方程组，且关于计算公式中与无关。如要增加，只需再计算系数即可，已经计算的不变，但要计算三组系数，这种方法是用多项式作曲线拟合的最好的计算方法。 注（1）本算法中系数存放在数组存放在数组存放在数组。（3） 为了减少舍入误差的影响，可作变换把区间变换到进行计算，且 例7 已知数据（取）试利用关于点集及极系数为正交多项式构造一、二和三次最小二乘逼近多项式。解 应用算法2可得计算结果：取（1）最小平方误差：（2）（3）系数于是得到数据的拟合多项式：附注切比雪夫多项式关于点集的正交性：设在，则切比雪夫多项式组关于点集为正交组，即 事实上,由 于是,利用积化和差三角公式有 记 于是，利用三角公式则有 从而有（1）当时 （2）当时，则（3）当时，则44非线性模型举例设已知实验数据，在前面讨论了建立实验数据的多项式模型，即设为中一个基，用多项式来拟合实验数据，即求使 （410）且由求解法方程组得到。数学模型，关于参数是线性模型。对于给定实验数据，应根据数据的走向、趋势选择合适的数学模型。例如，当实验数据，具有单调性凸性（凹向上或凹向下）时，可选择下述适当的数学模型来拟合实验数据等，其中、为参数，如图3-4例8 在某化学反应里，根据实验所得生成物的浓度与时间关系如下，求浓度与时间的拟合曲线解 从数据表略可看出，浓度随增加而增加，开始浓度增加快，后来逐渐减弱，到一定时间就基本稳定在一个数值上，即当时，趋向于某个常数，故有一水平渐近线。（1） 选取数学模型为指数函数是关于参数的非线性模型，求使 （4.11）且极小点满足法方程.于是非线性最小二乘问题化为非线性方程组的求解问题,即求解法方程 (4.12)(4.12)为关于参数的非线性方程组.消失得 (4.13)再用弦位法求解.得到(4.12)近似解:注:注意对一般非线性最小二乘问题,法方程解是的驻点,不一定是的极小点.也可直接解极小化问题.于是,得到数学模型且最大偏差:最小平方误差: (2)选取数学模型,作变换,将此模型转化为线性模型求解较简单. 求导: (4.14)作变换:令 (4.15)则（4.14）式变为:。于是，问题化为由已知数据（由（）及（4.15）式求得）求参数A，B使 （4.16）其中，模型为线性模型，可求得从而于是得到模型且最大偏差：及最小平方误差：注：解（4.16）与解（4.11）是有差别的，对于解（4.16）求出（），一般而言已不是关于（4.11）的最小二乘解，但是在某些应用问题中这种方法还是令人满意的。（3）选取数学模型为双曲函数其中待定参数。显然，作变换，令于是问题化为，已知数据（由数据）及变换求得），寻求使其中为线性模型，取基。求解法方程得到得到数学模型最大偏差：最小平方误差：由此可知，选取指数模型或时、（或、）都比较小，所以用（或）作拟合曲线要比双曲模型要好（对比例）。布置作业 P. 159-161 习题3 3、6、10、14