《计算方法第三章精选文档.ppt》由会员分享,可在线阅读,更多相关《计算方法第三章精选文档.ppt(94页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、计算方法第三章计算方法第三章本讲稿第一页,共九十四页3.1 3.1 函数逼近的基本概念函数逼近的基本概念n函数逼近 在某区间上用简单函数逼近已知复杂函数的问题,称为函数逼近问题。上章讨论的插值法就是函数逼近问题的一种。我们的做法是在多项式类中寻找一个合适的多项式来代替原来的函数,使误差较小。本讲稿第二页,共九十四页3.1 3.1 函数逼近的基本概念函数逼近的基本概念 如果我们把问题一般化,则可以提出如下的方法:对函数类 中给定的函数 ,记作 ,要求在另一类简单的便于计算的函数类 中求函数 ,使得 与的误差在某种度量意义下最小。函数类 通常是区间 上的连续函数,记作 ,称为连续函数空间,而函数类
2、 通常为 次多项式,有理函数或分段低次多项式。本讲稿第三页,共九十四页相关概念、定理的复习相关概念、定理的复习 线性无关的概念,线性空间的基,线性空间的维数,有限维线性空间、无限维线性空间。Weierstrass定理:设 ,则对任何 ,总存在一个代数多项式 ,使得 在 上一致成立。这个定理可有多种证明方法,其中的伯恩斯坦证明是构造性的,即它给出了一个具体的函数,称为伯恩斯坦多项式。本讲稿第四页,共九十四页伯恩斯坦多项式伯恩斯坦多项式 其中:并且可以证明:在0,1上一致成立;本讲稿第五页,共九十四页 若 在 上 阶导数连续,则这不但给出了定理的一种证明,而且给出了 的一个逼近多项式的具体形式。伯
3、恩斯坦多项式还具有一些性质,如:即所有伯恩斯坦基函数的和为1。本讲稿第六页,共九十四页 证明:只要在令 ,并利用当 时即可得到。由于当 时,于是是有界的,因而只要 对任意成立,就有本讲稿第七页,共九十四页有界,故 是稳定的。至于Lagrange多项式,由于 无界,因而不能保证高阶插值的稳定性与收敛性。相比之下。有良好的逼近性质,但它收敛太慢,故实际中很少采用。本讲稿第八页,共九十四页更一般地,可以用一组在 上线性无关的函数集合 来逼近 。函数逼近问题就是对任何 ,在子空间 中找一个元素 ,使 在某中意义下最小。本讲稿第九页,共九十四页3.1.2 范数与赋范线性空间范数与赋范线性空间 引进范数是
4、为了对线性空间中的元素度量大小,是向量长度的推广。定义:设 为线性空间,若存在唯一实数 ,满足条件:(1),当且仅当 时,;(2),;(3),。则称 为线性空间 上的范数,与 一起称为赋范线性空间,记为 。本讲稿第十页,共九十四页常用范数常用范数 例如,在 上的向量 ,三种常用范数为:-范数 1-范数 2-范数本讲稿第十一页,共九十四页 类似地,在连续函数空间 ,可定义三种常用的范数如下:-范数 1-范数 2-范数可以验证这样定义的范数满足定义的条件本讲稿第十二页,共九十四页3.1.3 内积与内积空间内积与内积空间 在线性代数中,中向量和向量 的内积定义为:把它推广到一般的线性空间 ,则有下面
5、的定义:定义:设 是数域 上的线性空间,对 ,有 中的一个数与之对应,记为 ,它满足以下条件:本讲稿第十三页,共九十四页(1),(2),(3),(4),当且仅当 时,则称 为 上 与 的内积。定义了内积的线性空间称为内积空间。如果 ,则称 与 正交。本讲稿第十四页,共九十四页 定理:设 为一个内积空间,对有成立,该不等式称为Cauchy-Schwarz不等式。证明:当 时,上式显然成立,现设 ,则 ,且对任何数 有 本讲稿第十五页,共九十四页 这是一个关于 的二次式,既然它大于等于零,则它的判别式必然小于等于零,因此我们得到:即:本讲稿第十六页,共九十四页 定理:设 为一个内积空间,矩阵称为G
6、ram矩阵,非奇异的充分必要条件是 线性无关。本讲稿第十七页,共九十四页 证明:非奇异等价于 ,其充要条件是齐次方程组 ,只有零解,而 本讲稿第十八页,共九十四页 从以上等价关系可知,等价于从(A)推出 ,也即从(B)推出 ,即线性无关。在内积空间 上可以有内积导出一种范数,即对于 ,记可以验证它满足范数定义中的三条性质,其中三角不等式可由定理直接得出。本讲稿第十九页,共九十四页例:例:与与 中元素的内积中元素的内积 设 ,则其内积和范数分别为:,若给定实数 (权系数)则 上可定义加权内积和相应的范数为:,本讲稿第二十页,共九十四页 加权内积是内积的推广,加权范数是范数的推广,当 时就是原来的
7、内积和范数 如果 ,带权内积定义为 在 上也可定义带权内积,为此先给出权函数的定义:本讲稿第二十一页,共九十四页 定义:设 是有限或无限区间,在上的非负函数 满足条件:(1)存在且为有限值,(2)对 上的非负连续函数 ,如果 ,则 。则称 为 上的一个权函数。本讲稿第二十二页,共九十四页 注意:这个定义比较抽象,它并没有告诉我们 是怎样的函数,我们暂且放在一边,下面的讨论中会对权函数加深理解。例2:上的内积,设 是权函数,则有:易验证它是内积:本讲稿第二十三页,共九十四页当 时,有:若 ,是 中的线性无关的函数族,它的Gram矩阵为:本讲稿第二十四页,共九十四页 根据定理,线性无关的充要条件是
8、本讲稿第二十五页,共九十四页3.2 正交多项式正交多项式 正交多项式是函数逼近的重要工具。本讲稿第二十六页,共九十四页3.2.1 正交函数族与正交多项式正交函数族与正交多项式 定义:若 ,为上的权函数且满足则称 与 在 上带权 正交。若函数族 满足关系:则称 是 上带权 的正交函数族若 ,则称之为标准正交函数族。本讲稿第二十七页,共九十四页正交函数族的例正交函数族的例 三角函数族在区间 上是正交函数族。本讲稿第二十八页,共九十四页正交多项式的定义正交多项式的定义 定义:设 是 上首项系数 的 次多项式,为 上的权函数,如果多项式序列 满足关系式则称多项式序列 为在 上带权正交。称 为区间 上带
9、权 的次正交多项式。本讲稿第二十九页,共九十四页线性无关函数族的正交化线性无关函数族的正交化 只要给定了区间 及权函数 ,均可由一族线性无关的函数 ,通过正交化的方法得到正交多项式序列这样得到的正交多项式序列有以下性质:本讲稿第三十页,共九十四页正交多项式序列的性质正交多项式序列的性质(1)是最高次系数为1的 次多项式;(2)任何 次多项式 均可表示为:的线性组合(3)当 时,且 与任一次数小于 的多项式正交。(4)成立递推关系其中:本讲稿第三十一页,共九十四页这里(5)设 是在 上带权 的正交多项式序列,则 的 个根都是在区间 内的单重实根。下面给出几种常见的正交多项式。本讲稿第三十二页,共
10、九十四页勒让德多项式勒让德多项式 区间为 ,权函数 时,由 正交化得到的多项式称为勒让德多项式,并用 表示罗德利克1814年给出了如下的简单表示:由于 是 次多项式,求 阶导数后得到:本讲稿第三十三页,共九十四页于是得到首项 系数 ,显然最高项系数为1的勒让德多项式为:勒让德多项式有几个重要性质。本讲稿第三十四页,共九十四页 性质1:正交性 证明:令 ,则 设 是在区间 上形如 的 阶连续可微的函数,由分部积分知本讲稿第三十五页,共九十四页若 是次数小于 的多项式,则故得到本讲稿第三十六页,共九十四页若 则于是本讲稿第三十七页,共九十四页由于故得证。本讲稿第三十八页,共九十四页 性质2:奇偶性
11、 由于 是偶数次多项式,经过偶数次求导仍为偶数次多项式,经过奇数次求导仍为奇数次多项式,故 为偶数时 为偶函数,为奇数时 为奇函数。于是本性质成立。本讲稿第三十九页,共九十四页 性质3:递推关系 考虑 次多项式 ,可表示为:两边乘 ,并从 到 积分,得:当 时,的次数小于等于 ,上式左端积分为 ,故得 ,当 时,为奇函数,左端为 ,故本讲稿第四十页,共九十四页于是:其中:从而得到以下的递推公式:本讲稿第四十一页,共九十四页由 ,利用上式就有:性质4:在区间 内有 个不同的实零点。本讲稿第四十二页,共九十四页本讲稿第四十三页,共九十四页切比雪夫多项式切比雪夫多项式 当权函数 ,区间为 时,由序列
12、 正交化得到的正交多项式就是切比雪夫多项式,它可表示为:若令 ,则 切比雪夫多项式有如下的重要性质:性质5:递推关系:本讲稿第四十四页,共九十四页 这只要由三角恒等式令 即得,由递推关系就可推出:本讲稿第四十五页,共九十四页本讲稿第四十六页,共九十四页 由递推关系可得 的最高次项系数是 性质6:切比雪夫多项式 在区间 上带权 正交,且本讲稿第四十七页,共九十四页 事实上,令 ,则 ,于是 由递推公式直接可得:性质7:只含 的偶次幂,只含 的奇次幂。本讲稿第四十八页,共九十四页 性质8:在区间 上有 个零点 此外,有公式:我们规定:,可得时的结果如下:本讲稿第四十九页,共九十四页 本讲稿第五十页
13、,共九十四页其它常用的正交多项式其它常用的正交多项式 正交多项式是与区间和权函数相关的,不同的区间,不同的权函数就给出了不同的正交多项式。但一般都具有正交性质和三项递推性质。本讲稿第五十一页,共九十四页第二类切比雪夫多项式第二类切比雪夫多项式区间:权:表达式:令:,可得:递推公式:本讲稿第五十二页,共九十四页区间:权:表达式:正交性:递推公式:拉盖尔多项式拉盖尔多项式本讲稿第五十三页,共九十四页埃尔米特多项式埃尔米特多项式区间:权:表达式:正交性:递推公式:本讲稿第五十四页,共九十四页3.5 曲线拟合的最小二乘法曲线拟合的最小二乘法线性模型和最小二乘法 定义1:对于已知的 对离散数据 和权因子
14、 ,记在 中选定 个线性无关的基函数 ,并记由它们张成的子空间为:本讲稿第五十五页,共九十四页若有 ,使得:则称 为离散数据 在子空间 中带权 的最小二乘拟合。由于 是待定参数 的线性函数,故称之为线性最小二乘问题。本讲稿第五十六页,共九十四页 注意到函数 在离散点处的值故求解 ,事实上就是求多元函数的极小值点 ,使得 问题是:极值问题 式是否存在唯一解 ,即原最小二乘问题是否存在唯一解 ,即原最小二乘问题是否存在唯一解?如果有解,如何求解?本讲稿第五十七页,共九十四页正规方程和解的存在唯一性问题 有解的必要条件是:亦即:本讲稿第五十八页,共九十四页若记 维向量其中 为函数 在点列 处取得值的
15、向量,按向量加权内积的定义,有本讲稿第五十九页,共九十四页从而方程 可写为:即:此方程称为正规方程(或法方程)。本讲稿第六十页,共九十四页若记 ,则正规方程可记为:因此,极值问题有解,即最小二乘法问题存在唯一解的必要条件是 非奇异。矩阵 称为格兰姆(Gram)矩阵,它是对称的,且有如下结论。本讲稿第六十一页,共九十四页 定理:格兰姆矩阵 非奇异的充要条件是 线性无关。一般情况下,即函数少,数据多,此时能保证 非奇异。如果求得正规方程的解那么 在 达到最小值,所要求的拟合数据的连续模型为:本讲稿第六十二页,共九十四页数据拟合的例(一)数据拟合的例(一)考虑下表给出的离散点ixiyixi2xi y
16、i*(xi)011.311.31.24123.547.02.76234.2912.64.28345.01610.05.79457.02535.07.31568.83652.88.836710.14970.710.347812.564100.011.868913.081117.013.3891015.6100156.014.89101116.1121177.116.416697.1506749.5本讲稿第六十三页,共九十四页本讲稿第六十四页,共九十四页 我们看到,给定的离散数据在一条直线附近,因此,用直线来拟合这些数据是合适的,据此,我们确定拟合模型为:这时,基函数为:,用于拟合的函数类为:,取
17、权:经计算得到:本讲稿第六十五页,共九十四页利用这些值,得到正规方程为:本讲稿第六十六页,共九十四页此方程组的解为:,故解出的连续模型为:前面的表中最后一列给出了 的值,可与 的值相比较。结果见下图:本讲稿第六十七页,共九十四页本讲稿第六十八页,共九十四页数据拟合的例(二)数据拟合的例(二)考虑下表给出的离散点:ixiyi*(xi)yi-*(xi*)001.00001.0052-0.005210.251.28401.27400.010020.501.64871.64820.000530.752.11702.1279-0.010941.002.71832.71300.0053本讲稿第六十九页,共
18、九十四页本讲稿第七十页,共九十四页这次,我们用二次曲线来拟合,我们有三个基函数:,拟合模型为:取:,依据可以算出:本讲稿第七十一页,共九十四页 正规方程为:本讲稿第七十二页,共九十四页求解得到:因此所求的模型为:最小平方残差(各点拟合残差的平方和)本讲稿第七十三页,共九十四页本讲稿第七十四页,共九十四页求解线性最小二乘拟合的步骤求解线性最小二乘拟合的步骤(1)根据已知的离散点 ,画出这些点,观察其分布,选择合适的拟合模型,即选择用直线,二次曲线,三次曲线等去拟合;(2)计算 ,从而求出 ;(3)计算 ,从而求出 ;(4)求解正规方程:,得到 ,从而写出 的具体形式。本讲稿第七十五页,共九十四页
19、基于正交基的线性模型基于正交基的线性模型 线性模型和相应的正规方程均取决于基函数的选取,通常 往往是病态的。因此,使得问题的解不稳定。为避免这种情况,我们选取特殊的基函数,使正规方程的系数矩阵是对角矩阵。我们已经知道,若我们选取正交函数系作为基函数,则可做到这一点,此时,本讲稿第七十六页,共九十四页从而可直接解出正规方程的解:对于一组给定的数据,我们就有了 轴上的一个点列,对于这一组点列,我们可用以下的方法求出相应的正交多项式:本讲稿第七十七页,共九十四页其中:本讲稿第七十八页,共九十四页正交基的例正交基的例 用上一题的数据,也使用二次拟合,但使用正交基,我们有:本讲稿第七十九页,共九十四页经
20、计算可得:本讲稿第八十页,共九十四页 于是可得:最后有:本讲稿第八十一页,共九十四页非线性模型及其线性化非线性模型及其线性化 当用线性模型拟合时,有些问题得不到较好的结果,此时就要考虑用非线性模型进行拟合,在应用时可结合问题本身的背景,或其它方法确定拟合函数的类型,例如用:或等曲线来拟合实验数据,其中 与 是待定参数。本讲稿第八十二页,共九十四页本讲稿第八十三页,共九十四页本讲稿第八十四页,共九十四页本讲稿第八十五页,共九十四页本讲稿第八十六页,共九十四页 此时,显然问题的模型可能符合实际背景,但由于求解问题时遇到的是一个非线性方程组:或 这就带来了另一个方面的问题,通常的处理是设法将非线性模
21、型线性化。本讲稿第八十七页,共九十四页 对于前面提出的模型 ,则可通过取对数的方法,得到:从而 是 和 的线性组合;对于 ,则有:从而 是 和 的线性组合;本讲稿第八十八页,共九十四页 给定离散数据:ixiyilnyixi2xjlnyi*(xi)01.005.101.629 1.0000 1.6295.0911.255.791.756 1.5625 2.1955.7821.506.531.876 2.2500 2.8146.5631.747.452.008 3.0625 3.5147.4442.008.462.135 4.0000 4.2708.44本讲稿第八十九页,共九十四页 正规方程如下:本讲稿第九十页,共九十四页可以解得:所以,拟合曲线为:本讲稿第九十一页,共九十四页本讲稿第九十二页,共九十四页 另一类简单的易于线性化的非线性模型是形如:或对此类模型可取倒数的方法,得到:从而转化为线性模型。本讲稿第九十三页,共九十四页本讲稿第九十四页,共九十四页
限制150内