第三章数值分析精选文档.ppt

《第三章数值分析精选文档.ppt》由会员分享，可在线阅读，更多相关《第三章数值分析精选文档.ppt（112页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章数值分析本讲稿第一页，共一百一十二页二、函数逼近问题二、函数逼近问题 已知复杂函数已知复杂函数 ，或仅知道函数，或仅知道函数 在某些在某些采样点处的函数值，在某函数集合采样点处的函数值，在某函数集合V中，寻找中，寻找的的“最好最好”近似近似 函数逼近问题：函数逼近问题：对集合中给定的函数对集合中给定的函数 ，要求在另一类较简单的便于计算的函数集合中，要求在另一类较简单的便于计算的函数集合中，求函数求函数 ，使得，使得 与与 之差在某之差在某种度量意义下最小。种度量意义下最小。本讲稿第二页，共一百一十二页通常通常 为为Ca,b，V为代数多项式、分式有理函数、三角多项式。集合为代数多项式、分

2、式有理函数、三角多项式。集合V通常是依赖于一组参数的函数族，其代通常是依赖于一组参数的函数族，其代表元素表元素 有如下形式：有如下形式：若集合若集合V是线性空间，是线性空间，线性无关，则线性无关，则 可以表示为可以表示为 若为线性空间若为线性空间V的一组基，则的一组基，则 是一个是一个n+1维线性空间维线性空间本讲稿第三页，共一百一十二页 背景：在某一函数集合中找背景：在某一函数集合中找最好最好的近似。的近似。v 赋范空间、内积空间、正交多项式赋范空间、内积空间、正交多项式v 最佳平方逼近最佳平方逼近v 曲线最小二乘拟合曲线最小二乘拟合v 最佳一致逼近（工科研究生不要求）最佳一致逼近（工科研究

3、生不要求）本讲稿第四页，共一百一十二页1 预备知识与函数逼近问题预备知识与函数逼近问题一、赋范线性空间一、赋范线性空间 1 1、定义定义 设设 为定义于线性空间为定义于线性空间V上的实值函数，并满足：上的实值函数，并满足：(非负性非负性)当且仅当当且仅当g=0时有时有(齐次性齐次性)(三角不等式三角不等式)则称则称 是是线性空间线性空间V上的上的范数范数。并称线性空间。并称线性空间V为为赋范线性空间赋范线性空间，记，记为为Remark:子空间子空间 ,V上的范数上的范数 也是也是 上的范数。上的范数。本讲稿第五页，共一百一十二页 n维向量空间维向量空间 (无穷范数与无穷范数与Euclid范数范

4、数),赋范线性空间赋范线性空间 ,赋范线性空间赋范线性空间本讲稿第六页，共一百一十二页 连续函数空间连续函数空间 (无穷范数无穷范数)定义于区间定义于区间a,b上连续函数的集合上连续函数的集合Ca,b是一线性空间。是一线性空间。定义定义 是线性空间是线性空间Ca,b上的一种范数。上的一种范数。Ca,b关于该范数是一关于该范数是一赋范线性空间赋范线性空间,记为记为 证明：对证明：对本讲稿第七页，共一百一十二页连续函数空间连续函数空间 (Euclid范数范数)定义于区间定义于区间a,b上连续函数的集合上连续函数的集合Ca,b是一线性空间。定是一线性空间。定义义 是线性空间是线性空间Ca,b上的一种

5、范数。上的一种范数。Ca,b关关于该范数是一赋范线性空间于该范数是一赋范线性空间,记为记为 证明：证明：对对本讲稿第八页，共一百一十二页内积空间内积空间(诱导范数诱导范数)在内积空间在内积空间V中，定义了中，定义了 是内积空间是内积空间 上定义上定义的范数的范数,称之为称之为由内积诱导出的范数。由内积诱导出的范数。内积空间关于其诱内积空间关于其诱导范数是一赋范空间导范数是一赋范空间证明：证明：设设f和和g是内积空间是内积空间V中的任意元素，由内积中的任意元素，由内积 的定义的定义非负性非负性齐次性齐次性三角不等式三角不等式.本讲稿第九页，共一百一十二页 2、距离、距离 对于赋范线性空间对于赋范

6、线性空间 上的任意两个元上的任意两个元素素f 和和g，它们之间的距离为，它们之间的距离为Remark本讲稿第十页，共一百一十二页二、内积空间二、内积空间 1、定义、定义 设设V为一线性空间，若定义实值函数为一线性空间，若定义实值函数 ，对，对 任意任意 满足满足 (对称性对称性)(线性性线性性)(非负性非负性)当且仅当当且仅当 时有时有 本讲稿第十一页，共一百一十二页则称实值函数则称实值函数 是线性空间是线性空间V上的一种上的一种内积内积。并称线性空间并称线性空间V关于实值函数关于实值函数 是是内积空间内积空间。对于线性空间对于线性空间 ,如下定义的实值函数如下定义的实值函数满足内积的三个条件

7、满足内积的三个条件线性空间线性空间 关于上式所规定的内积是一关于上式所规定的内积是一内积空间。内积空间。本讲稿第十二页，共一百一十二页2、性质、性质内积空间上任意两元素内积空间上任意两元素f和和g满足满足Cauchy不等式不等式证明：证明：对内积空间上的任意元素对内积空间上的任意元素f、g和任意和任意实数实数t，有，有固定固定f和和g，右端是关于，右端是关于t的一元二次多项式的一元二次多项式,且该多且该多项式函数值非负，利用二次多项式的判别式有项式函数值非负，利用二次多项式的判别式有得到得到Cauchy不等式：不等式：本讲稿第十三页，共一百一十二页 内积空间上的任意两元素内积空间上的任意两元素

8、f和和g满足三角不等式满足三角不等式(Schwarz不等式不等式)：证明证明:利用利用Cauchy不等式有不等式有 两边开平方两边开平方,三角不等式得证。三角不等式得证。本讲稿第十四页，共一百一十二页三、权函数三、权函数1 1、定义、定义 定义在定义在a,b上的实值函数上的实值函数 ，如果满足，如果满足 存在存在 则称则称 为区间为区间a,b的一个的一个权函数权函数。本讲稿第十五页，共一百一十二页2 2、带权的内积、带权的内积Ca,b带权的内积：带权的内积：Remark：v区间端点可以是无穷大，此时为广义积分。区间端点可以是无穷大，此时为广义积分。v常简记常简记 为为v没有确切指出权函数时，约

9、定没有确切指出权函数时，约定(x)=1。v在理论证明和公式推导过程中在理论证明和公式推导过程中,如没有明确如没有明确权函数具体形式权函数具体形式,则表示对任意权函数均成立。则表示对任意权函数均成立。本讲稿第十六页，共一百一十二页四、函数逼近问题四、函数逼近问题设设 为被逼近函数。为被逼近函数。为赋范线性空间为赋范线性空间 的一个子集合的一个子集合 范数范数 可以是可以是 或或 等。等。称称问题问题：求：求 使得使得为函数为函数f(x)在赋范集合在赋范集合上的上的函数逼近问题函数逼近问题本讲稿第十七页，共一百一十二页逼近问题之一：最佳平方逼近逼近问题之一：最佳平方逼近为赋范线性空间为赋范线性空间

10、 的有限维子空间的有限维子空间 (1)假设其维数为假设其维数为n+1 (2)函数组函数组 是该子空间上的一组线性无关基是该子空间上的一组线性无关基 (3)范数取为范数取为求求 使得使得本讲稿第十八页，共一百一十二页逼近问题之二：最佳一致逼近逼近问题之二：最佳一致逼近为赋范线性空间为赋范线性空间 的有限维子空间的有限维子空间 (1)假设其维数为假设其维数为n+1 (2)函数组函数组 是该子空间上的一组线性无关基是该子空间上的一组线性无关基 (3)范数取为范数取为求求 使得使得本讲稿第十九页，共一百一十二页五、五、Gram矩阵矩阵1、定义、定义设设 为内积空间为内积空间中元素中元素,则则称为称为

11、的的 Gram矩阵。矩阵。本讲稿第二十页，共一百一十二页2 2、性质、性质定理定理1：设：设 为内积空间为内积空间中元素，则中元素，则 线性无关的充分必要条件是：线性无关的充分必要条件是：Gram矩阵非奇异矩阵非奇异,即即必要性：必要性：线性无关线性无关.(反证法反证法)v假设假设 ，则存在非零向量，则存在非零向量使得使得进而有进而有 由于由于本讲稿第二十一页，共一百一十二页 即：即：由内积定义知由内积定义知 而而 这与函数组这与函数组 线性无关矛盾。假设不成立。线性无关矛盾。假设不成立。线性无关线性无关本讲稿第二十二页，共一百一十二页充分性：充分性：线性无关线性无关设设 与该式做内积与该式做

12、内积根据内积性质根据内积性质即即因为因为 即即 线性无关线性无关 线性无关线性无关本讲稿第二十三页，共一百一十二页定理定理2 由内积空间中线性无关元素确定的由内积空间中线性无关元素确定的Gram矩阵是实对称正定矩阵矩阵是实对称正定矩阵.证明：证明：因为因为 均为实数均为实数故故Gram矩阵是实矩阵矩阵是实矩阵G根据内积性质根据内积性质及及Gram矩阵矩阵得得Gram矩阵矩阵是对称的矩阵矩阵是对称的本讲稿第二十四页，共一百一十二页对任意非零向量对任意非零向量由内积定义由内积定义且且由于函数组由于函数组 线性无关，故线性无关，故即即而现在而现在 所以所以即即Gram矩阵是实对称正定矩阵矩阵是实对称

13、正定矩阵本讲稿第二十五页，共一百一十二页2 正交多项式正交多项式一、定义一、定义 内积空间内积空间V上的两个元素上的两个元素f和和g，如果，如果 则称则称f和和g关于内积关于内积 正交正交若内积空间上的元素系若内积空间上的元素系 满足两两正交，即满足两两正交，即则称则称 为为正交系正交系。若。若则称则称 为为标准正交系。标准正交系。当正交函数系当正交函数系 中的中的 为为i次多项式时次多项式时,称该函数系为称该函数系为正交多项式系。正交多项式系。本讲稿第二十六页，共一百一十二页二、正交多项式系的性质二、正交多项式系的性质线性无关性：线性无关性：正交多项式系正交多项式系正交多项式系正交多项式系

14、中中任意中任意任意中任意m个函数个函数 线性无关（非线性无关（非负整数负整数 互不相同）。互不相同）。证明：证明：设设用用 和上式两端作内积，有和上式两端作内积，有因为因为即函数组即函数组 线性无关线性无关。本讲稿第二十七页，共一百一十二页正交性：正交性：对任意次数不超过对任意次数不超过n的多项式的多项式证明证明:因因 线性无关线性无关,设它们是不超过设它们是不超过n次多项式函数次多项式函数空间空间 中的一组基，则中的一组基，则用用 与与 做内积，对做内积，对 得得注意注意 ，则对任意次数不超过则对任意次数不超过n的多项式，的多项式，本讲稿第二十八页，共一百一十二页实根性实根性:正交多项式系正

15、交多项式系 中的中的 在区间在区间在区间在区间(a,b)内有内有n个互不相同的实单根。个互不相同的实单根。证明：证明：首先论证首先论证 在在(a,b)内至少有一个实根内至少有一个实根。(反证法反证法)假设在假设在(a,b)内无实根，则内无实根，则 在在(a,b)内恒正或恒负。内恒正或恒负。不妨设其恒正。于是有不妨设其恒正。于是有另一方面另一方面产生矛盾产生矛盾!本讲稿第二十九页，共一百一十二页其次论证实根其次论证实根 一定是奇重根一定是奇重根假设假设 为为 的的m重根重根则则 为为n-m次多项式次多项式由性质由性质但当但当m为偶数时，应有为偶数时，应有 这一矛盾说明这一矛盾说明 只能是奇重根。

16、只能是奇重根。即即 只能为只能为 的单根，三重根，的单根，三重根，。本讲稿第三十页，共一百一十二页最后证明最后证明 在在(a,b)内有内有n个实单根。个实单根。假设假设 仅有仅有mn不可能）个奇重根，记之为不可能）个奇重根，记之为 于于是有是有 其中其中 为偶数，为偶数，q(x)是在是在(a,b)内不变号的内不变号的 次多项式，将上式两端乘以次多项式，将上式两端乘以 并积分并积分左端积分，由性质左端积分，由性质 得得右端积分，由于右端积分，由于q(x)在在(a,b)内不变号，则内不变号，则这一矛盾说明这一矛盾说明m=n,即即 只能是单根。只能是单根。本讲稿第三十一页，共一百一十二页相邻三项间的

17、关系相邻三项间的关系正交多项式系正交多项式系 中任何相邻的三项满足中任何相邻的三项满足其中其中 分别为分别为 的首项的首项和次项系数。和次项系数。本讲稿第三十二页，共一百一十二页证明证明：比较：比较中中 的系数，可得的系数，可得故取故取利用正交多项式的性质利用正交多项式的性质，对于不超过，对于不超过k次的多项式存次的多项式存在一组参数在一组参数 ，使得有，使得有下面确定参数下面确定参数本讲稿第三十三页，共一百一十二页确定参数确定参数当当m=0,1,k-2由由即即得得故故确定参数确定参数 将上式和将上式和 做内积，有做内积，有解得解得本讲稿第三十四页，共一百一十二页 注意注意 是首项系数为是首项

18、系数为 的的k次多项式次多项式存在着实数存在着实数 ，使得，使得代入代入 表达式，得表达式，得确定参数确定参数 在在 中中两端的系数两端的系数 应该相同，即有应该相同，即有得到得到本讲稿第三十五页，共一百一十二页Remark1 的另一种表示方法的另一种表示方法 将将Remark2 之间的递推关系并不能惟一确定之间的递推关系并不能惟一确定 。在允许相差一个常数倍数的意义下是惟一的。在允许相差一个常数倍数的意义下是惟一的。本讲稿第三十六页，共一百一十二页Remark 3 规定首项系数是规定首项系数是1，得到更为简，得到更为简单的三项递推关系：单的三项递推关系：其中：其中：本讲稿第三十七页，共一百一

19、十二页三、常用的正交多项式系三、常用的正交多项式系v勒让德勒让德(Legendre)多项式系多项式系v切比雪夫（切比雪夫（Chebyshev）正交多项式系）正交多项式系v拉盖尔（拉盖尔（Laguerre）正交多项式系）正交多项式系v埃尔米特（埃尔米特（Hermite）正交多项式系）正交多项式系本讲稿第三十八页，共一百一十二页1、勒让德、勒让德(Legendre)多项式系多项式系 定义多项式系定义多项式系 的首项系数的首项系数 次项系数次项系数 本讲稿第三十九页，共一百一十二页勒让德多项式系的前六项分别为勒让德多项式系的前六项分别为图形依次为图形依次为本讲稿第四十页，共一百一十二页本讲稿第四十一

20、页，共一百一十二页勒让德多项式勒让德多项式 的主要性质：的主要性质：正交性：正交性：多项式系是多项式系是 区间区间-1,1上关于权函数上关于权函数 的正交多项式系。对任意的的正交多项式系。对任意的 有有 证明参考教材证明参考教材66页页本讲稿第四十二页，共一百一十二页证明，不妨设证明，不妨设设设注意注意本讲稿第四十三页，共一百一十二页当当本讲稿第四十四页，共一百一十二页递推性递推性利用正交多项式的性质利用正交多项式的性质，得到如下递推关系：，得到如下递推关系：证明证明：因为：因为 ，且为正交多项式系，且为正交多项式系，根据根据本讲稿第四十五页，共一百一十二页有有本讲稿第四十六页，共一百一十二页

21、奇偶性奇偶性n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数。为奇（偶）函数。证明：（归纳法）证明：（归纳法）为偶函数。为偶函数。为奇函数为奇函数设结论对设结论对n=m、n=m-1成立，成立，当当m为偶数时，为偶数时，为偶函数，为偶函数，为奇函数为奇函数当当m为奇数时，为奇数时，为偶数时，为偶数时，为奇函数为奇函数当当n=m+1为偶数时，为偶数时，本讲稿第四十七页，共一百一十二页当当 为奇数时为奇数时于是于是故故n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数为奇（偶）函数本讲稿第四十八页，共一百一十二页 在区间在区间-1,1上对零函数的最佳平方逼近性上对零函数的最佳平方逼近性 在在-1,1上

22、的所有首多项式中上的所有首多项式中 与零的平方误差最小在首与零的平方误差最小在首 项系数为项系数为1的的n次多项式集合次多项式集合 中的元中的元 素素 满足不等式满足不等式且仅当且仅当 时，有等号成立。时，有等号成立。即即本讲稿第四十九页，共一百一十二页证明：证明：利用正交多项式的性质利用正交多项式的性质，存在一组实数，存在一组实数 ，使得不超，使得不超过过n-1次的多项式次的多项式故故且仅当且仅当 时，即时，即 时等号成立时等号成立表明：表明：在范数在范数 的意义下的意义下,首项系数为首项系数为1的勒让德多项式的勒让德多项式 是集合是集合 中距离零最近的中距离零最近的元素。元素。本讲稿第五十

23、页，共一百一十二页2、切比雪夫多项式系多项式系、切比雪夫多项式系多项式系称之为称之为n次切比雪夫多项式系。次切比雪夫多项式系。切比雪夫多项式切比雪夫多项式 主要性质主要性质递推性递推性引入中间变量引入中间变量 ，则，则利用三角函数关系得到利用三角函数关系得到即即本讲稿第五十一页，共一百一十二页 由由 知知 是首项系数为是首项系数为 （n0）的）的多项式函数系多项式函数系,称之为切比雪夫多项式系。称之为切比雪夫多项式系。证明：证明：由由 及归纳法可知及归纳法可知 为为n次多项式。次多项式。其首项系数其首项系数 设结论对设结论对n=m成立，即成立，即 的首项系数为，的首项系数为，当当 n=m+1

24、时时,其首项系数为其首项系数为 故对任意故对任意n，即即 是首项系数为是首项系数为 的多项式系。的多项式系。本讲稿第五十二页，共一百一十二页 也可用归纳法证明也可用归纳法证明：的次项系数的次项系数 ；的次项系数的次项系数设结论对设结论对n=m成立，即成立，即 的次项系数为的次项系数为当当n=m+1时，时，其首项系数为其首项系数为 的系数，即的系数，即故对任意故对任意n，即即 的次项系数的次项系数 。其前其前6项的函数表达形式如下：项的函数表达形式如下：其图形依次为：其图形依次为：本讲稿第五十三页，共一百一十二页本讲稿第五十四页，共一百一十二页正交性正交性在区间在区间-1,1上关于权函数上关于权

25、函数正交正交证明：证明：注意注意本讲稿第五十五页，共一百一十二页故故本讲稿第五十六页，共一百一十二页奇偶性奇偶性n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数为奇（偶）函数证明：证明：（归纳法）（归纳法）为偶数；为偶数；为奇函数为奇函数设结论对设结论对 成立，即成立，即当当m为偶数，为偶数，为偶函数，为偶函数，为奇函数为奇函数当当m为奇数，为奇数，为奇函数，为奇函数，为偶函数为偶函数本讲稿第五十七页，共一百一十二页当当 为偶函数时，为偶函数时，当当 为奇数时，为奇数时，于是对任意于是对任意 ，故故n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数。为奇（偶）函数。本讲稿第五十八页，共一百一十二

26、页零点与最值点零点与最值点在（在（-1，1）内的）内的n个零点为：个零点为：在在-1,1上有上有n+1个最值点。个最值点。它在它在交错取最大值交错取最大值1。最小值。最小值-1。且有且有本讲稿第五十九页，共一百一十二页证明：令证明：令 得得 或者或者 时时故故零点为零点为即即本讲稿第六十页，共一百一十二页因因 或或kn时，时，取取有有即即在在-1，1上有上有n+1个最值点。个最值点。且在且在 轮流取最大值轮流取最大值1，最小值，最小值-1。显然由显然由 的定义知的定义知本讲稿第六十一页，共一百一十二页最佳一致逼近性最佳一致逼近性 记记则则 为首项系数为为首项系数为1的的n次多项式集合。次多项式

27、集合。在区间在区间-1，1上对零函数的最佳一致逼近性：上对零函数的最佳一致逼近性：满足满足即即本讲稿第六十二页，共一百一十二页证明：证明：因为因为 在区间在区间-1，1上轮流取最大值最小值上轮流取最大值最小值-1，且首项系数为，且首项系数为故故（反证法）（反证法）若结论不成立，则另外存在若结论不成立，则另外存在 使得使得即即 令令则则 为不超过为不超过n-1次的多项式。次的多项式。本讲稿第六十三页，共一百一十二页由于由于 则则 本讲稿第六十四页，共一百一十二页即即 在在 共共n+1个点轮流取正负号。个点轮流取正负号。由连续函数的介值定理知：由连续函数的介值定理知：在在n个区间个区间上至少各有一

28、个零点。上至少各有一个零点。但是但是 为不超过为不超过n-1次的多项式，其零点次的多项式，其零点最多有最多有n-1个，故产生矛盾。个，故产生矛盾。因此，在首项系数为因此，在首项系数为1的的n次多项式集合次多项式集合 中中本讲稿第六十五页，共一百一十二页3、拉盖尔多项式系、拉盖尔多项式系 定义定义 则则 是区间是区间 上关于权函数上关于权函数 的正交多的正交多项式系，称为拉盖尔多项式系。其首项系数项式系，称为拉盖尔多项式系。其首项系数 ，次项系数，次项系数 并有并有 和三项递推关系和三项递推关系本讲稿第六十六页，共一百一十二页4、爱尔米特多项式系、爱尔米特多项式系 定义定义 则则 是区间是区间

29、上关于权函数上关于权函数 的正交多项式系，称之为爱尔米特多项式系。的正交多项式系，称之为爱尔米特多项式系。其首项系数其首项系数 次项系数次项系数 并有并有 和三项递推关系和三项递推关系本讲稿第六十七页，共一百一十二页常用的正交多项式常用的正交多项式名称 区间 权函数 记号与表达式 勒让德-1，1 10切比雪夫-1，1 0拉盖尔爱尔米特 0本讲稿第六十八页，共一百一十二页 3 最佳平方逼近最佳平方逼近 为赋范（内积）线性空间为赋范（内积）线性空间 的有限维空间的有限维空间.范数取为范数取为 （范数取为内积诱导范数）（范数取为内积诱导范数）求求 使得使得 求求 使得使得 本讲稿第六十九页，共一百一

30、十二页 求求 使得使得 求求 使得使得本讲稿第七十页，共一百一十二页一一、最佳平方逼近问题的求解、最佳平方逼近问题的求解 1、多元函数的矩阵表达形式、多元函数的矩阵表达形式 记记注意注意本讲稿第七十一页，共一百一十二页得得其中其中 是是Gram矩阵（对称正定）：矩阵（对称正定）：对于上述最佳平方逼近问题，由于（对于上述最佳平方逼近问题，由于（f,f)是确定函数，故寻求使是确定函数，故寻求使 达到最小值的解向量即达到最小值的解向量即为寻求使为寻求使 达到最小值的解向量达到最小值的解向量本讲稿第七十二页，共一百一十二页2、二次函数取得最小值的充要条件、二次函数取得最小值的充要条件 设设 为实对称正

31、定矩阵，为实对称正定矩阵，和和 是是n维列向量。则维列向量。则 使得二次函数使得二次函数取得最小值的充要条件是取得最小值的充要条件是 为线性方程组为线性方程组的解。的解。证明：证明：A为实对称正定矩阵为实对称正定矩阵 有唯一解向量有唯一解向量本讲稿第七十三页，共一百一十二页即有即有故故所以所以 由于由于 是常量，是常量，A为对称正定矩阵，故当且仅当为对称正定矩阵，故当且仅当 时，时，取得最小值取得最小值本讲稿第七十四页，共一百一十二页3、法方程组、法方程组 由于由于Gram矩阵是实对称正定矩阵，结合上述定理知：矩阵是实对称正定矩阵，结合上述定理知：求解最佳平方逼近问题，即求求解最佳平方逼近问题

32、，即求 的最小值就是求解线性方程组：的最小值就是求解线性方程组：上述线性方程组称为最佳平方逼近问题的上述线性方程组称为最佳平方逼近问题的法方程组或法方程组或正规方程组正规方程组 法方程组的唯一解记为法方程组的唯一解记为 最佳平方逼近的解函数为最佳平方逼近的解函数为本讲稿第七十五页，共一百一十二页 4、的等价表示形式的等价表示形式即即本讲稿第七十六页，共一百一十二页几何意义几何意义 函数组函数组 是内积空间是内积空间 的组基，故上式表明的组基，故上式表明 与与 内积空间内积空间 中任意函数正交，因此中任意函数正交，因此 可视为可视为被逼近函数被逼近函数f在内积空间上的投影在内积空间上的投影本讲稿

33、第七十七页，共一百一十二页5、平方逼近误差、平方逼近误差本讲稿第七十八页，共一百一十二页举例举例法法 方方程程的的 系系数数矩矩阵阵 设设 的解向量为的解向量为最佳平方逼近函数为最佳平方逼近函数为平方误差为平方误差为本讲稿第七十九页，共一百一十二页二、基于正交基的最佳平方逼近二、基于正交基的最佳平方逼近 目的：减少计算量，减少舍入误差的影响。目的：减少计算量，减少舍入误差的影响。当当 为内积空间的一组正交函数基时为内积空间的一组正交函数基时 本讲稿第八十页，共一百一十二页1、利用已知的正交基、利用已知的正交基 如：用二次多项式做最佳平方逼近，可根据不同区间、不同如：用二次多项式做最佳平方逼近，

34、可根据不同区间、不同权函数选取正交多项式。权函数选取正交多项式。本讲稿第八十一页，共一百一十二页2、利用已知的正交基求最佳平方逼近函数、利用已知的正交基求最佳平方逼近函数 例例由由 然后计算出然后计算出本讲稿第八十二页，共一百一十二页 3、构造正交基构造正交基 对不超过对不超过n次的多项式空间次的多项式空间利用公式：利用公式：其中其中 对不完整多项式空间或非多项式空间可用斯密特正交化对不完整多项式空间或非多项式空间可用斯密特正交化方法如：方法如：本讲稿第八十三页，共一百一十二页4、任意区间上最佳平方逼近问题的转化、任意区间上最佳平方逼近问题的转化例例 若想用若想用Legendre正交多项式求解

35、，作变换正交多项式求解，作变换问题转化为问题转化为其中其中本讲稿第八十四页，共一百一十二页5、问题转化、问题转化(1)求解求解 在空间在空间 上的最佳平方逼近上的最佳平方逼近(2)做逆变换做逆变换(3)平方误差计算平方误差计算直接计算：直接计算：间接计算：间接计算：本讲稿第八十五页，共一百一十二页6、最佳平方逼近问题的一般求解方法、最佳平方逼近问题的一般求解方法例：求例：求f(x)=arctgx在在0,1上的一次最佳平方逼近函数。上的一次最佳平方逼近函数。法法1 用用Legendre正交多项式正交多项式作变换作变换 则则由由及及得得本讲稿第八十六页，共一百一十二页法法2 利用利用1,x做首一正

36、交多项式做首一正交多项式设设令令取取 在在 找找由由得得本讲稿第八十七页，共一百一十二页法法3 直接用线性无关函数族，不用正交多项式直接用线性无关函数族，不用正交多项式 设设 取取 在在 找找由由得得 本讲稿第八十八页，共一百一十二页Remark 1 要求形式给定的最佳平方逼近函数，无论采用要求形式给定的最佳平方逼近函数，无论采用哪一组基函数，得到的最佳平方逼近函数的解析哪一组基函数，得到的最佳平方逼近函数的解析里理论上是唯一确定的。里理论上是唯一确定的。但是，实际计算过程中存在着大量的舍入误差，但是，实际计算过程中存在着大量的舍入误差，截断误差（数值积分），以致采用不同的基函数截断误差（数值

37、积分），以致采用不同的基函数所导致的最终数值结果经常并不相等。所导致的最终数值结果经常并不相等。Remark 2 采用正交基函数求最小平方逼近函数的计算采用正交基函数求最小平方逼近函数的计算量小，它避免了线性方程组的求解。量小，它避免了线性方程组的求解。本讲稿第八十九页，共一百一十二页Remark 3 采用不同的方法，构成内积空间的基函数的选取可有采用不同的方法，构成内积空间的基函数的选取可有不同。在前面的例题中，不同。在前面的例题中，（1）（2）（3）本讲稿第九十页，共一百一十二页4 曲线拟合的最小二乘方法曲线拟合的最小二乘方法 一、曲线拟合问题一、曲线拟合问题 给定数据给定数据 ，要求建立

38、一个，要求建立一个“最好的最好的”连续函数连续函数 ，反映该组数据的基本特征。，反映该组数据的基本特征。确定函数类型确定函数类型 ：v可由物理规律或通过描点作图观察可由物理规律或通过描点作图观察v选比较简单的低次多项式。选比较简单的低次多项式。函数类函数类 中的代表元素中的代表元素 通常包含有若干个通常包含有若干个参数参数 （一般有（一般有 ），即），即 可以表示可以表示为为 线性拟合模型线性拟合模型其中其中 是线性无关的已知函数组。是线性无关的已知函数组。本讲稿第九十一页，共一百一十二页设设：正数正数 是第是第j个采样点个采样点 处处权，权，是第是第j个采样点处的个采样点处的拟合。拟合。记为

39、记为 或或称为称为拟和残差向量拟和残差向量切比雪夫意义下的曲线拟合模型切比雪夫意义下的曲线拟合模型求求 使得使得最小二乘意义下的曲线拟合模型最小二乘意义下的曲线拟合模型求求 使得使得本讲稿第九十二页，共一百一十二页二、最小二乘曲线拟合问题的求解二、最小二乘曲线拟合问题的求解 （离散问题的最佳平方逼近）（离散问题的最佳平方逼近）1、最小二乘曲线拟合问题、最小二乘曲线拟合问题 求求 使得使得离散形式的内离散形式的内 满足内积的定义满足内积的定义本讲稿第九十三页，共一百一十二页最小二乘曲线拟合问题的等价提法最小二乘曲线拟合问题的等价提法 设设 最小二乘曲线拟合问题：最小二乘曲线拟合问题：求求 使得使

40、得本讲稿第九十四页，共一百一十二页2、多元函数的矩阵表达式、多元函数的矩阵表达式记记注意注意 得得 本讲稿第九十五页，共一百一十二页其中由离散数据定义的其中由离散数据定义的Gram矩阵（对称）：矩阵（对称）：为为离散离散Gram矩阵矩阵 对于上述最佳平方逼近问题，由于对于上述最佳平方逼近问题，由于 是确定是确定函数，故寻求使函数，故寻求使 达到最小值的解析向量即为寻求使达到最小值的解析向量即为寻求使 达到最小值的解向量。达到最小值的解向量。Remark:在一定条件下是正定矩阵。在一定条件下是正定矩阵。本讲稿第九十六页，共一百一十二页3、二次函数取得最小值充要条件二次函数取得最小值充要条件 如果

41、离散如果离散Gram矩阵是实对称正定矩阵，由矩阵是实对称正定矩阵，由 定义定义 的二次函数取得最小值的二次函数取得最小值 的充要条件是的充要条件是 是线性方程组是线性方程组的解向量。的解向量。本讲稿第九十七页，共一百一十二页4、法方程组、法方程组 如果如果Gram矩阵是实对称正定矩阵，则求解最小二乘曲矩阵是实对称正定矩阵，则求解最小二乘曲线拟合问题，即求线拟合问题，即求 的最小值就是求解线性方程组：的最小值就是求解线性方程组：上述线性方程组称为最小二乘问题的上述线性方程组称为最小二乘问题的法方程组或法方程组或正规方程组。正规方程组。其中其中 法方程组的唯一解记为法方程组的唯一解记为 最小二乘曲

42、线拟合问题解函数为最小二乘曲线拟合问题解函数为 本讲稿第九十八页，共一百一十二页5 5、平方逼近误差、平方逼近误差 即即 本讲稿第九十九页，共一百一十二页注意：注意：本讲稿第一百页，共一百一十二页=三、关于离散三、关于离散GRAM矩阵矩阵注意注意本讲稿第一百零一页，共一百一十二页设设本讲稿第一百零二页，共一百一十二页 不严格地说，由于矩阵不严格地说，由于矩阵A的行数远远大于列数，矩的行数远远大于列数，矩阵阵A一般都是列满（一般都是列满（R(A)=n+1）。）。当当A是是列列满满秩秩矩矩阵阵（矩矩阵阵A的的各各列列线线性性无无关关）。对对任任意意n+1维列向量、维列向量、m+1维列向量维列向量

43、、m+1维列向量维列向量 非零非零有有 (若对任意若对任意 ,即即 有非零解向量有非零解向量 则则R（A）n,则则称为称为超定（矛盾）方程超定（矛盾）方程。超超定定方方程程组组解解：,使使得得本讲稿第一百零四页，共一百一十二页 通通常常，数数据据个个数数远远大大于于待待定定参参数数的的个个数数，即即下列线性方程组为（超定）方程组：下列线性方程组为（超定）方程组：两端同乘矩阵两端同乘矩阵 ，则有，则有该方程称为（超定）方程组该方程称为（超定）方程组 ，得法方程组。得法方程组。法法方方程程组组的的解解可可视视为为超超定定方方程程组组在在最最小小二二乘乘法法意意义义下的最优解（用以求解超定方程组下的

44、最优解（用以求解超定方程组)本讲稿第一百零五页，共一百一十二页 应应 用用 例一例一 取取 写出下列函数拟合写出下列函数拟合 的法方程。的法方程。（1）用二次曲线）用二次曲线 设设 法方程法方程 本讲稿第一百零六页，共一百一十二页（2）用二次曲线）用二次曲线 设设 法方程法方程 本讲稿第一百零七页，共一百一十二页例二例二 取取 ，用下列函数拟合用下列函数拟合 由由 设设 问题转化为问题转化为 法方程法方程 原始问题原始问题 本讲稿第一百零八页，共一百一十二页 用曲线用曲线 设设 问题转化为问题转化为 法方程法方程 本讲稿第一百零九页，共一百一十二页四、用点集的正交函数系作最小二乘曲线拟合四、用点集的正交函数系作最小二乘曲线拟合目的：减少计算量，减少舍入误差的影响目的：减少计算量，减少舍入误差的影响定义：定义：如果定义如果定义 上的函数族上的函数族 关于点集关于点集以及权值以及权值 所定义的离散内积满足所定义的离散内积满足 则称则称 是关于点集是关于点集 及权值及权值 的正交函的正交函数族数族 本讲稿第一百一十页，共一百一十二页当是关于点集当是关于点集 及权值及权值的正交函数族时，法方程租的系数矩阵为的正交函数族时，法方程租的系数矩阵为拟合曲线为拟合曲线为 类似可证类似可证 故故本讲稿第一百一十一页，共一百一十二页关于关于 证明证明而而本讲稿第一百一十二页，共一百一十二页