第三章数值分析PPT讲稿.ppt

《第三章数值分析PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第三章数值分析PPT讲稿.ppt（112页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章数值分析第1页，共112页，编辑于2022年，星期二二、函数逼近问题二、函数逼近问题 已知复杂函数已知复杂函数 ，或仅知道函数，或仅知道函数 在某些在某些采样点处的函数值，在某函数集合采样点处的函数值，在某函数集合V中，寻找中，寻找的的“最好最好”近似近似 函数逼近问题：函数逼近问题：对集合中给定的函数对集合中给定的函数 ，要求在另一类较简单的便于计算的函数集合中，要求在另一类较简单的便于计算的函数集合中，求函数求函数 ，使得，使得 与与 之差在某之差在某种度量意义下最小。种度量意义下最小。第2页，共112页，编辑于2022年，星期二通常通常 为为Ca,b，V为代数多项式、分式有理函数、

2、三角多项式。集合为代数多项式、分式有理函数、三角多项式。集合V通常是依赖于一组参数的函数族，其代通常是依赖于一组参数的函数族，其代表元素表元素 有如下形式：有如下形式：若集合若集合V是线性空间，是线性空间，线性无关，则线性无关，则 可以表示为可以表示为 若为线性空间若为线性空间V的一组基，则的一组基，则 是一个是一个n+1维线性空间维线性空间第3页，共112页，编辑于2022年，星期二 背景：在某一函数集合中找背景：在某一函数集合中找最好最好的近似。的近似。v 赋范空间、内积空间、正交多项式赋范空间、内积空间、正交多项式v 最佳平方逼近最佳平方逼近v 曲线最小二乘拟合曲线最小二乘拟合v 最佳一

3、致逼近（工科研究生不要求）最佳一致逼近（工科研究生不要求）第4页，共112页，编辑于2022年，星期二1 预备知识与函数逼近问题预备知识与函数逼近问题一、赋范线性空间一、赋范线性空间 1 1、定义定义 设设 为定义于线性空间为定义于线性空间V上的实值函数，并满足：上的实值函数，并满足：(非负性非负性)当且仅当当且仅当g=0时有时有(齐次性齐次性)(三角不等式三角不等式)则称则称 是是线性空间线性空间V上的上的范数范数。并称线性空间。并称线性空间V为为赋范线性空间赋范线性空间，记为，记为Remark:子空间子空间 ,V上的范数上的范数 也是也是 上的范数。上的范数。第5页，共112页，编辑于20

4、22年，星期二 n维向量空间维向量空间 (无穷范数与无穷范数与Euclid范数范数),赋范线性空间赋范线性空间 ,赋范线性空间赋范线性空间第6页，共112页，编辑于2022年，星期二 连续函数空间连续函数空间 (无穷范数无穷范数)定义于区间定义于区间a,b上连续函数的集合上连续函数的集合Ca,b是一线性空间。定义是一线性空间。定义 是线性空间是线性空间Ca,b上的一种范数。上的一种范数。Ca,b关于该范数是一赋范线关于该范数是一赋范线性空间性空间,记为记为 证明：对证明：对第7页，共112页，编辑于2022年，星期二连续函数空间连续函数空间 (Euclid范数范数)定义于区间定义于区间a,b上

5、连续函数的集合上连续函数的集合Ca,b是一线性空间。是一线性空间。定义定义 是线性空间是线性空间Ca,b上的一种范数。上的一种范数。Ca,b关关于该范数是一赋范线性空间于该范数是一赋范线性空间,记为记为 证明：证明：对对第8页，共112页，编辑于2022年，星期二内积空间内积空间(诱导范数诱导范数)在内积空间在内积空间V中，定义了中，定义了 是内积空间是内积空间 上定义上定义的范数的范数,称之为称之为由内积诱导出的范数。由内积诱导出的范数。内积空间关于内积空间关于其诱导范数是一赋范空间其诱导范数是一赋范空间证明：证明：设设f和和g是内积空间是内积空间V中的任意元素，由内积中的任意元素，由内积

6、的定义的定义非负性非负性齐次性齐次性三角不等式三角不等式.第9页，共112页，编辑于2022年，星期二 2、距离、距离 对于赋范线性空间对于赋范线性空间 上的任意两个元上的任意两个元素素f 和和g，它们之间的距离为，它们之间的距离为Remark第10页，共112页，编辑于2022年，星期二二、内积空间二、内积空间 1、定义、定义 设设V为一线性空间，若定义实值函数为一线性空间，若定义实值函数 ，对，对 任意任意 满足满足 (对称性对称性)(线性性线性性)(非负性非负性)当且仅当当且仅当 时有时有 第11页，共112页，编辑于2022年，星期二则称实值函数则称实值函数 是线性空间是线性空间V上的

7、一种上的一种内积内积。并称线性空间并称线性空间V关于实值函数关于实值函数 是是内积空间内积空间。对于线性空间对于线性空间 ,如下定义的实值函数如下定义的实值函数满足内积的三个条件满足内积的三个条件线性空间线性空间 关于上式所规定的内积是一关于上式所规定的内积是一内积空间。内积空间。第12页，共112页，编辑于2022年，星期二2、性质、性质内积空间上任意两元素内积空间上任意两元素f和和g满足满足Cauchy不等式不等式证明：证明：对内积空间上的任意元素对内积空间上的任意元素f、g和任意和任意实数实数t，有，有固定固定f和和g，右端是关于，右端是关于t的一元二次多项式的一元二次多项式,且该多且该

8、多项式函数值非负，利用二次多项式的判别式有项式函数值非负，利用二次多项式的判别式有得到得到Cauchy不等式：不等式：第13页，共112页，编辑于2022年，星期二 内积空间上的任意两元素内积空间上的任意两元素f和和g满足三角不等式满足三角不等式(Schwarz不等式不等式)：证明证明:利用利用Cauchy不等式有不等式有 两边开平方两边开平方,三角不等式得证。三角不等式得证。第14页，共112页，编辑于2022年，星期二三、权函数三、权函数1 1、定义、定义 定义在定义在a,b上的实值函数上的实值函数 ，如果满足，如果满足 存在存在 则称则称 为区间为区间a,b的一个的一个权函数权函数。第1

9、5页，共112页，编辑于2022年，星期二2 2、带权的内积、带权的内积Ca,b带权的内积：带权的内积：Remark：v区间端点可以是无穷大，此时为广义积分。区间端点可以是无穷大，此时为广义积分。v常简记常简记 为为v没有确切指出权函数时，约定没有确切指出权函数时，约定(x)=1。v在理论证明和公式推导过程中在理论证明和公式推导过程中,如没有明确如没有明确权函数具体形式权函数具体形式,则表示对任意权函数均成立。则表示对任意权函数均成立。第16页，共112页，编辑于2022年，星期二四、函数逼近问题四、函数逼近问题设设 为被逼近函数。为被逼近函数。为赋范线性空间为赋范线性空间 的一个子集合的一个

10、子集合 范数范数 可以是可以是 或或 等。等。称称问题问题：求：求 使得使得为函数为函数f(x)在赋范集合在赋范集合上的上的函数逼近问题函数逼近问题第17页，共112页，编辑于2022年，星期二逼近问题之一：最佳平方逼近逼近问题之一：最佳平方逼近为赋范线性空间为赋范线性空间 的有限维子空间的有限维子空间 (1)假设其维数为假设其维数为n+1 (2)函数组函数组 是该子空间上的一组线性无关基是该子空间上的一组线性无关基 (3)范数取为范数取为求求 使得使得第18页，共112页，编辑于2022年，星期二逼近问题之二：最佳一致逼近逼近问题之二：最佳一致逼近为赋范线性空间为赋范线性空间 的有限维子空间

11、的有限维子空间 (1)假设其维数为假设其维数为n+1 (2)函数组函数组 是该子空间上的一组线性无关基是该子空间上的一组线性无关基 (3)范数取为范数取为求求 使得使得第19页，共112页，编辑于2022年，星期二五、五、Gram矩阵矩阵1、定义、定义设设 为内积空间为内积空间中元素中元素,则则称为称为 的的 Gram矩阵。矩阵。第20页，共112页，编辑于2022年，星期二2 2、性质、性质定理定理1：设：设 为内积空间为内积空间中元素，则中元素，则 线线性无关的充分必要条件是：性无关的充分必要条件是：Gram矩阵非奇异矩阵非奇异,即即必要性：必要性：线性无关线性无关.(反证法反证法)v假设

12、假设 ，则存在非零向量，则存在非零向量使得使得进而有进而有 由于由于第21页，共112页，编辑于2022年，星期二 即：即：由内积定义知由内积定义知 而而 这与函数组这与函数组 线性无关矛盾。假设不成立。线性无关矛盾。假设不成立。线性无关线性无关第22页，共112页，编辑于2022年，星期二充分性：充分性：线性无关线性无关设设 与该式做内积与该式做内积根据内积性质根据内积性质即即因为因为 即即 线性无关线性无关 线性无关线性无关第23页，共112页，编辑于2022年，星期二定理定理2 由内积空间中线性无关元素确定的由内积空间中线性无关元素确定的Gram矩阵是实对称正定矩阵矩阵是实对称正定矩阵.

13、证明：证明：因为因为 均为实数均为实数故故Gram矩阵是实矩阵矩阵是实矩阵G根据内积性质根据内积性质及及Gram矩阵矩阵得得Gram矩阵矩阵是对称的矩阵矩阵是对称的第24页，共112页，编辑于2022年，星期二对任意非零向量对任意非零向量由内积定义由内积定义且且由于函数组由于函数组 线性无关，故线性无关，故即即而现在而现在 所以所以即即Gram矩阵是实对称正定矩阵矩阵是实对称正定矩阵第25页，共112页，编辑于2022年，星期二2 正交多项式正交多项式一、定义一、定义 内积空间内积空间V上的两个元素上的两个元素f和和g，如果，如果 则称则称f和和g关于内积关于内积 正交正交若内积空间上的元素系

14、若内积空间上的元素系 满足两两正交，即满足两两正交，即则称则称 为为正交系正交系。若。若则称则称 为为标准正交系。标准正交系。当正交函数系当正交函数系 中的中的 为为i次多项式时次多项式时,称该函数系为称该函数系为正交多项式系。正交多项式系。第26页，共112页，编辑于2022年，星期二二、正交多项式系的性质二、正交多项式系的性质线性无关性：线性无关性：正交多项式系正交多项式系正交多项式系正交多项式系 中中任意中任意任意中任意m个函数个函数 线性无关（非线性无关（非负整数负整数 互不相同）。互不相同）。证明：证明：设设用用 和上式两端作内积，有和上式两端作内积，有因为因为即函数组即函数组 线性

15、无关线性无关。第27页，共112页，编辑于2022年，星期二正交性：正交性：对任意次数不超过对任意次数不超过n的多项式的多项式证明证明:因因 线性无关线性无关,设它们是不超过设它们是不超过n次多项式函数次多项式函数空间空间 中的一组基，则中的一组基，则用用 与与 做内积，对做内积，对 得得注意注意 ，则对任意次数不超过则对任意次数不超过n的多项式，的多项式，第28页，共112页，编辑于2022年，星期二实根性实根性:正交多项式系正交多项式系 中的中的 在区间在区间在区间在区间(a,b)内有内有n个互不相同的实单根。个互不相同的实单根。证明：证明：首先论证首先论证 在在(a,b)内至少有一个实根

16、内至少有一个实根。(反证法反证法)假设在假设在(a,b)内无实根，则内无实根，则 在在(a,b)内恒正或恒负。内恒正或恒负。不妨设其恒正。于是有不妨设其恒正。于是有另一方面另一方面产生矛盾产生矛盾!第29页，共112页，编辑于2022年，星期二其次论证实根其次论证实根 一定是奇重根一定是奇重根假设假设 为为 的的m重根重根则则 为为n-m次多项式次多项式由性质由性质但当但当m为偶数时，应有为偶数时，应有 这一矛盾说明这一矛盾说明 只能是奇重根。只能是奇重根。即即 只能为只能为 的单根，三重根，的单根，三重根，。第30页，共112页，编辑于2022年，星期二最后证明最后证明 在在(a,b)内有内

17、有n个实单根。个实单根。假设假设 仅有仅有mn不可能）个奇重根，记之为不可能）个奇重根，记之为 于是有于是有 其中其中 为偶数，为偶数，q(x)是在是在(a,b)内不变号的内不变号的 次多项式，将上式两端乘以次多项式，将上式两端乘以 并积分并积分左端积分，由性质左端积分，由性质 得得右端积分，由于右端积分，由于q(x)在在(a,b)内不变号，则内不变号，则这一矛盾说明这一矛盾说明m=n,即即 只能是单根。只能是单根。第31页，共112页，编辑于2022年，星期二相邻三项间的关系相邻三项间的关系正交多项式系正交多项式系 中任何相邻的三项满足中任何相邻的三项满足其中其中 分别为分别为 的首项的首项

18、和次项系数。和次项系数。第32页，共112页，编辑于2022年，星期二证明证明：比较：比较中中 的系数，可得的系数，可得故取故取利用正交多项式的性质利用正交多项式的性质，对于不超过，对于不超过k次的多项式存在一次的多项式存在一组参数组参数 ，使得有，使得有下面确定参数下面确定参数第33页，共112页，编辑于2022年，星期二确定参数确定参数当当m=0,1,k-2由由即即得得故故确定参数确定参数 将上式和将上式和 做内积，有做内积，有解得解得第34页，共112页，编辑于2022年，星期二 注意注意 是首项系数为是首项系数为 的的k次多项式次多项式存在着实数存在着实数 ，使得，使得代入代入 表达式

19、，得表达式，得确定参数确定参数 在在 中中两端的系数两端的系数 应该相同，即有应该相同，即有得到得到第35页，共112页，编辑于2022年，星期二Remark1 的另一种表示方法的另一种表示方法 将将Remark2 之间的递推关系并不能惟一确之间的递推关系并不能惟一确定定 。在允许相差一个常数倍数的意义下是惟一的。在允许相差一个常数倍数的意义下是惟一的。第36页，共112页，编辑于2022年，星期二Remark 3 规定首项系数是规定首项系数是1，得到更为简，得到更为简单的三项递推关系：单的三项递推关系：其中：其中：第37页，共112页，编辑于2022年，星期二三、常用的正交多项式系三、常用的

20、正交多项式系v勒让德勒让德(Legendre)多项式系多项式系v切比雪夫（切比雪夫（Chebyshev）正交多项式系）正交多项式系v拉盖尔（拉盖尔（Laguerre）正交多项式系）正交多项式系v埃尔米特（埃尔米特（Hermite）正交多项式系）正交多项式系第38页，共112页，编辑于2022年，星期二1、勒让德、勒让德(Legendre)多项式系多项式系 定义多项式系定义多项式系 的首项系数的首项系数 次项系数次项系数 第39页，共112页，编辑于2022年，星期二勒让德多项式系的前六项分别为勒让德多项式系的前六项分别为图形依次为图形依次为第40页，共112页，编辑于2022年，星期二第41页

21、，共112页，编辑于2022年，星期二勒让德多项式勒让德多项式 的主要性质：的主要性质：正交性：正交性：多项式系是多项式系是 区间区间-1,1上关于权函数上关于权函数 的正交多项式系。对任意的的正交多项式系。对任意的 有有 证明参考教材证明参考教材66页页第42页，共112页，编辑于2022年，星期二证明，不妨设证明，不妨设设设注意注意第43页，共112页，编辑于2022年，星期二当当第44页，共112页，编辑于2022年，星期二递推性递推性利用正交多项式的性质利用正交多项式的性质，得到如下递推关系：，得到如下递推关系：证明证明：因为：因为 ，且为正交多项式系，且为正交多项式系，根据根据第45

22、页，共112页，编辑于2022年，星期二有有第46页，共112页，编辑于2022年，星期二奇偶性奇偶性n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数。为奇（偶）函数。证明：（归纳法）证明：（归纳法）为偶函数。为偶函数。为奇函数为奇函数设结论对设结论对n=m、n=m-1成立，成立，当当m为偶数时，为偶数时，为偶函数，为偶函数，为奇函数为奇函数当当m为奇数时，为奇数时，为偶数时，为偶数时，为奇函数为奇函数当当n=m+1为偶数时，为偶数时，第47页，共112页，编辑于2022年，星期二当当 为奇数时为奇数时于是于是故故n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数为奇（偶）函数第48页，共112

23、页，编辑于2022年，星期二 在区间在区间-1,1上对零函数的最佳平方逼近性上对零函数的最佳平方逼近性 在在-1,1上的所有首多项式中上的所有首多项式中 与零的平方误差最小在首与零的平方误差最小在首 项系数为项系数为1的的n次多项式集合次多项式集合 中的元中的元 素素 满足不等式满足不等式且仅当且仅当 时，有等号成立。时，有等号成立。即即第49页，共112页，编辑于2022年，星期二证明：证明：利用正交多项式的性质利用正交多项式的性质，存在一组实数，存在一组实数 ，使得不，使得不超过超过n-1次的多项式次的多项式故故且仅当且仅当 时，即时，即 时等号成立时等号成立表明：表明：在范数在范数 的意

24、义下的意义下,首项系数为首项系数为1的勒让德多项式的勒让德多项式 是集合是集合 中距离零最近的中距离零最近的元素。元素。第50页，共112页，编辑于2022年，星期二2、切比雪夫多项式系多项式系、切比雪夫多项式系多项式系称之为称之为n次切比雪夫多项式系。次切比雪夫多项式系。切比雪夫多项式切比雪夫多项式 主要性质主要性质递推性递推性引入中间变量引入中间变量 ，则，则利用三角函数关系得到利用三角函数关系得到即即第51页，共112页，编辑于2022年，星期二 由由 知知 是首项系数为是首项系数为 （n0）的多项式函数系）的多项式函数系,称之为切比雪夫多项式系。称之为切比雪夫多项式系。证明：证明：由由

25、 及归纳法可知及归纳法可知 为为n次多项式。次多项式。其首项系数其首项系数 设结论对设结论对n=m成立，即成立，即 的首项系数为，的首项系数为，当当 n=m+1 时时,其首项系数为其首项系数为 故对任意故对任意n，即即 是首项系数为是首项系数为 的多项式系。的多项式系。第52页，共112页，编辑于2022年，星期二 也可用归纳法证明也可用归纳法证明：的次项系数的次项系数 ；的次项系数的次项系数设结论对设结论对n=m成立，即成立，即 的次项系数为的次项系数为当当n=m+1时，时，其首项系数为其首项系数为 的系数，即的系数，即故对任意故对任意n，即即 的次项系数的次项系数 。其前其前6项的函数表达

26、形式如下：项的函数表达形式如下：其图形依次为：其图形依次为：第53页，共112页，编辑于2022年，星期二第54页，共112页，编辑于2022年，星期二正交性正交性在区间在区间-1,1上关于权函数上关于权函数正交正交证明：证明：注意注意第55页，共112页，编辑于2022年，星期二故故第56页，共112页，编辑于2022年，星期二奇偶性奇偶性n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数为奇（偶）函数证明：证明：（归纳法）（归纳法）为偶数；为偶数；为奇函数为奇函数设结论对设结论对 成立，即成立，即当当m为偶数，为偶数，为偶函数，为偶函数，为奇函数为奇函数当当m为奇数，为奇数，为奇函数，为奇函

27、数，为偶函数为偶函数第57页，共112页，编辑于2022年，星期二当当 为偶函数时，为偶函数时，当当 为奇数时，为奇数时，于是对任意于是对任意 ，故故n为奇（偶）数时，为奇（偶）数时，为奇（偶）函数。为奇（偶）函数。第58页，共112页，编辑于2022年，星期二零点与最值点零点与最值点在（在（-1，1）内的）内的n个零点为：个零点为：在在-1,1上有上有n+1个最值点。个最值点。它在它在交错取最大值交错取最大值1。最小值。最小值-1。且有且有第59页，共112页，编辑于2022年，星期二证明：令证明：令 得得 或者或者 时时故故零点为零点为即即第60页，共112页，编辑于2022年，星期二因因

28、 或或kn时，时，取取有有即即在在-1，1上有上有n+1个最值点。个最值点。且在且在 轮流取最大值轮流取最大值1，最小值，最小值-1。显然由显然由 的定义知的定义知第61页，共112页，编辑于2022年，星期二最佳一致逼近性最佳一致逼近性 记记则则 为首项系数为为首项系数为1的的n次多项式集合。次多项式集合。在区间在区间-1，1上对零函数的最佳一致逼近性：上对零函数的最佳一致逼近性：满足满足即即第62页，共112页，编辑于2022年，星期二证明：证明：因为因为 在区间在区间-1，1上轮流取最大值最小上轮流取最大值最小值值-1，且首项系数为，且首项系数为故故（反证法）（反证法）若结论不成立，则另

29、外存在若结论不成立，则另外存在 使得使得即即 令令则则 为不超过为不超过n-1次的多项式。次的多项式。第63页，共112页，编辑于2022年，星期二由于由于 则则 第64页，共112页，编辑于2022年，星期二即即 在在 共共n+1个点轮流取正负号。个点轮流取正负号。由连续函数的介值定理知：由连续函数的介值定理知：在在n个区间个区间上至少各有一个零点。上至少各有一个零点。但是但是 为不超过为不超过n-1次的多项式，其零点次的多项式，其零点最多有最多有n-1个，故产生矛盾。个，故产生矛盾。因此，在首项系数为因此，在首项系数为1的的n次多项式集合次多项式集合 中中第65页，共112页，编辑于202

30、2年，星期二3、拉盖尔多项式系、拉盖尔多项式系 定义定义 则则 是区间是区间 上关于权函数上关于权函数 的正交的正交多项式系，称为拉盖尔多项式系。其首项系数多项式系，称为拉盖尔多项式系。其首项系数 ，次项系数，次项系数 并有并有 和三项递推关系和三项递推关系第66页，共112页，编辑于2022年，星期二4、爱尔米特多项式系、爱尔米特多项式系 定义定义 则则 是区间是区间 上关于权函数上关于权函数 的正交多项式系，称之为爱尔米特多项式系。的正交多项式系，称之为爱尔米特多项式系。其首项系数其首项系数 次项系数次项系数 并有并有 和三项递推关系和三项递推关系第67页，共112页，编辑于2022年，星

31、期二常用的正交多项式常用的正交多项式名称 区间 权函数 记号与表达式 勒让德-1，1 10切比雪夫-1，1 0拉盖尔爱尔米特 0第68页，共112页，编辑于2022年，星期二 3 最佳平方逼近最佳平方逼近 为赋范（内积）线性空间为赋范（内积）线性空间 的有限维空间的有限维空间.范数取为范数取为 （范数取为内积诱导范数）（范数取为内积诱导范数）求求 使得使得 求求 使得使得 第69页，共112页，编辑于2022年，星期二 求求 使得使得 求求 使得使得第70页，共112页，编辑于2022年，星期二一一、最佳平方逼近问题的求解、最佳平方逼近问题的求解 1、多元函数的矩阵表达形式、多元函数的矩阵表达

32、形式 记记注意注意第71页，共112页，编辑于2022年，星期二得得其中其中 是是Gram矩阵（对称正定）：矩阵（对称正定）：对于上述最佳平方逼近问题，由于（对于上述最佳平方逼近问题，由于（f,f)是确定函数，故寻求使是确定函数，故寻求使 达到最小值的解达到最小值的解向量即为寻求使向量即为寻求使 达到最小值的解向量达到最小值的解向量第72页，共112页，编辑于2022年，星期二2、二次函数取得最小值的充要条件、二次函数取得最小值的充要条件 设设 为实对称正定矩阵，为实对称正定矩阵，和和 是是n维列向量。则维列向量。则 使得二次函数使得二次函数取得最小值的充要条件是取得最小值的充要条件是 为线性

33、方程组为线性方程组的解。的解。证明：证明：A为实对称正定矩阵为实对称正定矩阵 有唯一解向量有唯一解向量第73页，共112页，编辑于2022年，星期二即有即有故故所以所以 由于由于 是常量，是常量，A为对称正定矩阵，故当且仅当为对称正定矩阵，故当且仅当 时，时，取得最小值取得最小值第74页，共112页，编辑于2022年，星期二3、法方程组、法方程组 由于由于Gram矩阵是实对称正定矩阵，结合上述定矩阵是实对称正定矩阵，结合上述定理知：求解最佳平方逼近问题，即求理知：求解最佳平方逼近问题，即求 的最小值就是求解线性方程组：的最小值就是求解线性方程组：上述线性方程组称为最佳平方逼近问题的上述线性方程

34、组称为最佳平方逼近问题的法方程组或正规法方程组或正规方程组方程组 法方程组的唯一解记为法方程组的唯一解记为 最佳平方逼近的解函数为最佳平方逼近的解函数为第75页，共112页，编辑于2022年，星期二 4、的等价表示形式的等价表示形式即即第76页，共112页，编辑于2022年，星期二几何意义几何意义 函数组函数组 是内积空间是内积空间 的组基，故上式表明的组基，故上式表明 与与 内积空间内积空间 中任意函数正交，因此中任意函数正交，因此 可视为可视为被逼近函数被逼近函数f在内积空间上的投影在内积空间上的投影第77页，共112页，编辑于2022年，星期二5、平方逼近误差、平方逼近误差第78页，共1

35、12页，编辑于2022年，星期二举例举例法法 方方程程的的 系系数数矩矩阵阵 设设 的解向量为的解向量为最佳平方逼近函数为最佳平方逼近函数为平方误差为平方误差为第79页，共112页，编辑于2022年，星期二二、基于正交基的最佳平方逼近二、基于正交基的最佳平方逼近 目的：减少计算量，减少舍入误差的影响。目的：减少计算量，减少舍入误差的影响。当当 为内积空间的一组正交函数基时为内积空间的一组正交函数基时 第80页，共112页，编辑于2022年，星期二1、利用已知的正交基、利用已知的正交基 如：用二次多项式做最佳平方逼近，可根据不同区间、不同权如：用二次多项式做最佳平方逼近，可根据不同区间、不同权函

36、数选取正交多项式。函数选取正交多项式。第81页，共112页，编辑于2022年，星期二2、利用已知的正交基求最佳平方逼近函数、利用已知的正交基求最佳平方逼近函数 例例由由 然后计算出然后计算出第82页，共112页，编辑于2022年，星期二 3、构造正交基构造正交基 对不超过对不超过n次的多项式空间次的多项式空间利用公式：利用公式：其中其中 对不完整多项式空间或非多项式空间可用斯密特正交对不完整多项式空间或非多项式空间可用斯密特正交化方法如：化方法如：第83页，共112页，编辑于2022年，星期二4、任意区间上最佳平方逼近问题的转化、任意区间上最佳平方逼近问题的转化例例 若想用若想用Legendr

37、e正交多项式求解，作变换正交多项式求解，作变换问题转化为问题转化为其中其中第84页，共112页，编辑于2022年，星期二5、问题转化、问题转化(1)求解求解 在空间在空间 上的最佳平方逼近上的最佳平方逼近(2)做逆变换做逆变换(3)平方误差计算平方误差计算直接计算：直接计算：间接计算：间接计算：第85页，共112页，编辑于2022年，星期二6、最佳平方逼近问题的一般求解方法、最佳平方逼近问题的一般求解方法例：求例：求f(x)=arctgx在在0,1上的一次最佳平方逼近函数。上的一次最佳平方逼近函数。法法1 用用Legendre正交多项式正交多项式作变换作变换 则则由由及及得得第86页，共112

38、页，编辑于2022年，星期二法法2 利用利用1,x做首一正交多项式做首一正交多项式设设令令取取 在在 找找由由得得第87页，共112页，编辑于2022年，星期二法法3 直接用线性无关函数族，不用正交多项式直接用线性无关函数族，不用正交多项式 设设 取取 在在 找找由由得得 第88页，共112页，编辑于2022年，星期二Remark 1 要求形式给定的最佳平方逼近函数，无论采要求形式给定的最佳平方逼近函数，无论采用哪一组基函数，得到的最佳平方逼近函数的用哪一组基函数，得到的最佳平方逼近函数的解析里理论上是唯一确定的。解析里理论上是唯一确定的。但是，实际计算过程中存在着大量的舍入误差，但是，实际计

39、算过程中存在着大量的舍入误差，截断误差（数值积分），以致采用不同的基函数截断误差（数值积分），以致采用不同的基函数所导致的最终数值结果经常并不相等。所导致的最终数值结果经常并不相等。Remark 2 采用正交基函数求最小平方逼近函数的计算采用正交基函数求最小平方逼近函数的计算量小，它避免了线性方程组的求解。量小，它避免了线性方程组的求解。第89页，共112页，编辑于2022年，星期二Remark 3 采用不同的方法，构成内积空间的基函数的选取可采用不同的方法，构成内积空间的基函数的选取可有不同。在前面的例题中，有不同。在前面的例题中，（1）（2）（3）第90页，共112页，编辑于2022年，星

40、期二4 曲线拟合的最小二乘方法曲线拟合的最小二乘方法 一、曲线拟合问题一、曲线拟合问题 给定数据给定数据 ，要求建立一个，要求建立一个“最好的最好的”连续连续函数函数 ，反映该组数据的基本特征。，反映该组数据的基本特征。确定函数类型确定函数类型 ：v可由物理规律或通过描点作图观察可由物理规律或通过描点作图观察v选比较简单的低次多项式。选比较简单的低次多项式。函数类函数类 中的代表元素中的代表元素 通常包含有若干个通常包含有若干个参数参数 （一般有（一般有 ），即），即 可以表示可以表示为为 线性拟合模型线性拟合模型其中其中 是线性无关的已知函数组。是线性无关的已知函数组。第91页，共112页，

41、编辑于2022年，星期二设设：正数正数 是第是第j个采样点个采样点 处处权，权，是第是第j个采样点处的个采样点处的拟合。拟合。记为记为 或或称为称为拟和残差向量拟和残差向量切比雪夫意义下的曲线拟合模型切比雪夫意义下的曲线拟合模型求求 使得使得最小二乘意义下的曲线拟合模型最小二乘意义下的曲线拟合模型求求 使得使得第92页，共112页，编辑于2022年，星期二二、最小二乘曲线拟合问题的求解二、最小二乘曲线拟合问题的求解 （离散问题的最佳平方逼近）（离散问题的最佳平方逼近）1、最小二乘曲线拟合问题、最小二乘曲线拟合问题 求求 使得使得离散形式的内离散形式的内 满足内积的定义满足内积的定义第93页，共

42、112页，编辑于2022年，星期二最小二乘曲线拟合问题的等价提法最小二乘曲线拟合问题的等价提法 设设 最小二乘曲线拟合问题：最小二乘曲线拟合问题：求求 使得使得第94页，共112页，编辑于2022年，星期二2、多元函数的矩阵表达式、多元函数的矩阵表达式记记注意注意 得得 第95页，共112页，编辑于2022年，星期二其中由离散数据定义的其中由离散数据定义的Gram矩阵（对称）：矩阵（对称）：为为离散离散Gram矩阵矩阵 对于上述最佳平方逼近问题，由于对于上述最佳平方逼近问题，由于 是确定是确定函数，故寻求使函数，故寻求使 达到最小值的解析向量即为寻求使达到最小值的解析向量即为寻求使 达到最小值

43、的解向量。达到最小值的解向量。Remark:在一定条件下是正定矩阵。在一定条件下是正定矩阵。第96页，共112页，编辑于2022年，星期二3、二次函数取得最小值充要条件二次函数取得最小值充要条件 如果离散如果离散Gram矩阵是实对称正定矩阵，由矩阵是实对称正定矩阵，由 定义定义 的二次函数取得最小值的二次函数取得最小值 的充要条件是的充要条件是 是线性方程组是线性方程组的解向量。的解向量。第97页，共112页，编辑于2022年，星期二4、法方程组、法方程组 如果如果Gram矩阵是实对称正定矩阵，则求解最小二乘矩阵是实对称正定矩阵，则求解最小二乘曲线拟合问题，即求曲线拟合问题，即求 的最小值就是

44、求解线性方程组：的最小值就是求解线性方程组：上述线性方程组称为最小二乘问题的上述线性方程组称为最小二乘问题的法方程组或正法方程组或正规方程组。规方程组。其中其中 法方程组的唯一解记为法方程组的唯一解记为 最小二乘曲线拟合问题解函数为最小二乘曲线拟合问题解函数为 第98页，共112页，编辑于2022年，星期二5 5、平方逼近误差、平方逼近误差 即即 第99页，共112页，编辑于2022年，星期二注意：注意：第100页，共112页，编辑于2022年，星期二=三、关于离散三、关于离散GRAM矩阵矩阵注意注意第101页，共112页，编辑于2022年，星期二设设第102页，共112页，编辑于2022年，

45、星期二 不严格地说，由于矩阵不严格地说，由于矩阵A的行数远远大于列数，的行数远远大于列数，矩阵矩阵A一般都是列满（一般都是列满（R(A)=n+1）。）。当当A是是列列满满秩秩矩矩阵阵（矩矩阵阵A的的各各列列线线性性无无关关）。对对任任意意n+1维列向量、维列向量、m+1维列向量维列向量 、m+1维列向量维列向量 非零非零有有 (若对任意若对任意 ,即即 有非零解向量有非零解向量 则则R（A）n,则则称为称为超定（矛盾）方程超定（矛盾）方程。超超定定方方程程组组解解：,使得使得第104页，共112页，编辑于2022年，星期二 通通常常，数数据据个个数数远远大大于于待待定定参参数数的的个个数数，即

46、即下下列线性方程组为（超定）方程组：列线性方程组为（超定）方程组：两端同乘矩阵两端同乘矩阵 ，则有，则有该方程称为（超定）方程组该方程称为（超定）方程组 ，得法方程组。得法方程组。法法方方程程组组的的解解可可视视为为超超定定方方程程组组在在最最小小二二乘乘法法意意义义下的最优解（用以求解超定方程组下的最优解（用以求解超定方程组)第105页，共112页，编辑于2022年，星期二 应应 用用 例一例一 取取 写出下列函数拟合写出下列函数拟合 的法方程。的法方程。（1）用二次曲线）用二次曲线 设设 法方程法方程 第106页，共112页，编辑于2022年，星期二（2）用二次曲线）用二次曲线 设设 法方

47、程法方程 第107页，共112页，编辑于2022年，星期二例二例二 取取 ，用下列函数拟合用下列函数拟合 由由 设设 问题转化为问题转化为 法方程法方程 原始问题原始问题 第108页，共112页，编辑于2022年，星期二 用曲线用曲线 设设 问题转化为问题转化为 法方程法方程 第109页，共112页，编辑于2022年，星期二四、用点集的正交函数系作最小二乘曲线拟合四、用点集的正交函数系作最小二乘曲线拟合目的：减少计算量，减少舍入误差的影响目的：减少计算量，减少舍入误差的影响定义：定义：如果定义如果定义 上的函数族上的函数族 关于点集关于点集以及权值以及权值 所定义的离散内积满足所定义的离散内积满足 则称则称 是关于点集是关于点集 及权值及权值 的正交的正交函数族函数族 第110页，共112页，编辑于2022年，星期二当是关于点集当是关于点集 及权值及权值的正交函数族时，法方程租的系数矩阵为的正交函数族时，法方程租的系数矩阵为拟合曲线为拟合曲线为 类似可证类似可证 故故第111页，共112页，编辑于2022年，星期二关于关于 证明证明而而第112页，共112页，编辑于2022年，星期二