差值与最小二乘法讲稿.ppt

《差值与最小二乘法讲稿.ppt》由会员分享，可在线阅读，更多相关《差值与最小二乘法讲稿.ppt（85页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、差值与最小二乘法1第一页，讲稿共八十五页哦第五章 差值与最小二乘法n5.1 差值问题与差值多项式n5.2 Lagrange差值n5.3 均差与Newton差值公式 n5.4 差分与Newton前后差值公式n5.5 Hermite差值n5.6 分段低次差值n5.7 三次样条差值n5.8 曲线拟合的最小二乘法n5.9 正交多项式及其在最小二乘的应用2第二页，讲稿共八十五页哦5.1 差值问题与差值多项式称为插值区间。含插值节点的区间称为插值节点，包的插值函数，点为就称，使上近似在区间于计算的解析表达式个简单的，便上是连续的，要求用一在区间且如果表函数上的一个列是区间实际问题中若给定函数,)()(,1

2、,0,)()(,)(,)(,),1,0)(,(,)(010baxxxfxpniyxpxfbaxpbaxfbxxxaniyxbaxfyniinii3第三页，讲稿共八十五页哦5.2 Lagrange差值n5.2.1 线性差值与二次差值n5.2.2 Lagrange差值多项式n5.2.3 差值余项与误差估计4第四页，讲稿共八十五页哦5.2.1 线性差值与二次差值点式：项式是一条直线，即两，通过此两点的插值多、对两点)(,()(,(1100 xfxxfx 101001011)(xfxxxxxfxxxxxL就是线性插值，这里)(1xL的线性插值基函数。与为则称若记101001011010)(),()()

3、(xxxlxlxxxxxlxxxxxl5第五页，讲稿共八十五页哦5.2.1 线性差值与二次差值)(,(),(,(),(,(2221100 xfxxfxxfxn，给出三点当)()()()()()(2,1,0,0,1)(,2211002210 xflxfxlxfxlxLjiijijxlxxxji为二次插值多项式可表示它满足的二次插值基函数，称为关于点)()()()()()()()()(120210221012012010210 xxxxxxxxxlxxxxxxxxxlxxxxxxxxxl6第六页，讲稿共八十五页哦5.2.2 Lagrange差值多项式应受的约束。系数满足的约束条件获得其按预设：使得

4、：试求多项式个点得实函数，过给定是设mmmiiinnaaaxpxaxaxaaxpnixfyxpxpyxyxnxxfy,)()(),1,0(),()()(),(),(1)(10221000nmnmnnmmmmyxaxaxaayxaxaxaayxaxaxaa221011212110002020107第七页，讲稿共八十五页哦直接求解太烦运算量大矩阵，非奇异为此时系数方阵故可取时说名为矛盾方程组当程个数）时解不唯一；方（即未知数个数由线性方程组理论，当eVandermondxxxxxxxxxAnmnmnmnnnnnn21211020011111118第八页，讲稿共八十五页哦5.2.2 Lagrange

5、差值多项式nixfxLxLyxniinnii,1,0),()()(),(1，使项式来构造出插值多个插值节点拉格朗日利用niiinxfxlxL0)()()(：用插值基函数方法可得)()()()()()()(110110niiiiiiniiixxxxxxxxxxxxxxxxxl其中次插值基函数它满足：的称为关于nxxxn,10njiijijxlji,1,0,0,1)(9第九页，讲稿共八十五页哦5.2.2 Lagrange差值多项式)()()()()()()()()()()()(111101101ininiiniiiiiiinnnxxxxxlxlxxxxxxxxxxxxxxxx可改写为于是则记可改写

6、为表达式：从而)(xLnniiininnxfxxxxxL011)()()()()(式的存在唯一性结论。并有以下关于插值多项10第十页，讲稿共八十五页哦5.2.2 Lagrange差值多项式是存在唯一性的。项式的插值多定理：满足条件nniinHxLnixfxL)(,1,0),()(可用反证法证明之。用。适用于作理论分析和应，清晰的特点，故插值公式具有结构紧凑Lagrange插值公式。由此引入带来不便计算函数随着改变。给实际缺点是节点变动时，基Newton,11第十一页，讲稿共八十五页哦5.2.3 差值余项与误差估计12第十二页，讲稿共八十五页哦5.3 均差与Newton差值公式 n5.3.1 均

7、差及其性质n5.3.2 Newton差值13第十三页，讲稿共八十五页哦5.3.1 均差及其性质：展开也可写成下列形式，基底插值多项式，可按次个相异节点上的对于)(,),(110ixxxxLagrangenn)()(1101nnxxxxxxa)()()(102010 xxxxaxxaaxPn得由下面来确定nixPxfaaainin,1,0),()(,1014第十四页，讲稿共八十五页哦5.3.1 均差及其性质)()(10nnnnxxxxa)()()()()()(12022021020110100 xxxxaxxaaxfxxaaxfaxf)()()(102010 xxxxaxxaaxfnnnn15第

8、十五页，讲稿共八十五页哦5.3.1 均差及其性质均差由此引入即可解出：故而依次唯一的决定了,)()()(,)()(,0)(2101202021022100101100100 xxxfxxxxxxaaxfaxxfxxxfxfaxfaaaaxxnjiij16第十六页，讲稿共八十五页哦5.3.1 均差及其性质称为二阶均差。一阶均差的差商：上的一阶均差。在为上定义，则称在区间设ikjikjdefkjijiijijdefjijixxxxfxxfxxxfxxxfxxxfxfxxfxxxfy,)()()(,)(17第十七页，讲稿共八十五页哦5.3.1 均差及其性质阶差商：递归定义1kikikiikiikii

9、ixxxxfxxfxxxf11111,阶均差。阶均差的差商称为阶均差，称为1kkk18第十八页，讲稿共八十五页哦5.3.1 均差及其性质NoImagekikiiiiiiikxxxxxxxxxfxxxf011010)()()()(,的线性组合，即：阶均差可表示为函数值均差对称性；：均差具有以下重要性质)(),(),()1(10kxfxfxfk次多项式。的是)1(,10mxxxxxfkk次多项式，则的是如果mxxxxfk,)2(019第十九页，讲稿共八十五页哦5.3.1 均差及其性质定理证明。可由其中互异，则有并且若RollebanfxxxfnibaxbaCfnnin),(,!)(,),1,0(,

10、)3()(1020第二十页，讲稿共八十五页哦21第二十一页，讲稿共八十五页哦5.3.2 Newton差值)(,)(,)(,)()(,01010110100000nnnnxxxxxfxxxfxxxfxxxxxfxxfxxfxxxxfxfxfbax上一点，可得看成根据均差的定义，把可得：把后式带入前一式，就22第二十二页，讲稿共八十五页哦)(,)()(0100 xxxxfxfxf)(,10210 xxxxxxxf)(,)()(,101010 xxxxfxxxxxxxfnnnn)()(xRxNnn)(,)()(0100 xxxxfxfxNn其中)()(,)(,10010210nnxxxxxxfxxx

11、xxxxf)(,)()()(10 xxxxfxNxfxRnnnn23第二十三页，讲稿共八十五页哦)()()(,)(102010 xxxxaxxaaxNnxNnn它就是形如次数不超过显然满足插值条件，且)()(10nnxxxxa，便于程序设计。插值的优点是计算量少相对中加横线的各阶均差就是均差表均差多项式，系数为称其系数为的多项式LagrangeaNewtonxNnkxafaknkk.)(,1,0,024第二十四页，讲稿共八十五页哦5.4 差分与Newton前后差值公式n5.4.1 差分及其性质n5.4.2 等距节点差值公式25第二十五页，讲稿共八十五页哦5.4.1 差分及其性质后差分算子分别称

12、为差分算子及向及后差分。符号及一阶向为步长的一阶向前差分处以在分别称为hxxfk)(记定义：设,1,0,),(0nkkhxxxffkkk11kkkkkkffffff二阶向后差分二阶向前差分2112111222kkkkkkkkkkkkffffffffffff26第二十六页，讲稿共八十五页哦阶向后差分阶向前差分及一般的可定义mm1111kmkmkmkmkmkmffffff为：及位移算子定义不变算子EI1,kkkkfEffIf可得,)(1kkkkkkfIEIfEffff1EIIE27第二十七页，讲稿共八十五页哦差分的性质值表示、各阶差分均可用函数性质1njnjjkjnjkjjnjnknknfCfEI

13、CfEIf0011)1()()(同理njjnkjjnnjnjkjjnjnkjjnjnknknfCfECfIECfIEf000)1()1()()(28第二十八页，讲稿共八十五页哦差分的性质数值、可用各阶差分表示函性质2njkjknkjnjknknknknfjnffjnfIfEff00,)(,于是因为例、可用向前差分表示、均差与差分的关系性质329第二十九页，讲稿共八十五页哦差分的性质可得：又、均差与差分的关系性质),(,!)(,2,1,1!1,2,1,1!1,3)(101banfxxxfnmfhmxxxfnmfhmxxfnnkmmmkkkkmmmkk),(),()(nkknnmxxfhf30第三

14、十页，讲稿共八十五页哦5.4.2 等距节点差值公式thxxNewtonhktttxxxfhkxxxfkkjjkkkk0101010,)()1()()(1!1,分形式：设均差插值公式写出其差便可由及：根据均差与差分的关系31第三十一页，讲稿共八十五页哦5.4.2 等距节点差值公式nkknkkkknkkknnktttkfhkttthkffDthtPxP000000)1()1(!)1()1(!)()()()!1()()1()!1()()()1(11)1(nnnnnfhnntttnxfxR32第三十二页，讲稿共八十五页哦5.5 Hermite差值值多项式。插的插值多项式称为值相等，满足这种要求阶导数相

15、等，有的甚至要求高且还要求节点上导数值而等在差值节点上函数值相在实际应用中不仅要求Hermite,33第三十三页，讲稿共八十五页哦5.5 Hermite差值满足函数构造插值及微商值和相应的设给定)(,101010 xHmmyyxx；是不超过三次的多项式；)()2(,1,0,)(,)()1(xHnjmxHyxHjjjj34第三十四页，讲稿共八十五页哦5.5 Hermite差值满足：上构造两个插值基函数在每个点性组合。数，在由所给数据作线相应的插值基函插值函数的方法先确定按来确定在由条件设的方法：多项式确定两点)(),();(),(,)2()1(,)()1()(110010332210 xHxhx

16、HxhxxLagrangeaxaxaxaaxHxHHermitej35第三十五页，讲稿共八十五页哦5.5 Hermite差值，且为三次多项式数值为处函，在处的函数值及导数值为在现确定10:)(010 xxxh21010100)(21()(xxxxxxxxxh36第三十六页，讲稿共八十五页哦20101121010000211100020101011)()(,)()(,)()()(,)(:)(,)(21()(xxxxxxxHxxxxxxxHxHxxxxxxxxHxHxxxxxxxxxh同理有表示为不超过三次的多项式此外为零，故有因子处的微商值在处的函数值为零在因为继续确定同理37第三十七页，讲稿共

17、八十五页哦)()()()()(11001100 xHmxHmxhyxhyxHHermite插值多项式为至此可写出被插函数的38第三十八页，讲稿共八十五页哦误差估计2120)4(10)4(310)()(!4)()()()(,)(,)(,)(xxxxfzHxfxRbaxbaxxbaxfbaCxfHermitexxxH，使，存在则对内存在，在插值多项式，的是过设39第三十九页，讲稿共八十五页哦Hermite插值的两个性质有，故按上述条件估计应在上述节点上的多项式也可视为则值多项式插上的在节点都是和设插值的唯一性)()(,)()()()1(121021xHxHHermitexxxxfxHxHHermi

18、tennjjxh01)(故而0)()!22()()()(2)22(121xnHxHxHn)()(12)()2(xfxHnxf 次多项式，则为不超过若40第四十页，讲稿共八十五页哦5.6 分段低次差值n5.6.1 多项式差值的收敛性问题n5.6.2 分段线性差值n5.6.3 分段三次Hermite差值41第四十一页，讲稿共八十五页哦5.6.1多项式差值收敛性问题n前面介绍了n+1个插值节点上构造不超过n次的插值多项式的方法，并分析了他们的余项，从余项的表达式看到，插值多项式与被插函数逼近的程度是与分点的数目、位置及被插函数的特性有关。n考虑如下问题：n是否分点越多，插值多项式对函数的逼近程度就越

19、好呢？龙格现象42第四十二页，讲稿共八十五页哦题上考虑等距节点差值问在对给定函数5,5.11)(2xxxf-4-2240.511.5243第四十三页，讲稿共八十五页哦5.6.2 分段线性差值n由于高次插值收敛性没有保证，实际的计算稳定性也没保证。n因此当插值节点n较大时通常不采用高次多项式插值，而改用低次分段插值。44第四十四页，讲稿共八十五页哦在每个小区间上表示为为分段线性插值函数，则称上为线性函数。在每个小区间满足条件若一折线函数上的函数值为设已知节点hhiihiihhhiniiiinnIxInixxxInifxIbaCxIxIhhxxhfffbxxxa)()1,1,0(,)()3(;,1

20、,0,)()2(;,)()1()(,max,1111101011111,)(iiiiiiiiiihxxxfxxxxfxxxxxI45第四十五页，讲稿共八十五页哦,00,0,)(11111111iiiiiiiiiiiiixxxbaxixxxxxxxixxxxxxxxl略去略去，其中上可表示为在区间niiihxlfxIba0)()(,46第四十六页，讲稿共八十五页哦有估计式则余项若，一致收敛于时则当定理：若)()()(,)()()(0,)(2xIxfxRbaCxfxfxIhbaCxfhh)(max,8)(2xfMMhxRbxa 47第四十七页，讲稿共八十五页哦5.6.3 分段三次Hermite差值

21、上的表达式为间插值函数，在每个子区的分段三次是则称得多项式。是次数不大于上在每个子区间满足条件若一阶导数值为上的函数值为在节点设函数,)(3)10(,)3();,1,0(,)(,)()2(;,)1(,)(111101010iihhiiiihiihhhnnnxxHermitexfIInixxnifxIfxIbaCIIffffffbxxxaxf48第四十八页，讲稿共八十五页哦121112111)(21()(21()(iiiiiiiiiiiiiihfxxxxxxxxfxxxxxxxxxI1211211)()(iiiiiiiiiifxxxxxxfxxxxxx上用插值基函数表示为在,ba其中,)()()

22、(0niiiiihfxfxxI49第四十九页，讲稿共八十五页哦,00,)(21(0,)(21()(111211112111iiiiiiiiiiiiiiiiiiixxxixxxxxxxxxxxixxxxxxxxxxxx略去略去50第五十页，讲稿共八十五页哦,00,)(0,)()(1112111211iiiiiiiiiiiiiiixxxixxxxxxxxxixxxxxxxxxx略去略去).()(0),(max,)(110 xfxIhxxhbaCxfhiini一致收敛于时则当可以证明，若51第五十一页，讲稿共八十五页哦5.7 三次样条差值n5.7.1 三次样条函数n5.7.2 三弯矩方程n5.7.3

23、 三次样条差值收敛性52第五十二页，讲稿共八十五页哦5.7.1 三次样条函数n多项式插值虽有许多优点，但由于多项式“在一点的性质足以决定其整体性质”的特点，难以描述自然界“在不同的区域内的性状可以完全不相关”的大范围现象；另方面分段线性插值和分段Hermite插值的光滑性不够（例如船体、飞机的外形曲线设计常需二阶可导）。n下面介绍的样条是一种分段多项式，各相邻段又具有某种连接性质，因而它既保持了多项式的简单性，又在各段保持了相对独立的局部性质。53第五十三页，讲稿共八十五页哦工程必须的。处处均有曲率此时曲线，便得到三次样条插值对次插值多项式。上为则称阶导数。上具有于数多项式。的实系数代上是一个

24、次数不超过于每个区间满足：分段函数定义：设给定一组节点)(,3),()(1),()()2(,)1()(1110 xsnnxsnxsnxxxsxxxxjjNN54第五十四页，讲稿共八十五页哦暂记：简洁方法但我们还是愿意用以下来求设虽然可在每个子区间段,)()(23xsdxcxbxaxsiiii)1,0(),0()(,)(1 nixxhniMxsfxsiiiiiiiiiiiiihxxMhxxMxs11)(其插值形式为：上应为一次多项式，故在上为三次多项式，从而在由于,)(,)(11 jjjjxxxsxxxs55第五十五页，讲稿共八十五页哦iiiiiiiiiiiiiiiCxChxxMhxxMxsCh

25、xxMhxxMxs213131121216)(6)()(2)(2)()(两次积分别得：分别为待定系数。，这里iiiiiCCMnixxx211,1,0)(56第五十六页，讲稿共八十五页哦表出得：由获得首先由差值条件12111,)(,)(iiiiiiiiMMCCfxsfxsiiiiiiiiiiiiiiiiiixMhhfxMhhfCMMhhffC)6()6(6)(1112111上的表示便有在据此应有,)(1iixxxs57第五十七页，讲稿共八十五页哦)1,2,1(26)()(26)()(1111111nihMMMhhffxshMMMhhffxsiiiiiiiiiiiiiiiiii连续性方程组的等式形

26、成的方程组个关于便获得由上述即存在再由要求iiiiMnxsxsxs1),()(,)(58第五十八页，讲稿共八十五页哦,6,21111111iiiiiiiiiiiiiiiiiixxxfdhhhhhhdMMM其中：经整理即：三弯矩关系。处的中心插商为被插数据在的二阶导数的加权平均点明了插值函数在相邻三倍，因此连续性方程说插商的出的二阶中心为插值数据在的长度比份额，表示相邻区间义：连续性方程组的力学意iiiiiiiiixxdxxxx3,1159第五十九页，讲稿共八十五页哦5.7.2 三弯矩方程于是有给定两端点处的导数值，如况在区间的端点处给定条件，往往根据具体情加两个个未知数，因此尚需添连续性方程组

27、有,)1(10nmmn nnnnnnndhffmhMMdmhffhMM)(62)(62111110000101060第六十页，讲稿共八十五页哦nnnnnnnnnnddddddMMMMMM1221012210112222112100002000020000200002000012:为此时方程组的矩阵形式61第六十一页，讲稿共八十五页哦)()()()(00nnxsxsxsxs:)()()3(,)2(00会自然给定外给定周期要求于是有数值给定两端点处的二阶导nnxsxsMM数角方程组来确定样条函注：也可通过获得三转而获得样条函数赶法找出其唯一解，从因而可用追三对角方程组以上均获得对角占优的.,62第

28、六十二页，讲稿共八十五页哦63第六十三页，讲稿共八十五页哦5.7.3 三次样条差值收敛性64第六十四页，讲稿共八十五页哦5.8 曲线拟合的最小二乘法。和观测为基础的天文学最小二乘法起源于测量响整体近似的效果。常具有强震荡，从而影多项式通多时，获得的高次插值外若给出的观测数据较要的。另的影响，这是我们不需曲线保留全部观测误差金斯关系多项式的求法使所求得数据总含有误差，插值面给出的多项式，然而，由于上似关系如前所述的插值之间的一个近与去获取变量的数据中，往往要从一组测得在科学试验或统计研究yxyxyxyxnn),(,),(),(110065第六十五页，讲稿共八十五页哦，设有一组数据如下年解决了多余

29、观测问题在1794Gaussbaxy大致成线性关系：点散点图进行观测，这些先描出这些数据间的关系示要求用一简单的式子表,12345671.21.41.61.82.266第六十六页，讲稿共八十五页哦使得，即找些观测点所描述的规律表这线，能在某种意义下代能否找到一条较好的直。据的信息，因而不准确测数的值，且未用到多条观这样就会获得多组取两点即可，若按插值的思想只需任现在来确定bababa,iiiybxaYbxaY,67第六十七页，讲稿共八十五页哦小，即：据点的距离的平方和最所找到的直线到所有数原理，但常用的是最小二乘定可以有很多种方法来确,baniiniiiniiiJybxayYbaQ121212

30、:)()(),(。下面根据这一原则求求解有困难最小），但最小的或者也有使bayYyYiiii,max(68第六十八页，讲稿共八十五页哦:方法，另由高等数学求最小值的niiiniiniiniiiiniiniiniiiyxbxaxxybxabbaQybxnaybxaabaQ112111110)(20),(0)(20),(求解步骤：69第六十九页，讲稿共八十五页哦求解法方程组写出法方程组和列表并计算出:3:2,:122StepStepyxxyxyxxStepiiiiiiii70第七十页，讲稿共八十五页哦:,线性曲线下述非选定合适的拟合曲线如所给观测点的散点图根据并不限于线性函数，应数据的最小二乘拟合

31、法ZbaYcebXaYXaXaaYX11;22210问题：个求解非线性方程组的接按上述做法会带来一，但直现，上述作法依然可行参数以非线性的方式出即拟合曲线中的于假如散点图的曲线适合,bXaeY 71第七十一页，讲稿共八十五页哦问题：个求解非线性方程组的接按上述做法会带来一，但直现，上述作法依然可行参数以非线性的方式出即拟合曲线中的于假如散点图的曲线适合,bXaeY miibxyaebaQi12)(),(72第七十二页，讲稿共八十五页哦mibxiinibximibxinibxiiiieyxaexaeyeabQaQ11221120令BXAYbBaAYYbXaY:,ln,ln:lnln得关系此时记化

32、，如取对数：这时可以做某种近似转型也有类似的讨论。对baXY 73第七十三页，讲稿共八十五页哦.6),(nmn实际中常取多项式否则插值多项式是被拟待拟函数而言，总是设对多项式作为最优拟合曲线。后比较其误差最小者为和，然可选用几种曲线进行拟通常对一给定散点图，74第七十四页，讲稿共八十五页哦mmmiiniiniiimaaaxSSpanxSyxspan110000010)(,)(,即寻找和权数据对给定我们选用函数表一般的最小。使niiiimyxSaaaI0210)(),(：由求极值的必要条件有0)()()()(210100ikimminiiikxxaxaaxaaImk,1,075第七十五页，讲稿共

33、八十五页哦和记号：引入向量带权内积定义miikiikmiikijikjxyyxx00)(),()()(),(为：于是上面的方程组便成76第七十六页，讲稿共八十五页哦),(),(),(),(),(),(),(),(),(),(),(),(1010101111000100mmmmmmmmyyyaaa在唯一。条件，则法方程组解存满足个不同零点上至少有线性无关，且在点集称为法方程，若HaarmmnxxxZxxn)(,)(),(101077第七十七页，讲稿共八十五页哦0det,)()(),(,)()(),(11010nnnGbaxxxbaCkxxx上无关在，则，：设命题),(),(),(),(),(00

34、0010nnnnnnGG其中78第七十八页，讲稿共八十五页哦niiinCspanff0*102222*,:2法方程组的解满足命题79第七十九页，讲稿共八十五页哦5.9 正交多项式及其在最小二乘的应用n5.9.1 内积与正交多项式n5.9.2 Legendre多项式n5.9.3 Chebyshev多项式n5.9.4 其他正交多项式n5.9.5 用正交多项式作最小二乘法80第八十页，讲稿共八十五页哦5.9.1 内积与正交多项式81第八十一页，讲稿共八十五页哦5.9.2 Legendre多项式82第八十二页，讲稿共八十五页哦5.9.3 Chebyshev多项式83第八十三页，讲稿共八十五页哦5.9.4 其他正交多项式84第八十四页，讲稿共八十五页哦5.9.5 用正交多项式作最小二乘法85第八十五页，讲稿共八十五页哦