第四章线性代数方程组的迭代解法优秀课件.ppt

《第四章线性代数方程组的迭代解法优秀课件.ppt》由会员分享，可在线阅读，更多相关《第四章线性代数方程组的迭代解法优秀课件.ppt（54页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章线性代数方程组的迭代第四章线性代数方程组的迭代解法解法第1页，本讲稿共54页4.2 迭代法的基本思想 迭代法的基本思想是将线性方程组转化为便于迭代的等价方程组，对任选一组初始值 ，按某种计算规则，不断地对所得到的值进行修正，最终获得满足精度要求的方程组的近似解。第2页，本讲稿共54页设 非奇异，则线性方程组 有惟一解 ，经过变换构造出一个等价同解方程组将上式改写成迭代式选定初始向量 ,反复不断地使用迭代式逐步逼近方程组的精确解,直到满足精度要求为止。这种方法称为迭代法第3页，本讲稿共54页 如果 存在极限则称迭代法是收敛的，否则就是发散的。收敛时，在迭代公式中当 时，,则,故 是方程组

2、的解。对于给定的方程组可以构造各种迭代公式。并非全部收敛 第4页，本讲稿共54页例4.1 用迭代法求解线性方程组 解 构造方程组的等价方程组据此建立迭代公式 取 计算得 迭代解离精确解 越来越远迭代不收敛 第5页，本讲稿共54页4.3 雅可比（Jacobi）迭代法4.3.1雅可比迭代法算法构造 例4.2 用雅可比迭代法求解方程组 解：从方程组的三个方程中分离出 和 建立迭代公式建立迭代公式 第6页，本讲稿共54页取初始向量取初始向量进行迭代进行迭代,可以逐步得出一个近似解的序列：可以逐步得出一个近似解的序列：（k=1,2,）直到求得的近似解能达到预先要求的精度，直到求得的近似解能达到预先要求的

3、精度，则迭代过程终止，以最后得到的近似解作为线则迭代过程终止，以最后得到的近似解作为线性方程组的解。性方程组的解。当迭代到第当迭代到第10次有次有计算结果表明，此迭代过程收敛于方程组的精计算结果表明，此迭代过程收敛于方程组的精确解确解x*=(3,2,1)T。第7页，本讲稿共54页考察一般的方程组，将n元线性方程组 写成 若 ,分离出变量 据此建立迭代公式据此建立迭代公式 上式称为解方程组的上式称为解方程组的JacobiJacobi迭代公式。迭代公式。第8页，本讲稿共54页4.3.2 雅可比迭代法的矩阵表示 设方程组 的系数矩阵A非奇异，且主对角元素 ，则可将A分裂成 记作记作 A=L+D+U

4、第9页，本讲稿共54页则 等价于即因为 ，则这样便得到一个迭代公式令则有（k=0,1,2）称为雅可比迭代公式,B称为雅可比迭代矩阵第10页，本讲稿共54页其中 在例4.2中,由迭代公式写出雅可比迭代矩阵为 第11页，本讲稿共54页雅可比迭代矩阵表示法，主要是用来讨论其收敛性，实际计算中，要用雅可比迭代法公式的分量形式。即(k=0,1,2,)第12页，本讲稿共54页4 4.3 3.3 3 雅雅可可比比迭迭代代法法的的算算法法实实现现 第13页，本讲稿共54页4.4 高斯-塞德尔（Gauss-Seidel）迭代法4.4.1 高斯-塞德尔迭代法的基本思想 在Jacobi迭代法中，每次迭代只用到前一次

5、的迭代值，若每次迭代充分利用当前最新的迭代值，即在求 时用新分量代替旧分量 ,就得到高斯-赛德尔迭代法。其迭代法格式为：(i=1,2,=1,2,n k=0,1,2,=0,1,2,)第14页，本讲稿共54页例4.3 用GaussSeidel 迭代格式解方程组 精确要求为精确要求为=0.005=0.005 解 GaussSeidel 迭代格式为取初始迭代向量 ,迭代结果为：x*第15页，本讲稿共54页4.4.2 GaussSeidel 迭代法的矩阵表示迭代法的矩阵表示 将将A分裂成分裂成A=L+D+U，则则 等价于等价于 (L+D+U)L+D+U)x=b=b 于是于是,则高斯则高斯塞德尔迭代过程塞

6、德尔迭代过程 因为 ,所以 则高斯-塞德尔迭代形式为：故 令 第16页，本讲稿共54页4.4.3 高斯高斯塞德尔迭代算法实现塞德尔迭代算法实现 高高斯斯-塞塞德德尔尔迭迭代代算算法法的的计计算算步步骤骤与与流流程程图图与与雅雅可比迭代法大致相同，只是一旦求出变元可比迭代法大致相同，只是一旦求出变元的某个新值的某个新值 后后,就改用新值就改用新值 替代老值替代老值 进行这一步剩下的计算。进行这一步剩下的计算。高斯高斯-塞德尔迭代算法的塞德尔迭代算法的程序实现程序实现(见附录见附录A A-7 用高斯用高斯塞德尔迭代法求解线塞德尔迭代法求解线 性方程组性方程组）第17页，本讲稿共54页4.5.5 超

7、松弛迭代法（超松弛迭代法（SOR方法）方法）使用迭代法的困难在于难以估计其计算使用迭代法的困难在于难以估计其计算量。有时迭代过程虽然收敛，但由于收敛速量。有时迭代过程虽然收敛，但由于收敛速度缓慢，使计算量变得很大而失去使用价值度缓慢，使计算量变得很大而失去使用价值。因此，迭代过程的加速具有重要意义。逐。因此，迭代过程的加速具有重要意义。逐次超松弛迭代（次超松弛迭代（Successive Over relaxatic Successive Over relaxatic MethodMethod，简称简称SORSOR方法）法，可以看作是带参数方法）法，可以看作是带参数的高斯的高斯塞德尔迭代法，实质

8、上是高斯塞德尔迭代法，实质上是高斯-塞德尔塞德尔迭代的一种加速方法。迭代的一种加速方法。第18页，本讲稿共54页4.5.1超松弛迭代法的基本思想超松弛迭代法的基本思想 超松弛迭代法目的是为了提高迭代法的收敛速度，在超松弛迭代法目的是为了提高迭代法的收敛速度，在高斯高斯塞德尔迭代公式的基础上作一些修改。这种方法塞德尔迭代公式的基础上作一些修改。这种方法是将前一步的结果是将前一步的结果 与高斯与高斯-塞德尔迭代方法的迭代塞德尔迭代方法的迭代值值 适当加权平均，期望获得更好的近似值适当加权平均，期望获得更好的近似值 。是。是解大型稀疏矩阵方程组的有效方法之一，有着广泛的应解大型稀疏矩阵方程组的有效方

9、法之一，有着广泛的应用。用。其具体计算公式如下：其具体计算公式如下：用高斯用高斯塞德尔迭代法定义辅助量。塞德尔迭代法定义辅助量。第19页，本讲稿共54页把把 取为取为 与与 的加权平均，即的加权平均，即 合并表示为：式中系数式中系数称为称为松弛因子松弛因子，当，当=1时，便为高斯时，便为高斯-塞德塞德尔迭代法。为了保证迭代过程收敛，要求尔迭代法。为了保证迭代过程收敛，要求0 2。当当0 1时，低松弛法；当时，低松弛法；当1 2时称为超松弛法。时称为超松弛法。但通常统称为超松弛法但通常统称为超松弛法(SOR)。第20页，本讲稿共54页4.5.2 超松弛迭代法的矩阵表示设线性方程组 的系数矩阵A非

10、奇异,且主对角元素 ,则将A分裂成A=L+D+U,则超松弛迭代公式用矩阵表示为或 故 显然对任何一个显然对任何一个值值,(,(D+L)D+L)非奇异非奇异,(,(因为假设因为假设 )于是超松弛迭代公式为于是超松弛迭代公式为 令令则超松弛迭代则超松弛迭代公式可写成公式可写成 第21页，本讲稿共54页例4.4 用SOR法求解线性方程组 取取=1.46，要求要求 解：SOR迭代公式 k=0,1,2,，初值初值 该方程组的精确解该方程组的精确解只需迭代只需迭代20次便可达到精度要求次便可达到精度要求 如果取如果取=1(即高斯即高斯塞德尔迭代法塞德尔迭代法)和同一初和同一初值值 ,要达到同样精度要达到同

11、样精度,需要迭代需要迭代110次次第22页，本讲稿共54页4.6 迭代法的收敛性 我们知道,对于给定的方程组可以构造成简单迭代公式、雅可比迭代公式、高斯-塞德尔迭代公式和超松弛迭代公式，但并非一定收敛。现在分析它们的收敛性。对于方程组 经过等价变换构造出的等价方程组 在什么条件下迭代序列 收敛？先引入如下定理 第23页，本讲稿共54页定理4.1 对给定方阵G,若 ,则 为非奇异矩阵,且 证:用反证法,若 为奇异矩阵,则存在非零向 量x,使 ,即有 由相容性条件得 由于 ,两端消去 ,有 ,与已知条件矛盾,假设不成立,命题得证。又由于 有 即 将将G分别取成分别取成G和和-G，再取范数再取范数

12、又已知又已知 ，有有 第24页，本讲稿共54页定理定理4.2 4.2 迭代公式迭代公式 收敛收敛的充分必要条件是迭代矩阵的充分必要条件是迭代矩阵G的谱半径的谱半径证证:必要性必要性 设迭代公式收敛设迭代公式收敛,当当kk时时,则在迭代公式两端同时取极限得则在迭代公式两端同时取极限得记记 ,则则 收敛于收敛于0(0(零向量零向量),),且有且有 于是 由于 可以是任意向量,故 收敛于0当且仅当 收敛于零矩阵，即当 时 于是 所以必有 第25页，本讲稿共54页充分性充分性:设设 ,则必存在正数则必存在正数,使使则存在某种范数则存在某种范数 ,使使 ,则则 ,所以所以 ,即即 。故。故 收敛于收敛于

13、 0,收敛于收敛于 由此定理可知，不论是雅可比迭代法、高斯由此定理可知，不论是雅可比迭代法、高斯塞德尔迭代法还是超松弛迭代法，它们收敛的塞德尔迭代法还是超松弛迭代法，它们收敛的充要条件是其迭代矩阵的谱半径充要条件是其迭代矩阵的谱半径 。事实上,在例4.1中,迭代矩阵G=，其特征多项式为,特征值为-2，-3，,所以迭代发散 第26页，本讲稿共54页定理4.3(迭代法收敛的充分条件)若迭代矩阵G的一种范数 ,则迭代公式收敛,且有误差估计式,且有误差估计式 及 证:矩阵的谱半径不超过矩阵的任一种范数,已知 ,因此 ,根据定理4.2可知迭代公式收敛第27页，本讲稿共54页又因为又因为 ,则则det(I

14、-G)0,I-G为非奇异矩阵为非奇异矩阵,故故xGxd有惟一解有惟一解 ,即即与迭代过程与迭代过程 相比较相比较,有有两边取范数两边取范数 第28页，本讲稿共54页由迭代格式，有 两边取范数，代入上式，得 证毕 由定理知，当由定理知，当 时，其值越小，迭代收敛越时，其值越小，迭代收敛越快，在程序设计中通常用相邻两次迭代快，在程序设计中通常用相邻两次迭代 （为给定的精度要求）作为为给定的精度要求）作为控制迭代结束的条件控制迭代结束的条件 第29页，本讲稿共54页例4.5 已知线性方程组 考察用考察用JacobiJacobi迭代和迭代和G-SG-S迭代求解时的收敛性迭代求解时的收敛性解解:雅可比迭

15、代矩阵雅可比迭代矩阵 故Jacobi迭代收敛 第30页，本讲稿共54页 将系数矩阵分解将系数矩阵分解 则高斯-塞德尔迭代矩阵 故高斯故高斯塞德尔迭代收敛。塞德尔迭代收敛。第31页，本讲稿共54页定理4.4 设n阶方阵 为对角占优阵,则 非奇异证:因A为对角占优阵,其主对角元素的绝对值大 于同行其它元素绝对值之和,且主对角元素 全不为0,故对角阵 为非奇异。作矩阵 第32页，本讲稿共54页利用对角占优知 由定理由定理4.1知知 非奇异非奇异,从而从而A非奇异非奇异,证毕证毕 系数矩阵为对角占优阵的线性方程组称作对角系数矩阵为对角占优阵的线性方程组称作对角占优方程组占优方程组。第33页，本讲稿共5

16、4页定理4.5 对角占优线性方程组 的雅可比 迭代公式和高斯-赛德尔迭代公式均收敛。证:雅可比迭代公式的迭代矩阵为 由定理4.4知,这时 ,再由定理4.3知迭代收敛 再考察高斯-赛德尔迭代公式的迭代矩阵 令 ，则有 即 写出分量形式有 第34页，本讲稿共54页设 而 由上式得 由此整理得 利用对角占优条件知上式右端小于1,(如果右端大于1,则得出与对角占优条件矛盾的结果)故有据定理4.3知G-S收敛 第35页，本讲稿共54页例4.6 设求解线性方程组 的雅可比迭代 求证当 1时,相应的高斯-塞德尔迭代收敛 证:由于B是雅可比迭代的迭代矩阵,故有 又 1,故有 则 系数矩阵系数矩阵 为对角占优阵

17、为对角占优阵,故故G-SG-S迭代收敛迭代收敛 第36页，本讲稿共54页例4.7 设 ,证明,求解方程组 的Jacobi迭代与G-S迭代同时收敛或发散 证:雅可比迭代矩阵 其谱半径 第37页，本讲稿共54页例4.7 设 ,证明,求解方程组 的Jacobi迭代与G-S迭代同时收敛或发散 证:G-S迭代矩阵 其谱半径 显然,和 同时小于、等于或大于1,因而Jacobi迭代法与G-S迭代法具有相同的收敛性 第38页，本讲稿共54页例例4.8 设求解线性方程组的设求解线性方程组的雅可比迭代雅可比迭代 x(k+1)=B x(k)+f k=0,1,求证当求证当BB 1时时,相应的相应的G-S迭代收敛迭代收

18、敛证证 这里以这里以BB 为例为例,BB1 1类似类似 由于由于B是是雅可比迭代的雅可比迭代的迭代矩阵，故有迭代矩阵，故有 Ax=b 的系数矩阵按行严格对角占优的系数矩阵按行严格对角占优,故故高斯高斯-塞德尔迭代收敛塞德尔迭代收敛第39页，本讲稿共54页例 4.9 考察用雅可比迭代法和高斯-塞德尔迭代 法解线性方程组Ax=b的收敛性，其中解：先计算迭代矩阵第40页，本讲稿共54页求特征值雅可比矩阵 (B)=0 1)=21 用高斯用高斯-塞德尔迭代塞德尔迭代法求解时，迭代过程发散法求解时，迭代过程发散高斯-塞德尔迭代矩阵求特征值第42页，本讲稿共54页 Ax=b的系数矩阵按行严格对角占优的系数矩

19、阵按行严格对角占优,故故高斯高斯-塞德尔迭代收敛塞德尔迭代收敛例例4.10 设有迭代格式设有迭代格式 X(k+1)=B X(k)+g (k=0,1,2）其中其中B=I-A,如果如果A和和B的特征值全为正数，的特征值全为正数，试证：该迭代格式收敛。试证：该迭代格式收敛。分析分析:根据根据A，B和单位矩阵和单位矩阵I之间的特征值的关系导之间的特征值的关系导出出()1,从而说明迭代格式收敛。从而说明迭代格式收敛。证证:因为因为B=I-A,故故(B)=(I)-(A)=1-(A)(A)+(B)=1 由于已知由于已知(A)和和 (B)全为正数，故全为正数，故 0(B)1,从而从而 (B)1 所以该迭代格式

20、收敛。所以该迭代格式收敛。第43页，本讲稿共54页当时当时 a a 11时时,Jacobi矩阵矩阵 G GJ J 1,1,对初值对初值x x(0)(0)均收敛均收敛例例4.11 设设 方程组方程组 写出解方程组的写出解方程组的Jacobi迭代公式和迭代矩阵迭代公式和迭代矩阵 并讨论迭代收敛的条件。并讨论迭代收敛的条件。写出解方程组的写出解方程组的Gauss-Seidel迭代矩阵迭代矩阵,并讨并讨 论迭代收敛的条件。论迭代收敛的条件。解解 Jacobi迭代公式和迭代公式和Jacobi矩阵分别为矩阵分别为 第44页，本讲稿共54页例例4.11设设 方程组方程组 写出解方程组的写出解方程组的Gaus

21、s-Seidel迭代矩阵，并讨论迭代矩阵，并讨论 迭代收敛的条件。迭代收敛的条件。解解 Gauss-Seidel矩阵为矩阵为 当时当时a a 11时时,Gauss-SeidelGauss-Seidel矩阵矩阵 G Gs s 1,1,所以对任意初值所以对任意初值x x(0)(0)均收敛。均收敛。也可用矩阵的谱半径p(GS)1来讨论第45页，本讲稿共54页解：先计算迭代矩阵例4.12 讨论用雅可比迭代法和高斯-塞德尔迭代 法解线性方程组Ax=b的收敛性。第46页，本讲稿共54页求特征值雅可比矩阵 (B)=1 用用雅可比迭代法求解时，迭代过程不收敛雅可比迭代法求解时，迭代过程不收敛1=-1，2,3=

22、1/2第47页，本讲稿共54页求特征值高斯-塞德尔迭代矩阵 (G1)=0.3536 1 用用高斯高斯-塞德尔迭代塞德尔迭代法求解时，迭代过程收敛法求解时，迭代过程收敛1=0,第48页，本讲稿共54页求解AX=b,当取何值时迭代收敛？解:所给迭代公式的迭代矩阵为 例例4.13 4.13 给定线性方程组给定线性方程组 AX=bAX=b 用迭代公式用迭代公式 X X(K+1)(K+1)=X=X(K)(K)+(b-A(b-AX X(K)(K)(k=0,1,)(k=0,1,）第49页，本讲稿共54页即 2-(2-5)+1-5+4 2=0 2-(2-5)+(1-)(1-4)=0 -(1-)-(1-4)=0

23、 1=1-2=1-4(B)=max|1-|,|1-4|1取0 1/2迭代收敛第50页，本讲稿共54页例例4.14 设求解线性方程组设求解线性方程组Ax=b的简单迭代法的简单迭代法 x(k+1)=Bx(k)+g (k=0,1,2,)收敛收敛,求证求证:对对0 1,迭代法迭代法 x(k+1)=(1-)I+Bx(k)+g (k=0,1,2,)收敛。收敛。证证:设设C=(1-)I+B,(C)和和(B)分别为分别为C和和B 的特征值，则显然的特征值，则显然 (C)=(1-)+(B)因为因为0 1,(C)是是1和和(B)的加权平均的加权平均,且由迭代法且由迭代法 x(k+1)=Bx(k)+g (k=0,1

24、,2,)收敛知收敛知|(B)|1,故故|(C)|1,从而从而(C)1,即即x(k+1)=(1-)I+Bx(k)+g (k=0,1,2,)收敛收敛k=0,1,第51页，本讲稿共54页本章小结 本章介绍了解线性方程组 迭代法的一些基本理论和具体方法。迭代法是一种逐次逼近的方法，即对任意给定的初始近似解向量，按照某种方法逐步生成近似解序列，使解序列的极限为方程组的解。注意到在使用迭代法解方程组时，其迭代矩阵B和迭代向量f在计算过程中始终不变,迭代法具有循环的计算公式,方法简单，程序实现方便，它的优点是能充分利用系数的稀疏性,适宜解大型稀疏系数矩阵的方程组。第52页，本讲稿共54页 迭代法不存在误差累

25、积问题。使用迭代法的迭代法不存在误差累积问题。使用迭代法的关键问题是其收敛性与收敛速度，收敛性与迭代关键问题是其收敛性与收敛速度，收敛性与迭代初值的选取无关，这是比一般非线性方程求根的初值的选取无关，这是比一般非线性方程求根的优越之处。在实际计算中，判断一种迭代格式收优越之处。在实际计算中，判断一种迭代格式收敛性较麻烦，由于求迭代的谱半径时需要求特征敛性较麻烦，由于求迭代的谱半径时需要求特征值，当矩阵的阶数较大时，特征值不易求出，通值，当矩阵的阶数较大时，特征值不易求出，通常采用矩阵的任一种范数都小于常采用矩阵的任一种范数都小于1 1或对角占优来判或对角占优来判断收敛性。有时也可边计算边观察其收敛性。如断收敛性。有时也可边计算边观察其收敛性。如何加快迭代过程的收敛速度是一个很重要的问题何加快迭代过程的收敛速度是一个很重要的问题，实用中更多的采用，实用中更多的采用SORSOR法，选择适当的松驰因子法，选择适当的松驰因子有赖于实际经验。我们应针对不同的实际问题有赖于实际经验。我们应针对不同的实际问题，采用适当的数值算法。，采用适当的数值算法。第53页，本讲稿共54页本章作业本章作业本章作业本章作业4.14.1、4.24.2、4.44.4、4.64.6第54页，本讲稿共54页