科学计算与数学建模第六章.pptx
《科学计算与数学建模第六章.pptx》由会员分享,可在线阅读,更多相关《科学计算与数学建模第六章.pptx(93页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 第六章 回归问题 线性方程组求解的迭代法回归问题回归问题6.1线性方程组迭代法概述线性方程组迭代法概述6.2迭代法迭代法6.3关于回归模型的求解关于回归模型的求解6.41点击进入点击进入点击进入点击进入第1页/共93页 6.1 回归问题2点击进入点击进入点击进入点击进入第2页/共93页6.1.1 问题的导入 在数理统计中,把研究对象的全体称为总体,而把组成总体的每个单元称为个体,要了解总体的规律性,必须对其中的个体进行统计观测。但若对全部个体进行观测,这样能对总体有充分的了解,但实际上行不通,而且也不经济。所以对整体进行随机抽样观测,再根据抽样观察的结果来推断总体的性质成为一种重要的方法。许
2、多数理统计建模的实际问题中,一个随机变量与另一个随机变量的关系不是线性关系,而是曲线关系,那么如何确定回归方程呢?3第3页/共93页x202530354050606570758090y1.811.701.651.551.481.401.301.261.241.211.201.18下表给出了某中产品每件平均单价下表给出了某中产品每件平均单价 y y(元)与批量(元)与批量 x x(件)之间的(件)之间的关系的一组数据,试确定关系的一组数据,试确定 y y与与 x x的函数关系的函数关系。表表6.1.1 6.1.1 已知数据已知数据4第4页/共93页 先将表6.1.16.1.1中的数据进行曲线拟合
3、,然后经过拟合的曲线形状确定回归方程的次数。用MATLABMATLAB做出拟合图如下,由下图知,可建立二次回归多项式模型。5第5页/共93页6图图6.1.1 6.1.1 散点图散点图第6页/共93页6.1.3 模型的假设 假设上表给出的数据是真实的,且以上数据是随机抽取的可以较准确的推断单位与批量的关系,假设单价与批量的函数关系是一个多项式函数,可用多项回归来建立模型。7第7页/共93页6.1.4 模型的建立 根据模型的分析,可以建立多项式模型 令 ,则回归方程可写成 这是一个二元线性回归模型。且 ,其中:8第8页/共93页9第9页/共93页6.2 线性方程组迭代法概述迭代法概述迭代法概述10
4、迭代法迭代法迭代矩阵迭代矩阵第10页/共93页迭代法:即用某种极限过程逐步逼近线性方程组精确解的方法。迭代法具有需要计算机存储较少、程序设计简单、原始系数矩阵在计算过程中始终不变等优点,但有收敛性或收敛速度的问题。迭代法是解大型稀疏矩阵方程组得重要方法。迭代法则能保持矩阵的稀疏性,具有计算简单,编制程序容易的优点,并在许多情况下收敛较快。故能有效地解一些高阶方程组。11第11页/共93页迭代法的基本思想 迭代法的基本思想是构造一串收敛到解的序列,即建立一种从已有近似解计算新的近似解的规则。由不同的计算规则得到不同的迭代法。12第12页/共93页 对线性方程组 ,其中 非奇异矩阵,。构造其形如
5、的同解方程组,其中M M为n n阶方阵,。13第13页/共93页 任取初始向量 ,代入迭代公式 产生向量序列 ,当k k充分大时,作为方程组AX=b AX=b 的近似解,这就是求解线性方程组的单步定常线性迭代法。M M 称为迭代矩阵。14第14页/共93页6.3 迭代法6.3.1Jacobi迭代法6.3.2Gauss-Seidel迭代法6.3.3迭代法的收敛性迭代法156.3.4超松弛代法第15页/共93页6.3.1 Jacobi迭代法对Ax=b Ax=b,设det(A)det(A)0 0,(6.3.1)6.3.1)将A A 改写成:(6.3.2)(6.3.2)16第16页/共93页 又将A
6、A 分裂为:A=M-N A=M-N,则(6.3.1)(6.3.1)等价于 Mx=Nx+b(6.3.3)Mx=Nx+b(6.3.3)其中M M应选择为一个非奇异阵。并使Mz=f Mz=f 容易求解。对应(6.3.3)(6.3.3)可构造一个迭代过程:初始向量 ,(6.3.4)(6.3.4)特别地,若选取M=D M=D 则N=M-A=L+U N=M-A=L+U 从而(6.3.1)(6.3.1)化为:17第17页/共93页可得:JacobiJacobi迭代公式:(初始向量),其中:(6.3.5)(6.3.5)J J称为JacobiJacobi迭代的迭代矩阵。JacobiJacobi迭代的分量形式:引
7、进记号:为第k k次近似,由6.3.5 6.3.5 有:18第18页/共93页19(6.3.6)(6.3.6)第19页/共93页 JacobiJacobi迭代公式简单,由公式(6.3.5),(6.3.6)(6.3.5),(6.3.6)可知,每迭代一次只需计算一次矩阵与向量乘法,计算机中只需要两组工作单元用来保存 及 且可用 来控制迭代终止。由迭代计算公式可知,迭代法一个重要特征是计算过程中原来矩阵 A A数据始终不变。20第20页/共93页例6.3.16.3.1 用JacobiJacobi迭代法求下面线形方程组,其精确 解是 ,21第21页/共93页解 先将Ax=b Ax=b 转化为等价方程组
8、:迭代公式:选取初始向量 ,22第22页/共93页经1010次迭代解:误差为:23第23页/共93页 6.3.2 Gauss-Seidel迭代法 在(6.3.3)(6.3.3)中选取M=D-LM=D-L(下三角阵),则 N=M-A=U N=M-A=U,从而(6.3.1)(6.3.1)化为等价的(D-L)x(D-L)x=Ux+b (6.3.7)=Ux+b (6.3.7)可得Gauss-SeidelGauss-Seidel迭代公式:初始向量 ,其中 G G 称为Gauss-SeidelGauss-Seidel迭代矩阵24第24页/共93页G-SG-S迭代法的分量形式为:记有迭代公式(6.3.9)(
9、6.3.9),25第25页/共93页 Gauss-SeidelGauss-Seidel迭代法每迭代一次只需计算一次矩阵与向量的乘法,但G-SG-S迭代法比JacobiJacobi迭代法有一个明显的优点,那就是计算机上仅需一组工作单元用来保存分量 (或分量 )当计算出 就冲掉旧的分量 。由G-SG-S迭代公式(6.3.9)(6.3.9)可看出在 的一步迭代中,计算分量 时利用了已计算出来的新分量 (j=1i1)(j=1i1)。因此,G-SG-S迭代法可以看作是JacobiJacobi迭代法的一个修正。26第26页/共93页例6.3.26.3.2 用G-SG-S方法解下面方程组,其精确解为:27第
10、27页/共93页解 由(6.3.9)(6.3.9)可得本题G-SG-S迭代公式为:28第28页/共93页 经5 5次迭代得:从此例可见,G-S G-S迭代法比JacobiJacobi迭代法收敛快(初始向量相同,达到同样精度,所须迭代步数较少),但这个结论对Ax=bAx=b的矩阵 满足某些条件才是对的,甚至有这样的线性方程组,用JacobiJacobi方法是收敛的,而用G-SG-S迭代法却是发散的。29第29页/共93页 如线性方程组:此例用JacobiJacobi迭代法收敛而G-SG-S迭代法却发散。简要分析如下:30第30页/共93页31特征方程特征方程第31页/共93页6.3.3 迭代法的
11、收敛性迭代法的迭代法的收敛性收敛性12条定理条定理8条定义32第32页/共93页 定义6.3.16.3.1 设有矩阵序列 及 如果 成立,则称 收敛于A A。记为 。例如,矩阵序列 当 时,(当 时)。矩阵序列收敛的概念可以用任何矩阵范数来描述。33第33页/共93页34下面介绍向量、矩阵的范数定义、常用的范数形式以及相关性质。定义 6.3.2 6.3.2 (向量范数)如果 的某个实值函数 (1 1)正定性:(2 2),c c 为实数(3 3)三角不等式:则称 为 上的一个向量范数(或向量的模)第34页/共93页 利用三角不等式容易证明:(4 4)在 中,三角不等式即为三角形两边长之和大于第三
12、边长。如下图:35|x+y|y|第35页/共93页 定义 6.3.3 6.3.3设 上四种常用向量范数如下:(1)(1)向量的11范数:(2)(2)向量的 范数:(3)(3)向量的22范数:36第36页/共93页 (4)(4)向量的pp范数:易证明:它们均满足向量范数定义 ,且前三种向量范数均为第四种的向量范数的特例。其中 37第37页/共93页例6.3.3 6.3.3 设 计算 解 38第38页/共93页 定理 6.3.1 6.3.1 设非负实值函数 为 上任一向量范数,则N(x)N(x)是x x分量 的连续函数。定理 6.3.2 6.3.2(范数等价性)设 为 上任意两种范数,则存在常数
13、,使得:定理 6.3.3 6.3.3 在 中,(时)其中 为向量的任一种范数39第39页/共93页定义 6.3.4 6.3.4 (矩阵的范数)若矩阵 的某个非负实值函数 满足条件:(1)(1)正定性:(2)(2)正齐次性:(3)(3)三角不等式:(4)(4)则称N(A)N(A)为 上的一个矩阵范数或模40第40页/共93页 如果将矩阵A A看成 向量空间中的元素,则由向量22范数定义有:这就是矩阵的FrobeniusFrobenius范数,明显它满足上面定义。在大多数与估算有关的问题中,矩阵和向量会同时参与讨论,所以希望引进一种矩阵的范数。它和向量范数相联系且和向量范数是相容的,即:41第41
14、页/共93页 定义6.3.56.3.5 (矩阵的算子范数)设 给出一种向量范数 相应地定义一种矩阵的非负函数:(最大比值)易验证:满足前一矩阵范数的定义。因此 是 上的一个范数,称之为A A的算子范数。42第42页/共93页定理 6.3.4 6.3.4 设 是 上的一个向量范数,则 是 上的矩阵范数,且满足相容条件:43第43页/共93页 定理 6.3.5 6.3.5 设 则:(称为A A的行范数)(称为A A的列范数)(称为A A的22范数)其中 表示 的最大特征值。在计算上,(1 1),(2 2)比较容易,而(3 3)比较困难,但(3 3)在理论分析上十分有用。44第44页/共93页 定理
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 科学 计算 数学 建模 第六
限制150内