x矩阵分析及其应用学习课程.pptx

对于实数和复数，由于定义了它们的对于实数和复数，由于定义了它们的绝对值绝对值或模，或模，这样我们就可以用这个这样我们就可以用这个度量度量来表示它们的来表示它们的大小大小（几何上就是（几何上就是长度长度），进而可以考察两个实），进而可以考察两个实数或复数的数或复数的距离距离。对于对于 维线性空间，定义了维线性空间，定义了内积内积以后，向以后，向量就有了量就有了长度长度（大小）、（大小）、角度角度、距离距离等度量概等度量概念，这显然是念，这显然是3维现实空间中相应概念的推广。维现实空间中相应概念的推广。利用利用公理化的方法公理化的方法，可以进一步把向量长度的，可以进一步把向量长度的概念推广到概念推广到范数范数。1、从向量范数到矩阵范数、从向量范数到矩阵范数第1页/共347页第一页，编辑于星期日：八点 四十九分。一、一、从向量的长度或模谈起从向量的长度或模谈起 ，当且仅当，当且仅当 时，等号成立。时，等号成立。例例 1 1复数复数 的长度或的长度或模模指的是指的是量量显然复数显然复数 的模的模 具有下列三条性质：具有下列三条性质：第2页/共347页第二页，编辑于星期日：八点 四十九分。，当且仅当，当且仅当 时，等号成立。时，等号成立。显然向量显然向量 的模的模 也具有下列三条性质：也具有下列三条性质：例例 2 2 维欧氏空间中向量维欧氏空间中向量 的长度或范数定义的长度或范数定义为为第3页/共347页第三页，编辑于星期日：八点 四十九分。定义定义3 3如果如果 是是数域数域 上的上的线性空间线性空间，对，对 中的任中的任意向量意向量 ，都有一个，都有一个非负实数非负实数 与之对应，并与之对应，并且具有下列三个条件（且具有下列三个条件（正定性、正齐性和三角不等式正定性、正齐性和三角不等式）：）：则称则称 是向量是向量 的的向量范数向量范数，称定义了范数的线，称定义了范数的线性空间性空间 为为赋范线性空间赋范线性空间。第4页/共347页第四页，编辑于星期日：八点 四十九分。例例 4 4 设设 是内积空间，则由是内积空间，则由定义的定义的 是是 上的向量范数，称为由内积上的向量范数，称为由内积 导出导出导出导出的范数的范数的范数的范数。这说明范数未必都可由内积导出这说明范数未必都可由内积导出。例如后面介绍。例如后面介绍的的 和和 。第5页/共347页第五页，编辑于星期日：八点 四十九分。例例 5 5 在赋范线性空间在赋范线性空间 中，定义任意两向量之间的中，定义任意两向量之间的距离距离为为则称此距离则称此距离 为为 由范数由范数 导出的距离导出的距离。此。此时按此式定义了距离的时按此式定义了距离的 满足度量空间的满足度量空间的距离三公距离三公理理（对称性、三角不等式和非负性对称性、三角不等式和非负性），所以赋范线性，所以赋范线性空间按由范数导出的距离构成一个特殊的空间按由范数导出的距离构成一个特殊的度量空间度量空间。第6页/共347页第六页，编辑于星期日：八点 四十九分。拓扑空间拓扑空间线性空间线性空间Hausdorff空间空间赋范空间赋范空间 距离空间距离空间(度量空间度量空间)拓扑线性空间拓扑线性空间完备距离完备距离线性空间线性空间距离线性空间距离线性空间内积空间内积空间Hilbert空间空间Banach空间空间欧氏空间欧氏空间 和和各类空间的层次关系各类空间的层次关系第7页/共347页第七页，编辑于星期日：八点 四十九分。二、二、常用的向量范数常用的向量范数例例 6 6 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为2-范数范数或或 范范数，也称为数，也称为 Euclid 范数范数。第8页/共347页第八页，编辑于星期日：八点 四十九分。例例 7 7 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为p-范数范数或或 范数或范数或Holder范数。范数。第9页/共347页第九页，编辑于星期日：八点 四十九分。定义的定义的 是是 上的向量范数，称为上的向量范数，称为1-范数范数或或 范范数或数或和范数和范数，也被风趣地称为，也被风趣地称为Manhattan范数范数。特别地，特别地，p=1 时，有时，有例例 8 8 对任意对任意 ，由，由第10页/共347页第十页，编辑于星期日：八点 四十九分。遗憾的是，当遗憾的是，当 时，由时，由定义的定义的 不是不是 上的向量范数。上的向量范数。因为因为 时，取时，取 ，则，则第11页/共347页第十一页，编辑于星期日：八点 四十九分。定义的定义的 是是 上的向量范数，称为上的向量范数，称为 -范数范数或或 范数或范数或极大范数极大范数。在在广义实数（即将广义实数（即将“无穷无穷”看成数）看成数）范围内，范围内，P P能否取到能否取到正无穷大呢？具体而言，如何计算这种范数呢？正无穷大呢？具体而言，如何计算这种范数呢？也就是也就是例例 9 9 对任意对任意 ，由，由第12页/共347页第十二页，编辑于星期日：八点 四十九分。证明：证明：验证验证 是向量范数显然很是向量范数显然很容易。下证容易。下证 。令令 ，则有，则有由极限的两边夹法则，并注意到由极限的两边夹法则，并注意到 ，即得，即得欲证结论。欲证结论。第13页/共347页第十三页，编辑于星期日：八点 四十九分。例例 1010 计算向量计算向量的的p范数，这里范数，这里第14页/共347页第十四页，编辑于星期日：八点 四十九分。解解解解 ：第15页/共347页第十五页，编辑于星期日：八点 四十九分。%exm501.m i=sqrt(-1);a=3*i,0,-4*i,-12;norm(a),norm(a,1),norm(a,inf)ans=13ans=19ans=12第16页/共347页第十六页，编辑于星期日：八点 四十九分。这些范数在几何上如何理解呢？这些范数在几何上如何理解呢？例例11 11 对任意对任意 ，对应于，对应于 四四种范数的种范数的闭单位圆闭单位圆 的图形分别为的图形分别为第17页/共347页第十七页，编辑于星期日：八点 四十九分。例例 1212 对任意对任意 ，由，由定义的定义的 是是 上的向量范数，称为上的向量范数，称为 范数。范数。特别地，特别地，范数、范数、范数和范数和 范数分别为范数分别为第18页/共347页第十八页，编辑于星期日：八点 四十九分。定义的定义的 是是 上的向量范数，称为上的向量范数，称为加权范数加权范数或或椭椭圆范数圆范数。例例 13 13 若矩阵若矩阵 为为Hermite正定矩阵，则由正定矩阵，则由对于任意对于任意 ，有，有当当 时，时，；当；当 时由时由 Hermite正定知正定知 ，即，即 。第19页/共347页第十九页，编辑于星期日：八点 四十九分。由于由于 为为Hermite正定矩阵，故存在酉矩阵正定矩阵，故存在酉矩阵 ，使得，使得从而有从而有这里这里 的特征值的特征值 都为正数。都为正数。此时此时因此对任意因此对任意 ，第20页/共347页第二十页，编辑于星期日：八点 四十九分。这从几何上可以理解成求可逆变换这从几何上可以理解成求可逆变换 的像的的像的“长度长度”。这说明只要运算这说明只要运算 成立即可，因此对矩阵成立即可，因此对矩阵 的的要求可放宽为列满秩矩阵要求可放宽为列满秩矩阵。如果如果 ，此时，此时 ，这就是这就是加权范数加权范数或或椭圆范数椭圆范数名称的由来。名称的由来。一般地，由于一般地，由于 是是Hermite正定矩阵，从而存在正定矩阵，从而存在Cholesky分解，即存在可逆矩阵分解，即存在可逆矩阵 （未必是酉矩阵）（未必是酉矩阵），使得，使得 ，因此，因此第21页/共347页第二十一页，编辑于星期日：八点 四十九分。为为李雅普诺夫（李雅普诺夫（李雅普诺夫（李雅普诺夫（Lyapunov）函数）函数）函数）函数，这里，这里 是正定是正定Hermite矩阵。大家已经知道，此函数是讨论线性和非线性矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。系统稳定性的重要工具。在现代控制理论中，称二次型函数在现代控制理论中，称二次型函数第22页/共347页第二十二页，编辑于星期日：八点 四十九分。例例 14 14 14 14（模式识别中的模式分类问题模式识别中的模式分类问题）模式分类模式分类的问题指的是根据已知类型属性的观测样本的问题指的是根据已知类型属性的观测样本的模式向量的模式向量 ，判断未知类型属性的模式，判断未知类型属性的模式向量向量 归属于哪一类模式。其基本思想是归属于哪一类模式。其基本思想是根据根据 与与模式样本向量模式样本向量 的相似度大小作出判断。的相似度大小作出判断。最简单的方法是用最简单的方法是用两向量之间的距离两向量之间的距离来表示相似度，来表示相似度，距离距离越小，相似度越大越小，相似度越大。最典型的是。最典型的是Euclidean距离距离第23页/共347页第二十三页，编辑于星期日：八点 四十九分。其他其他距离测度距离测度还包括还包括第24页/共347页第二十四页，编辑于星期日：八点 四十九分。以及与椭圆范数类似的以及与椭圆范数类似的Mahalanobis距离距离：这里这里 是从正态总体是从正态总体 中抽取的两个样本。中抽取的两个样本。第25页/共347页第二十五页，编辑于星期日：八点 四十九分。三、三、向量范数的几个性质向量范数的几个性质定理定理15 15 Euclid范数是范数是酉不变酉不变的，即对任意酉矩阵的，即对任意酉矩阵 以及任意以及任意 ，均有，均有这个定理的结论是显然的，因为酉变换保持向量的这个定理的结论是显然的，因为酉变换保持向量的内积不变内积不变，自然也保持了，自然也保持了Euclid意义下的意义下的几何结构几何结构（长度、（长度、角度角度或或范数范数等）等）不变不变。第26页/共347页第二十六页，编辑于星期日：八点 四十九分。注意这个结论对注意这个结论对无限维无限维未必成立。另外，根据等价性，未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数可以基于一种范数来建立理论，而使用另一种范数来进行计算。来进行计算。定理定理16 16 有限维线性空间有限维线性空间 上的上的不同范数是等价的不同范数是等价的，即对即对 上定义的任意两种范数上定义的任意两种范数 ，必存在，必存在两个任意正常数两个任意正常数 ，使得，使得第27页/共347页第二十七页，编辑于星期日：八点 四十九分。向量是特殊的矩阵，向量是特殊的矩阵，矩阵可以看矩阵可以看成一个成一个 维向量，因此自然想到将向维向量，因此自然想到将向量范数推广到矩阵范数。量范数推广到矩阵范数。四、四、矩阵范数的概念矩阵范数的概念第28页/共347页第二十八页，编辑于星期日：八点 四十九分。定义定义17 17 对对 中的任意矩阵中的任意矩阵 ，都有一个非负实，都有一个非负实数数 与之对应，并且具有下列三个条件（与之对应，并且具有下列三个条件（正定性、正正定性、正齐性和三角不等式齐性和三角不等式）：）：则称则称 是矩阵是矩阵 的（的（广义广义）矩阵范数矩阵范数。第29页/共347页第二十九页，编辑于星期日：八点 四十九分。例例 18 18 对任意对任意 ，由，由定义的定义的 是是 上的矩阵范数，称为上的矩阵范数，称为 范数。范数。第30页/共347页第三十页，编辑于星期日：八点 四十九分。例例 1919 对任意对任意 ，由，由定义的定义的 是是 上的（广义）矩阵范数，称为上的（广义）矩阵范数，称为 范数。范数。第31页/共347页第三十一页，编辑于星期日：八点 四十九分。例例 20 20 对任意对任意 ，由，由定义的定义的 是是 上的矩阵范数，称为上的矩阵范数，称为 范范数或数或Euclid 范数或范数或Schur范数范数或或Frobenius范数范数(F范数范数)或或Hibert-Schmidt范数范数。第32页/共347页第三十二页，编辑于星期日：八点 四十九分。五、五、算子范数和范数的相容性算子范数和范数的相容性矩阵不仅仅是向量，它还可以看成变换或算子。矩阵不仅仅是向量，它还可以看成变换或算子。实际中，从实际中，从算子或变换的角度来定义范数更加有用。算子或变换的角度来定义范数更加有用。定义定义21 21 对对 中的任意矩阵中的任意矩阵 ，用一个非负实数，用一个非负实数 表示对于任意向量表示对于任意向量 ，可以可以“拉伸拉伸”向量向量 的最大倍数的最大倍数，即使得不等式，即使得不等式成立的最小的数成立的最小的数 。称。称 为范数为范数 和和 诱导出的矩阵范数诱导出的矩阵范数或或算子范数算子范数。第33页/共347页第三十三页，编辑于星期日：八点 四十九分。由矩阵范数的正齐性可知由矩阵范数的正齐性可知 的作用是由它对单位向的作用是由它对单位向量的作用所决定，因此可以等价地用量的作用所决定，因此可以等价地用单位向量在单位向量在 下下的像的像来定义矩阵范数，即来定义矩阵范数，即从几何上看，矩阵范数反映了线性映射把一个向量映射为另从几何上看，矩阵范数反映了线性映射把一个向量映射为另一个向量，一个向量，向量的向量的“长度长度”缩放的比例缩放的比例 的上界。的上界。第34页/共347页第三十四页，编辑于星期日：八点 四十九分。而且考虑到而且考虑到矩阵乘法的重要地位矩阵乘法的重要地位，因此讨论矩阵范数，因此讨论矩阵范数时一般附加时一般附加“范数相容性范数相容性”条件（这里的范数一般要条件（这里的范数一般要求是求是同类的同类的）：）：注意到注意到即即第35页/共347页第三十五页，编辑于星期日：八点 四十九分。可以证明，前面给出的矩阵范数可以证明，前面给出的矩阵范数 都都满足满足“相容性条件相容性条件”，即成立，即成立但是矩阵范数但是矩阵范数 不满足不满足“相容性条件相容性条件”。例如。例如对于矩阵对于矩阵就有就有第36页/共347页第三十六页，编辑于星期日：八点 四十九分。要使矩阵范数要使矩阵范数 满足满足“相容性条件相容性条件”，则可以，则可以修正其定义为：修正其定义为：第37页/共347页第三十七页，编辑于星期日：八点 四十九分。在在“相容性条件相容性条件”中，如果中，如果 而且而且范数范数 与范数与范数 相同时，即如果有相同时，即如果有则称则称矩阵范数矩阵范数 与向量范数与向量范数 是相容的是相容的。第38页/共347页第三十八页，编辑于星期日：八点 四十九分。证明证明：定理定理2222 上的矩阵上的矩阵F-范数与范数与 上的向量上的向量2-2-范数相容。范数相容。第39页/共347页第三十九页，编辑于星期日：八点 四十九分。第40页/共347页第四十页，编辑于星期日：八点 四十九分。根据算子范数的定义，当向量范数根据算子范数的定义，当向量范数 分别为分别为 时，我们可时，我们可诱导出诱导出相应的相容相应的相容矩阵范数矩阵范数 。第41页/共347页第四十一页，编辑于星期日：八点 四十九分。设任意矩阵设任意矩阵 ，则，则1-1-范数范数单单位球位球 在在 下的下的像像中的任意向量中的任意向量 满足满足第42页/共347页第四十二页，编辑于星期日：八点 四十九分。从而从而如果如果 ，则选取，则选取 ，此时由，此时由 ，得，得因此因此类似地可得，类似地可得，第43页/共347页第四十三页，编辑于星期日：八点 四十九分。实际上，实际上，这些诱导矩阵范数具有如下的这些诱导矩阵范数具有如下的表示定理表示定理。定理定理2323 对对 中的任意矩阵中的任意矩阵 ，有，有 最大最大列和列和 最大最大行和行和 最大最大谱谱第44页/共347页第四十四页，编辑于星期日：八点 四十九分。证明：证明：所以所以 是半正定是半正定Hermite矩阵矩阵,因此特征因此特征值全部为非负实数。设为值全部为非负实数。设为 并设对应的两两互相正交且并设对应的两两互相正交且2-范数都为范数都为1的特的特征向量为征向量为 ，那么，对于，那么，对于任意的单位任意的单位2-范数向量范数向量 ，必成立，必成立第45页/共347页第四十五页，编辑于星期日：八点 四十九分。由于由于因此有因此有 所以所以第46页/共347页第四十六页，编辑于星期日：八点 四十九分。因此成立因此成立 另外，由于另外，由于 ，而且，而且第47页/共347页第四十七页，编辑于星期日：八点 四十九分。同样给出这些范数在几何上的理解。同样给出这些范数在几何上的理解。例例 24 24 求矩阵求矩阵的的 范数（范数（），并考察对应于），并考察对应于 的三种向量范数的的三种向量范数的闭单位球闭单位球在矩阵在矩阵 作用下的效果。作用下的效果。第48页/共347页第四十八页，编辑于星期日：八点 四十九分。%exm502.m A=1 2;0 2;norm(A),norm(A,1),norm(A,inf)ans=2.9208ans=4ans=3第49页/共347页第四十九页，编辑于星期日：八点 四十九分。第50页/共347页第五十页，编辑于星期日：八点 四十九分。第51页/共347页第五十一页，编辑于星期日：八点 四十九分。定理定理2525 上的上的谱范数谱范数具有下列性质：具有下列性质：六、矩阵范数的一些性质六、矩阵范数的一些性质第52页/共347页第五十二页，编辑于星期日：八点 四十九分。(1)(1)设有设有 使使 ，令令 ，则有，则有 证明证明：第53页/共347页第五十三页，编辑于星期日：八点 四十九分。(2)(2)(3)(3)设有设有 使使 ，则，则 第54页/共347页第五十四页，编辑于星期日：八点 四十九分。定理定理2 26 6 上的矩阵上的矩阵F-F-范数和谱范数都是范数和谱范数都是酉不酉不变的变的，即对任意酉矩阵，即对任意酉矩阵 ，恒有，恒有令令则则第55页/共347页第五十五页，编辑于星期日：八点 四十九分。即即对于对于谱范数谱范数的情形，利用定义即可。的情形，利用定义即可。第56页/共347页第五十六页，编辑于星期日：八点 四十九分。对于对于谱范数谱范数，这个定理的结论可以推广到这个定理的结论可以推广到列正列正交酉矩阵交酉矩阵，即，即的情形，此时仍然成立的情形，此时仍然成立利用定理利用定理2626可以证明这个推广结论。可以证明这个推广结论。第57页/共347页第五十七页，编辑于星期日：八点 四十九分。定理定理2727对矩阵 ，表示矩阵 的 个非零奇异值，则%exm503.m H=hilb(20);/Hilbert矩阵 norm(H,2)；/计算H的2范数max(svd(H)；/计算H的2范数ans=1.9071第58页/共347页第五十八页，编辑于星期日：八点 四十九分。长度和距离在长度和距离在实分析实分析和和复分析复分析中的应用，中的应用，我们已经有充分认识，而范数是长度和距离我们已经有充分认识，而范数是长度和距离的推广，因此的推广，因此范数范数作为一种推广的度量，由作为一种推广的度量，由于其抽象性和概括性，其应用范围自然也随于其抽象性和概括性，其应用范围自然也随之扩展。至少在之扩展。至少在矩阵分析矩阵分析和和数值线性代数数值线性代数领领域，范数有着深刻的应用。域，范数有着深刻的应用。2、范数的几个应用、范数的几个应用第59页/共347页第五十九页，编辑于星期日：八点 四十九分。一、谱半径与矩阵范数一、谱半径与矩阵范数根据矩阵的诱导范数的含义，结合特征值，根据矩阵的诱导范数的含义，结合特征值，设设 为为 的任意的任意特征对特征对，则，则从而从而这说明矩阵特征值的模都不超过它的范数这说明矩阵特征值的模都不超过它的范数。第60页/共347页第六十页，编辑于星期日：八点 四十九分。定义定义2 27 7 设设 的特征值为的特征值为 ，称，称为矩阵为矩阵 的的谱半径谱半径。定理定理2 28 8对对 的任意矩阵范数的任意矩阵范数 ，恒有恒有当当 是是正规矩阵正规矩阵时，等号对时，等号对2-范数范数成立。成立。第61页/共347页第六十一页，编辑于星期日：八点 四十九分。当当 是正规阵时，有是正规阵时，有特征值分解特征值分解从而从而故结论成立。故结论成立。证明证明：第62页/共347页第六十二页，编辑于星期日：八点 四十九分。例例 29 29 求矩阵求矩阵的谱半径的谱半径 第63页/共347页第六十三页，编辑于星期日：八点 四十九分。%exm504.mA=-1 1 0;-4 3 0;1 0 2;D=jordan(A)a=norm(D,inf)/最大特征值最大特征值a=2第64页/共347页第六十四页，编辑于星期日：八点 四十九分。定理定理3 30 0 对对 ，存在存在 上矩阵范上矩阵范数数 ，对任意，对任意 ，恒有，恒有定理定理2929给出了矩阵谱半径的的一个上界，那么矩给出了矩阵谱半径的的一个上界，那么矩阵谱半径的下界呢？阵谱半径的下界呢？注意这里的矩阵范数与矩阵注意这里的矩阵范数与矩阵 有关。有关。第65页/共347页第六十五页，编辑于星期日：八点 四十九分。对任意矩阵对任意矩阵 ，存在，存在Jordan标准型标准型其中其中 ，证明证明：第66页/共347页第六十六页，编辑于星期日：八点 四十九分。令令 ，则，则从而从而易证函数易证函数 是是 上上的矩阵范数，这里的矩阵范数，这里第67页/共347页第六十七页，编辑于星期日：八点 四十九分。例例3 31 1 设设 为为 的单位列向量的单位列向量,令令 ，则则(1)；(2)；(3)第68页/共347页第六十八页，编辑于星期日：八点 四十九分。(1)因为因为 ，所以，所以(2)因为秩因为秩 ，并且，并且 是对称矩阵，是对称矩阵，所以所以1是矩阵是矩阵 唯一的非零特征值，因此矩唯一的非零特征值，因此矩阵阵 的特征值为的特征值为 ，从而，从而(3)第69页/共347页第六十九页，编辑于星期日：八点 四十九分。二、矩阵逆和线性方程组解的扰动分析二、矩阵逆和线性方程组解的扰动分析例例 3 32 2 线性方程组线性方程组的精确解为的精确解为如果系数矩阵和常数项分别有一个如果系数矩阵和常数项分别有一个扰动扰动第70页/共347页第七十页，编辑于星期日：八点 四十九分。则则扰动后的线性方程组扰动后的线性方程组为为它的精确解为它的精确解为显然，由于原方程组本身的固有性质导致显然，由于原方程组本身的固有性质导致原始数据原始数据的小扰动引起解的很大变化的小扰动引起解的很大变化，我们称这样的问题是，我们称这样的问题是病态的病态的（敏感的敏感的）或）或不稳定的。不稳定的。第71页/共347页第七十一页，编辑于星期日：八点 四十九分。下面下面定量分析定量分析系数矩阵和常数项的扰动对线性方系数矩阵和常数项的扰动对线性方程组解的影响。程组解的影响。设设非奇异非奇异线性方程组线性方程组 ，经扰动后仍有，经扰动后仍有唯一解唯一解 ，即成立，即成立因此因此第72页/共347页第七十二页，编辑于星期日：八点 四十九分。两边取范数，并缩放，得两边取范数，并缩放，得如果有如果有 ，则，则绝对误差估计式绝对误差估计式第73页/共347页第七十三页，编辑于星期日：八点 四十九分。再由再由 ，可得，可得即即因此因此第74页/共347页第七十四页，编辑于星期日：八点 四十九分。这里这里相对误差相对误差估计式估计式第75页/共347页第七十五页，编辑于星期日：八点 四十九分。显然在相对误差估计式中，系数显然在相对误差估计式中，系数 反映了方反映了方程组解程组解 的相对误差对于系数矩阵的相对误差对于系数矩阵 和常数和常数项项 的相对误差的依赖程度。的相对误差的依赖程度。越大，方程组越大，方程组解的相对误差也越大。解的相对误差也越大。定义定义3 33 3 对非奇异线性方程组对非奇异线性方程组 ，称数，称数为为求解此线性方程组的条件数。求解此线性方程组的条件数。第76页/共347页第七十六页，编辑于星期日：八点 四十九分。问题是非奇异线性方程组问题是非奇异线性方程组 经过扰动后经过扰动后未必有唯一解，也即未必有唯一解，也即非奇异矩阵非奇异矩阵 经过什么经过什么样的扰动后得到的矩阵样的扰动后得到的矩阵 仍然是可仍然是可逆的呢？扰动对逆矩阵又有何影响？逆的呢？扰动对逆矩阵又有何影响？由于由于两边取范数，并缩放，得两边取范数，并缩放，得第77页/共347页第七十七页，编辑于星期日：八点 四十九分。因此因此下一步需要缩放下一步需要缩放 ，由于，由于假定假定 可逆可逆，两边取范数，并缩放，两边取范数，并缩放，得得第78页/共347页第七十八页，编辑于星期日：八点 四十九分。因此因此第79页/共347页第七十九页，编辑于星期日：八点 四十九分。令令 ，由于，由于即即两边取范数，并缩放，得两边取范数，并缩放，得如果有如果有 ，则，则下一步需要缩放下一步需要缩放 。第80页/共347页第八十页，编辑于星期日：八点 四十九分。并且并且 的任意特征值的任意特征值 ，从，从而而 的特征值的特征值 均不为零，因此矩阵均不为零，因此矩阵 可逆。可逆。定理定理3 34 4 对对 ，若，若 ，则矩，则矩阵阵 非奇异，且非奇异，且第81页/共347页第八十一页，编辑于星期日：八点 四十九分。从而由定理从而由定理34，得，得由于由于 ，将条件，将条件 修修改为改为 ，此时仍有，此时仍有第82页/共347页第八十二页，编辑于星期日：八点 四十九分。绝对误差估计式绝对误差估计式即即第83页/共347页第八十三页，编辑于星期日：八点 四十九分。相对误差估相对误差估计式计式定义定义3 35 5称数称数为为可逆矩阵可逆矩阵 关于求逆的条件数。关于求逆的条件数。第84页/共347页第八十四页，编辑于星期日：八点 四十九分。定理定理3 36 6 设设 非奇异，且非奇异，且 。如果如果扰动矩阵扰动矩阵 满足条件满足条件则则扰动后的矩阵扰动后的矩阵 为非奇异矩阵，为非奇异矩阵，并且并且第85页/共347页第八十五页，编辑于星期日：八点 四十九分。定理定理3 37 7 设设 非奇异，且非奇异，且 。如果。如果扰动矩阵扰动矩阵 满足条件满足条件则非齐次线性方程组则非齐次线性方程组 经过经过扰动后的扰动后的方程组方程组 有唯一有唯一解解有唯一解有唯一解 ，并且，并且第86页/共347页第八十六页，编辑于星期日：八点 四十九分。%exm504.m A1=1 0.99;0.99 0.98;b1=1;1;dA=0 0;0 0.01;db=0;0.001;%扰动 k=cond(A1)%矩阵A的条件数 Ab1=A1 b1;UC1,ip1=rref(Ab1)%内置函数rref化矩阵为最简形 UC(:,ip1)=;%删掉主元列 x1=UC1%余下的就是原方程组的解 A2=A1+dA;b2=b1+db;Ab2=A2 b2;UC2,ip2=rref(Ab2);UC2(:,ip2)=;x2=UC2%扰动后的方程组的解dx=x2-x1;rx=100*norm(dx)/norm(x1)%解的绝对误差和相对误差 k=3.9206e+004 x1=100 -100 x2=-0.1000 1.1111rx=100.6068第87页/共347页第八十七页，编辑于星期日：八点 四十九分。则有则有这就是矩阵 的秩1 矩阵分解式。这里这里如果将矩阵如果将矩阵 的的SVD中的对角阵中的对角阵 分解为分解为三、矩阵的低秩逼近及其应用三、矩阵的低秩逼近及其应用第88页/共347页第八十八页，编辑于星期日：八点 四十九分。根据矩阵 的秩1 矩阵分解式，可以说明，在所有秩为 的矩阵中，以矩阵离矩阵 的“距离”最近，也即矩阵 是矩阵 的最佳秩 逼近，也就是包含了 中的“能量”最多。第89页/共347页第八十九页，编辑于星期日：八点 四十九分。定理定理3838对任意矩阵 ，为矩阵 的SVD，且这里 为 的非零奇异值，则 第90页/共347页第九十页，编辑于星期日：八点 四十九分。证明：证明：由由 知知所以所以对任意满足对任意满足 的矩阵的矩阵 ，存，存在单位正交向量在单位正交向量 ，使得其零空间为，使得其零空间为第91页/共347页第九十一页，编辑于星期日：八点 四十九分。由维数可知，存在由维数可知，存在2 2范数单位向量范数单位向量 ，使得，使得设设 ，则，则第92页/共347页第九十二页，编辑于星期日：八点 四十九分。注意到注意到 ，因此，因此第93页/共347页第九十三页，编辑于星期日：八点 四十九分。从几何上看从几何上看，用，用 为长、短轴作成的椭圆为长、短轴作成的椭圆是所有椭圆中离矩阵是所有椭圆中离矩阵 对应的超椭圆对应的超椭圆“距离距离”最近的；如果使用最近的；如果使用 为轴作成椭球体，为轴作成椭球体，则得到所有椭球体中离矩阵则得到所有椭球体中离矩阵 对应的超椭圆对应的超椭圆“距离距离”最近的椭球体。按这种方式，最近的椭球体。按这种方式，步之后，步之后，就得到了就得到了 的全部信息。但即使到了第的全部信息。但即使到了第 步，步，我们也只利用了我们也只利用了 个数据，即个数据，即矩阵的矩阵的奇异值和对应的左右奇异向量奇异值和对应的左右奇异向量。第94页/共347页第九十四页，编辑于星期日：八点 四十九分。例例 3939 （图像压缩）（图像压缩）对于一幅用对于一幅用 像素矩阵像素矩阵 表示的图像，如表示的图像，如果传送所有果传送所有 个数据，显然数据量太大。因个数据，显然数据量太大。因此我们希望传送少一些的数据，并且在接收端此我们希望传送少一些的数据，并且在接收端还能重构原图像。如果我们从矩阵还能重构原图像。如果我们从矩阵 的的SVD中中选择选择 个奇异三元组个奇异三元组 来逼近原图像，来逼近原图像，即用即用 个数值代替像素矩阵个数值代替像素矩阵 。那。那么在接收端，我们可得到么在接收端，我们可得到第95页/共347页第九十五页，编辑于星期日：八点 四十九分。从而在接收端近似地重构出原图像。此时，图从而在接收端近似地重构出原图像。此时，图像的像的压缩比压缩比为为第96页/共347页第九十六页，编辑于星期日：八点 四十九分。第97页/共347页第九十七页，编辑于星期日：八点 四十九分。第98页/共347页第九十八页，编辑于星期日：八点 四十九分。第99页/共347页第九十九页，编辑于星期日：八点 四十九分。第100页/共347页第一百页，编辑于星期日：八点 四十九分。%ex710.mload clown.mat;%clown是内置的是内置的200X320像素的图像像素的图像U,S,V=svd(X);colormap(gray);k=3;%修改修改k值即可值即可image(U(:,1:k)*S(1:k,1:k)*V(:,1:k)第101页/共347页第一百零一页，编辑于星期日：八点 四十九分。%exm504.m(续续)A1=1 0.99;0.99 0.98;b1=1;1;dA=0 0;0 0.01;db=0;0.001;%扰动 k=cond(A1)%矩阵A的条件数 IA1=inv(A1)%原矩阵的逆 IA2=inv(A2)%扰动后的逆 dIA=IA2-IA1;rIA=100*norm(dIA)/norm(IA1)%逆的绝对误差和相对误差 k=3.9206e+004 IA1=1.0e+004*-0.9800 0.9900 0.9900 -1.0000IA2=100.0000-100.0000-100.0000 101.0101rIA=101.0126第102页/共347页第一百零二页，编辑于星期日：八点 四十九分。3、矩阵序列与矩阵级数、矩阵序列与矩阵级数 微积分的基础是数列极限的收敛理论及其衍微积分的基础是数列极限的收敛理论及其衍生出来的级数理论。矩阵可看成一个生出来的级数理论。矩阵可看成一个“超数超数”，因此，因此类比类比可得可得矩阵序列矩阵序列与与矩阵级数矩阵级数，只，只要找到要找到度量两个度量两个“超数超数”距离距离的适当工具。的适当工具。在矩阵里，这就是在矩阵里，这就是范数范数。尽管使用给定基。尽管使用给定基下的分量和元素等也可以，但明显用范数下的分量和元素等也可以，但明显用范数记号简洁明晰，且有助于证明。记号简洁明晰，且有助于证明。第103页/共347页第一百零三页，编辑于星期日：八点 四十九分。一、矩阵序列的收敛性一、矩阵序列的收敛性定义定义1 1 设有设有 中的中的矩阵序列矩阵序列这里这里 。如果如果 ，则称此，则称此矩阵序列收矩阵序列收敛敛，其，其极限极限为为 ，记为，记为第104页/共347页第一百零四页，编辑于星期日：八点 四十九分。根据矩阵序列收敛性的定义，可证明下列性质根据矩阵序列收敛性的定义，可证明下列性质。定理定理2 2 中的中的矩阵序列矩阵序列 分别分别收敛于收敛于 ，则，则第105页/共347页第一百零五页，编辑于星期日：八点 四十九分。定理定理3 3 中的中的矩阵系列矩阵系列 分别分别收敛于收敛于 ，则，则第106页/共347页第一百零六页，编辑于星期日：八点 四十九分。定理定理4 4 中的中的矩阵序列矩阵序列 收敛于收敛于 ，且，且所有所有 和和 都可逆都可逆，则，则注意注意定理中条件定理中条件“所有所有 和和 都可逆都可逆”必必不可少，例如下面的不可少，例如下面的 不可逆，虽然不可逆，虽然 可可逆，且逆，且第107页/共347页第一百零七页，编辑于星期日：八点 四十九分。用矩阵的范数理论来研究矩阵序列的收敛性是最用矩阵的范数理论来研究矩阵序列的收敛性是最常用、最简洁的方法常用、最简洁的方法。特别地，若特别地，若 ，则，则 的的充充要条件要条件是是定理定理5 5 中的中的矩阵序列矩阵序列 收敛于收敛于 的的充要条件充要条件是对任意一种矩阵范数是对任意一种矩阵范数 ，都有，都有第108页/共347页第一百零八页，编辑于星期日：八点 四十九分。证明证明：第109页/共347页第一百零九页，编辑于星期日：八点 四十九分。所以所以由范数的等价性，对于由范数的等价性，对于 上任意一个范数上任意一个范数 ，必存在正常数，必存在正常数 ，使，使第110页/共347页第一百一十页，编辑于星期日：八点 四十九分。由于向量是特殊的矩阵，因此我们有由于向量是特殊的矩阵，因此我们有推论推论1 1 中的中的向量序列向量序列 收敛于收敛于 的的充要条件充要条件是对任意一种向量范数是对任意一种向量范数 ，都有，都有第111页/共347页第一百一十一页，编辑于星期日：八点 四十九分。联想到联想到等比数列等比数列 收敛当且仅当收敛当且仅当 ，类似地，我们有类似地，我们有最常见的矩阵序列是最常见的矩阵序列是方阵的幂方阵的幂构成的矩阵序列构成的矩阵序列。定理定理6 6 中的矩阵中的矩阵 是是收敛矩阵收敛矩阵，即，即的的充要条件充要条件是矩阵是矩阵 的的谱半径小于谱半径小于1 1，即，即第112页/共347页第一百一十二页，编辑于星期日：八点 四十九分。证明证明：设矩阵设矩阵 的的Jordan分解分解为为则则从而由定理从而由定理3 3可知，可知，第113页/共347页第一百一十三页，编辑于星期日：八点 四十九分。这里规定这里规定 时，时，第114页/共347页第一百一十四页，编辑于星期日：八点 四十九分。由于谱半径不易计算，联系到由于谱半径不易计算，联系到谱半径不超过任何谱半径不超过任何一种矩阵范数一种矩阵范数，实际常用范数来判断矩阵是否是，实际常用范数来判断矩阵是否是收敛矩阵。收敛矩阵。只有很难找到这样的范数，才计算出只有很难找到这样的范数，才计算出矩阵的所有特征值，进而得到谱半径。矩阵的所有特征值，进而得到谱半径。定理定理7 7 中的矩阵中的矩阵 是是收敛矩阵收敛矩阵的的充分条充分条件件是是存在存在一种矩阵范数一种矩阵范数 ，使得，使得第115页/共347页第一百一十五页，编辑于星期日：八点 四十九分。二、矩阵级数二、矩阵级数定义定义8 8 设有设有 中的矩阵序列中的矩阵序列 ，矩阵矩阵级数级数指的是指的是无穷和无穷和称称矩阵级数收敛矩阵级数收敛，且其，且其和和为为 ，如果其，如果其部分部分和序列和序列收敛于收敛于 ，即，即