第四章特殊变换及其矩阵.ppt

《第四章特殊变换及其矩阵.ppt》由会员分享，可在线阅读，更多相关《第四章特殊变换及其矩阵.ppt（95页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章特殊变换及其矩阵现在学习的是第1页，共95页1、正规变换与正规矩阵、正规变换与正规矩阵正规变换（正规矩阵）可以说是对称变换（对正规变换（正规矩阵）可以说是对称变换（对称矩阵）、正交变换（正交矩阵）等的推广和称矩阵）、正交变换（正交矩阵）等的推广和抽象，即只关心永恒的主题抽象，即只关心永恒的主题-“对角化对角化”的的问题。这又一次体现出现代数学高度的问题。这又一次体现出现代数学高度的抽抽象象和和统一统一。链接链接：现代数学的特点与意义现代数学的特点与意义，孙小礼、杜珣，孙小礼、杜珣，大学大学数学数学，1992，2（或（或 杜珣杜珣现代数学引论现代数学引论序言序言）或其他。）或其他。现在学习

2、的是第2页，共95页两方阵两方阵 互逆的条件是成立关系式互逆的条件是成立关系式从纯代数角度看，如果从纯代数角度看，如果去掉乘积为单位矩阵的限制去掉乘积为单位矩阵的限制，那么两矩阵是可交换矩阵。那么两矩阵是可交换矩阵。联想到正交矩阵的逆即为其转置，因此如果联想到正交矩阵的逆即为其转置，因此如果再限定两再限定两矩阵互为转置矩阵互为转置，即要求成立，即要求成立 ，情况又如，情况又如何？何？现在学习的是第3页，共95页显然对称矩阵显然对称矩阵 和反对称矩阵和反对称矩阵 都满足要求，正交矩阵当然也满足这个要求。因此具都满足要求，正交矩阵当然也满足这个要求。因此具有性质有性质 的这种新矩阵就的这种新矩阵就

3、“一统江湖一统江湖”，具有了统一性。，具有了统一性。对称矩阵最主要的性质是对称矩阵最主要的性质是可以对角化可以对角化，尤其是可以，尤其是可以正交对角正交对角化化，推广到这种新矩阵后这个性质是否还能保留呢？，推广到这种新矩阵后这个性质是否还能保留呢？现在学习的是第4页，共95页定义定义1 1对于复方阵（或实方阵）对于复方阵（或实方阵），如果存在酉，如果存在酉矩阵矩阵 或正交矩阵或正交矩阵 ，使得，使得或或则称则称 酉相似（酉相似（或正交相似或正交相似）于）于 。一、正规变换一、正规变换(Normal Transformation)现在学习的是第5页，共95页定义定义2 2酉空间酉空间 上的线性变

4、换上的线性变换 称为称为 上的一个上的一个正规变换正规变换，如果，如果存在存在 的的标准正交基标准正交基及对角矩阵及对角矩阵 满足满足并称并称 在任意在任意标准正交基标准正交基 下的矩阵表下的矩阵表示为示为正规矩阵正规矩阵。现在学习的是第6页，共95页显然过渡矩阵显然过渡矩阵 是酉矩阵（是酉矩阵（请试试自己证明一下请试试自己证明一下）定理定理定理定理3 3 正规变换在不同标准正交基下的矩阵表示是正规变换在不同标准正交基下的矩阵表示是酉相酉相似似的。的。证明证明：设正规变换设正规变换 在在 的两组标准正交基的两组标准正交基 和和 下的矩阵表示下的矩阵表示分别为分别为 ，并设，并设现在学习的是第7

5、页，共95页因为因为 所以所以 ，结论成立。，结论成立。根据定理根据定理3 3，正规变换在任一标准正交基下的矩阵表示，正规变换在任一标准正交基下的矩阵表示必定酉相似于对角阵，即必定酉相似于对角阵，即现在学习的是第8页，共95页二、正规矩阵的等价定义二、正规矩阵的等价定义100多年前多年前(1909年年)Schur给出的给出的Schur 引理是矩阵理论中引理是矩阵理论中的重要定理，是很多其他重要结论的基础。在矩阵计算中的重要定理，是很多其他重要结论的基础。在矩阵计算中也具有相当重要的地位。也具有相当重要的地位。并称并称 为方阵为方阵 的的Schur分解分解。定理定理 4 4(Schur 引理引理

6、 )任何复方阵任何复方阵 必必酉相似酉相似于于一个一个上三角阵上三角阵 。即存在酉矩阵。即存在酉矩阵 ，使，使现在学习的是第9页，共95页根据根据Schur引理，引理，可以推出正规矩阵的一个相当美妙的可以推出正规矩阵的一个相当美妙的性质，此性质经常被当作性质，此性质经常被当作正规矩阵的等价定义正规矩阵的等价定义。定理定理 5 5 方阵方阵 是正规的，当且仅当是正规的，当且仅当为证明这个结论，再给出一个为证明这个结论，再给出一个引理引理。引理引理 6 6 满足满足 的三角阵的三角阵 必是必是对角阵。对角阵。现在学习的是第10页，共95页证证明明对上三角阵对上三角阵 ，比较等式，比较等式两边乘积矩

7、阵在第两边乘积矩阵在第 行第行第 列位置上的元素列位置上的元素，并注，并注意到意到 ，因此对，因此对 ，有，有当当 时，有时，有 可知可知对对 施行归纳法，可得施行归纳法，可得 ，证毕。，证毕。现在学习的是第11页，共95页定定理理 5 的的证证明明必要性必要性。如果。如果 是正规矩阵，那么存在酉是正规矩阵，那么存在酉矩阵矩阵 及对角阵及对角阵 ，使得，使得因此因此充分性充分性。根据。根据Schur引理引理，存在酉矩阵，存在酉矩阵 及上及上三角阵三角阵 ，使得，使得显然显然 当且仅当当且仅当 。根据根据引理引理6，是对角矩阵。故是对角矩阵。故 是正规阵。是正规阵。现在学习的是第12页，共95页

8、例例 7 7 判断下列矩阵是不是正规矩阵：判断下列矩阵是不是正规矩阵：（1）实对称矩阵（）实对称矩阵（）；）；（2）实反对称矩阵（）实反对称矩阵（）；）；（3）正交矩阵）正交矩阵 （）；）；（4）酉矩阵（）酉矩阵（）；）；（5）Hermite 矩阵矩阵（）；）；（6）反反Hermite 矩阵矩阵（）；）；（7）形如）形如 的矩阵。的矩阵。天下英雄尽入天下英雄尽入吾彀矣！吾彀矣！现在学习的是第13页，共95页定理定理 8 8 与正规矩阵酉相似的方阵仍然是正规矩阵。与正规矩阵酉相似的方阵仍然是正规矩阵。证明证明：如果存在酉矩阵如果存在酉矩阵 ，使得，使得 ，则，则现在学习的是第14页，共95页定理

9、定理 9 9 方阵方阵 是正规的，当且仅当是正规的，当且仅当 与对角矩与对角矩阵酉相似，并且对角矩阵的对角元就是正规矩阵的特阵酉相似，并且对角矩阵的对角元就是正规矩阵的特征值。征值。证明证明：必要性：必要性。如果。如果 是正规矩阵，那么存在酉是正规矩阵，那么存在酉矩阵矩阵 及对角阵及对角阵 使得使得 ，即，即因此因此充分性充分性。若有。若有 ，显然可验证，显然可验证现在学习的是第15页，共95页定理定理10 10 方阵方阵 是正规的，当且仅当是正规的，当且仅当 有有 个个两两正交的单位特征向量两两正交的单位特征向量,即对应于不同特征值的特即对应于不同特征值的特征子空间相互正交（完备正交系）。征

10、子空间相互正交（完备正交系）。证明证明：必要性：必要性。如果。如果 是正规矩阵，那么存在酉是正规矩阵，那么存在酉矩阵矩阵 及对角阵及对角阵 使得使得 ，即，即因此因此充分性充分性。若。若 有有 个两两正交的单位特征向量个两两正交的单位特征向量 ，取，取 即可。即可。现在学习的是第16页，共95页正规矩阵的谱分解正规矩阵的谱分解注意这里矩阵的特征值为复数注意这里矩阵的特征值为复数现在学习的是第17页，共95页例例11 11 设设 为正规矩阵，且为正规矩阵，且 ，则，则因为因为 是正规矩阵，所以存在酉矩阵是正规矩阵，所以存在酉矩阵 ，使得，使得 再由再由 ，得，得因此因此 ，即，即 ，故，故 从而

11、从而 ，故，故现在学习的是第18页，共95页课后思考课后思考1、实正规矩阵是否正交相似于实、实正规矩阵是否正交相似于实对角矩阵？对角矩阵？2、实正规矩阵是否正交相似于复、实正规矩阵是否正交相似于复对角矩阵？对角矩阵？3、实正规矩阵正交相似于什么样、实正规矩阵正交相似于什么样的的“简单简单”矩阵？矩阵？现在学习的是第19页，共95页2、Hermite变换及变换及Hermite矩阵矩阵单从变换的角度我们很难把单从变换的角度我们很难把Hermite变换变换（对称变换）与正规变换联系起来，但从（对称变换）与正规变换联系起来，但从Hermite矩阵（对称矩阵）的定义，或者从矩阵（对称矩阵）的定义，或者从

12、Hermite矩阵（对称矩阵）矩阵（对称矩阵）都可对角化上却都可对角化上却能找到两者的关联，这似乎可以作为数学的能找到两者的关联，这似乎可以作为数学的“奇异美奇异美”的一个例证。的一个例证。现在学习的是第20页，共95页推广到酉空间，相应的矩阵称为推广到酉空间，相应的矩阵称为Hermite矩阵，满足关系矩阵，满足关系式式既然矩阵与变换一一对应，那么既然矩阵与变换一一对应，那么Hermite矩阵以及实对称矩阵以及实对称矩阵与什么样的变换对应呢？矩阵与什么样的变换对应呢？推广到酉空间，相应的矩阵称为推广到酉空间，相应的矩阵称为Hermite矩阵，满足关矩阵，满足关系式系式既然矩阵与变换一一对应，那

13、么既然矩阵与变换一一对应，那么Hermite矩阵以及实对称矩阵以及实对称矩阵与什么样的变换对应呢？矩阵与什么样的变换对应呢？推广到酉空间，相应的矩阵称为推广到酉空间，相应的矩阵称为Hermite矩阵矩阵，满足关，满足关系式系式既然矩阵与变换一一对应，那么既然矩阵与变换一一对应，那么Hermite矩阵以及实对称矩阵以及实对称矩阵与什么样的变换对应呢矩阵与什么样的变换对应呢？我们知道，实对称矩阵我们知道，实对称矩阵 满足关系式满足关系式现在学习的是第21页，共95页任取任取 ，设，设则则设设 在酉空间在酉空间 的一组标准正交基的一组标准正交基 下的矩阵表示为下的矩阵表示为 且且 。现在学习的是第2

14、2页，共95页定义定义1 1 设设 是酉空间（或是酉空间（或欧氏空间欧氏空间）上的线上的线性变换，如果对任意性变换，如果对任意 ，都有都有则称则称 为为 上的上的 Hermite 变换（变换（对称变换对称变换），并，并称称 在在 的任意一组标准正交基下的矩阵表示为的任意一组标准正交基下的矩阵表示为Hermite 矩阵矩阵（对称矩阵对称矩阵）。）。一、一、Hermite变换（对称变换）变换（对称变换）现在学习的是第23页，共95页定理定理 2 2 酉空间（或酉空间（或欧氏空间欧氏空间）上的线性变换上的线性变换 是是 Hermite 变换（变换（对称变换对称变换）的的充要条件充要条件是是 在在 的

15、任意一组标准正交基下的矩阵的任意一组标准正交基下的矩阵 满足满足即即 是是Hermite矩阵。矩阵。现在学习的是第24页，共95页所以所以从而从而证明证明：必要性。必要性。必要性。必要性。设设 在在 的一组标准正交基的一组标准正交基 下的矩阵表示为下的矩阵表示为 。现在学习的是第25页，共95页定义定义3 3 设设 是酉空间（或是酉空间（或欧氏空间欧氏空间）上的线性上的线性变换，如果对任意变换，如果对任意 ，都有都有则称则称 为为 上的上的 反反Hermite 变换（或变换（或反对称变换反对称变换），并称并称 在在 的任意一组标准正交基下的矩阵表示的任意一组标准正交基下的矩阵表示为为反反Her

16、mite 矩阵矩阵（反对称矩阵反对称矩阵）。）。现在学习的是第26页，共95页定理定理 4 4 酉空间（或酉空间（或欧氏空间欧氏空间）上的线性变换上的线性变换 是是 反反Hermite 变换（或变换（或反对称变换反对称变换）的充要条件是的充要条件是 在在 的任意一组标准正交基下的矩阵的任意一组标准正交基下的矩阵 满足满足现在学习的是第27页，共95页例例 5(5(方阵的方阵的Cartesian分解分解)任意复方阵任意复方阵 可分解为可分解为其中其中 都是都是Hermite矩阵。矩阵。现在学习的是第28页，共95页例例 6(6(Cayley变换变换)方阵方阵 是实反对称矩阵，那么是实反对称矩阵，

17、那么 是非奇异的，是非奇异的，并且并且Cayley变换矩阵变换矩阵是正交矩阵。是正交矩阵。现在学习的是第29页，共95页证明证明：因为因为 ，所以对任意的，所以对任意的 ，有有因此因此 。对于。对于由于由于 ，从而方程组，从而方程组只有零解，所以只有零解，所以 是非奇异的。是非奇异的。由于由于所以所以从而可推出从而可推出现在学习的是第30页，共95页例例 7(7(广义特征值问题的广义特征值问题的Cayley变换变换)对于对于广义特征值问题广义特征值问题 ，如果，如果 是是所谓所谓极点（极点（pole),pole),是我们已经计算出的特征值是我们已经计算出的特征值的近似值的近似值,即所谓即所谓零

18、点（零点（zerozero），），那么经过那么经过Cayley变变换换可得到可得到标准特征值问题标准特征值问题 并且并且现在学习的是第31页，共95页现在学习的是第32页，共95页二、二、Hermite矩阵及对称矩阵的性质矩阵及对称矩阵的性质定理定理8 8 正规矩阵正规矩阵 是是 HermiteHermite矩阵矩阵(反反HermiteHermite矩阵矩阵)的充要条件是的充要条件是 的特征值全是实数的特征值全是实数(纯虚数纯虚数)，即，即 酉相似酉相似于实对角矩阵于实对角矩阵(对角元是纯对角元是纯虚数的对角矩阵虚数的对角矩阵)。现在学习的是第33页，共95页证明证明：充分性。充分性。充分性。

19、充分性。因为因为 是正规矩阵，所以存在是正规矩阵，所以存在酉矩阵酉矩阵 及对角阵及对角阵 ，使得，使得由于由于 的特征值全是实数，所以的特征值全是实数，所以现在学习的是第34页，共95页证明证明：必要性。必要性。必要性。必要性。因为因为 是正规矩阵，所以存在是正规矩阵，所以存在酉矩阵酉矩阵 及对角阵及对角阵 ，得到，得到特征值分解特征值分解因为因为 ，从而，从而因此因此 ，即，即 的对角元全是实数。的对角元全是实数。所以所以 的主对角元是的主对角元是 的特征值。的特征值。现在学习的是第35页，共95页定理定理9 9 实对称矩阵实对称矩阵 正交相似于实对角矩阵正交相似于实对角矩阵 ，即存在正交矩

20、阵即存在正交矩阵 ，使得，使得现在学习的是第36页，共95页HermiteHermite矩阵的谱分解矩阵的谱分解注意这里矩阵的特征值为注意这里矩阵的特征值为实实数数现在学习的是第37页，共95页实对称矩阵的特征值分解实对称矩阵的特征值分解注意这里矩阵的特征对都是注意这里矩阵的特征对都是实实的的现在学习的是第38页，共95页三、三、正定正定Hermite矩阵矩阵实数域内经常处理的矩阵是实数域内经常处理的矩阵是正定对称矩阵正定对称矩阵，关于它有许多优美的结论。将数域推广到关于它有许多优美的结论。将数域推广到复数域，考察相应的结论，这就是下面的复数域，考察相应的结论，这就是下面的主题。主题。现在学习

21、的是第39页，共95页定义定义1010 Hermite二次型二次型或或复二次型复二次型指的是指的是复系数二复系数二次齐次复多项式次齐次复多项式其对应的矩阵其对应的矩阵 显然是显然是Hermite 矩阵。矩阵。现在学习的是第40页，共95页定理定理11 11 对于对于Hermite二次型二次型存在存在酉变换酉变换 ，将二次型化为，将二次型化为标准型标准型其中其中 是是 的特征值。的特征值。现在学习的是第41页，共95页定理定理12 12（惯性定理惯性定理）对于对于Hermite二次型二次型存在存在可逆的线性变换可逆的线性变换 ，将二次型化成，将二次型化成规范型规范型其中其中 是是 的秩。的秩。现

22、在学习的是第42页，共95页定义定义1313 Hermite二次型二次型 称为称为正定正定的的，如果对任意，如果对任意 ，恒有，恒有 ；当且仅当当且仅当 时时 。其对应的矩阵显。其对应的矩阵显然是然是正定正定Hermite 矩阵矩阵。定义定义1414 Hermite二次型二次型 称为称为半正半正定的定的，如果对任意，如果对任意 ，恒有，恒有 。其对应的矩阵显然是其对应的矩阵显然是半正定半正定Hermite 矩阵矩阵。现在学习的是第43页，共95页定义定义1 1 5 5 设设 是酉空间是酉空间 上的上的Hermite 变换，如果变换，如果对任意对任意 ，都有都有则称则称 为为 上的上的 正定变换

23、（正定变换（半正定变换半正定变换），并称，并称 在在 的任意一组标准正交基下的矩阵表示为的任意一组标准正交基下的矩阵表示为正定正定Hermite 矩阵矩阵(半正定半正定Hermite 矩阵矩阵)。现在学习的是第44页，共95页定义定义1 1 6 6 设设 是是欧氏空间欧氏空间 上的上的对称变换对称变换），如果对），如果对任意任意 ，都有都有则称则称 为为 上的上的 正定变换（正定变换（半正定变换半正定变换），并称，并称 在在 的任意一组标准正交基下的矩阵表示为的任意一组标准正交基下的矩阵表示为正定对称正定对称矩阵矩阵(半正定对称矩阵半正定对称矩阵)。现在学习的是第45页，共95页定理定理171

24、7对对Hermite二次型二次型 ，下，下列命题是等价的：列命题是等价的：（1 1）是正定的；是正定的；（2 2）对任意对任意 阶可逆矩阵，阶可逆矩阵，都是正定都是正定HermiteHermite矩阵；矩阵；（3 3）的特征值全是正数；的特征值全是正数；（4 4）存在存在 阶可逆矩阵阶可逆矩阵 ，使得，使得 ；（5 5）存在存在 阶可逆矩阵阶可逆矩阵 ，使得，使得 ；（6 6）存在存在 阶可逆阶可逆Hermite矩阵矩阵 ，使得，使得现在学习的是第46页，共95页证明：证明：可证可证以及以及现在学习的是第47页，共95页定理定理18 18 对对 阶阶Hermite矩阵矩阵 ，下列命题是等价的：

25、下列命题是等价的：（1 1）是半正定的；是半正定的；（2 2）对任意对任意 阶可逆矩阵，阶可逆矩阵，都是半正定都是半正定Hermite矩阵；矩阵；（3 3）的特征值全是非负实数；的特征值全是非负实数；（4 4）存在存在 阶可逆矩阵阶可逆矩阵 ，使得，使得 这里这里 为为 的秩；的秩；（5 5）存在秩为存在秩为 的的 阶矩阵阶矩阵 使得使得 ；（6 6）存在存在 阶阶Hermite矩阵矩阵 ，使得，使得现在学习的是第48页，共95页定理定理1919 (Cholesky分解定理分解定理 )Hermite阵阵 的充要条件是则存在唯一的的充要条件是则存在唯一的单位下三角矩阵单位下三角矩阵 与唯一的实对

26、角矩阵与唯一的实对角矩阵 ，也就是存在唯一的下三角矩阵也就是存在唯一的下三角矩阵 ，使得使得 现在学习的是第49页，共95页例例 2020对正定对正定Hermite矩阵矩阵 ，证明：，证明：（1 1）也是正定的；（也是正定的；（2 2）。现在学习的是第50页，共95页例例 21 (21 (Schur补补)阶方阵阶方阵 有如下分块有如下分块则则 是正定是正定Hermite矩阵的矩阵的充要条件充要条件是是 和和 的的Schur补补 都是正定都是正定Hermite矩阵。矩阵。现在学习的是第51页，共95页证明：证明：利用利用现在学习的是第52页，共95页3、投影变换及投影矩阵、投影变换及投影矩阵正交

27、投影和斜投影应用领域广泛。比如在正交投影和斜投影应用领域广泛。比如在无线通信、雷达、时间序列分析和信号处无线通信、雷达、时间序列分析和信号处理等领域中，经常需要理等领域中，经常需要提取某个所需要的提取某个所需要的信号，同时过滤掉所有干扰或噪声。信号，同时过滤掉所有干扰或噪声。这就仿这就仿佛拍照：我们留下了二维的平面影像，但也佛拍照：我们留下了二维的平面影像，但也抛弃了第三个维度。在大规模计算中，更需抛弃了第三个维度。在大规模计算中，更需要通过投影方法来降低计算量。要通过投影方法来降低计算量。现在学习的是第53页，共95页定理定理1(1(斜投影变换斜投影变换)酉空间或欧氏空间酉空间或欧氏空间 中

28、的任意向量中的任意向量 有有直和分解直和分解则则 沿沿 到到 的斜投影变换的斜投影变换是是幂等变换幂等变换()()。相应。相应的斜投影矩阵是幂等矩阵。的斜投影矩阵是幂等矩阵。思考：思考：HouseholderHouseholder是斜投影矩阵吗？是斜投影矩阵吗？现在学习的是第54页，共95页定理定理2(2(正交投影变换正交投影变换)酉空间或欧氏空间酉空间或欧氏空间 中的任意向量中的任意向量 在在 的的子空间子空间 上的正交投影为上的正交投影为 ，即有，即有则则沿沿 到到 的正交投影变换的正交投影变换既是既是Hermite变换变换，也，也是是幂等变换幂等变换。现在学习的是第55页，共95页证明证

29、明：对任意对任意 ，同样有，同样有因此因此另外显然有另外显然有这说明正交投影变换的矩阵表示这说明正交投影变换的矩阵表示 （称为（称为正交投影正交投影矩阵矩阵）既是）既是Hermite 矩阵也是矩阵也是幂等矩阵幂等矩阵()()思考：思考：HouseholderHouseholder是正交投影矩阵吗？是正交投影矩阵吗？现在学习的是第56页，共95页正交投影变换的矩阵表示是什么样的矩阵呢？正交投影变换的矩阵表示是什么样的矩阵呢？考虑正交投影考虑正交投影注意到注意到再联想到此投影的再联想到此投影的像空间像空间 ，不难发现其基不难发现其基 满足满足现在学习的是第57页，共95页这说明正交投影变换的矩阵表

30、示应该是由像空间的基与这说明正交投影变换的矩阵表示应该是由像空间的基与其转置相乘而得的矩阵？其转置相乘而得的矩阵？考虑正交投影考虑正交投影注意到注意到现在学习的是第58页，共95页并且确实成立并且确实成立现在学习的是第59页，共95页定理定理 3(3(正交投影变换的矩阵表示正交投影变换的矩阵表示I I)酉空间或欧氏空间酉空间或欧氏空间 中的子空间中的子空间 由由半酉矩半酉矩阵阵 张成，即张成，即则则 沿沿 到到 的正交投影变换的正交投影变换可表示为可表示为现在学习的是第60页，共95页证明证明：按施密特正交化过程可知，存在另一个单位按施密特正交化过程可知，存在另一个单位正交列矩阵正交列矩阵 ，

31、使得，使得 满满足足 ，则，则这里这里因此对任意因此对任意 ，有，有现在学习的是第61页，共95页显然显然如果仅仅知道如果仅仅知道列满秩列满秩矩阵矩阵 ，显然，显然 的各的各列构成列构成 维子空间维子空间 的一组基，那么根据的一组基，那么根据UR分解分解可知，存在半正交矩阵可知，存在半正交矩阵 和上三角矩阵和上三角矩阵 ，使得，使得因此因此现在学习的是第62页，共95页定理定理 4(4(正交投影变换的矩阵表示正交投影变换的矩阵表示IIII)酉空间或欧氏空间酉空间或欧氏空间 中的子空间中的子空间 由由列满秩矩阵列满秩矩阵 的列向量张成，即的列向量张成，即则则 沿沿 到到 的正交投影变换的正交投影

32、变换可表示为可表示为现在学习的是第63页，共95页思考思考对于一般的酉空间或欧氏空间对于一般的酉空间或欧氏空间 ，是否成立，是否成立与定理与定理3及定理及定理4类似的结论？此时类似的结论？此时 及及 的含义分别是什么？的含义分别是什么？现在学习的是第64页，共95页 正规变换正规变换投影变换投影变换 HermiteHermite变换变换（对称变换）（对称变换）酉变换酉变换 （正（正交变换）交变换）正交投影变换正交投影变换 对合变换对合变换 现在学习的是第65页，共95页4、矩阵的奇异值分解、矩阵的奇异值分解从从Beltrami（1873）和）和Jordan（1874）提出奇异值）提出奇异值分解

33、（分解（SVD）至今，）至今，SVD及其推广已经成为矩阵及其推广已经成为矩阵计算中最有用和最有效的工具之一，并在最小二计算中最有用和最有效的工具之一，并在最小二乘问题、最优化、统计分析、信号与图像处理、乘问题、最优化、统计分析、信号与图像处理、系统理论与控制等领域被广泛使用。系统理论与控制等领域被广泛使用。现在学习的是第66页，共95页一、从几何观测说起一、从几何观测说起 圆圆 经过变换经过变换 ，变成椭圆，变成椭圆 。圆的正交方。圆的正交方向向 变成椭圆的长、短轴方向变成椭圆的长、短轴方向现在学习的是第67页，共95页 假定矩阵假定矩阵 是是列满秩矩阵列满秩矩阵。一般地，一般地，维空间中的维

34、空间中的单位球面单位球面 经过变换经过变换 变成变成超椭圆超椭圆 。正交方向。正交方向 变成超椭变成超椭圆的主半轴方向圆的主半轴方向 。称。称 的的 个主个主半轴的长度半轴的长度 为为 的的奇异值奇异值，对应的单位向量对应的单位向量 为为 的的左奇异向量左奇异向量(left singular vector)，对应的原象，对应的原象 为为 的的右奇异向量右奇异向量。相应的空间称为。相应的空间称为奇异空间奇异空间现在学习的是第68页，共95页 前面已经指出前面已经指出：矩阵形式为矩阵形式为 这里矩阵这里矩阵 是半酉矩阵，是半酉矩阵，是酉矩阵。是酉矩阵。现在学习的是第69页，共95页这样就得到这样就

35、得到 的的简化奇异值分解简化奇异值分解(SVD，Singular value decomposition)现在学习的是第70页，共95页 同样地，将矩阵同样地，将矩阵 扩充为扩充为 阶酉矩阵阶酉矩阵 ，并令并令 ，则得，则得 的的完全奇异值分解完全奇异值分解现在学习的是第71页，共95页定理定理1 1对任意矩阵对任意矩阵 ，都存在一个完全，都存在一个完全奇异值分解奇异值分解 ,并且奇异值并且奇异值 是唯一是唯一确定的。也就是确定的。也就是任意矩阵酉等价于对角阵任意矩阵酉等价于对角阵.从变换的角度理解从变换的角度理解，酉变换，酉变换 保持球面不变保持球面不变 ，对角矩阵，对角矩阵 将球面拉伸到一

36、个有标准基的超将球面拉伸到一个有标准基的超椭圆，最后酉变换椭圆，最后酉变换 旋转或镜射这个超椭圆，旋转或镜射这个超椭圆，但不改变它的形状。则但不改变它的形状。则 的求解为的求解为(有解时有解时)现在学习的是第72页，共95页二、由二、由SVD导出的矩阵性质导出的矩阵性质此结论说明用此结论说明用SVD可以计算矩阵的秩（可以计算矩阵的秩（数值秩数值秩）,matlab中矩阵求秩采用的算法就是基于中矩阵求秩采用的算法就是基于SVD的算法的算法.例如例如定理定理2 2对矩阵对矩阵 ，表示矩表示矩阵阵 的的非零非零奇异值的数目，则奇异值的数目，则 H=hilb(20);/Hilbert矩阵 rank(H)

37、/计算H的秩，真解为真解为20ans=13？现在学习的是第73页，共95页定理定理3 3对任意矩阵对任意矩阵 ，矩阵，矩阵 的的非零非零奇异值数目为奇异值数目为 ，为为矩阵矩阵 的的SVD分解，则分解，则 现在学习的是第74页，共95页证明：证明：将将 的的SVD分解分块为分解分块为于是有于是有从而从而现在学习的是第75页，共95页定理定理4 4对任意矩阵对任意矩阵 ，矩阵，矩阵 的的非零非零奇异值奇异值 就是矩阵就是矩阵 或或 的的非零非零特征值的平方根。特征值的平方根。矩阵矩阵 在多元统计分析中称为在多元统计分析中称为协方差矩阵协方差矩阵，这说明这说明SVD可以可以在其中大展拳脚，事实上也

38、确实在其中大展拳脚，事实上也确实如此。如此。既然矩阵既然矩阵 的非零奇异值对应将球面拉伸为超椭圆时各的非零奇异值对应将球面拉伸为超椭圆时各主半轴的拉伸因子，而特征值也表示某种拉伸的倍数，主半轴的拉伸因子，而特征值也表示某种拉伸的倍数，那么两者间存在什么关系呢？那么两者间存在什么关系呢？现在学习的是第76页，共95页证明：证明：设设 的的SVD分解为分解为 ，则，则所以所以 与与 相似，而对角矩阵相似，而对角矩阵 的的 个特征值为个特征值为 对于对于 的的 个特征值，有类似的计算。个特征值，有类似的计算。现在学习的是第77页，共95页定理定理5 5对任意对任意Hermite矩阵矩阵 ，矩阵，矩阵

39、 的的奇异奇异值就是矩阵值就是矩阵 的特征值的绝对值。的特征值的绝对值。其中其中 证明：证明：设设Hermite矩阵矩阵 的特征值分解为的特征值分解为 这里这里 为实对角矩阵。则为实对角矩阵。则由于矩阵由于矩阵 是酉矩阵，所以是酉矩阵，所以 是一个是一个SVD。根据定理。根据定理4 4，结论成立。，结论成立。现在学习的是第78页，共95页至此，我们可以给出定理至此，我们可以给出定理1 1的一种证法：的一种证法：这里这里所以所以 是是半正定的半正定的Hermite矩阵矩阵。又因为方程组又因为方程组 与与 同解，所以同解，所以从而可设从而可设 具有如下具有如下Schur分解分解：现在学习的是第79

40、页，共95页则由则由Schur分解，可知分解，可知这说明这说明 的列互相正交，同时的列互相正交，同时 的列都是零向的列都是零向量，即量，即 。现在学习的是第80页，共95页添加添加 至至 ，从而将，从而将 扩充扩充 至至 使之成为使之成为 的正交基，则的正交基，则从而从而现在学习的是第81页，共95页第二步第二步：令令 为为 的非负对角的平方根，计的非负对角的平方根，计算算三、三、SVD的算法的算法由定理由定理3和和4，任意矩阵，任意矩阵 的的SVD分解的算法为：分解的算法为：第一步第一步：形成形成 ，并计算特征值分解，并计算特征值分解第三步第三步:通过求通过求 的解空间的单位正交的解空间的单

41、位正交基，得基，得 ，从而得，从而得现在学习的是第82页，共95页例例 6 6 求下列矩阵的（完全）求下列矩阵的（完全）SVD分解：分解：现在学习的是第83页，共95页解解：（1）矩阵矩阵 的特征值为的特征值为 ，对应的特征向，对应的特征向量为量为从而从而现在学习的是第84页，共95页计算计算解解 ，得其基础解系为，得其基础解系为从而从而现在学习的是第85页，共95页因此所求（完全）因此所求（完全）SVD为为由于是方阵，简化由于是方阵，简化SVD同上面的结果一样。同上面的结果一样。现在学习的是第86页，共95页%exm401.mA=1 0 1;0 1 1;0 0 0;U,D,V=svd(A)%

42、注意返回的三个矩阵的顺序注意返回的三个矩阵的顺序U=0.7071 -0.7071 0 0.7071 0.7071 0 0 0 1.0000D=1.7321 0 0 0 1.0000 0 0 0 0V=0.4082 -0.7071 0.5774 0.4082 0.7071 0.5774 0.8165 0.0000 -0.5774注意注意 的第的第2 2列与手算列与手算结果相差一个负号。结果相差一个负号。现在学习的是第87页，共95页解解：（2）矩阵矩阵 的特征值为的特征值为 ，对应的特征向量，对应的特征向量为为从而从而现在学习的是第88页，共95页计算计算解解 ，得其基础解系为，得其基础解系为从

43、而从而现在学习的是第89页，共95页因此所求（完全）因此所求（完全）SVD为为显然简化显然简化SVD为为现在学习的是第90页，共95页%exm402.mA=1 0;0 1;1 0;U,D,V=svd(A，0)%注意返回的是简化注意返回的是简化SVDU=-0.7071 0 0 1.0000 -0.7071 0 D=1.4142 0 0 1.0000V=-1 0 0 1注意注意 的第的第1 1列与手算列与手算结果仍然相差一个负号，结果仍然相差一个负号，结合前例，说明这种情况结合前例，说明这种情况不是偶然的。为什么会这不是偶然的。为什么会这样呢？样呢？现在学习的是第91页，共95页例例 7 7 （奇

44、异值的敏感性）（奇异值的敏感性）考察考察Matlab测试矩阵库中的测试矩阵库中的gallery(3)，即下列矩，即下列矩阵的特征值分解与奇异值分解：阵的特征值分解与奇异值分解：现在学习的是第92页，共95页矩阵矩阵 的特征值为的特征值为 ，并且特征向，并且特征向量矩阵标准化（元素都变成整数）后为量矩阵标准化（元素都变成整数）后为现在学习的是第93页，共95页现在学习的是第94页，共95页%exm403.mA=gallery(3)X,D=eig(A,nobalance)U,S,V=svd(A)U=-0.2691 -0.6798 0.6822 0.9620 -0.1557 0.2243 -0.0463 0.7167 0.6959S=817.7597 0 0 0 2.4750 0 0 0 0.0030V=0.6823 -0.6671 0.2990 0.2287 -0.1937 -0.9540 0.6944 0.7193 0.0204注意注意gallery(3)gallery(3)的三的三个特征值与其奇异值之个特征值与其奇异值之间的巨大差别。间的巨大差别。现在学习的是第95页，共95页