矩阵的奇异值分解精.ppt

《矩阵的奇异值分解精.ppt》由会员分享，可在线阅读，更多相关《矩阵的奇异值分解精.ppt（92页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、矩阵的奇异值分解第1页，本讲稿共92页 引引 言言 第2页，本讲稿共92页 数学的表述方式和抽象性产生了全面的升华数学的表述方式和抽象性产生了全面的升华!F几何的抽象化几何的抽象化实用实用直观直观抽象抽象(a,b，c)第3页，本讲稿共92页 按照现行的国际标准，线性代数是通按照现行的国际标准，线性代数是通过公理化、系统性表述的，具有很强的逻过公理化、系统性表述的，具有很强的逻辑性、抽象性，是第二代数学模型辑性、抽象性，是第二代数学模型.第4页，本讲稿共92页通常的教学模式通常的教学模式概念概念相应定理公式相应定理公式例题求解例题求解直觉性丧失直觉性丧失！第5页，本讲稿共92页 向量表面上只是一

2、列数，但是其实由于它的有序性，所以除了这些数本身携带的信息之外，还可以在每个数的对应位置上携带信息.线性空间中的任何一个对象，通过选取基和坐标的办法，都可以表达为向量的形式.向量是什么？向量是什么？向量是具有向量是具有n n个相互独立的性质（维度）的对个相互独立的性质（维度）的对象的表示象的表示问问 题题第6页，本讲稿共92页矩阵是什么？矩阵的乘法规则怎样定义？矩阵的相似是什么意思？特征值的本质是什么？第7页，本讲稿共92页 纯粹的数学理论描述、证纯粹的数学理论描述、证明不能令人满意和信服明不能令人满意和信服 ！第8页，本讲稿共92页一、线性空间和矩一、线性空间和矩阵的几个核心概念阵的几个核心

3、概念 第9页，本讲稿共92页基本定义基本定义:存在一个集合，在这个集合上定义某某概念，存在一个集合，在这个集合上定义某某概念，然后满足某些性质然后满足某些性质”，就可以被称为空间，就可以被称为空间.空空 间间 为什么要用“空间”来称呼一些这样的集合呢？奇怪!第10页，本讲稿共92页 三维的空间三维的空间1.由很多（实际上是无穷多个）位置点组成；由很多（实际上是无穷多个）位置点组成；2.这些点之间存在相对的关系；这些点之间存在相对的关系；3.可以在空间中定义长度、角度；可以在空间中定义长度、角度；4.这个空间可以这个空间可以容纳运动容纳运动.这里我们所说的运动是从一个点到另一个点的跳跃这里我们所

4、说的运动是从一个点到另一个点的跳跃（变换）（变换）,而不是微积分意义上的而不是微积分意义上的“连续连续”性的运性的运动动.第11页，本讲稿共92页 容纳运动是空间的本质特征容纳运动是空间的本质特征 “空间空间”是容纳运动的一个对象是容纳运动的一个对象 集合，而空间的运动由变换所规定集合，而空间的运动由变换所规定.第12页，本讲稿共92页矩阵矩阵 矩阵是什么？矩阵是什么？1.矩阵只是一堆数，如果不对这堆数建立一些运算规则.2.矩阵是一列列向量，如果每一列向量列举了对同一个客观事物的多个方面的观察值.第13页，本讲稿共92页3.矩阵是一个图像，它的每一个元素代表相对位置的像素值.4.矩阵是一个线性

5、变换，它可以将一些向量变换为另一些向量.要回答要回答“矩阵是什么矩阵是什么”，取决于你从什，取决于你从什么角度去看它么角度去看它.第14页，本讲稿共92页 矩阵与矩阵与线性变换线性变换 在线性空间中，当选定一组基之后，不仅可以在线性空间中，当选定一组基之后，不仅可以用一个向量来描述空间中的任何一个对象，而且可用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）以用矩阵来描述该空间中的任何一个运动（变换）.也即对于任何一个线性变换，都能够用一个确也即对于任何一个线性变换，都能够用一个确定的矩阵来加以描述定的矩阵来加以描述.第15页，本讲稿共92页.在线性空间中

6、选定基之后，向量刻画对象，在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动矩阵刻画对象的运动.而使某个对象发生对应运动的方法，就是用代表而使某个对象发生对应运动的方法，就是用代表那个运动的矩阵，乘以代表那个对象的向量那个运动的矩阵，乘以代表那个对象的向量.用矩阵与用矩阵与向量的乘法施加运动向量的乘法施加运动.矩阵是线性空间中的线性变换的一个描述矩阵是线性空间中的线性变换的一个描述第16页，本讲稿共92页线性变换不同于线性变换的一个描述线性变换不同于线性变换的一个描述 对于同一个线性变换，选定一组基，就可以找到一个矩阵来描述这个线性变换；换一组基，就得到一个不同的矩阵.所有这些矩阵都是这

7、同一个线性变换的描述，但又不是线性变换本身.第17页，本讲稿共92页同一个线性变换的矩阵具有性质：同一个线性变换的矩阵具有性质：若A和B是同一个线性变换的两个不同矩阵，则一定存在非奇异矩阵P，使得 即同一个线性变换在不同的坐标系下表现为不同的矩阵，但其本质相同，所以特征值相同.第18页，本讲稿共92页 相似矩阵，就是同一个线性变换的不同的描述相似矩阵，就是同一个线性变换的不同的描述矩阵矩阵.或者说相似矩阵都是同一个线性变换的描述或者说相似矩阵都是同一个线性变换的描述.第19页，本讲稿共92页 线性变换可以用矩阵的形式呈现，也就是说，矩阵是形式，而变换也就是各种映射才是本质，而代数的重要任务之一

8、就是研究各种数学结构之间的关系也就是映射.第20页，本讲稿共92页维线性空间里的方阵的个维向量如果线性无关，那么它们就可以成为度量维线性空间的一组基，事实上就是一个坐标系体系.矩阵与坐标系第21页，本讲稿共92页矩阵描述了一个坐标系矩阵描述了一个坐标系第22页，本讲稿共92页第23页，本讲稿共92页变换变换坐标坐标第24页，本讲稿共92页 从变换的观点来看，对坐标系M施加R变换，就是对组成坐标系M的每一个向量施加R变换.从坐标系的观点来看，对坐标系M的每一个基向量，把它在I坐标系中的坐标找出来,然后通过R组成一个新的（坐标系）矩阵.MIT第25页，本讲稿共92页矩阵既是坐标系，又是变换.数学定

9、义：数学定义：矩阵就是由矩阵就是由 行行 列数列数放在一起组成的数学对象放在一起组成的数学对象第26页，本讲稿共92页 数学书上的语言是经过千锤百炼的。这种抽象的语言，精准的描述了人类对数学某些局部理解的精微.这些描述的语言可能可以有更完善的改进，就像编写的程序有些地方的语句可以改得更巧妙更坚固一样.第27页，本讲稿共92页 数学容许我们每个人按自己的理解方式来理解,这就看你怎样对它加工，使它明确、使它华丽、使它完美.使它更易于理解和使用.这个过程也就是一个人学懂数学的过程.第28页，本讲稿共92页 数无形时少直观数无形时少直观,形无数时难入微形无数时难入微,数形结合百般好数形结合百般好,隔离

10、分家万事休隔离分家万事休.-华罗庚第29页，本讲稿共92页将抽象思维形象化将抽象思维形象化将理论知识实用化将理论知识实用化第30页，本讲稿共92页二、矩阵的四个基本子空间二、矩阵的四个基本子空间第31页，本讲稿共92页记：基本定义基本定义第32页，本讲稿共92页Column spacen=5第33页，本讲稿共92页 Row spacem=3第34页，本讲稿共92页r=2第35页，本讲稿共92页设A的行阶梯形为Notice 则存在可逆矩阵B使得第36页，本讲稿共92页m=3n=5r=2Pivot rows 1 and 2Pivot columns 1 and 4例例1第37页，本讲稿共92页Nu

11、ll space有三个自由变量：方程有解：第38页，本讲稿共92页第39页，本讲稿共92页 方程方程组组 中，若中，若 不等不等于于 0 0 且有解，且有解，则则其解不其解不会构会构成子空成子空间间，因，因为没为没 有有0 0元素元素.第40页，本讲稿共92页Left nullspaceLeft nullspace?第41页，本讲稿共92页第42页，本讲稿共92页设设由由例例2 2行基第43页，本讲稿共92页第44页，本讲稿共92页(3,2,-1)(0,1,2)(1,0,3)N(A)第45页，本讲稿共92页例3则由解得则显然第46页，本讲稿共92页Row spaceall ATyColumn

12、spaceall AxNullspaceAx=0Left nullspaceATy=0C(AT)dim rRnN(A)dim n-rRmC(A)dim rN(AT)dim m-r互为正交补互为正交补AX=b有解b N(AT)Rn第47页，本讲稿共92页Row spacenullspace Left nullspaceAction of on Column space第48页，本讲稿共92页例4若分解得第49页，本讲稿共92页三、矩阵的奇异值分解三、矩阵的奇异值分解第50页，本讲稿共92页 应用领域应用领域 1.1.最优化问题；最优化问题；特征值问题；特征值问题；最小二乘问题；最小二乘问题；广义

13、逆矩阵问题等广义逆矩阵问题等.2.2.统计分析；统计分析；信号与图像处理；信号与图像处理；系统理论和控制等系统理论和控制等.第51页，本讲稿共92页矩阵的正交对角分解若若A是是n阶实对称矩阵，则存在正交矩阵阶实对称矩阵，则存在正交矩阵Q，使得，使得 (1)其中其中 为矩阵为矩阵A的特征值，而的特征值，而Q的的n个列向个列向量组成量组成A的一个完备的标准正交特征向量系的一个完备的标准正交特征向量系.对于实的非对称矩阵A，不再有像式（1）的分解，但却存在两个正交矩阵P和Q，使为对角矩阵，即有下面的正交对角分解定理.第52页，本讲稿共92页 定理定理 设设 非奇异，则存在正交矩阵非奇异，则存在正交矩

14、阵P和和Q，使使得得 (2)(2)其中其中证 因为A非奇异，所以 为实对称正定矩阵，于是存 在正交矩阵Q使得，其中 为 特征值令 ,第53页，本讲稿共92页则有 或者再令 ,于是有即P为正交矩阵，且使改写式(2)为 (3)称式（3）为正交矩阵正交矩阵A的正交对角分解的正交对角分解第54页，本讲稿共92页引理：1.设则是对称矩阵，且其特征值是非负实数.2.3.设则的充要条件是第55页，本讲稿共92页定义 设 是秩为 的 实矩阵，的特征值为的特征值为则称则称 为为A的奇异值的奇异值.第56页，本讲稿共92页奇异值分解定理奇异值分解定理设设A是秩为是秩为的的则存在则存在 阶正交矩阵阶正交矩阵实矩阵实

15、矩阵,与与 阶正交矩阵阶正交矩阵使得使得其中其中为矩阵为矩阵A的全部奇异值的全部奇异值.第57页，本讲稿共92页证明证明设实对称矩阵的特征值为则存在n阶正交矩阵，使得将 分块为其中 ，分别是 的前 r 列与后 列.第58页，本讲稿共92页并改写式为则有由的第一式可得由的第二式可得令 ，则 ，即 的r个列是两两正交的单位向量.记第59页，本讲稿共92页因此可将 扩充成 的标准正交基，记增添的向量为 ，并构造矩阵则是m阶正交矩阵,且有于是可得第60页，本讲稿共92页称上式为矩阵A的奇异值分解.第61页，本讲稿共92页 在矩阵理论中，奇异值分解实际上是“对称矩阵正交相似于对角矩阵”的推广.奇异值分解

16、中 是 的特征向量，而 的列向量是 的特征向量，并且 与 的非零特征值完全相同.但矩阵 的奇异值分解不惟一.注意第62页，本讲稿共92页数值秩数值秩在没有误差时，奇异值分解可以确定矩阵的秩.但是误差的存在使得确定变得非常困难.例如，考虑矩阵第63页，本讲稿共92页因为第三列是前两列的和，所以A的秩是2.如果不考虑到这个关系，运用IEEE标准的双精度浮点计算模式，用MATLAB命令SVD计算A的奇异值：formatlongeA=1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7；D=svd(A)第64页，本讲稿共92页计算结果为：D

17、=2.421457493421318e+0003.406534035359026e-0011.875146052457622e-016 因为有因为有“三三”个非零奇异值，所以个非零奇异值，所以A的秩的秩为为“3 3”.然而，注意到在然而，注意到在IEEE双精度的标准下双精度的标准下,其中一个奇异值是微小的其中一个奇异值是微小的.也许应该将它看作也许应该将它看作零零.因为这个原因，引人数值秩的概念因为这个原因，引人数值秩的概念.第65页，本讲稿共92页如果矩阵如果矩阵 有有 个个“大大”的奇异值，而其它都很的奇异值，而其它都很“微小微小”，则称，则称 的数值秩为的数值秩为 .为为了了确确定定哪哪

18、个个奇奇异异值值是是“微微小小”的的，需需要要引引人人阈阈值值或或 容容 忍忍 度度 .就就M A T L A B而而 言言，可可 以以 把把求矩阵求矩阵的奇异值分解的奇异值分解解解:MATLAB程序为：程序为：A=0,-1.6,0.6;0,1.2,0.8;0,0,0;0,0,0U,S,V=svd(A)第67页，本讲稿共92页计算结果计算结果A=0 -1.6000 0.6000 0 1.2000 0.8000 0 0 0 0 0 0U=0.8000 0.6000 0 0 -0.6000 0.8000 0 0 0 0 1.0000 0 0 0 0 1.0000第68页，本讲稿共92页S=2.00

19、00 0 0 0 1.0000 0 0 0 0 0 0 0V=0 0 1.0000 -1.0000 0.0000 0 0.0000 1.0000 0第69页，本讲稿共92页奇异值分解的几何意义奇异值分解的几何意义 研究将一个空间映射到不同空间，特别是研究将一个空间映射到不同空间，特别是不同维数的空间时，例如超定或欠定方程组所不同维数的空间时，例如超定或欠定方程组所表示的情况，就需要用矩阵的奇异值来描述算表示的情况，就需要用矩阵的奇异值来描述算子对空间的作用了子对空间的作用了.第70页，本讲稿共92页 考察二维平面上的单位圆考察二维平面上的单位圆在映射在映射A下的变换过程下的变换过程,其中其中

20、MATLAB程序为：程序为：A=sqrt(3)sqrt(2),sqrt(3)sqrt(2);-3sqrt(2),3sqrt(2);1sqrt(2),1sqrt(2)U,S,V=svd(A)第71页，本讲稿共92页第72页，本讲稿共92页V是正交矩阵，表示二维空间的一个旋转是正交矩阵，表示二维空间的一个旋转第73页，本讲稿共92页 S 将平面上的圆变换到三将平面上的圆变换到三维空间坐标平面上的椭维空间坐标平面上的椭 圆圆第74页，本讲稿共92页V是正交矩阵，表示二维空间的一个旋转是正交矩阵，表示二维空间的一个旋转 S 维维将将 空空平平 间间面面 坐坐上上 标标的的 平平圆圆 面面变变 上上换换

21、 的的到到 椭椭三三 圆圆U是正交矩阵，表示三维空间的一个旋转是正交矩阵，表示三维空间的一个旋转第75页，本讲稿共92页 当A是方阵时，其奇异值的几何意义是:若x是 维单位球面上的一点，则 是一个 维椭球面上的点，其中椭球的 个半轴长正好是A的 个奇异值.简单地说，在2维情况下，A将单位圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴.第76页，本讲稿共92页设A是秩为的实矩阵，A的奇异值分解为：即,且奇异值分解的性质奇异值分解的性质第77页，本讲稿共92页则第78页，本讲稿共92页（1）A的非零奇异值的个数等于它的秩r，即（2）是的标准正交基.（3）是的标准正交基.（4）是的标准正交基.（

22、5）是的标准正交基.第79页，本讲稿共92页从上面的结论可以得到同构第80页，本讲稿共92页奇异值分解的特征奇异值分解的特征1.1.奇异值分解可以降维奇异值分解可以降维 A表示 个 维向量，可以通过奇异值分解表示成 个 维向量.若A的秩 远远小于 和 ,则通过奇异值分解可以降低A的维数.可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求.第81页，本讲稿共92页2.奇异值对矩阵的扰动不敏感奇异值对矩阵的扰动不敏感 特征值对矩阵的扰动敏感.在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵A、B的按从大到小排列的奇异值 和有第82页，本讲稿共9

23、2页3.3.奇异值的比例不变性奇异值的比例不变性,即即 的奇异值是的奇异值是A的奇的奇异值的异值的 倍倍.4.4.奇异值的旋转不变性奇异值的旋转不变性.即若即若P是正交阵，是正交阵，PA的奇异值的奇异值与与A的奇异值相同的奇异值相同.奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用.第83页，本讲稿共92页5.容易得到矩阵A的秩为的一个最佳逼近矩阵.奇异值的这个特征可以应用于信号的分解和重构，提取有用信息，消除信号噪声.第84页，本讲稿共92页由矩阵A的奇异值分解可见，A是矩阵的加权和，其中权系数按递减排列：矩阵的秩矩阵的秩 逼近逼近第85页，本讲

24、稿共92页好的矩阵 A，这一点在数字图像处理方面非常有用.矩阵的秩k 逼近定义为秩 逼近就精确等于A，而秩1逼近的误差最大.因此当舍去权系数小的一些项后，仍然能较显然，权系数大的那些项对矩阵A的贡献大第86页，本讲稿共92页在在MATLAB中，秩中，秩 逼近的程序如下：逼近的程序如下：clearA=2,7,9,-5,4;-9,-9,5,3,-2;-2,5,-1,-3,5;-4,9,0,9,-4,sumA=zeros(4,5);k=3U,D,V=svd(A);for i=1:k sumA=sumA+D(i,i)*U(:,i)*V(:,i);end sumA第87页，本讲稿共92页或者或者clea

25、rA=input(请输入矩阵请输入矩阵A的值的值:A=),sumA=zeros;U,D,V=svd(A);k=input(请输入请输入k的值的值:)for i=1:k sumA=sumA+D(i,i)*U(:,i)*V(:,i);end sumA第88页，本讲稿共92页第89页，本讲稿共92页6.奇异值的第六个特征是若A、B都有相同的奇异向量，则也就是说，我们可以通过控制奇异值的大小来控制两个矩阵空间的距离.第90页，本讲稿共92页参考资料G.STRANG.IntroductiontolinearalgebraW.Gander.用maple和matlab解决科学计算问题.高教出版社孟岩.理解矩阵第91页，本讲稿共92页谢谢大家，加强联系与合作！第92页，本讲稿共92页