向量的内积与正交矩阵(完整版)实用资料.doc

《向量的内积与正交矩阵(完整版)实用资料.doc》由会员分享，可在线阅读，更多相关《向量的内积与正交矩阵(完整版)实用资料.doc（83页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、向量的内积与正交矩阵（完整版）实用资料(可以直接使用，可编辑 完整版实用资料，欢迎下载）第三章 向量的内积与正交矩阵本章将介绍n维向量的内积，向量的长度，向量的夹角，标准正交组，正交矩阵等概念及其基本性质。n维向量的内积、长度、夹角等概念可以看成是空间解析几何中向量的数量积、长度、夹角的推广，这些在自然科学、社会科学与统计学中都有直接的应用。向量组的正交规范化是本章的难点。3.1 向量的内积 向量的内积为理解内积的直观背景，从力学中功的计算开始。如图3.1，力F和位移S都是向量，两者的夹角是,用F和S分别表示力的大小和位移的长度。根据中学的物理知识，力F所做的功为： F S 图3.1 S 图3

2、-1 (3.1)把上式称为力F与位移S的内积，记作： 先把内积（3.1）推广到空间向量。设两个空间向量是OM1=x1,y1,z1T, OM2=x2,y2,z2T，它们的夹角为.定义两向量的内积为： 1，2=12 (3.2)其中1，2分别是向量1，2的长度： （3.3）在空间解析几何中经推导，得到用向量的坐标表达内积的公式 1，2=x1x2+y1y2+z1z2 （3.4）进而得到两向量的夹角公式： COS= (3.5)把内积公式（3.4）推广到n维向量，有定义3.1 设有n维向量= =令x,y=x1y1+x2y2+xnyn= x,y称为向量x与y的内积。内积是向量的一种运算，用矩阵记号表示，当x

3、与y都是列向量时，有：x,y=xTy 内积满足下列运算规律（其中x,y,z为n维向量，为实数） （1）x,y= y,x（2）x,y= x,y（3）x+y,z= x,z+ y,z 例3.1 设=1,-1,1T，=2,5,3T，求, 解 ,=12-15+13=0 例3.2 设=，=，A=，求内积；求A。 解 注意到和A都是列矩阵，也是列向量，故 =T（）= T =1 A=（T）A= =0= 须指出，在乘式（T）A中，尽管T与之间的运算是矩阵乘法，但（T）与A之间的运算是数乘矩阵，而不是矩阵乘法，故如下运用“结合律”是错误的： （T）A=T（A）其实，乘式A没有意义.类似的问题在本书中虽然不多见，但

4、此处提醒的问题有助于读者准确地理解矩阵乘法的结合律。 向量的模 把空间向量的长度式（3.3）（相当于点到原点O的距离）推广到n维向量，我们有：定义2.2 称数为向量=1,2,nT的模（或长度），记为，即 = = 向量的模具有下述性质：（1）非负性：当时, 0；当时，=0 （2）齐次性：（3）三角不等式：性质（1），（2）请读者自证，性质（3）将在引入定理3.1后证明。当=1时，称为单位向量。 例3.3 检验向量=T,T是否为单位向量。 解 =1,q1 ababiiiipqi=1i=1i=1TT由lp-范数定义，对于x=(x1,x2,L,xn)，y=(y1,y2,L,yn)， 有|x+y|=pp

5、pnn1pn1q|x+y|=|x+y|x+y|piiiiiii=1i=1p1niiiii=1ppp1p1(|x|+|y|)|x+y|i=1=|xi|xi+yi|+|yi|xi+yi|p1i=1n&不等式了，注意到这里要用Holder11p1p,q=1=，那么上式接下去便是qppp1n|xi|pi=11pn|xi+yi|i=111pp(p1)p1n+|yi|pi=11pn|xi+yi|i=111pp(p1)p11111nnnpppppp=|xi|+|yi|xi+yi|i=1i=1i=1到这里，证明就变得明朗化了，两边同除以n1p|xy|+iii=1n11p就有11nnppppp|xi+yi|=|

6、xi|+|yi|i=1i=1i=1这便是lp-范数的三角不等式。lp-范数是前3个范数的一般表示，取p=1,2，就是1-范数和2-范数，如果取p，就是l-范数，这需要证明，即 lim事实上p|x|xi|=|x| i=maxp1ini=11pn1pnnppxi|x|p=|xi|=|xi0|i=1xi0i=1其中|xi0|是在诸分量的模中取最大者。因为 |xi0|p1ppn|xi|=|xi0| pi=1|xi0|p1p|x|ii=1npn|xi0|pi=11nn|xi|pnp， 故有 1pi=1|xi0|但用微积分中的Lhospital法则，可知 limn=1， 在上式的两边取p的极限，p1p则由

7、著名的“两面夹定理”，得|xi|1nplim| limx=1 ippp|xi0|i=1i=1|xi0|np1p这样，立即有limp|x|xi|=|x| i=|xi0|=maxp1ini=1n1p这正是我们要得到的结果。这样看来，向量范数可以用lp-范数全部包括了。其实不然，在一些场合（比如最优化理论），我们还需要另一种与lp-范数形式不同的范数，它称为加权范数或椭圆范数。设ARnn为对称正定矩阵，xR，则T12n(xAx)是一种向量范数，记为 |x|A。关于椭圆范数的三角不等式的证明，我们在课堂上讲解了，这里略去。值得注意的是，在证明过程中，用了l2-范数作桥梁，这种技巧请仔细捉摸。还要指出，

8、上面介绍的是有限维空间的范数，但实际上，无限维的线性空间，也同样可用类似的思想来定义范数。比如在区间a，b上定义的所有实连续函数的集合，它关于通常的函数加法及实数与函数的乘法而言是封闭的（即这样运算后得到的函数仍在这个集合中），所以规定了这两种运算后的函数集合（我们称赋于此集合一个代数结构），构成了一个线性空间，这个空间记为Ca,b。我们再用向量范数的3个条件（非负性，齐次性与三角不等式）赋于这个空间， 对于Ca,b中的任一个元素（或者称为空间中的任一个向量要注意，这里的向量与Cn中的向量已不同了！）f(x)，定义1-范数为 |f(x)|1=ba|f(x)|dxbp1pp-范数为 |f(x)|

9、p=(|f(x)|dx)a,p1-范数为 |f(x)|=max|f(x)| axb这样，我们就为线性空间Ca,b赋于了范数结构，这样的空间称为赋范空间，它是无），也可穷维的。（前面所讨论的C中定义了范数后当然也称为赋范空间，它们是有限维的。以验证上面定义的范数都满足范数的3个条件，这个工作，留给同学们。在本课程的第6，7章，研究函数逼近问题时，这些范数将起到关键性的作用。还可以定义其他范数。可以通过习题来体会和认识。n三 向量范数的等价性我们看到，即便对同一个向量，用不同的向量范数会有不同的数值。那么在我们应用范数解决实际问题时，比如讨论向量序列的收敛性时，倒底采用哪一个范数呢？或者说，如果用

10、了一种范数|得到了向量序列收敛的结论，在另一种范数|下还能不能保证收敛？ 这当然是一个极大的原则问题。 如果在两个不同的范数下，得出的结论相互矛盾，那么，范数作为工具的价值就失去了意义。这就提出了向量范数等价性的概念。它是范数最重要的性质。什么叫等价性？数学上，等价性是表征两个数学对象之间关系的重要性质，称A与B等价，需要满足下列3个条件：（这里暂用记号 表示等价）（1）反身性：自己与自己必等价，即A A；（2）对称性：我与你等价，必定你与我等价，即如A B，则必有B A；（3）传递性：我与你等价，你与他等价，则必有我与他也等价，即，如A B，B C，则必A C。在数学里，具有等价关系的对象还

11、不少。比如两矩阵的相抵，合同，相似，正交等，都满足等价关系，请大家证明这些结论。由此可见，弄清等价关系的意义真不小。现在我们转到向量范数等价性问题上。先给出向量范数等价性的定义。定义3.1 设在线性空间V上定义了两种不同的向量范数|和|，若存在两个与向量xV无关的常数c1,c20，使得c1|x|x|c2|x| （3.1） 则称向量范数|和|是在线性空间V上等价的范数。根据这个定义，不难验证向量范数满足等价性的3个条件。反身性是显然的，对称性则可由（3.1）直接推出 11|x|x|x| c2c1而得到验证。传递性也不难验证，留给大家做练习吧。为了要证明向量范数的等价性，首先需要证明向量范数满足连

12、续性。这是不难的。因为 可以推出，对于x,yV，有关系 |x|y|xy|注意，上式左边外层的两个“|”号表示绝对值。这样，当xy时，必定 |x|y|，这就证实了函数|x|的连续性。如果再仔细一点，可以证明定理3. 1 设|为有限维线性空间V上的任一向量范数，xV，则|x|是x=(x1,L,xn)T的各分量的连续函数。这个定理我们在课堂上已证明了，它与前述的函数整体连续性的不同在于指出了函数|x|依赖于各个分量。在此基础上，我们来研究向量范数的等价性。定理3. 2 在欧氏空间R上的任意两个向量范数相互等价。证明：先证明按照等价关系（3。10给出的两个向量范数|和|决定的序列收敛性是完全一样的。设

13、x为R中的向量序列，它按|收敛于x*，即lim|xkx*|=0 k(k)nn则从（3.1）给出的不等式 |x|c2|x| 得到|x(k)x*|c2|x(k)x*|因此可得 lim|xkx*|=0 k即序列 x按范数 |也收敛于x*。显然，在上述讨论中，|和|的位置可相互交换，因此按两种范数定义的收敛性完全一样。我们下面取|x|=|x|来证明其等价性。即证明:存在两常数c1,c20,使 c1(k)|x|c2,x0Rn |x|x0Rn。记球域S=x|x|=1,xRn，显然这6考虑函数 f(x)=|x|0,是一个有界闭集。前面已证明，向量范数是一个关于自变量x的连续函数。所以，f(x)是球域S上的连

14、续函数。根据连续函数在有界闭集上必可取得其最大值和最小值的性质，可断定S上存在两点x(1),x(2)S，使f(x)=minf(x)=c1 xS(1)f(x由S的特点，(2)=maxf(x)=c2 xSxS，所以有两常数c1,c20，即 |x|x|x|c2 c1f由于 fx|x|x=|x|0，故 c1x|x|c2， 从而得到c1|x|x|c2|x| 由此，可有定理3. 3 在欧氏空间R中 limxkn(k)=x*lim|x(k)x*|=0， k其中 |为向量的任一种范数。利用向量范数的等价性，只对一种范数，比如选择l-范数作证明。具体的证明留给大家。好了，关于向量范数的若干难点，就讲到此地，已有

15、不少篇幅了，打住！下一讲继续讲矩阵范数。周国标师生交流讲席010向量和矩阵的范数的若干难点导引(二)一 矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。最容易想到的矩阵范数，是把矩阵AC直”的变换），所以，直观上可用Cmmn可以视为一个mn维的向量（采用所谓“拉mnmnn上的向量范数来作为ACH的矩阵范数。比如在l1范数意义下，|A|1=|ai=1j=1ij|=(tr(AA)； （1.1）12122在l2-范数意义下，|A|F=|aij|， （1.2） i=1j=1mn注意

16、这里为了避免与以后的记号混淆，下标用“F”，这样一个矩阵范数，称为Frobenius范数，或F-范数。可以验证它们都满足向量范数的3个条件。那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB的“大小”相对于A与B的“大小”关系。定义1 设AC，对每一个A，如果对应着一个实函数N(A)，记为|A|，它满足以下条件：（1）非负性：|A|0；mn|A|=0（2）齐次性：|A|=|A|,C；mn（3）三角不等式：|A|A+B|A|+|B|,BCmnnlml则称N(A)=|A|为A的广义矩阵范数。进一步，若对C,C,C

17、上的同类广义矩阵范数|，有nl（4）（矩阵相乘的）相容性：|A|AB|A|B|， BC， 则称N(A)=|A|为A的矩阵范数。（1a）正定性：A=Omn我们现在来验证前面（1.1）和（1.2）定义的矩阵范数是否合法？我们这里只考虑（1.2）,把较容易的（1.1）的验证留给同学们，三角不等式的验证。按列分块，记A=(a1,a2,L,an),B=(b1,b2,L,bn)。|A+B|F=|(a1+b1),(a2+b2),L,(an+bn)|F =|a1+b1|2+|a2+b2|2+L+|an+bn|222222(|a1|2+|b1|2)+L+(|an|2+|bn|2)22=(|a1|2+L+|an|

18、2)+2(|a1|2|b1|2+L+|an|2|bn|2)+(|b1|22+L+|bn|22)22对上式中第2个括号内的诸项，应用Cauchy不等式，则有222|A+B|2F|A|F+2|A|F|B|F+|B|F=(|A|F+|B|F) （1.3）于是，两边开方，即得三角不等式。 再验证矩阵乘法相容性。1n2|AB|F=aikbkj|aik|bki|i=1j=1k=1i=1j=1k=1mlnn22 |aik|bsj| （这一步用了Cauchy不等式）i=1j=1k=1s=1nlmn2222 =|aik|bsj|=|A|F|B|F （1.4） i=1k=1s=1j=1可见，矩阵相容性满足。这样就

19、完成了对矩阵F-范数的验证。是不是这样直接将向量范数运用到矩阵范数就可以了吗？No!运用l-范数于矩阵范数时便出了问题。如果|A|=max|aij|，那么,这样的矩阵范1im1jnmln2ml211222,A=2A。因此，按上述矩阵11222-范数的定义，|A|=1,|A|A|=1,|A|=2，于是 数在下面一个例子上就行不通。设A=2=|A2|=|AA|A|A|=1但这是矛盾的。所以简单地将l-范数运用于矩阵范数，是不可行的。虽然这仅是一个反例，但是数学的定义是不可以有例外的。 由此，我们必须认识到，不能随便套用向量范数的形式来构造矩阵范数。 为此,我们仅给出矩阵范数的定义是不够的，还需要研

20、究如何构成具体的矩阵范数的方法。当然，你也可以不去考虑构成方法，一个函数一个函数去试，只要满足条件就行。不过这样做的工作量太大，也很盲目。第二，在实际计算时，往往矩阵与向量出现在同一个计算问题中，所以在考虑构造矩阵范数时，应该使它与向量范数相容。比如要考虑Ax的“大小”，Ax是一个向量，但它由A与x相乘而得的，它与A的“大小”和x的“大小”的关系如何？ 这提出了两类范数相容的概念。定义2 对于Cmn上的矩阵范数|M和C,C上的同类向量范数|V，如果成立 mn|Ax|V|A|M|x|V,ACmn,xCn （1.5）12则称矩阵范数|M与向量范数|V是相容的。 1H2例11 可以证明 |A|F=|aij|=(tr(AA)2 是与向量范数|2相容。i=1j=1n1事实上，在（1。2）中，取B=xC，那么|Ax|2=|AB|F|A|F|B|F=|A|F|x|2 mn二 矩阵算子范数现在给出一种构造矩阵范数的一般方法，它可以使构造出的矩阵范数与向量范数相容，当然，它也满足定义1规定的4个条件。定义3 设C,C上的同类向量范数为|V，AC的由向量范数|V诱导给出的矩阵范数为 |A|