第二章-数学基础优秀PPT.ppt

2.1线性空性空间和希和希尔伯特空伯特空间一一.符号及定符号及定义义1.符号符号符号符号 以后我们常用字母加低杆表示矢量和矩阵，并且以后我们常用字母加低杆表示矢量和矩阵，并且用小写字母表示矢量，大写字母表示矩阵，如：用小写字母表示矢量，大写字母表示矩阵，如：2.线性空间：线性空间：3.关于线性空间和希尔伯特空间的严格定义，读者关于线性空间和希尔伯特空间的严格定义，读者4.可以参阅有关线性代数的教科书，这里仅给出其运可以参阅有关线性代数的教科书，这里仅给出其运用用5.概念和结论。概念和结论。所谓线性空间是指满足线性变换关系的矢量所谓线性空间是指满足线性变换关系的矢量集合集合 ，这里，这里“满足线性变换关系满足线性变换关系”是指是指严格定义：线性空间首先应满足严格定义：线性空间首先应满足严格定义：线性空间首先应满足严格定义：线性空间首先应满足“加法加法加法加法+”+”+”+”和和和和“数数数数乘乘乘乘 ”的封闭性。的封闭性。的封闭性。的封闭性。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 3.希尔伯特空间希尔伯特空间希尔伯特空间希尔伯特空间希尔伯特空间是指定义了内积的希尔伯特空间是指定义了内积的希尔伯特空间是指定义了内积的希尔伯特空间是指定义了内积的完备线性空间完备线性空间完备线性空间完备线性空间。式中式中式中式中“”“”表示共轭转置，表示共轭转置，表示共轭转置，表示共轭转置，“*”表示取复共轭。表示取复共轭。表示取复共轭。表示取复共轭。我们定义两个矢量的内积为：我们定义两个矢量的内积为：我们定义两个矢量的内积为：我们定义两个矢量的内积为：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 二、独立性、正交性、子空间分解二、独立性、正交性、子空间分解在在N维线性空间中，若维线性空间中，若，线性空间线性空间的一个子集的一个子集V V，若，若V V对加法和数乘封闭，对加法和数乘封闭，1.线性无关线性无关线性无关线性无关那么，矢量组那么，矢量组是线性无关的，否则，是线性无关的，否则，若若的非平凡组合为零，则称的非平凡组合为零，则称是线性相关的。是线性相关的。2.子空间子空间子空间子空间西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 即即则，则，V是是的一个子空间。的一个子空间。设设 是是 上的一组矢量，则由上的一组矢量，则由 的全部线性组合构成的集合是的全部线性组合构成的集合是 的一个子空间，常的一个子空间，常称为称为 张成的子空间，记为：张成的子空间，记为：若若是线性无关的，且是线性无关的，且那么那么可由可由唯一地线性表示。唯一地线性表示。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 假如假如是线性无关，并且不是是线性无关，并且不是假如是最大线性无关组，那么，假如是最大线性无关组，那么，的任一线性无关组的真子集，那么，的任一线性无关组的真子集，那么，这个子集这个子集就是就是的一个的一个最大线性无关最大线性无关1）2）3）称）称是是的一个基。的一个基。组组。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 的零空间为的零空间为:矩阵矩阵的秩定义为：的秩定义为：3.矩阵的值域与零空间矩阵的值域与零空间 给给定定一一组组向向量量，由由这这组组向向量量张张成成的的子子空空间间简简洁洁由由以以上上给给出出的的定定义义写写出出。另另一一种种求求子子空空间间的的方方法法是是给给定定子子空空间间中中矢矢量量的的约约束束条条件件。如如与与矩矩阵阵有有关关的的两两子空间值域与零空间。子空间值域与零空间。设设 ，则，则 的值域（或列空间）为的值域（或列空间）为西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 1）是非奇异的是非奇异的2）3）（满秩）（满秩）可可以以证证明明，即即矩矩阵阵的的秩秩等等于于最最大大无无关行数或最大无关列数。关行数或最大无关列数。，假如，假如m=n,m=n,则如下关系等价：则如下关系等价：4.4.正交性正交性 矢量的角矢量的角 设设，则这两个矢量的夹角余弦定义为：，则这两个矢量的夹角余弦定义为：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 正交性：正交性：1）矢量）矢量正交是指其夹角余弦等于零，即正交是指其夹角余弦等于零，即2）矢矢量量组组是是正正交交的的，假假如如对对全全部部，有有正正交交。假假如如满满足足，则则称称之之为为标标准准正正交的。交的。3）子空间）子空间称为相互正交的，假如称为相互正交的，假如5.子空间分解子空间分解假如假如是线性空间是线性空间的子空间，那么它们的和的子空间，那么它们的和也是一个子空间也是一个子空间若每一个若每一个有唯一的表达式有唯一的表达式则则被称为一个直和，并写为：被称为一个直和，并写为：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 子空间的交集也是一个子空间，如子空间的交集也是一个子空间，如。假如。假如一个子空间一个子空间的正交补为的正交补为假如矢量假如矢量是标准正交的并且张成子空间是标准正交的并且张成子空间则则为直和。为直和。一个重要特例：一个重要特例：正交分解正交分解，则称矢量组，则称矢量组构成子空间构成子空间的一个标的一个标准正交基。它总可以扩充为准正交基。它总可以扩充为的一组完全的标准的一组完全的标准正交基正交基，此时，此时。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 三、线性变换与投影算子三、线性变换与投影算子线线性性空空间间上上的的一一个个变变换换称称为为线线性性变变换换，假假如如它它满满足：足：在在确确定定基基的的意意义义上上，一一个个线线性性变变换换可可用用一一矩矩阵阵表表示示。用用一一组组基基表表示示它它在在线线性性变变换换下下的的象象，其其坐坐标标所所排排成成的的矩矩阵阵就就称称为为在在这这组组基基下下的的矩矩阵阵。线线性性变变换换与与矩矩阵阵一一对应。一一对应。1.1.线性变换线性变换 西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 2.正交投影算子正交投影算子一一种种重重要要的的线线性性变变换换是是投投影影算算子子，而而且且正正交交情情形形是最重要的。是最重要的。正交投影算子正交投影算子的定义：的定义：设子空间设子空间，线性变换，线性变换称为正交投影，称为正交投影，假如，假如，西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 几几何何意意义义：已已知知维维线线性性空空间间中中的的一一个个点点和和子子空空间间，求求点点，使使到到点点的的距距离离不不超超过过到到上上各各点点的的距距离。如图离。如图2.1所示。所示。图图2.1向向量量表表示示由由一一系系列列的的试试验验和和调调查查所所给给出出的的数数据据，由由于于这这些些试试验验或或调调查查包包含含不不少少的的误误差差，以以致致在在给给定定的的子子空空间间中中不不行行能能找找到到这这组组数数据据，即即，我我们们不不行行能能把把表表示示成成子子空空间间中中的的一一个个向向量量，因因为为我我们们所所遇遇到到的的方方程程组组是是不不相相容容的的，因因此此，是是无无解解的的，这这样样一一来来，最最小小二二乘乘解解法法就是选择点就是选择点作为最佳选择。作为最佳选择。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 正交投影算子的表示，即正交投影算子的表示，即 点的求解。点的求解。1)1)若子空间若子空间 由标准正交基由标准正交基 张成，则任一张成，则任一矢量矢量 ，在子空间，在子空间 上的正交投影矢量上的正交投影矢量 可表可表示为：示为：此公式可用直角坐标系来说明。此公式可用直角坐标系来说明。式中式中阶方阵阶方阵常称为常称为投影矩阵投影矩阵。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 可见，由标准正交基来求正交投影算子是很便利的。可见，由标准正交基来求正交投影算子是很便利的。2)若若子子空空间间由由一一组组基基（未未必必正正交交）张张成成，求由求由表示的空间表示的空间上的正交投影算子。上的正交投影算子。由正交投影的定义，由正交投影的定义，到到的投影矢量的投影矢量，即，即由由由由(2.12)式可知式可知，上的正交投影矩阵为：上的正交投影矩阵为：线性表示，且线性表示，且与与正交，即正交，即，则，则，得投影矢量，得投影矢量西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 3.正交变换与正交矩阵正交变换与正交矩阵正交变换与正交矩阵正交变换与正交矩阵（2.13）式式给给出出了了到到矩矩阵阵的的列列空空间间上上的的正正交交投投影影矩矩阵阵，当当基基矢矢量量是是标标准准正正交交基基时时，（2.13）式式可可简简化化为（为（2.11）式形式。（）式形式。（2.13）式也称为）式也称为的伪逆。的伪逆。线线性性变变换换是是正正交交变变换换，如如果果对对线线性性空空间间中中的的任任意意矢矢量量，有有内内积积关关系系：，有有时时又又称称为为保保角角变变换换、酉酉变变换换。相相应应于于正正交交变变换换的的矩矩阵阵为为正交矩阵或酉矩阵，如果满足关系：正交矩阵或酉矩阵，如果满足关系：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 有限有限有限有限长长序列序列序列序列有有有有N N个个个个样样本，它本，它本，它本，它的傅里叶的傅里叶的傅里叶的傅里叶变换变换在在在在频频率区率区率区率区间间的的的的N N个等个等个等个等间间隔分布的点隔分布的点隔分布的点隔分布的点上也有上也有上也有上也有N N个取个取个取个取样值样值。两个重要例子：两个重要例子：例例1：离散傅氏变换：离散傅氏变换DFT是正交变换是正交变换西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 矩阵矩阵 常称为一种常称为一种BulterBulter矩阵（线性状况）。矩阵（线性状况）。则DFT变换写成矩阵形式并归一化可得：写成矩阵形式并归一化可得：写成矩阵形式并归一化可得：写成矩阵形式并归一化可得：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 正交变换正交变换是可逆变换，变换后无信息损失。是可逆变换，变换后无信息损失。大大家家知知道道，在在数数字字信信号号处处理理中中，DFT变变换换是是一一种种很很重重要要的的变变换换，我我们们常常用用它它对对数数据据变变换换到到频频域域，以以便便于于分分析析信信号号频频谱谱，在在阵阵列列信信号号处处理理中中，对对阵阵列列空空间间抽抽样样数数据据作作DFT，相相当当于于把把数数据据变变换换到到角角频频域域（波波束束空空间间beamspace），分分析析波波达达方方向向（DOA）。）。尽尽管管用用DFT技技术术作作谱谱分分析析时时其其辨辨别别率率不不高高，但但在在高高辨辨别别谱谱估估计计和和自自适适应应滤滤波波技技术术中中，DFT变变换换仍仍是是很很重重要要的的一一种种正正交交变变换换，在在后后面面我我们们还还要要多多次次利利用用它它对对数数据据作作DFT预预变变换换，简简化化问问题题，这这里里只简洁提一下。只简洁提一下。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 例例2：K-L变换（卡变换（卡-洛变换）（洛变换）（karhuen-loeve）取上述连续状况的取上述连续状况的取上述连续状况的取上述连续状况的与与与与的的的的N N个匀整时间取样值，得：个匀整时间取样值，得：个匀整时间取样值，得：个匀整时间取样值，得：留意：留意：DFT变换是一种不依靠数据的变换（变换是一种不依靠数据的变换（data-independent），下面再介绍一种依靠于数据的正），下面再介绍一种依靠于数据的正交变换（交变换（data-dependent），随机矢量的线性变换。），随机矢量的线性变换。连续卡洛绽开连续卡洛绽开在在区间的连续随机信号区间的连续随机信号可绽开为：可绽开为：式中：绽开系数式中：绽开系数式中：绽开系数式中：绽开系数是随机变量；是随机变量；是随机变量；是随机变量；为基函数，它满足：为基函数，它满足：为基函数，它满足：为基函数，它满足：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 所所以以对对于于随随机机序序列列 ，若若其其自自相相关关函函数数为为 ，则，则K-L变换为：变换为：令令令令，则有，则有，则有，则有西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 的的特点特点：对任一对任一 维维HermiteHermite矩阵（矩阵（），其特征矢），其特征矢量构成量构成 维空间的一组标准正交基。因此，存在一维空间的一组标准正交基。因此，存在一正交矩阵正交矩阵 使得使得 与一对角阵相像，即：与一对角阵相像，即：物物理理意意义义：按按随随机机序序列列的的能能量量大大小小逐逐次次作作N个个正正交交方方向向分分解解。Y的的各各重重量量去去相相关关且且按按能能量量从从大大到到小小排排列。列。K-L变换有人叫最佳变换。变换有人叫最佳变换。2.2矩阵的分解矩阵的分解1.1.特征值分解特征值分解式中式中 为为 的特征值。的特征值。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 正正定定（半半正正定定）性性：若若Hermite阵阵对对任任一一非非零零矢矢量量，有有，则称，则称为正定（半正定）的。为正定（半正定）的。正定的正定的Hermite矩阵矩阵的全部特征值为正数，即：的全部特征值为正数，即：(2.21)式中式中为为的特征值，的特征值，为特征矢量。称此分解为为特征矢量。称此分解为特征分解（特征分解（EVD）.2.奇异值分解（奇异值分解（SVD）对对，存在正交矩阵，存在正交矩阵和和，使得：，使得：式中式中 ,是是 的的奇异值奇异值 简洁验证：3.矩阵矩阵QR分解分解 任一矩阵任一矩阵，总可以化为：，总可以化为：其中其中是正交矩阵，是正交矩阵，是上三角矩阵，（是上三角矩阵，（2.22）式）式称为称为的的QR分解。分解。西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 2.3复复变量量实函数求函数求导数数探探讨实函数：函数：，其中其中 依据求导法则：依据求导法则：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 1.矩矩阵对标量求微分量求微分 设设 的元素的元素 是某一矢量的可微函数，则是某一矢量的可微函数，则若矩阵若矩阵的元素是某个自变量的元素是某个自变量（标量）的函（标量）的函数，当每一个数，当每一个均为可微函数时，可构成一个与均为可微函数时，可构成一个与同阶的矩阵：同阶的矩阵：，称作矩阵，称作矩阵对自变量对自变量的的导数或微分。导数或微分。矩阵的微分满足的基本运算规则为：矩阵的微分满足的基本运算规则为：2.矩阵对矢量求微分矩阵对矢量求微分 西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 矩阵矩阵 对矢量对矢量 的微分：的微分：3.矩阵对矩阵求微分矩阵对矩阵求微分 右右边边矩矩阵阵共共有有st个个块块，每每分分块块矩矩阵阵为为矩矩阵阵对对矩矩阵阵的元素的元素求导，全部分块矩阵按求导，全部分块矩阵按阵排列方式排列。阵排列方式排列。则则西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室 精品课件精品课件！精品课件精品课件！例：例：其中其中 ，求，求 。解：解：西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室西安电子科技高校雷达信号处理试验室