第二章数学基础优秀PPT.ppt

第二章数学基础第一页，本课件共有29页2.1线性空间和希尔伯特空间线性空间和希尔伯特空间一一.符号及定符号及定义义1.符号符号 以后我们常用字母加低杆表示矢量和矩阵，并且以后我们常用字母加低杆表示矢量和矩阵，并且用小写字母表示矢量，大写字母表示矩阵，如：用小写字母表示矢量，大写字母表示矩阵，如：2.线性空间：线性空间：3.3.关于线性空间和希尔伯特空间的严格定义，读者关于线性空间和希尔伯特空间的严格定义，读者4.4.可以参阅有关线性代数的教科书，这里仅给出其使用可以参阅有关线性代数的教科书，这里仅给出其使用5.5.概念和结论。概念和结论。第二页，本课件共有29页 所谓所谓线性空间线性空间是指满足线性变换关系的矢量是指满足线性变换关系的矢量集合集合 ，这里，这里“满足线性变换关系满足线性变换关系”是指是指严格定义：严格定义：严格定义：严格定义：线性空间首先应满足线性空间首先应满足线性空间首先应满足线性空间首先应满足“加法加法加法加法+”+”+”+”和和和和“数乘数乘数乘数乘 ”的封闭性。的封闭性。的封闭性。的封闭性。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第三页，本课件共有29页 3.3.希尔伯特空间希尔伯特空间希尔伯特空间希尔伯特空间希尔伯特空间是指定义了内积的希尔伯特空间是指定义了内积的希尔伯特空间是指定义了内积的希尔伯特空间是指定义了内积的完备线性空间完备线性空间。式中式中式中式中“”“”表示共轭转置，表示共轭转置，表示共轭转置，表示共轭转置，“*”表示取复共轭。表示取复共轭。表示取复共轭。表示取复共轭。我们定义两个矢量的内积为：我们定义两个矢量的内积为：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第四页，本课件共有29页二、独立性、正交性、子空间分解二、独立性、正交性、子空间分解在在N维线性空间中，若维线性空间中，若，线性空间线性空间的一个子集的一个子集V V，若，若V V对加法和数乘封闭，对加法和数乘封闭，1.线性无关线性无关线性无关线性无关那么，矢量组那么，矢量组是线性无关的，否则，若是线性无关的，否则，若的非平凡组合为零，则称的非平凡组合为零，则称是线性相关的。是线性相关的。2.2.子空间子空间子空间子空间西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第五页，本课件共有29页即即则，则，V是是的一个子空间。的一个子空间。设设 是是 上的一组矢量，则由上的一组矢量，则由 的的所有线性组合构成的集合是所有线性组合构成的集合是 的一个子空间，常称为的一个子空间，常称为 张成的张成的子空间子空间，记为：，记为：若若是线性无关的，且是线性无关的，且那么那么可由可由唯一地线性表示。唯一地线性表示。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第六页，本课件共有29页如果如果是线性无关，并且不是是线性无关，并且不是如果是最大线性无关组，那么，如果是最大线性无关组，那么，的任一线性无关组的真子集，那么，的任一线性无关组的真子集，那么，这个子集这个子集就是就是的一个的一个最大线性无关最大线性无关1）2）3）称）称是是的一个基。的一个基。组组。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第七页，本课件共有29页的零空间为的零空间为:矩阵矩阵的秩定义为：的秩定义为：3.矩阵的值域与零空间矩阵的值域与零空间 给给定定一一组组向向量量，由由这这组组向向量量张张成成的的子子空空间间容容易易由由以以上上给给出出的的定定义义写写出出。另另一一种种求求子子空空间间的的方方法法是是给给定定子子空空间间中中矢矢量量的的约约束束条条件件。如如与与矩矩阵阵有有关关的的两两子子空空间间值值域域与与零空间。零空间。设设 ，则，则 的值域（或列空间）为的值域（或列空间）为西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第八页，本课件共有29页1）是非奇异的是非奇异的2）3）（满秩）（满秩）可可以以证证明明，即即矩矩阵阵的的秩秩等等于于最最大大无无关行数或最大无关列数。关行数或最大无关列数。，如果，如果m=n,则如下关系等价：则如下关系等价：4.4.正交性正交性 矢量的角矢量的角 设设，则这两个矢量的夹角余弦定义为：，则这两个矢量的夹角余弦定义为：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第九页，本课件共有29页正交性：正交性：1）矢量）矢量正交是指其夹角余弦等于零，即正交是指其夹角余弦等于零，即2）矢矢量量组组是是正正交交的的，如如果果对对所所有有，有有正交。如果满足正交。如果满足，则称之为标准正交的。，则称之为标准正交的。3）子空间）子空间称为互相正交的，如果称为互相正交的，如果5.子空间分解子空间分解如果如果是线性空间是线性空间的子空间，那么它们的和的子空间，那么它们的和也是一个子空间也是一个子空间若每一个若每一个有唯一的表达式有唯一的表达式则则被称为一个直和，并写为：被称为一个直和，并写为：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十页，本课件共有29页子空间的交集也是一个子空间，如子空间的交集也是一个子空间，如。如果。如果一个子空间一个子空间的正交补为的正交补为如果矢量如果矢量是标准正交的并且张成子空间是标准正交的并且张成子空间则则为直和。为直和。一个重要特例：一个重要特例：正交分解正交分解，则称矢量组，则称矢量组构成子空间构成子空间的一个标准正的一个标准正交基。它总可以扩充为交基。它总可以扩充为的一组完全的标准正交基的一组完全的标准正交基，此时，此时。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十一页，本课件共有29页三、线性变换与投影算子三、线性变换与投影算子线性空间线性空间上的一个变换上的一个变换称为线性变换，如果它满足：称为线性变换，如果它满足：在在一一定定基基的的意意义义上上，一一个个线线性性变变换换可可用用一一矩矩阵阵表表示示。用用一一组组基基表表示示它它在在线线性性变变换换下下的的象象，其其坐坐标标所所排排成成的的矩矩阵阵就就称称为为在在这这组组基基下下的的矩矩阵阵。线线性性变变换换与与矩矩阵阵一一对应。一一对应。1.1.线性变换线性变换 西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十二页，本课件共有29页2.正交投影算子正交投影算子一一种种重重要要的的线线性性变变换换是是投投影影算算子子，而而且且正正交交情情形形是是最最重重要的。要的。正交投影算子正交投影算子的定义：的定义：设子空间设子空间，线性变换，线性变换称为正交投影，如果，称为正交投影，如果，西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十三页，本课件共有29页几几何何意意义义：已已知知维维线线性性空空间间中中的的一一个个点点和和子子空空间间，求求点点，使使到到点点的的距距离离不不超超过过到到上上各各点点的的距距离离。如如图图2.1所示。所示。图图2.1向向量量表表示示由由一一系系列列的的实实验验和和调调查查所所给给出出的的数数据据，由由于于这这些些实实验验或或调调查查包包含含不不少少的的误误差差，以以致致在在给给定定的的子子空空间间中中不不可可能能找找到到这这组组数数据据，即即，我我们们不不可可能能把把表表示示成成子子空空间间中中的的一一个个向向量量，因因为为我我们们所所遇遇到到的的方方程程组组是是不不相相容容的的，因因此此，是是无无解解的的，这这样样一一来来，最最小小二二乘乘解解法法就就是是选选择择点点作作为为最最佳选择。佳选择。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十四页，本课件共有29页正交投影算子的表示，即正交投影算子的表示，即 点的求解。点的求解。1)1)若子空间若子空间 由标准正交基由标准正交基 张成，则任一张成，则任一矢量矢量 ，在子空间，在子空间 上的正交投影矢量上的正交投影矢量 可表可表示为：示为：此公式可用直角坐标系来解释。此公式可用直角坐标系来解释。式中式中阶方阵阶方阵常称为常称为投影矩阵投影矩阵。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十五页，本课件共有29页可见，由标准正交基来求正交投影算子是很方便的。可见，由标准正交基来求正交投影算子是很方便的。2)若若子子空空间间由由一一组组基基（未未必必正正交交）张张成成，求求由由表示的空间表示的空间上的正交投影算子。上的正交投影算子。由正交投影的定义，由正交投影的定义，到到的投影矢量的投影矢量，即，即由由由由(2.12)式可知式可知，上的正交投影矩阵为：上的正交投影矩阵为：线性表示，且线性表示，且与与正交，即正交，即，则，则，得投影矢量，得投影矢量西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十六页，本课件共有29页3.正交变换与正交矩阵正交变换与正交矩阵（2.13）式式给给出出了了到到矩矩阵阵的的列列空空间间上上的的正正交交投投影影矩矩阵阵，当当基基矢矢量量是是标标准准正正交交基基时时，（2.13）式式可可简简化化为（为（2.11）式形式。（）式形式。（2.13）式也称为）式也称为的伪逆。的伪逆。线线性性变变换换是是正正交交变变换换，如如果果对对线线性性空空间间中中的的任任意意矢矢量量，有有内内积积关关系系：，有有时时又又称称为为保保角角变变换换、酉酉变变换换。相相应应于于正正交交变变换换的的矩矩阵阵为为正交矩阵或酉矩阵，如果满足关系：正交矩阵或酉矩阵，如果满足关系：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十七页，本课件共有29页有限长序列有限长序列有限长序列有限长序列有有有有N个样本，它个样本，它个样本，它个样本，它的傅里叶变换的傅里叶变换在频率区间在频率区间的的N N个等间隔分布的点个等间隔分布的点个等间隔分布的点个等间隔分布的点上也有上也有上也有上也有N N个取个取个取个取样值。样值。样值。样值。两个重要例子：两个重要例子：例例1：离散傅氏变换：离散傅氏变换DFT是正交变换是正交变换西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十八页，本课件共有29页矩阵矩阵 常称为一种常称为一种Bulter矩阵矩阵（线性情况）。（线性情况）。则则DFT变换变换写成矩阵形式并归一化可得：写成矩阵形式并归一化可得：写成矩阵形式并归一化可得：写成矩阵形式并归一化可得：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第十九页，本课件共有29页正交变换正交变换是可逆变换，变换后无信息损失。是可逆变换，变换后无信息损失。大大家家知知道道，在在数数字字信信号号处处理理中中，DFT变变换换是是一一种种很很重重要要的的变变换换，我我们们常常用用它它对对数数据据变变换换到到频频域域，以以便便于于分分析析信信号号频频谱谱，在在阵阵列列信信号号处处理理中中，对对阵阵列列空空间间抽抽样样数数据据作作DFT，相相当当于于把把数数据据变变换换到到角角频频域域（波波束束空空间间beamspace），分析波达方向（），分析波达方向（DOA）。）。尽尽管管用用DFT技技术术作作谱谱分分析析时时其其分分辨辨率率不不高高，但但在在高高分分辨辨谱谱估估计计和和自自适适应应滤滤波波技技术术中中，DFT变变换换仍仍是是很很重重要要的的一一种种正正交交变变换换，在在后后面面我我们们还还要要多多次次利利用用它它对对数数据据作作DFT预变换，简化问题，这里只简单提一下。预变换，简化问题，这里只简单提一下。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十页，本课件共有29页例例2：K-L变换（卡变换（卡-洛变换）（洛变换）（karhuen-loeve）取上述连续情况的取上述连续情况的取上述连续情况的取上述连续情况的与与与与的的的的N N个均匀时间取样值，得：个均匀时间取样值，得：个均匀时间取样值，得：个均匀时间取样值，得：注意：注意：DFT变换是一种不依赖数据的变换（变换是一种不依赖数据的变换（data-independent），下面再介绍一种依赖于数据的正交），下面再介绍一种依赖于数据的正交变换（变换（data-dependent），随机矢量的线性变换。），随机矢量的线性变换。连续卡洛展开连续卡洛展开在在区间的连续随机信号区间的连续随机信号可展开为：可展开为：式中：展开系数式中：展开系数式中：展开系数式中：展开系数是随机变量；是随机变量；是随机变量；是随机变量；为基函数，它满足为基函数，它满足为基函数，它满足为基函数，它满足：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十一页，本课件共有29页所所以以对对于于随随机机序序列列，若若其其自自相相关关函函数数为为，则则K-L变换为：变换为：令令令令，则有，则有，则有，则有西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十二页，本课件共有29页 的的特点特点：对任一对任一 维维Hermite矩阵（矩阵（），其特征矢），其特征矢量构成量构成 维空间的一组标准正交基。因此，存在一维空间的一组标准正交基。因此，存在一正交矩阵正交矩阵 使得使得 与一对角阵相似，即：与一对角阵相似，即：物物理理意意义义：按按随随机机序序列列的的能能量量大大小小逐逐次次作作N个个正正交交方方向向分分解解。Y的的各各分分量量去去相相关关且且按按能能量量从从大大到到小小排排列。列。K-L变换有人叫最佳变换。变换有人叫最佳变换。2.2矩阵的分解矩阵的分解1.1.特征值分解特征值分解式中式中 为为 的特征值。的特征值。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十三页，本课件共有29页正正 定定（半半 正正 定定）性性：若若 Hermite阵阵 对对 任任 一一 非非 零零 矢矢 量量，有有 ，则称，则称为为正定（半正定）正定（半正定）的。的。正定的正定的Hermite矩阵矩阵的所有特征值为正数，即：的所有特征值为正数，即：(2.21)式中式中为为的特征值，的特征值，为为特征矢量。称此分解为特征矢量。称此分解为特征分解（特征分解（EVD）.2.奇异值分解（奇异值分解（SVD）对对，存在正交矩阵，存在正交矩阵和和，使得：，使得：式中式中 ,是是 的奇的奇异值异值 第二十四页，本课件共有29页容易验证：容易验证：3.矩阵矩阵QR分解分解 任一矩阵任一矩阵，总可以化为：，总可以化为：其中其中是正交矩阵，是正交矩阵，是上三角矩阵，（是上三角矩阵，（2.22）式称为）式称为的的QR分解。分解。西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十五页，本课件共有29页2.3复变量实函数求导数复变量实函数求导数研究实函数：研究实函数：，其中，其中 根据求导法则：根据求导法则：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十六页，本课件共有29页1.矩阵对标量求微分矩阵对标量求微分 设设 的元素的元素 是某一矢量的可微函数，则是某一矢量的可微函数，则若矩阵若矩阵的元素是某个自变量的元素是某个自变量（标量）的函数，（标量）的函数，当每一个当每一个均为可微函数时，可构成一个与均为可微函数时，可构成一个与同阶的矩阵：同阶的矩阵：，称作矩阵，称作矩阵对自变量对自变量的导的导数或微分。数或微分。矩阵的微分满足的基本运算规则为：矩阵的微分满足的基本运算规则为：2.矩阵对矢量求微分矩阵对矢量求微分 西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十七页，本课件共有29页矩阵矩阵 对矢量对矢量 的微分：的微分：3.矩阵对矩阵求微分矩阵对矩阵求微分 右右边边矩矩阵阵共共有有st个个块块，每每分分块块矩矩阵阵为为矩矩阵阵对对矩矩阵阵的的元元素素求导，所有分块矩阵按求导，所有分块矩阵按阵排列方式排列。阵排列方式排列。则则西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十八页，本课件共有29页例：例：其中其中 ，求，求 。解：解：西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室西安电子科技大学雷达信号处理实验室 第二十九页，本课件共有29页