各种向量和矩阵的范数的意义.ppt

《各种向量和矩阵的范数的意义.ppt》由会员分享，可在线阅读，更多相关《各种向量和矩阵的范数的意义.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、向量和矩向量和矩阵的范数的范数马玉玲玉玲2017年年03月月08日日1Outline1.相关概念相关概念学学习、误差和目差和目标函数函数2.范数概念范数概念3.向量的范数及含向量的范数及含义4.矩矩阵的范数及含的范数及含义2Outline1.相关概念相关概念学学习、误差和目差和目标函数函数2.范数概念范数概念3.向量的范数及含向量的范数及含义4.矩矩阵的范数及含的范数及含义3Basisknowledge相关概念相关概念学学习A computer program is said to learn fromexperienceEwithrespecttosomeclassoftasksTand p

2、erformance measure P,if its performance attasks in T,as measured by P,improves withexperienceE.利用经验，改善执行某任务时的系统性能。4Basisknowledge相关概念相关概念学学习5Basisknowledge相关概念相关概念学学习6Basisknowledge相关概念相关概念学学习备注：表来自周老师西瓜书课件7Basisknowledge相关概念相关概念学学习函数函数y=f(x)备注：本页ppt来自周老师西瓜书课件8Basisknowledge相关概念相关概念学学习线性模型y=wTx+b备注：

3、表来自周老师西瓜书课件x(1)x(2)x(3)插值法9Basisknowledge相关概念相关概念学学习备注：表来自周老师西瓜书课件xY=10BasisknowledgeEmpiricalerror:Generalizationerror:Errorparameter:PredictwronglyDI(a):1ifa=true0else相关概念相关概念误差差假定数据集假定数据集DThevalueofisdependantonthetask11相关概念相关概念目目标函数函数一般来说，监督学习可以看做最小化下面的目标函数：误差差项正正则化化项正则化项可以约束模型的特性。这样就可以将人对这个模型的先

4、验知识融入到模型的学习当中。范数范数是正则化是正则化的常用方法的常用方法12Outline1.相关概念相关概念误差和目差和目标函数函数2.范数概念范数概念3.向量的范数及含向量的范数及含义4.矩矩阵的范数及含的范数及含义13范数的概念范数的概念范数的目的：对向量及矩阵的“大小”进行度量14向量的范数向量的范数XRn 为一一实向量，向量，X的范式定的范式定义如下：如下：L1-normL2-normL-norm统称称为pL0范数：指向量中范数：指向量中非非0的元素的个数的元素的个数X=-12-2|X|0=3|X|1=5|X|=2|X|2=315范数的含范数的含义L0范数：指向量中非范数：指向量中非

5、0的元素的个数的元素的个数最小化最小化L0范数范数数据稀疏的好处：1.存储成本低2.自动实现特征选择(FeatureSelection)3.可解释性强(Interpretability)应用：病因分析用：病因分析但是，L0范数很难很难优化求解，是一个NP-Hard问题。稀疏稀疏16范数的含范数的含义L1范数：范数：L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。所以L1范数被称为“稀疏规则算子”（Lasso）taxicabNorm，也叫ManhattanNorm稀疏编码特征选择压缩感知17范数的含范数的含义（续）L2范数：又称“岭回归”（Ridge Regression），“权

6、值衰减（weight decay）”，EuclideanNorm最小化L2范数，可以使得X的元素值都很小，大都接近于018范数的含范数的含义（L2-norm）L2范数的好范数的好处：1.改善改善“过拟合合（overfitting）”欠欠拟合合underfitting：训练集上集上误差很大，差很大，即模型即模型不能很好地不能很好地拟合合已有已有数据；数据；关于关于“过拟合过拟合”：在数学上称为“病态”（ill-condition):即函数的输入改变一点点，输出却改变非常大。过拟合合（overfitting）：模型：模型很好地很好地拟合合训练数据，然而在数据，然而在新新样本本上表上表现却很差。却很

7、差。L2范数限制了参数都很小，实际上就限制了多项式各分量的影响很小，一定程度上避免了模型出现“病态”的情况。2.2.利于利于优化化19范数的含范数的含义（L2-norm）L2范数的好范数的好处：1.改善改善“过拟合合（overfitting）”2.2.利于利于优化化机器学习中有时候损失函数是非凸的，例如：神经网络。采用梯度下降之类的优化方法时，容易卡住（Stuck in），导致很差的解。非凸的损失函数加入L2范数后20知知识扩展展稀疏性分析：稀疏性分析：模型空间限制在w的一个L-ball中。在(w1,w2)平面上可以画出目标函数的等高线，而约束条件则成为平面上半径为C的一个normball。等

8、高线与normball首次相交首次相交的地方就是最优解。与L2范数相比，L1范数更有可能得到值为0的解，所以导致稀疏。21优化求解：化求解：由于L1范数并没有平滑的函数（non-smooth）表示，起初L1最优化问题解决起来非常困难，但随着计算机技术的发展，目前已有很多凸优化算法(例如：线性规划/非线性规划等）使得L1最优化。L1范数：范数：22优化求解：化求解：L1范数：范数：虽然，L1范数并没有平滑的函数（non-smooth）表示，但比L2范数更容易找到最优解。23优化求解：化求解：L1范数：范数：目前，已经有很多工具箱，例如l1-magic,SparseLab,ISAL1,24优化求解

9、：化求解：因为L2-范数本身具有平滑（smooth）的属性，找到单一的最优解比较困难。L2范数：范数：25BasisknowledgeL2范数最小二乘范数最小二乘优化：化：xY=加入一个加入一个L2范数范数|w|2伪逆26优化求解：化求解：在不能求得解析解的情况下，具体分析目标函数的性质（凸否？连续否？光滑否？）还可以使用凸优化方法进行求解，例如：牛顿法、最速下降法、共轭梯度法、高斯牛顿法等等，大规模数据情况下的随机梯度下降（SGD）,交替方向交替方向乘子乘子法法(ADMM)L2范数：范数：红色：牛顿法绿色：梯度下降法27Outline1.相关概念相关概念误差和目差和目标函数函数2.范数概念范

10、数概念3.向量的范数及含向量的范数及含义4.矩矩阵的范数及含的范数及含义28矩矩阵的范数的范数29矩矩阵的范数（的范数（续）设A为n行行n列的矩列的矩阵，矩，矩阵的范数定的范数定义如下：如下：列范数列范数行范数行范数谱范数范数56530举例：例：31矩矩阵的范数（的范数（续）设A为n行行n列的矩列的矩阵，矩，矩阵的范数定的范数定义如下：如下：谱范数（不好范数（不好优化）化）以上为数学上范数的定义，只有F-范数在“机器学习”中常用，此处1-范数在机器学习中一般称为“l1范数”。矩阵范数最好参考相关论文中的定义。常用常用32矩矩阵的范数的范数-机器学机器学习领域域常用范数：常用范数：按列向量按列向

11、量先求先求2-范数，范数，再求再求1-范数范数矩矩阵先先扩展展为向量，再求范数向量，再求范数英文英文为Nuclear norm，指矩，指矩阵奇奇异异值的和（迹的和（迹trace），故又称），故又称为trace-norm按列向量按列向量先求先求1-范数，范数，再求再求2-范数范数33矩矩阵范数的含范数的含义 最小化矩阵的F范数，会使得矩阵的每个元素都很小，接近于0|A-B|F的含的含义？|A-B|F可度量可度量A，B之之间的差异，的差异，最小化最小化可使得两者可使得两者尽可能的相等。尽可能的相等。34举例例F范数范数应用用 35矩矩阵范数的含范数的含义（续）核范数核范数|W|*：指：指矩矩阵奇异

12、奇异值的和，英文的和，英文为Nuclear norm最小化核范数可以最小化核范数可以导致矩致矩阵低秩（低秩（Low-Rank）。36矩矩阵范数的含范数的含义（续）低秩矩低秩矩阵：如果如果X是一个是一个m行行n列的数列的数值矩矩阵，rank(X)是是X的的秩，假如秩，假如rank(X)远小于小于m和和n，则我我们称称X是是低秩矩低秩矩阵。冗余信息冗余信息矩矩阵的的秩秩：矩：矩阵的的行列之行列之间的相关性的相关性的度量。如果矩的度量。如果矩阵的各行或列是的各行或列是线性无关性无关的，矩的，矩阵就是就是满秩的秩的，也就，也就是秩等于行数。是秩等于行数。37矩矩阵范数的含范数的含义（续）25*15的图

13、像组成元素但是rank()是非凸的，在优化问题里面很难求解，那么就需要寻找它的凸近似。rank(w)的凸近似就是核范数|W|*手工求矩阵的秩：通过矩阵初等变换把A化为阶梯型矩阵，若该阶梯型矩阵有r个非零行，那A的秩rank(A)就等于r。38应用举例核范数矩矩阵低秩的用低秩的用处：1）矩）矩阵填充填充(Matrix Completion)：例如：例如-推荐系推荐系统2）鲁棒棒PCA3）背景建模）背景建模4）变换不不变低秩低秩纹理（理（TILT）39应用举例核范数稀疏噪声稀疏噪声低秩低秩结构构信息信息鲁棒PCA:40矩矩阵范数的含范数的含义p=1时，为矩矩阵的的1-范数，范数，最小化最小化|A|

14、1范数能范数能让矩矩阵A元素元素稀疏稀疏p=2时，为矩矩阵的的2-范数，即范数，即F范数范数稀疏矩阵的优点：计算速度更快 存储成本低 可解释性强（例如：文本分类中，可知哪些词对类别起重要作用）41矩矩阵范数的含范数的含义KongD,FujimakiR,LiuJ,etal.Exclusivefeaturelearningonarbitrarystructuresvial1,2-normJ.AdvancesinNeuralInformationProcessingSystems,2014,2:1655-1663.最小化最小化|A|2,1范数能范数能让矩矩阵A不同行之不同行之间（列向量）（列向量）稀

15、疏稀疏GroupLassoc1c2cn42矩矩阵范数的含范数的含义LassoGroupLassoHierarchicalLasso文本分类中的应用：找出关键词找出关键句子找出关键段43矩矩阵范数的含范数的含义KongD,FujimakiR,LiuJ,etal.Exclusivefeaturelearningonarbitrarystructuresvial1,2-normJ.AdvancesinNeuralInformationProcessingSystems,2014,2:1655-1663.最小化最小化|A|1,2范数能范数能让矩矩阵行内行内元素元素互斥互斥互斥：互斥：行内行内存在存在0元素元素且且不能不能全全为0.用途：用途：特征特征选择的的时候候不同的不同的类别可以可以选择互互斥的特征斥的特征44Thanks45