张量分解学习精选PPT.ppt

《张量分解学习精选PPT.ppt》由会员分享，可在线阅读，更多相关《张量分解学习精选PPT.ppt（47页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于张量分解学习关于张量分解学习第1页，讲稿共47张，创作于星期六2 2基本概念及记号第2页，讲稿共47张，创作于星期六3 3张量（tensor）多维数组基本概念及记号一阶张量一阶张量（向量）（向量）二阶张量二阶张量（矩阵）（矩阵）三阶张量三阶张量第3页，讲稿共47张，创作于星期六4 4张量空间由若干个向量空间中的基底的外积张成的空间基本概念及记号向量的外积和内积向量的外积和内积第4页，讲稿共47张，创作于星期六5 5阶（order/ways/modes/rank）张成所属张量空间的向量空间的个数一阶张量（向量）：二阶张量（矩阵）：三阶或更高阶张量：零阶张量（数量）：基本概念及记号三阶张量：三

2、阶张量：第5页，讲稿共47张，创作于星期六6 6纤维（fiber）基本概念及记号mode-1 mode-1（列）（列）纤维：纤维：mode-2 mode-2（行）（行）纤维：纤维：mode-3 mode-3（管）（管）纤维：纤维：第6页，讲稿共47张，创作于星期六7 7切片（slice）基本概念及记号水平切片：水平切片：侧面切片：侧面切片：正面切片：正面切片：第7页，讲稿共47张，创作于星期六8 8内积和范数设内积：（Frobenius）范数：基本概念及记号第8页，讲稿共47张，创作于星期六9 9秩一张量/可合张量N阶张量 是一个秩一张量，如果它能被写成N个向量的外积，即基本概念及记号三阶秩一

3、张量：三阶秩一张量：第9页，讲稿共47张，创作于星期六1010（超）对称和（超）对角立方张量：各个mode的长度相等对称：一个立方张量是对称的，如果其元素在下标的任意排列下是常数。如一个三阶立方张量是超对称的，如果对角：仅当 时，基本概念及记号张量的（超）对角线张量的（超）对角线第10页，讲稿共47张，创作于星期六1111展开（matricization/unfolding/flattening）将N阶张量 沿mode-n展开成一个矩阵基本概念及记号三阶张量的三阶张量的mode-1mode-1展开展开第11页，讲稿共47张，创作于星期六1212n-mode（矩阵）乘积一个张量 和一个矩阵 的n

4、-mode乘积 ，其元素定义为这个定义可以写成沿mode-n展开的形式性质：基本概念及记号第12页，讲稿共47张，创作于星期六1313n-mode（向量）乘积一个张量 和一个向量 的n-mode乘积 ，其元素定义为性质：基本概念及记号第13页，讲稿共47张，创作于星期六1414矩阵的Kronecker乘积 ，则性质：基本概念及记号第14页，讲稿共47张，创作于星期六1515矩阵的Kronecker乘积矩阵的Kronecker积还和张量和矩阵的n-mode乘积有如下关系基本概念及记号第15页，讲稿共47张，创作于星期六1616矩阵的Khatri-Rao乘积 ，则性质：基本概念及记号第16页，讲稿

5、共47张，创作于星期六1717矩阵的Hadamard乘积 ，则性质：基本概念及记号第17页，讲稿共47张，创作于星期六1818CP分解第18页，讲稿共47张，创作于星期六1919CP分解的其他名字Polyadic Form of a Tensor,Hitchcock,1927PARAFAC(Parallel Factors),Harshman,1970CANDECOMP/CAND(Canonical decomposition),Carroll&Chang,1970Topographic Components Model,Mcks,1988CP(CANDECOMP/PARAFAC),Kiers

6、,2000CP分解第19页，讲稿共47张，创作于星期六2020CP分解的张量形式将一个张量表示成有限个秩一张量之和，比如一个三阶张量可以分解为CP分解三阶张量的三阶张量的CPCP分解分解第20页，讲稿共47张，创作于星期六2121CP分解的矩阵形式因子矩阵：秩一张量中对应的向量组成的矩阵，如利用因子矩阵，一个三阶张量的CP分解可以写成展开形式CP分解第21页，讲稿共47张，创作于星期六2222CP分解的切片形式三阶张量的CP分解有时按（正面）切片写成如下形式：其中CP分解三阶张量三阶张量CPCP分解的正面切片形式分解的正面切片形式第22页，讲稿共47张，创作于星期六2323带权CP分解为了计算

7、方便，通常假设因子矩阵的列是单位长度的，从而需要引入一个权重向量 ，使CP分解变为对于高阶张量，有其展开形式为CP分解第23页，讲稿共47张，创作于星期六2424张量的秩和秩分解张量 的秩定义为用秩一张量之和来精确表示 所需要的秩一张量的最少个数，记为秩分解：可见秩分解是一个特殊的CP分解，对应于矩阵的SVD目前还没有方法能够直接求解一个任意给定张量的秩，这被证明是一个NP-hard问题 CP分解第24页，讲稿共47张，创作于星期六2525张量的秩不同于矩阵的秩，高阶张量的秩在实数域和复数域上不一定相同。例如一个三阶张量在实数域内进行秩分解得到的因子矩阵为而在复数域内进行分解得到的因子矩阵为C

8、P分解第25页，讲稿共47张，创作于星期六2626张量的低秩近似相对于矩阵的SVD来说，高阶张量的秩分解唯一性不需要正交性条件保证，只需满足：这里 表示矩阵 的k-秩：任意k列都线性无关的最大的kCP分解第26页，讲稿共47张，创作于星期六2727张量的低秩近似然而在低秩近似方面，高阶张量的性质比矩阵SVD差Kolda给出了一个例子，一个立方张量的最佳秩-1近似并不包括在其最佳秩-2近似中，这说明张量的秩-k近似无法渐进地得到下面的例子说明，张量的“最佳”秩-k近似甚至不一定存在CP分解第27页，讲稿共47张，创作于星期六2828张量的低秩近似退化：如果一个张量能够被一系列的低秩张量任意逼近边

9、缘秩（border rank）：能够任意逼近一个张量的最少的成分个数CP分解秩秩2 2秩秩3 3一个秩为一个秩为2 2的张量序列收敛到一个秩的张量序列收敛到一个秩3 3张量张量第28页，讲稿共47张，创作于星期六2929CP分解的计算分解成多少个秩一张量（成分）之和？通常的做法是从1开始尝试，知道碰到一个“好”的结果为止如果有较强的应用背景和先验信息，可以预先指定对于给定的成分数目，怎么求解CP分解？目前仍然没有一个完美的解决方案从效果来看，交替最小二乘（Alternating Least Square）是一类比较有效的算法CP分解第29页，讲稿共47张，创作于星期六3030CP分解的计算以一

10、个三阶张量 为例，假定成分个数 已知，目标为作为ALS的一个子问题，固定 和 ，求解得 再通过归一化分别求出 和CP分解第30页，讲稿共47张，创作于星期六3131CP分解的计算ALS算法并不能保证收敛到一个极小点，甚至不一定能收敛到稳定点，它只能找到一个目标函数不再下降的点算法的初始化可以是随机的，也可以将因子矩阵初始化为对应展开的奇异向量，如将 初始化为 的前 个左奇异向量CP分解第31页，讲稿共47张，创作于星期六3232CP分解的应用计量心理学语音分析化学计量学独立成分分析神经科学数据挖掘高维算子近似随即偏微分方程CP分解第32页，讲稿共47张，创作于星期六3333Tucker分解第3

11、3页，讲稿共47张，创作于星期六3434Tucker分解的其他名字Three-mode factor analysis(3MFA/Tucker3),Tucker,1966Three-mode principal component analysis(3MPCA),Kroonenberg&De Leeuw,1980N-mode principal components analysis,Kapteyn et al.,1986Higher-order SVD(HOSVD),De Lathauwer et al.,2000N-mode SVD,Vasilescu and Terzopoulos,20

12、02Tucker分解第34页，讲稿共47张，创作于星期六3535Tucker分解Tucker分解是一种高阶的主成分分析，它将一个张量表示成一个核心（core）张量沿每一个mode乘上一个矩阵。对于三阶张量 来说，其Tucker分解为因子矩阵 通常是正交的，可以视为沿相应mode的主成分Tucker分解第35页，讲稿共47张，创作于星期六3636Tucker分解容易看出，CP分解是Tucker分解的一种特殊形式：如果核心张量 是对角的，且 ，则Tucker分解就退化成了CP分解Tucker分解三阶张量的三阶张量的TuckerTucker分解分解第36页，讲稿共47张，创作于星期六3737Tuck

13、er分解的矩阵形式三阶Tucker分解的展开形式为Tucker分解可以推广到高阶张量Tucker分解第37页，讲稿共47张，创作于星期六3838Tucker2和Tucker1对于三阶张量固定一个因子矩阵为单位阵，就得到Tucker分解一个重要的特例：Tucker2。例如固定 ，则进一步，固定两个因子矩阵，就得到了Tucker1，例如令第二、三个因子矩阵为单位阵，则Tucker分解就退化成了普通的PCATucker分解第38页，讲稿共47张，创作于星期六3939张量的n-秩近似一个N阶张量 的n-秩定义为若设 ，则 叫做一个秩-张量如果 ，则很容易得到 的一个精确秩-Tucker分解；然而如果至

14、少有一个 使得 ，则通过Tucker分解得到的就是 的一个秩-近似Tucker分解第39页，讲稿共47张，创作于星期六4040张量的n-秩近似Tucker分解截断的截断的TuckerTucker分解：秩分解：秩-近似近似第40页，讲稿共47张，创作于星期六4141张量的n-秩近似对于固定的n-秩，Tucker分解的唯一性不能保证，所以需要添加其他的约束通常要求核心张量是“简单”的，如各个mode的主成分之间尽量不发生相互作用（稀疏性），或者其他的“简单性”约束Tucker分解第41页，讲稿共47张，创作于星期六4242Tucker分解的计算HOSVD：利用SVD对每个mode做一次Tucker

15、1分解（截断或者不截断）HOSVD不能保证得到一个较好的近似，但HOSVD的结果可以作为一个其他迭代算法（如HOOI）的很好的初始解Tucker分解第42页，讲稿共47张，创作于星期六4343Tucker分解的计算为了导出HOOI迭代算法，先考虑目标函数从而 应该满足Tucker分解第43页，讲稿共47张，创作于星期六4444Tucker分解的计算目标函数的平方变为Tucker分解第44页，讲稿共47张，创作于星期六4545Tucker分解的计算所以问题可以进行如下转化利用交替求解的思想，问题变为解如下子问题这个问题可以通过令 为 的前 个左奇异值向量来解决Tucker分解第45页，讲稿共47张，创作于星期六4646Tucker分解的应用化学分析计量心理学信号处理机器视觉（面部、动作）数据压缩纹理生成数据挖掘环境和网络建模Tucker分解第46页，讲稿共47张，创作于星期六2023/4/122023/4/12感谢大家观看第47页，讲稿共47张，创作于星期六