(8.2)--8.2 特征学习机器学习与模式识别.ppt

Introduction of Feature特征概述特征概述CHAPTER ONE特征学习基础Foundations of Feature Learning一、特征学习基础一、特征学习基础数据挑战图像、声音、视频等数据维度过高社会、金融、医疗等大数据数量过大，分布过于复杂去噪，抗干扰去除与任务无关的特征降低特征中的噪声干扰提升性能精度、速度、稳定性为什么要进行特征学习一、特征学习基础一、特征学习基础子空间学习-PCA(Principal Component Analysis，主元分析)-ICA(Independent Component Analysis，独立元分析)-LDA(Linear Discriminant Analysis，线性判别分析)稀疏表征学习-稀疏编码、压缩感知、词袋模型流形学习-MDS(Multi-Dimensional Scaling，MDS)-Isomap(Isometric Mapping)-LLE(Locally Linear Embedding)神经网络与深度学习常见特征学习方法CHAPTER TWO子空间学习Subspace Learning二、子空间学习二、子空间学习主要目的：降维-即通过几何投影变换实现高维特征向低维空间的映射。数学本质：优化-以子空间基向量为自变量-以降维结果的某种性能度量为目标函数常见算法（线性子空间）-主成分分析（PCA）：以损失最小化为目标-独立成分分析（ICA）：以独立性最大化为目标-线性判别分析（LDA）：以分类性能最优为目标概念介绍二、子空间学习二、子空间学习几何解释数学模型特征样本1212待优化对象CHAPTER THREE稀疏编码Sparse Coding三、稀疏编码三、稀疏编码概念介绍CHAPTER FOUR流形学习Manifold Learning四、流形学习四、流形学习主要目的：降维，可视化，线性化-保持局部结构，将高维非线性分布映射到低维线性分布数学本质：样本分布局部一致性优化-自变量：低维空间中的分布-目标函数：映射前后的局部一致性常见算法：-多维缩放(Multi-Dimensional Scaling)：样本间欧式距离一致性-等度量映射(Isometric Mapping)：样本间测地线距离一致性-局部线性嵌入(Locally Linear Embedding)：邻域线性关系的一致性概念介绍CHAPTER FIVE神经网络与深度学习Neural Networks and Deep learning五、神经网络与深度学习五、神经网络与深度学习基于神经网络学习实现特征工程概念介绍inputinput特征抽取机器学习模型outputoutput训练神经网络模型端对端学习深度学习特征工程的自动化特征与任务的一体化超强非线性学习能力主要目的：从数据中自动学到有效的特征表示优 势：替代人工设计特征，提升特征性能深度学习：从数据中学习到一个“深度模型”深度学习的数据处理流程五、神经网络与深度学习五、神经网络与深度学习神经网络与深度学习指原始数据 进行非线性特征转换的次数原始数据原始数据底底层层特征特征中中层层特征特征高高层层特征特征识别识别结结果果表示学表示学习习深度学深度学习习-传统方法：表示学习独立于识别模型的学习-深度学习：特征与识别模块的一体化学习-工具方法：神经网络模型+误差反向传播算法五、神经网络与深度学习五、神经网络与深度学习卷积层1ResNet50五、神经网络与深度学习五、神经网络与深度学习卷积层2ResNet50五、神经网络与深度学习五、神经网络与深度学习卷积层3ResNet50CHAPTER SIX对比分析Comparison and Analysis六、对比分析六、对比分析优缺点方法方法优点点缺点缺点子空间学习简洁、高效、稳定无法处理非线性分布特征性能较弱稀疏编码表征效率高抗干扰性好典型模式挖掘能力强字典存储量较大学习算法复杂优化性能不稳定流形学习非线性表达能力强可视化效果好可扩展性差计算复杂对样本分布比较敏感深度学习表征能力超强适应性强，无需人工干预任务性能更好缺乏可解释性过于依赖标签信息总结SummaryLM&PRMADE BY DONGYUE CHENTHANK YOU感谢聆听