深度学习常用模型.pptx

《深度学习常用模型.pptx》由会员分享，可在线阅读，更多相关《深度学习常用模型.pptx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、深度学习常用模型简介深度学习常用模型 1.1.自动编码器自动编码器自动编码器自动编码器 AutoEncoder AutoEncoder 2.2.稀疏编码稀疏编码稀疏编码稀疏编码 Sparse Coding Sparse Coding 3.3.限制波尔兹曼机限制波尔兹曼机限制波尔兹曼机限制波尔兹曼机 Restricted Boltzmann Machine Restricted Boltzmann Machine(RBM)(RBM)4.4.深信度网络深信度网络深信度网络深信度网络 Deep Belief Networks Deep Belief Networks 5.5.卷积神经网络卷积神经网络

2、卷积神经网络卷积神经网络 Convolutional Neural Networks Convolutional Neural Networks目录 1.AutoEncoder 一种尽可能复现一种尽可能复现输入信号输入信号输入信号输入信号的神经网络的神经网络。必须捕捉可以代表输入数据的最重要的因素必须捕捉可以代表输入数据的最重要的因素。具体过程如下。1.AutoEncoder1.给定无标签数据给定无标签数据给定无标签数据给定无标签数据，用非监督学习学习特征用非监督学习学习特征用非监督学习学习特征用非监督学习学习特征现在我们只有无标签数据，那么这个误差怎么得到呢？1.AutoEncoder通过调

3、整encoder和decoder的参数，使得重构误差最小误差的来源就是直接重构后与原输入相比得到 1.AutoEncoder3.有监督微调。有监督微调。有监督微调。有监督微调。将最后层的特征将最后层的特征codecode输入到最后的分类器，通过有标签样本，输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，通过监督学习进行微调，这也分两种，（1 1）只调整分类器（黑色部分）：只调整分类器（黑色部分）：AutoEncoder3.有监督微调。有监督微调。有监督微调。有监督微调。将最后层的特征将最后层的特征codecode输入到最后的分类器，通过有标签样本，输入到最后的分类器，通过

4、有标签样本，通过监督学习进行微调，这也分两种，通过监督学习进行微调，这也分两种，（2 2）通过有标签样本，微调整个系统通过有标签样本，微调整个系统一旦监督训练完成，这个网络就可以用来分类了此外，AutoEncoder存在一些变体，如如Sparse AutoEncoder、Denoising AutoEncoders（训练数据中加入噪声）（训练数据中加入噪声）2.Sparse Coding 利用线性代数中基的概念，即利用线性代数中基的概念，即O=aO=a1 1*1 1+a+a2 2*2 2+.+a+.+an n*n n，i i是基，是基，a ai i是系数，我们可以得到这样一个优化问题：是系数，

5、我们可以得到这样一个优化问题：Min|IO|Min|IO|，I I表示输入，表示输入，O O表示输出。表示输出。通过求解这个最优化式子，我们可以求得系数通过求解这个最优化式子，我们可以求得系数a ai i和基和基 i i，这些，这些系数系数 和基就是输入的另外一种近似表达。和基就是输入的另外一种近似表达。2.Sparse Coding 就是将一个信号表示为就是将一个信号表示为一组基一组基的线性组合，而且要求只需要的线性组合，而且要求只需要较少的几个基就可以将信号表示出来。较少的几个基就可以将信号表示出来。“稀疏性稀疏性”定义为：只定义为：只有很少的有很少的几个非零元素几个非零元素或只有很少的几

6、个或只有很少的几个远大于零的元素远大于零的元素。稀疏编码算法是一种稀疏编码算法是一种无监督学习无监督学习方法，它用来寻找一组方法，它用来寻找一组“超超完备完备”基向量来更高效地表示样本数据（也就是说，基向量基向量来更高效地表示样本数据（也就是说，基向量的个数比输入向量的的个数比输入向量的维数要大维数要大）。2.Sparse Coding不同方向的Edge就能够描述出整幅图像，2.Sparse CodingSparse coding分为两个部分：分为两个部分：1）Training阶段：给定一系列的样本图片x1,x2,，我们需要学习得到一组基1,2,k，也就是字典。训练过程就是一个重复迭代的过程，

7、按上面所说，我们交替的更改a和使得下面这个目标函数最小。目标函数最小。a）固定字典k，然后调整ak，使得上式，即目标函数最小b）然后固定住ak，调整k，使得上式，即目标函数最小 不断迭代，直至收敛。不断迭代，直至收敛。这样就可以得到一组可以良好表示这一系列x的基，也就是字典。2.Sparse CodingSparse coding分为两个部分：分为两个部分：1）Coding阶段阶段：给定一个新的图片x，由上面得到的字典，通过解一个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入向量x的一个稀疏表达了。例如 3.Restricted Boltzmann Machine(RBM)RBM的特点

8、二部图每一层的节点之间没有链接一层是可视层，即输入数据层（v)，一层是隐藏层(h)，节点都是随机二值变量节点（0或1）全概率分布p(v,h)满足Boltzmann分布那么这个模型就是限制玻尔兹曼机 3.Restricted Boltzmann Machine(RBM)隐藏层的层数增加，我们可以得到DeepBoltzmannMachine(DBM)如果我们在靠近可视层的部分使用贝叶斯信念网络（即有向图模型），而在最远离可视层的部分使用RestrictedBoltzmannMachine，我们可以得到DeepBeliefNet（DBN）4.Deep Belief Networks深信度网络深信度网

9、络概率生成模型建立一个观察数据和标签之间的联合分布5.Convolutional Neural Networks卷积神经网络卷积神经网络1.卷积神经网络的特点：卷积神经网络的特点：人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。第一个真正成功训练多层网络结构的学习算法 权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。2.卷积神经网络的网络结构卷积神经网络的网络结构5.Convolutional Neural Networks卷积神经网络卷积神经网络3.关于参数减少

10、与权值共享关于参数减少与权值共享图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。局部感受野权值共享时间或空间亚采样5.Convolutional Neural Networks卷积神经网络卷积神经网络4.典型举例典型举例一种典型的用来识别数字的卷积网络是LeNet-5，共有7层，不包含输入，每层都包含可训练参数（连接权重）C1：卷积层（原信号特征增强，并且降低噪音）S2：下采样层C3：卷积层S4：是一个下采样层C5：是一个卷积层5

11、.Convolutional Neural Networks卷积神经网络卷积神经网络5.卷积和子采样过程5.Convolutional Neural Networks卷积神经网络卷积神经网络6.训练过程主要包括4步，这4步被分为两个阶段：第一阶段，向前传播阶段：第一阶段，向前传播阶段：a）从样本集中取一个样本(X,Yp)，将X输入网络；b）计算相应的实际输出Op。第二阶段，向后传播阶段 a）算实际输出Op与相应的理想输出Yp的差；b）按极小化误差的方法反向传播调整权矩阵 5.Convolutional Neural Networks卷积神经网络卷积神经网络卷积网络较一般神经网络在图像处理方面有如下优点a）输入图像和网络的拓扑结构能很好的吻合；b）特征提取和模式分类同时进行，并同时在训练中产生；c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。相关参考文献见附件