学习笔记——神经网络与深度学习.docx

《学习笔记——神经网络与深度学习.docx》由会员分享，可在线阅读，更多相关《学习笔记——神经网络与深度学习.docx（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、学习笔记神经网络与深度学习第一局部机器学习根底Chapter1绪论1、为了学习一种好的标识需要构建具有一定深度的模型并通过学习算法让模型自动学习初更好的特征表示。深度指的是原始数据进展非线性特征转换的次数。2、奉献度分配问题即一个系统中不同的组件或者参数读最终系统输出结果的奉献或者影响。-强化学习每个内部组件并不能直接得到监视学习需要通过整个模型的最终监视信息奖励得到并具有一定延时性。3、传统ML任务切割成多个子模块每个子模块单独学习。问题优化目的不能与总体目的一致存在错误传播问题。端到端学习经过中不进展分模块或者分阶段训练直接优化任务总体目的。4、短期记忆-凝固作用-长期记忆HebbianT

2、heory:两个神经元总相关联的收到刺激他们之间的突触强度增加。5、网络容量神经网络塑造复杂函数的才能与存储在网络中信息的复杂度和数量相关。6、机器学习三要素模型、学习准那么以及优化算法why神经网络神经网络作为一类非线性的机器学习模型可以更好的实现输入以及输出之间的映射。Chapter2机器学习概述1、机器学习是对能通过经历自动改良的计算机算法的研究。-TomMitchell机器学习就是让计算机从数据中进展自动学习得到某种知识或者规律。机器学习的方法通过数据来学习2、机器学习模型近似真实映射函数或者真实条件概率分布。根据经历假设的函数集合-假设空间气氛线性以及非线性模型两种。广义的非线性模型

3、多个非线性基函数的线性组合3、损失函数非负实数函数用来量化模型预测以及真实标签之间的差异。分类问题常用穿插熵损失函数负对数似然函数4、过拟合的理解找到两个假设f以及f在训练集上f损失比f损失小但在整个样本空间上f损失小那么假设f过度拟合训练数据。过拟合往往由于训练数据少、噪声和模型才能强等原因造成的。解决参数正那么化l1l2范数正那么化所有损害优化的方法都是正那么化1增加优化约束L1L2约束、数据增强2干扰优化经过权重衰减、随机梯度下降、提早停顿5、机器学习中的优化分为参数优化以及超参数优化常见超参数聚类算法中的类别个数梯度下降中的步长、正那么化项的系数、神经网络的层数、支持向量机中的核函数等

4、。6、批量梯度下降每次迭代计算每个样本的梯度并求以及随机梯度下降每次迭代只收集一个样本计算该样本的梯度并更新。小批量梯度下降Mini-BatchGradientDescent是前两者的折中每次迭代是随机选取一小局部训练样本来计算梯度并更新参数。区别在于每次迭代的优化目的是对所有样本的平均损失函数还是对单个样本的损失函数。7、参数估计方法经历风险最小化-平方损失函数最小二乘法要求各个特征之间互相独立构造风险最小化-岭回归对角线元素参加一个常数概率分布-最大似然估计/对数似然估计训练数据较少容易过拟合最大后验估计-参数首先服从某先验分布like高斯分布-贝叶斯估计参数的一种区间估计8、偏向方差的理

5、解偏向一个模型在不同训练集上的平均性能以及最优模型的差异-衡量模型的拟合才能方差一个模型在不同训练集上的差异-衡量模型是否容易过拟合方差一般会随着训练样本的增加而减少进一步在方差比拟小时选择才能强的模型来减小偏向但实际任务中训练集往往比拟有限最优偏向以及最优方差往往无法兼顾。偏向高训练集上错误率较高模型拟合才能缺乏-增加数据特征、进步模型复杂度、减小正那么化系数方差高训练集错误率低验证集错误率高模型过拟合-降低模型复杂度、加大正那么化系数、引入先验另一种-集成模型即通太多个高方差模型的平均来降低方差9、机器学习算法类型函数线性模型非线性模型学习准那么统计方法以及非统计方法根据样本提供的信息及反

6、应方式监视学习、无监视学习、强化学习监视学习回归、分类、构造化学习输出空间是构造化对象如序列、树或者图等过渡弱监视学习、半监视学习无监视学习训练样本无标签、自动学习强化学习通过交互调整学习策略10、特征怎样学习传统的机器学习特征选择-特征抽取特征选择子集搜索过滤式方法、包裹式方法特征抽取降维深度学习根据学习模型端到端11、一些定理PAC学习ProbablyApproximatelyCorrect可能近似正确。PAC可学习的算法是指该学习算法可以在多项式时间内从合理数量的训练数据中学习到一个近似正确的系统函数f(x)Part1近似正确-定义一个泛化错误界限Part2可能-反推所需样本数量没有免费

7、午餐定理NoFreeLunchTheory对于基于迭代的最优化算法不存在某种算法所有问题在有限的搜索空间内都有效。奥卡姆剃刀原理OccamsRazor:如无必要勿增实体。简单的模型泛化才能更好归纳偏置对一些学习问题做一些假设这些假设就是归纳偏置InductiveBias2020/3/222020/3/24Chapter3线性模型1、线性分类模型如Logistic回归Softmax回归感悟器以及SVM区别在于损失函数不同Logistic回归预测值为标签的对数几率C2Softmax回归多类的Logistic回归CN-对all权重向量减去一个同样的向量v是不改变输出的因此sofymac常需要正那么化

8、来约束其参数感悟器Perceptron权重、偏置、激活函数-输出为1需要保证在训练集线性可分的情况下感悟器可在有限次数迭代后收敛而且固然线性可分但训练出来不能保证其泛化性感悟器对样本顺序也比拟敏感每次迭代顺序不一样找到的超平面也往往不一样排在后面的错误样本对最终权重影响更大-improved:参数平均SVM做二分类寻找一个超平面使margin最大核函数将样本从原始空间映射到更高维空间解决原特征空间线性不可分的问题2、所谓“线性分类模型指其决策边界是线性超平面3、多分类处理思路4、分类处理的是离散的类别标签线性分类模型一般是一个线性判别函数非线性激活函数Chapter4前馈神经网络1.分布式并行

9、处理ParallelDistributedProcessing,PDP.信息表示是分布式的非部分的记忆以及知识是存储在单元之间的连接上通过逐渐改变单元之间的连接强度来学习新的知识2.MP神经元激活函数f为0或者1的阶跃函数当代神经元激活函数通常要求是连续可导的函数3.激活函数激活函数在神经元中是非常重要的可以增强网络的标识才能以及学习才能激活函数需要具备以下几点性质1连续并可导的非线性函数允许少数点上不可导可导的激活函数可直接利用数值优化的方法来学习网络参数2激活函数极其导数要尽可能的简单有利于进步网络计算效率3激活函数的导函数的值域要在一个适宜的区间内不能太大也不能太小否那么会影响训练的效率

10、以及稳定性4.ReLU线性修正单元采用ReLu的神经元只需要进展加、乘以及比拟的操作计算上更加高效。而且具有生物上的解释性如单侧抑制宽兴奋边界。DyingReLUProblem问题-变种LeakyReLU,ParametricReLU,ELUSoftplus函数Rectifier的平滑版本其导数刚好是Logistic函数Swish函数自门控激活函数-1门开-0门关高斯误差线性单元GELUGaussianErrorLinear仍然是通过门控机制来调成输出的激活函数引入呈高斯分布的累积分布函数小结5.网络构造常用的神经网络有前馈网络记忆网络图网络前馈网络网络中的信息朝一个方向传播没有反向的信息传播

11、如全连接前馈网络、卷积神经网络等。这种网络构造简单易于实现记忆网络也称反应网络网络中的神经元不仅可以承受其他神经元的信息可以以承受自己的历史信息因此神经元具有记忆功能。记忆网络包括循环神经网络、Hopfield网络、玻尔兹曼机、受限玻尔兹曼机等。这种网络具有更强的计算与记忆才能。记忆增强神经网络引入外部记忆单元以及读写状态来保存网络中的一些中间状态前馈网络以及记忆网络的输入都可以表示为向量或者输入序列实际应用中更多数据是图的构造知识图谱、社交网络、分子网络等。图网络定义在图构造上的神经网络每个节点都由一个或者一组神经元构成的节点之间的连接可以是有向的可以以是无向的每个节点可以承受来自相邻接点或

12、者自身的信息。实例图卷积网络、图注意力网络、消息传递网络等。6.反向传播BackPropagation第l层的一个神经元的误差项是所有与该神经元相连的第l1层的神经元的误差项的权重以及然后再乘上该神经元激活函数的梯度7.自动梯度计算数值微分、符号微分以及自动微分数值为分用数值方法来计算函数的导数涉及到舍入误差delta过小以及截断误差delta过大符号微分对输入的表达式通过迭代或者递归使用一些事先定义的规那么进展转换直至不能再继续使用变换规那么时停顿计算。但存在编译时间常、需要专门语言不好调试自动微分符号微分处理的对象是数学表达式自动微分处理对象是原始程序代码按链式法那么微分符号位分在编译阶段

13、先构造一个复合函数的计算图通过符号计算得到导数的表达式在程序运行截断才带入变量的详细数值自动微分无需事先编译在程序运行阶段边计算边记录计算图计算图上的部分梯度直接带入数值进展计算8.静态计算图编译时构建计算图图构建好后程序运行时不能改变TFTheano优点构建时可以优化并行才能强缺点灵敏性差动态计算图在程序运行时动态构建计算图PytorchDyNetChainer优点灵敏性高缺点不容易优化当不同输入的网络构造不一致时难以并行计算9.人工神经网络主要由大量神经元和神经元之间的邮箱连接构成考虑3方面因素神经元的激活规那么一般为非线性函数网络的拓扑构造不同神经元之间的连接关系学习算法深度学习三步走定

14、义网络-损失函数-优化2020/3/282020/3/31Chapter5卷积神经网络1.全连接前馈神经网络存在的问题参数过多部分不变性特征不好提取如尺度缩放、平移、旋转2.卷积神经网络卷积层、会聚层以及全连接层穿插堆叠而形成的前馈神经网络使用反向传播算法进展训练特性部分连接、权重分享、会聚池化部分连接卷积层中的每一个神经元都只以及下一层中某个部分窗口内的神经元相连构成一个部分连接网络权值分享作为参数的滤波器对于某一层所有的神经元都是一样的可以理解为一个滤波器只捕捉输入数据中的一种特定的部分特征因此假如需要提取多种特征就需要使用多个不同的滤波器。会聚层过大的采样区域会急剧减少神经元的数量也会造

15、成太多的信息损失3.卷积经常作为特征提取的有效方法一幅图像经过卷积操作后得到的结果称为特征映射FeatureMap卷积计算经过中需要进展卷积核翻转-详细实现上一般以相互关Cross-Correlation操作来代替卷积进而减少一些不不要的操作或者开销。4.相互关不翻转卷积卷积可以理解为图像是否进展翻转5.反向传播会聚层池化最大池化误差会传递到上一层对应区域中最大值所对应的神经元而该区域其他神经元的误差项均为0均值池化误差项中的每个值会被平均分配到上一层对应区域中的所有神经元上。6.经典卷积神经网络复习了一下LeNet,GoogLeNet,ResNetGoogLeNet图好棒啊7.卷积的其他类型

16、转置卷积卷积的前向计算以及反向传播就是一种转置关系微步卷积步长s1的转置卷积也被称为微步卷积。用以实现上采样操作大幅进步特征维数。为了实现微步卷积可以在输入特征之间插入0来间接的使步长变小。空洞卷积通过给卷积核插入空洞来变相增加其大小增加输出单元感受野的3种方式1增加卷积核的大小2增加层数两层3x3的卷积可近似为一层5x5的效果3在卷积之前进展会聚操作但会带来信息丧失2020/4/10Chapter6循环神经网络1.循环神经网络RNN是一类局域短期记忆才能的神经网络神经元不但可以承受其他神经元的信息也能承受自身的信息形成具有环路的网络构造。主要用于语音识别、语言模型和自然语言生成等任务上。参数

17、学习随时间反向传播算法会引入长程依赖问题梯度消失or梯度爆炸-门控机制9GRULSTM等另外两种更广义的神经网络递归神经网络以及图网络2.怎样给网络增加记忆才能前馈网络静态网络不具备记忆才能增加短期记忆才能延时神经网络、有外部输入的非线性回归模型、循环神经网络延时神经网络额外的延时单元存储网络的历史信息输入、输出、隐层状态等自回归模型AutoRegressiveModel,AR.来自于统计学上常用的一类时间序列模型用一个变量的历史信息来预测自己。有外部输入的非线性回归模型NARX在每一个时刻都有一个外部输入产生一个输出同时通过一个延时器记录最近几次的外部输入以及输出。循环神经网络RNN通过使用

18、自带反应的神经元来处理任意长度的时间序列。通过本时间步的输入以及上一时间步的状态共同决定本时间步的输出。隐藏层的活性值一般叫做状态或者隐层状态HiddenState.构造如下列图所示3.简单循环网络仅有一个隐藏层。假如把每个时刻的状态都看作前馈神经网络的一层循环神经网络可看做在时间维度上权值分享的神经网络。RNN的通用近似定理一个完全连接的循环网络是任何非线性动力系统的近似器。图灵完备TuringCompleteness是指一种数据操作规那么比方一种计算机的编程语言可以实现图灵机的所有功能解决所有计算问题CJavaPython。所有的图灵机都可以被一个由使用Sigmoid型激活函数的神经元构成

19、的全连接循环网络来进展模拟。4.RNN可以应用的3类机器学习任务序列到类别形式、同步的序列到序列形式、异步的序列到序列形式。序列到类别输入为序列输出为该序列的类别。同步的序列到序列每一时刻都有输入以及输出输入序列以及输出序列的长度一样主要用于序列标注任务/词性标注每一个单词都需要标注其对应的词性标签。异步的序列到序列也成为编码器-解码器模型输入以及输出不需要有严格的对应关系也不需要保持一样的长度。感觉用于文本翻译5.RNN的反向传播计算梯度有两种方法随时间反向传播BPTTBackPropogationThroughTime将RNN看做一个展开的多层前馈网络其中每一层对应RNN中的每个时刻。这样

20、可以按照前馈网络中的反向传播算法计算梯度将所有层的参数的梯度相加就是该参数的真实梯度。实时循环学习算法:RTRL,RealTimeRecurrentLearning通过前向传播的方式啦计算梯度。比照BPTT计算量小但空间复杂度高RTRL不需要梯度回传合适在线学习以及无限序列中。6.长程依赖问题在较长的时间间隔中会存在梯度消失以及梯度爆炸的问题。梯度爆炸一般通过权重衰减或者梯度截断来防止。梯度消失是RNN的主要问题最有效的方法时改变模型。-门控机制7.基于门控的循环神经网络引入门控机制来控制信息的累计速度包括有选择的参加新的记忆、有选择的遗忘之前累积的信息。门控RNN主要有长短期记忆网络以及门控

21、循环单元网络7.1长短期记忆网络LSTM引入一个新的内部状态internalstate专门进展线性的循环信息传递同时非线性的输出信息给隐藏层的外部状态内部状态通过输入门、遗忘门以及输出门的计算得出。RNN中隐层状态h存储了历史信息可以看做一种记忆。在简单循环网络中隐层状态的每个时刻都会被重写因此可以看做是一种短期记忆ShortTerm;在神经网络中国长期记忆Long-TermMemory可以看你做网络参数隐含了从训练数据中学到的经历其更新周期要远远慢于短期记忆。而在LSTM中记忆单元c可以在某个时刻捕捉到关键信息并有才能将此关键信息保存一定的时间间隔这一信息的生命周期要长于短期记忆但又远远短于

22、长期记忆因此成为长短期记忆(LongShort-TermMemory)Tips一般深度网络参数学习时参数初始化的值一般比拟小但是在训练LSTM时过小的值会使得遗忘门的值比拟小这意味着前一时刻大局部的信息丧失了这样网络就很难捕捉到长间隔的依赖信息并且相邻时间间隔的梯度会非常小导致梯度消失因此遗忘的参数初始值一般都设的比拟大。LSTM的各种变体LST网络借助三个门动态控制内部状态应该遗忘多少历史信息输入多少新信息和输出多少信息。无遗忘门的LSTM网络最早提出的LATM是没有遗忘门的内部状态更新为记忆单元会不断增大当输入序列的长度非常大时记忆单元的容量容易饱以及进而大大降低模型性能。怎样理解“容量隐

23、层状态的值会变得越来越大导致h饱以及。h能存储的信息是有限的随着记忆单元存储的内容越来越多其丧失的信息也越来越多。peephole连接三个门不但依赖于输入x以及上一时刻的隐层状态也依赖于上一时刻的记忆单元c。耦合输入门以及遗忘门LSTM中输入门以及遗忘门有些互补关系由于两个门比拟冗余为了减少LSTM网络的计算复杂度将两个门合为一个门内部更新方式为7.2门控循环单元网络GRUGatedRecurrentUnit是一种比LSTM网络更加简单的循环神经网络只引入了更新门来控制当前状态需要从历史状态中保存多少信息不经过非线性变换和需要从候选状态中承受多少信息。更新门一个来控制输入以及遗忘之间的平衡经过

24、tanh激活后再经过重置们来控制计算得到的候选状态的计算是否依赖上一时刻的状态。8.深层循环神经网络理解循环神经网络的“深以及“浅一方面吧循环神经网络展开长时间间隔的状态之间的途径很长循环网络可以看做一个非常深的网络另一方面来讲假如同一时刻网络输入到输出之间的途径来看这个网络是非常浅的。8.1堆叠循环神经网络SRNNStackedRecurrentNeuralNetwork即将多个循环网络堆叠起来也称为循环多层感悟器。第l层的网络的输入是第l-1层网络额输出8.2双向循环神经网络BidirectionalRecurrentNeuralNetwork,Bi-RNN由两层循环神经网络组成他们输入一

25、样只是信息传递的方向不同。因为有些任务中一个时刻的输出不但以及过去时刻的信息有关可以以及后续时刻的信息有关。forExample:一个词的词性由它的上下文决定即包含左右两边的信息。因此可以增加一个按照时间的逆序来传递信息的网络层来增强网络的才能。Bi-RNN第一层按时间顺序第二层按时间逆序在t时刻的隐层状态计算为9.图构造假如将循环神经网络按时间展开每个时刻的隐层状态看做一个节点那么这些节点构成一个链式构造每个节点t都收到其父节点的消息Message更新自己的状态并传递给子节点。链式构造是一种特殊的图构造可以比拟容易的将消息传递的思想扩展到任意的图构造上。9.1递归神经网络RecursiveN

26、euralNeiwork,RecRNN是循环神经网络在有向无环图上的扩展。递归神经网络的一般构造为树状的层次构造。RecCNN主要用来建模自然语言句子的语义根据句子的语法构造一般为树状构造来按照句法的组合关系来合成一个句子的语义。9.2图神经网络GNN是将信息传递的思想扩展到图构造数据上的神经网络因为许多数据是图构造的如知识图谱、社交网络、分子网络。比拟有名的图网络模型包括图卷积网络、图注意力网络、消息传递神经网络10.SummaryRNN主要建模时间序列数据之间的相关性与延时神经网络、有外部输入的非线性自回归模型相比RNN可以更方便的建模长时间间隔的相关性。常用的反向传播算法BPTT解决梯度

27、消失LSTMGRU一个完全连接的RNN可以近似任何非线性动力系统以及图灵机。感觉RNN多用在自然语言处理领域啊2020/4/14Chapter7网络优化与正那么化1.神经网络存在的问题优化问题神经网络非凸函数梯度消失导致的难以优化深层次的神经网络DNN参数较多难以训练泛化问题由于神经网络拟合才能强往往容易在训练集上过拟合导致泛化性不佳2.网络优化2.1优化难点非凸函数优化会存在许多部分最优点-怎样选择吃石化参数以及逃离部分最优点网络构造多样深层网络参数多平坦最小值FlatMinima即损失函数在部分最小解附近通常是一个平坦的区域。平坦最小值通常认为以及模型泛化才能有一定关系当模型收敛到一个平坦

28、的部分最小值时其鲁棒性会更好即微笑的参数变动不会剧烈影响模型才能假设收敛到的是锋利的部分最小值鲁棒性会比拟差2.2优化算法-小批量梯度下降Mini-BatchGradientDescent每次选取局部训练样本计算偏导数涉及到批量大小Batch_size、学习率、梯度估计的影响。2.2.1Batch_size:不影响随机梯度的期望但会影响随机梯度的方差-批量大小越大随机梯度的方差越小引入的噪声也越小训练越稳定此时可以设置较大的学习率当批量较小时需要设置较小的学习率否那么模型会不收敛。一般通过线性缩放规那么LinearScalingRule.Epoch以及Iteration关系所有训练集样本更新一

29、遍为一个Epoch回合每一次小批量更新为一次Ineration单次更新1个Epoch(total_nums/batch_size)*Iterations2.2.2learning_rate:学习率太小收敛慢学习率太大容易不收敛目前学习率调整策略包括学习率衰减、学习率预热、周期性学习率调整和自适应调整学习率为每个参数设置不同的学习率AdaGrad,RMSProp,AdaDelta学习率衰减分段衰减、逆时衰减、指数衰减、自然指数衰减、余弦衰减1.学习率预热LRWarmup就是在最初几轮迭代时采用比拟小的学习率等梯度下降到一定程度后再恢复到初始学习率。比方逐渐预热的方式2.周期性学习率调整周期性增大

30、学习率的好处是当参数处于平坦最小值附近时增大学习率有助于逃离锋利最小值当处于平坦最小值附近增大学习率仍然有可能在附近的吸引域BasinofAttraction。因此周期性的增大学习率固然短期内损害优化经过使得网络收敛变差但从长期来看有助于找到更好的部分最优解。3.循环学习率也稍有不同是让学习率在一个区间内周期性的增大以及缩小。如三角循环学习率是线性变化的4.带热重启的随机梯度下降用热重启的方式代替学习率衰减学习率每隔一定周期后重新初始化为某个预先设定值然后逐渐衰减。比方在设定的重启周期后用余弦衰减来降低学习率2.3优化算法-AdaGradAdaptiveGradient借鉴L2正那么化的思想每

31、次迭代时自适应的调整每个参数的学习率。怎样调整Step1先计算每个参数梯度平方的累计值GtStep2是在梯度的根底上按照这一累计值调整参数更新差值Adaptive表达在假如某个参数累计的偏导数较大那么学习率就相对较小假如累计偏导数较小学习率就相对较大。AdaGrad缺点就是假如经过一定次数的迭代照旧没有找到最优点此时由于学习率已经非常小很难继续找到最优点。2.4优化算法-RMSPropStep1:计算每次梯度平方的指数衰减挪动平均Step2:自适应更新学习率即Gt的计算方式不同了2.5梯度估计修正GradientEstimation怎样理解、比方在随机梯度下降中每次迭代的梯度以及整个训练集上的

32、最优梯度并不一致具有一定的随机性。梯度估计就是使用最近一段时间内的平均梯度来代替当前时刻的随机梯度作为参数更新的方向进而进步优化速度。动量法-用之前累积梯度的加权平均代替真正梯度Nesterov加速梯度-是动量法的进一步优化Adam自适应动量估计-梯度加权平均作为更新方向自适应调整学习率2.6梯度截断GradientClipping当梯度的摸大于一定阈值时就对梯度进展截断。以免梯度突然增大用大梯度更新参数反而会远离最优点截断方式按值截断、按模截断2.7优化算法小结3.参数初始化3.1初始化方法预训练初始化用已经在大规模数据集上训练过的模型参数作为初始值也叫fine-tuning随机初始化:3.

33、2详细介绍固定值初始化:对于一些特殊参数根据经历用一个固定值来完成初始化。例子bias03.2随机初始化随机的生成从一个固定均值以及方差的分布中采样来生成参数的初始值。分布高斯分布、均匀分布3.2.1固定方差分布中方差大小的影响假如参数范围获得太小一是导致神经元的输出过小经太多层之后信号就渐渐消失了二是会使得sigmoid等激活函数失去非线性的才能激活值每次都是饱以及梯度接近于0-梯度消失基于以上使用固定方差的随机初始化一般搭配逐层归一化来使用。3.2.2方差缩放方差缩放VarianceScaling根据神经元的链接数量来自适应的调整初始化分布的方差。*Xavier*初始化会将输出信号的方差在

34、经过神经元后放大/缩小一定倍数使得信号不被过分放大或者减弱尽可能保持每一个神经元的输入以及输出的方差一致。He初始化采用固定区间的均分分布来初始化参数对权重矩阵中每个参数进展采样借助采样的随机性。正交初始化OrthogonalInitialization将参数矩阵初始化为正交矩阵详细1用均值为0方差为1的高斯分布初始化一个矩阵2将这个矩阵用奇异值分解SVD成两个正交矩阵使得其中之一为权重矩阵。好处就是由于是正交矩阵在信息的前向传播以及误差的反向传播中都具有范数保持性进而可以防止在训练时就出现I梯度消失或者梯度爆炸的现象。4.数据预处理4.1Whyweneedpreprocessing?尺度不变

35、性ScaleInvariance指的是某算法在缩放全部或者局部特征后不影响他的学习以及预测比方线性分类器就是尺度不变的但最近邻分类器就是尺度敏感的。当我们计算不同样本之间的欧氏间隔时尺度大的特征就会起主导作用因此对于尺度敏感的模型需要对样本进展预处理将各个维度的特征转换到一样的取值区间并消除不同特征之间的相关性才能获得比拟离线的结果。归一化Normalization指的是把数据特征转换到一样尺度上。常用的归一化方法有4.2最大最小值归一化Min-MaxNormalization将每一个特征的取值范围归一化到0,1或者-1,1之间标准化Standardization也叫Z值归一化将每一个维度都调

36、整为均值0方差1白化whitening-主要用来降低输入数据特征之间的冗余性输入数据经白化处理后特征之间相关性较低并且所有特征具有一样的方差。主要通过PCA降维去除各个成分之间的相关性。5.逐层归一化Layer-wisenormalization是将传统机器学习中的数据归一化应用到DNN中对神经网络中隐藏层的输入进展归一化进而使得网络更容易训练。nottoalllayers而是讲可以应用在任何一个中间层常用的逐层归一化方法批量归一化、层归一化、权重归一化、部分响应归一化5.1批量归一化Batch-Normalization,BN将输入归一化到标准正态分布其中标准以及方差来自于当前小批量样本集的

37、均值以及方差的近似估计5.2层归一化批量归一化是对一个中间层的单个神经元进展归一化操作因此要求小批量样本的数量不嫩太小此外假如一个神经元的净输入分布在神经网络中是动态变化的RNN等那么久无法应用批量归一化操作。LayerNormalization不同之处在于是对一个中间层的所有神经元进展归一化。因此均值以及方差计算的是某曾所有神经元的均值以及方差就可以应用到RNN中。BN与LN区别BN是对训练样本的一个小批量集合每一行进展归一化LN是对矩阵的每一列进展归一化5.3权重归一化WeightNormalization是对神经网络的连接权重进展归一化通过再参数化Reparameterization将连

38、接权重分解为长度以及方向两种参数。这样做的好处是因为NN中权重经常是分享的因此权重参数往往比神经元数量要少开销也更少。5.4部分响应归一化LocalResponseNormalization,LRN是一种对临近的特征映射进展部分归一化应用在激活函数之后还没有减去均值。6.超参数优化6.1常见的超参数有以下3类1网络构造神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等2优化参数包括优化方法、学习率、小批量的样本数量等3正那么化系数对于超参数的配置比拟简单的方法有网格搜索、随机搜索、贝叶斯优化、动态资源分配以及神经架构搜索6.2超参数优化方法网格搜索通过尝试所有超参数的组合来寻找一组

39、适宜的超参数配置方法随后在开发集上测试。随机搜索理论上更容易实现但以上两种都没有利用不同超参数组合之间的相关性。贝叶斯优化是一种自适应的超参数优化方法根据当前已经试验的超参数组合来预测下一个可能带来最大收益的组合。最常用的是时序模型优化-参看课本动态资源分配假如可以在较早阶段就判断出某一组效果比拟差就早期终止这组配置的评估将更多的资源留给其他配置。目的就是将优先的资源分配给更有可能带来收益的超参数组合。如一组超参数组合的学习曲线不收敛或者瘦脸效果差就可以使用早停法Early-Stopping终止当前训练。神经架构搜索NeuralArchitectureSearch,NAS是通过神经网络自动实现

40、网络架构的设计。神经网络的架构可以用一个变长的字符串来描绘而NAS利用一个控制器生成另一个子网络的架构描绘。控制器可以由一个循环神经网络来实现控制器的训练可以通过强化学习来完成其奖励信号为生成的子网络在开发集上的准确率。7.网络正那么化除了常规的L1L2正那么化还有7.1提早停顿早停法是用验证集上的错误来代替期望错误当验证集上的错误率不再下降就停顿迭代。7.2丢弃法丢弃法就是训练经过中随机丢弃一局部神经元同时丢弃其对应的连接边来防止过拟合。-这不就是之前调研的pruning7.3数据增强主要应用在图像数据上用来增加数据量进步模型鲁棒性来防止过拟合2020/4/17Chapter8注意力机制与外

41、部记忆1.网络容量networkcapacity指神经网络中可以存储的信息量一般神经元的存储容量与神经元的数量和网络的复杂度成正比。假如要存储的信息越多神经元数量就要越多或者网络月复杂进而导致神经网络参数成倍增加。而过深的网络比方在RNN中又会导致信息丧失远间隔依赖问题大脑神经系统解决信息过载的两种机制注意力以及记忆机制迁移到神经网络注意力机制通过自上而下的信息选择机制来过滤掉大量无关信息记忆机制引入额外的外部记忆优化神经网络的记忆构造来进步神经网络存储信息的容量2.注意力2.1注意力分类聚焦式注意力FocusAttention是自上而下的有意识的注意力亦成为选择性注意力会有预定目的、依赖人物

42、、主动有意识的聚焦于某一对象的注意力基于显著性的注意力Saliency-BasedAttention是自下而上的无意识的注意力是由外界刺激驱动的主义不需要主动干预也以及任务无关如最大会聚Max-Pooling门控机制Gating聚焦式注意力一般会随着环境、情景或者任务的不同而选择不同的信息2.2注意力机制注意力机制亦称为注意力模型在计算才能有限的情况下将有限的计算资源用来处理更重要的信息用于解决信息超载问题。聚焦式注意力的计算可以分为两步一是在所有输入信息上计算注意力分布二是根据注意力分布来计算输入信息的加权平均软性注意力选择的信息是所有输入向量在注意力分布下的期望硬性注意力只关注某一个输入向

43、量一个的选取方式有1选取概率最高的一个输入向量2通过在注意力分布式上随机采样硬性注意力的缺点在于通过最大采样或者随机采样的方式选择向量使得最终的损失函数与注意力分布之间的函数关系不可导无法使用反向传播算法进展训练往往通过强化学习来进展训练键值对注意力:key计算注意力分布value计算局以及信息多头注意力:利用多个查询来并行的从输入信息中选择多组信息但每个注意力关注输入信息的不同局部以上假设所有输入信息都是同等重要的是一种扁平构造flat构造化注意力输入信息本身具有层次构造文本可分为词、句子、段落、篇章不同粒度的层次因此使用层次化的注意力可以更好的进展信息选择指针网络将前文信息选择的2个步骤只

44、用第一步将注意力分布作为一个软性的指针pointer来指出相关信息的位置比方输入长度N的向量序列输出的是输入序列的下标3.自注意力模型RNN固然可以建立长间隔依赖关系但受限于信息传递的容量和梯度消失等问题因此建立长间隔依赖关系主要通过1增加网络层数通过一个深层网络来获取远间隔的信息交互2使用全连接网络但无法处理变长的输入序列-这是就可以利用注意力机制来“动态生成不同连接的权重-自注意力模型Self-AttentionModelor内部注意力模型Intra-AttentionModel与FCN相比连接权重是动态生成的因此可以处理变长的信息序列。4.人脑中的记忆长期记忆神经元之间的连接-神经网络中

45、的权重参数短期记忆神经元的活动-神经网络中的隐层状态联想记忆AssociativeMemory是指一种学习以及记住不同对象之间关系的才能计算机上表达为一种可以通过内容匹配的方法进展寻址的信息存储方式基于内容寻址的存储CAM。与此相对的是根据地址进展存储随机访问存储RAM5.记忆增强神经网络MemoryAugmentedNeuralNetwork,MANN是为了增加网络容量引入外部辅助记忆单元存储与任务相关的信息需要时再进展读取。类比于计算机的内存主要包括主控制器、外部记忆单元、读取模块、写入模块外部记忆的引入可将神经网络的参数与记忆容量别离即在少量增加网络参数的条件下可以大幅增加网络容量。下面

46、介绍典型的构造化外部记忆模型5.1端到端记忆网络外部记忆单元是只读的网络可以屡次从外部记忆中寻址后读取信息5.2神经图灵机NeuralTuringMachine主要有控制器以及外部记忆两个部件组成控制器为一个前馈神经网络或者一个RNN外部记忆可读可写6.基于神经动力学的联想记忆自联想模型亦称为自编码器输入的形式以及输出的形式在同一空间异联想模型输入形式以及输出形式不再统一空间广义上大局部机器学习问题属于此类2020/4/24Chapter9无监视学习1.无监视学习是指从无标签的数据中学习出一些有用的形式一般直接从原始数据中学习不借助任何人为标注信息。典型的无监视学习可分为无监视特征学习从无标签

47、的训练数据中挖掘有效的特征或者表示一般用于降维、数据可视化或者监视学习前期的数据预处理。概率密度估计简称魔都估计根据一组训练样本来估计样本空间的概率密度可进一步分为参数密度估计以及非参数密度估计。参数密度估计是假设数据服从某个已知概率密度函数形式的分布如高斯分布然后根据训练样本取估计概率密度函数的参数非参数密度估计是不假设数据服从某个遗址分布只利用训练样本对密度进展估计可以进展任意形状密度的估计。聚类将一组样本根据一定的准那么划分到不同的簇cluster。无监视学习三要素模型、学习准那么、优化算法2.无监视学习算法主成分分析投影将N维特征通过SVD投影到K维空间上完成降维稀疏编码通过找到一组过完备的基向量稀疏性限制得到“唯一的稀疏编码。优点就是大大降低计算量、具有更佳的可解释性、自动实现特征选择用来降低噪声、减轻过拟合。自编码器我的理解就是经过一个网络只不过关注的不再是网络的输出而是网络bottleneck学习到的高效的特征表述一般是编码-解码网络。详细类型稀疏自编码器变分自编码器堆叠自编码器降噪自编码器