基于自动编码器的混合深度网络学习模型-周炬.pdf

《基于自动编码器的混合深度网络学习模型-周炬.pdf》由会员分享，可在线阅读，更多相关《基于自动编码器的混合深度网络学习模型-周炬.pdf（47页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、分类号学校代码!Q 4 8 8学号2Q!9132螳Q21密级猷易舞弄坤拨夫-肇硕士学位论文基于自动编码器的混合深度网络学习模型学位申请人： 周炬学科专业： 盐差垫壁堂皇垫查 一指导教师t 张晓龙教授答辩日期： 2017年5月14日万方数据A Dissertation Submitted in Partial Fulfillment of the Requirementsfor the Professional Degree of Master in EngineeringA Hybrid Depth Network Learning ModelBased on AutoencodersMast

2、er C andidate：Major：Supervisor：Ju ZhouComputer Science and TechnologyProfXiaolong ZhangWuhan University of Science and TechnologyWuhan，Hubei 430081，PRChinaMay,2017万方数据武汉科技大学研究生学位论文创新性声明本人郑重声明：所呈交的学位论文是本人在导师指导下，独立进行研究所取得的成果。除了文中已经注明弓l用的内容或属合作研究共同完成的工作外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，

3、均己在文中以明确方式标明。申请学位论 承担一切相关责任。日期：竺2：苎：兰研究生学位论文版权使用授权声明本论文的研究成果归武汉科技大学所有，其研究内容不得以其它单位的名义发表。本人完全了解武汉科技大学有关保留、使用学位论文的规定，同意学校保留并向有关部门(按照武汉科技大学关于研究生学位论文收录工作的规定执行)送交论文的复印件和电子版本，允许论文被查阅和借阅，同意学校将本论文的全部或部分内容编入学校认可的国家相关数据库进行检索和对外服务。论文作者签名：指导教师签名：日 期：万方数据摘要近年来，深度神经网络是人工智能和大数据分析领域研究的热点，深度神经网络通过组合低层特征形成更加抽象的高层表示属性

4、以发现数据的分布式特征表示。自动编码器作为一种基本的深度学习模型，并以此为基本框架构造深度神经网络，通过无监督的特征学习过程提取数据特征或属性，已经在机器学习预测和识别领域取得了显著的成就。为了充分发挥自动编码器模型特征学习的优势，本文基于传统自动编码器设计了一种混合深度学习模型，其中混合了降噪自动编码器和收缩自动编码器的训练过程和约束条件。降噪自动编码器是在输入数据上添加一定比例的噪声干扰，在训练学习过程中使得自动编码器能够更好的重构输入，从而取得具有对噪声干扰具有鲁棒性的特征表达；收缩自动编码器损失函数中的正则化目标为编码器Jacobian矩阵的Frobenius范数，其作用是降低极小化变

5、量对编码器的影响，辅助编码器更好的学习特征。本文提出的混合学习模型是采用模块拼装的方法建立深度网络结构，将降噪自动编码器单元和收缩自动编码器单元同时引入同一个神经网络，形成新的深度学习模型SDCAE。SDCAE模型在训练过程中充分利用两个自动编码器的优点，并采用梯度下降的方法训练对模型中的分类器和自动编码器的参数进行学习。本文在MNIST数据集上进行实验来验证模型SDCAE。通过在三种自动编码器上的分类实验对比，新的混合学习模型在MNIST数据集上的学习精度取得了一定的提升，显示出更好的学习性能。关键字：神经网络；深度学习；自动编码器：降噪自动编码器；收缩自动编码器万方数据Abstract11

6、1 recent yearsdeep neural network is a hotspot in the field of artificial intelligenceand big data analysisThe depth neural network discovers the distributed featurerepresentation of the data by combining the lowlevel features to form more abstracthighlevel representation attributesAt the same time，

7、autoencoders are constructed asthe basic framework of the depth neural network，through the unsupervised featurelearning process to extract data features or attributes，it has made significantachievements in prediction and identification of machine learning111 order to make better use of the advantage

8、s of autoencoder model on featurelearning，this thesis designs a new hybrid depth learning model based on traditionalautoencoders，which incorporates the training process and the constraint condition ofDenoising Autoencoder(DAEl and Contractive Autoencoder(CAE)The DAE makes itpossible for the autoenco

9、der tO reconstruct the input better in the training learningprocess by adding a certain proportion of noise interference to the input data，SO that itcan obtain a characteristic expression with robustness to noise interference；Theregularized target in the CAES loss function is the Frobenius norm of t

10、he Jacobianmatrix of the encoder,which reduces the influence of the minimizer on the encoder andtO assist the encoder with better learning characteristicsThe hybrid learning modelproposed in this thesis is to build the depth structure by means of module assemblingThe DAE unit and the CAE unit are in

11、troduced into the same neural network to form anew depth leaming model SDCAEWhich makes full use of the advantages of twoautoencoders in the training process and uses the gradient descent method on trainingthe parameters of the classifier and the autoencoder in the modelThis thesis validates the mod

12、el on the experiment with MNIST datasetBycomparing the classification experiments on three kinds of automatic encoders，thelearning accuracy in the MNIST has been improved on the new hybrid learning modelSDCAE，which shows better learning performanceKeywords：neural network；deep learning；autoencoder；de

13、noising autoencoder；contractive autoencoder万方数据目 录摘要IAbstract工I第l章绪论111 研究背景与意义112 国内外研究现状分析413 本文的研究内容6131 本文的主要研究内容6132本文的内容安排7第2章深度学习理论模型综述921 神经网络与深度学习922 反向传播算法1l23 深度置信网络模型1324 卷积神经网络模型1525 自动编码器模型及其优化16251自动编码器16252降噪自动编码器17253收缩自动编码器1826本章总结19第3章基于自动编码器的混合深度模型1931 堆叠自动编码器2032 混合自动编码器网络结构2233

14、 基于混合自动编码器的深度网络结构2334本章小结26第4章实验结果和分析2741 实验环境和数据集2742实验过程2943 实验结果分析2944本章小结31第5章总结与展望3251工作总结3252工作展望33致谢34万方数据参考文献35附录1攻读硕士学位期间发表的论文39附录2攻读硕士学位期间参加的科研项目40V万方数据武汉科技大学硕士学位论文11研究背景与意义第1章绪论互联网时代随着数据挖掘和人工智能的火热，计算机数据资源和类型正以惊人的速度增长，数据已经从基本的处理对象转变为基本的计算资源【11。数据科学的产生就是研究如何对大量的数据进行分析处理，通过相应的技术手段和算法对数据进行建模，

15、进行有效的分析处理，不仅是数据提取而且大数据分析和存储都有了更好的技术支撑【21。因此，结合智能计算的大数据分析成为热点，而与人工智能相关的深度学习技术成为了目前火热的研究课题。1959年是人工智能技术启蒙的阶段，当时提出的图灵测试给予了人工智能技术发展相当深远的影响，乃至今日所有的技术都是朝着人机交互的方向，目的是让机器和人类具有共同的“意识”。人类也在机器是否具有学习能力的问题上进行了长时间的探究，塞缪尔(Samuel)设计的国际象棋对弈程序就验证了机器能够自我学习并成长的事实，它可以在人为约束条件下通过不断的对弈提高胜率，并战胜了美国本土常胜不败的冠军。一时间与机器学习相关的理论算法研究

16、成为了热点问题，各领域的专家都对人工智能研究进展提出了自己的疑惑与看法，值得令人深思。学习是人类具有的一种重要的智能行为，而人工智能提出的初衷就是让机器和人类一样，具有意识并产生自我学习的能力。人工智能实际可行的关键就在于如何通过机器学习的方式抽象表示现实中各类型事物的特征，使得计算机对非线性数据能够更好的建模处理，例如图像数据、语音数据、文本语言数据等等。1986年Rumelhart提出了基于人工神经网络的反向传播算法(Back Propagation，BP)【31被广泛应用于浅层机器学习模型，人工神经网络是通过模拟人的大脑神经元“激活抑制”机制产生的网络学习模型，BP算法首先通过定义损失函

17、数计算输出结果与实际结果的偏差，采用梯度下降的方法对偏差进行激励修正并迭代更新整个网络训练参数，使得模型能够更好地学习到特征并基于此做出相关预测。那么整个神经网络学习模型的层数增多就会使得在计算过程中容易发生梯度弥散，局部最优问题突出，准确率下降，模型复杂度的增加导致整个算法学习成本的升高。并且实际应用中由于特征抽取一般靠手工来完成，因此需要工作人员掌握专业的知识和方法，需要消耗更多的时间成本，导致了错误率的增高和数据准确性的降低【41。所以更好的特征学习方法将能够节省更多效率。2006年以来，深度学习(Deep Learning),思想由Hinton等人提出【51，深度学习万方数据武汉科技大

18、学硕士学位论文的基本原理是通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示【61。深度神经网络是一种含有多隐含层的神经网络，相较于浅层神经网络，通过组合多次低层的特征变换抽象出高层的数据特征属性，并在输出层进行分类识别，展现出强大的学习能力【7】o深度神经网络通过无监督学习方法直接对原始数据进行非线性变换来进行特征提取学习，在预训练过程中采用逐层贪婪训练原理训练整个神经网络模型，更好的避免了早期的局部最优问题，同时实现对输入数据的分层特征表示，避免了人工提取特征导致的时间和精力的浪费。训练完模型的参数之后，通过使用监督学习算法来激励模型更好提取数据特征，从而作用

19、于更多无标注数据。在大数据时代中，如何能够对海量的无标签数据进行学习和分类，并且能够发掘出更多有价值的学习都对新的深度学习模型提出了更高的要求。2009至2012年间，瑞士AI实验室研究小组开发的复发性神经网络和深度前馈神经网络已经在模式识别和机器学习方面赢得了8个国际比赛冠军。Alex Graves等人的双向和多维长短期记忆(LSTM)在2009年国际文件分析和识别会议(ICDAR)上赢得了连续手写识别的三个比赛，没有任何预先了解要学习的三种不同语言。由Dan Ciresan和IDSIA的同事们基于GPU的这种方法的快速GPU实现已经赢得了几个模式识别竞赛，包括IJCNN 201l交通标志识

20、别竞赛、ISBI 2012分割电子显微镜堆叠的神经元结构挑战和其他。他们的神经网络也是第一个人工模式识别器，如交通标志识别(IJCNN 2012)或Yann LeCun的MNIST手写数字问题实现人类竞争甚至超人的表现。2012年，谷歌公司在人工智能领域的GoogleBrain项目引起业界广泛的讨论，这个由Andrew Ng和Jeff Dean主导的“深度神经网络”学习方法在语音和图像领域都取得了比较突出的成果，目前该方法已经被应用于各类搜索引擎，也在语音识别软件上取得了良好的效果。同时，更多深度学习的应用在国内兴起。2014年至2016年，百度的人工智能项目“百度大脑”正式从研发阶段进入应用

21、阶段，拉开国内互联网行业在人工智能领域的序幕。百度公司并对百度大脑技术进行了开源处理，希望广大程序开发者借助这个平台创造出更多对人工智能具有促进意义的成果。李彦宏也借助此次大会对“百度大脑”项目在各个领域尤其是语音识别和图像处理等方面的进展进行了详细的阐释。据统计，“百度大脑”语音合成平均日请求量达到25亿，语音识别成功率达到97；2016年，锤子手机新品发布会上对科大讯飞输入法进行了详细介绍，通过良好的人工智能语音识别技术，对方言的识别率达到97；201 6年3月15日，围棋人机竞赛中，谷歌AlphaGo最终以总比分4：1战胜韩国围棋选手李世石，继上次国际象棋后，人工智能又再一次像全世界证明

22、了自己。2016年12月份，AlphaG020在中国围棋对弈网站上以60连胜宣告着自己的强势登场，从万方数据武汉科技大学硕士学位论文人工智能领域给予人类更多的惊讶；国内百度，乐视等公司都大力的在自动驾驶汽车行业进行投入，并获得了各大科技公司的融资和关注，自动驾驶系统包括智能软件，算法模型和计算处理中心，其中算法模型基于深度学习理论，计算处理中心对应于自动驾驶平台。所以随着深度学习算法的不断突破，无人驾驶上路将不会是奢望。深度学-j(Deep Learning)方法虽然取得了很多很好的结果，但内部网络结构并没有非常充分并且严格的体系理论支撑，通过不断地采用更深层次的复杂的算法模型，我们获得了更多

23、的进步，而作为深度学习的基本构造模块，自动编码器(AutoEncoders)对于数据特征的抽象表示使得深度学习在分类和预测实验中获得了更好的效果。自动编码器通过对原数据进行无监督编码解码过程实现对输入数据的抽象特征表达，基于对自动编码器的理论研究，我们通过基础的模块来了解和学习深度学习理论和方法，以此优化和改善原有的深度学习算法模型。所以加深对基础算法的学习和扩展将会为人工智能科学研究带来积极的效果，未来将会具有比较广阔的发展前景。自动编码器属于深度学习基本的构造模块，对于它在实现原理上的学习研究具有很大的现实意义。近年来随着各种衍生自动编码器的诞生，以及在手写数字识别和其他相关数据集实验上的

24、突破，都让我们看到它的实际可行性，2015年，本实验室邓俊峰同学在降噪自动编码器的基础之上添加融合了稀疏自动编码器的惩罚项形成新的编码器并取得了优异的效果【71。2016年，本实验室夏林同学通过在降噪自动编码器的解码层添加噪声形成全噪声自动编码器也取得了更好的效果【引。所以本文基于两位师兄的工作在自动编码器上进行了一些实验，也期望通过对已有自动编码器的了解和学习，能够发现一些新的模型。同时通过相关论文阅读发现在自动编码器模型的构造过程中，隐藏层层数多少的优劣和各层神经元数量的分布对于整个网络的影响都没有相关的文献进行说明，以及权重参数的调整过程和权值的计算过程都是需要进一步进行研究的，在没有参

25、数数据的情况下，别人的实验结果的复现基本不可能。现有的模型参数训练方法和模型优化性能都很大程度上只针对于实验数据集，并没有实现完全的无监督，实验结果在实际上也并不具有很强大的理论支撑。所以未来需要明确自动编码器的发展方向，从硬件方面，开发针对深度结构的并行计算芯片，提高现有软件的数据处理能力【9】；从算法方面，搞清楚节点分布、权值计算方式与不同类型深度自动编码器的关系，实现自动编码器的模块化和多样化，并能够快速实现大规模高维数据的分层特征提取【10】【111。万方数据武汉科技大学硕士学位论文12国内外研究现状分析机器学习中的特征表示学习经历了两个阶段，按照模型复杂度可以分为浅层特征学习阶段和深

26、层特征学习阶段。浅层特征学习阶段是机器学习的第一次浪潮，这个时候大多的建模都受到统计学习过程的影响。人们发现，基于反向传播算法(Back Propagation，BP)自CJ人工神经网络在统计机器学习中能够更好地学习特征，基于统计的机器学习方法相对于原先基于人工规则的系统，不论在数据处理方面还是时间成本方面都显示出了更好的效果【12】。利用BP算法可以对人工神经网络模型中的各层误差进行调整，从而使得网络模型的权值调整尽量趋近于最优，通过大量训练样本来学习统计相关规律，从而更好地对未知数据进行分类和预测。浅层特征学习阶段的人工神经网络，也可以被当作多层感知机(Multi1ayerPerceptr

27、on，MLP)t131，不过在实际应用过程中都等价于最基础的输入隐含层一输出三层神经网络模型。20世纪以来机器学习算法百花齐放，通过实验不同类型的浅层机器学习模型被提出，Corinna Cortes和Vapnik研究提出了支撑向量机(Support Vector Machines，SVM)【11】、Freund研究提出了Boosting方法、Greene Willi锄提出最大熵方法(LR，Logistic Regression)14】等。SVM、Boosting等模型的结构为简单的输入单层隐含层输出，而最大熵方法直接作用于输出层，不需要隐层节点。浅层机器学习模型不仅是在理论分析而且在现实应用中

28、都取得了比较大的突破。而由于传统神经网络中BP算法存在梯度弥散和局部最优等问题，并且我们只能采用具有标签的数据来训练，但大部分的数据是没标签的。这样在理论分析上难度偏大，对于无标签数据的训练方法又需要更多的经验技巧，对于机器学习的下一步探究就进入了瓶颈阶段。在应用领域方面，数据量也并不复杂，机器学习算法的实用性也显得作用不大，所以显得相对沉寂。深层特征学习阶段拉开了机器学习的第二个新篇章，对于许多已有问题提出了新的解决方案。2006年，Geoffrey Hinton在Science上发表了一篇关于深度学习算法改进的文章，引起了业界广泛的讨论。该文第一个发表了深度信念网络模型(Deep Beli

29、efNetworks，DBN)，关键内容就是采用无监督的思想训练全部的神经网络。这篇文章对神经网络模型的训练过程和目的进行了详细的解释，第一，通过逐层初始化来预训练(Greedy Layerwise Training)t”】卒中经网络中的每一个隐含层可以有效克服模型训练过程中的梯度弥散等问题；其次，多层隐含层的人工神经网络具有更加优异的特征学习能力，复杂的非线性结构训练过程可以实现更高维的特征变换，学习得到的特征表示对原始数据具有更加本质的解释。也避免了人工神经网络由于层数较多容易陷入局部最优以及收敛速度慢等缺点。深度学习的动4万方数据武汉科技大学硕士学位论文机就是模拟人脑对于海量数据的分析处

30、理机制，运用数学化的特征语言对于数据进行建模，对于不同类型的数据进行不同的处理，获得不同的特征解释。多层感知器(Multi1ayer Perceptron，MLP)属于一种典型的深度学习结构，其中多层就是具有三层或以上的隐含层，在强大的计算性能支撑下，可以通过学习来得到对于数据更好的特征表示【6l。同时，深度神经网络形成了以DBN结构(深度置信网络)、SAE结构(堆叠自动编码器网络)、和CNN结构(卷积神经网络)为主的三种基本结构。上述三种结构及其变形在更多的机器学习领域都取得了突破性的进展，并且在学术界和工业街都获得了广泛关注。自动编码器(AutoEncoder，AZ)是Rumelhart在

31、1986年提出来的【16】。自动编码器作为神经网络的基本建模单元，极大地促进了神经网络的发展。自动编码器是一种无监督学习模型，模型的目的是通过重构输入数据更好的学习原输入的特征属性。模型由编码和解码两部分组成，编码器通过非线性函数将输入数据通过加权计算映射到隐藏层，解码器的主要存在意义是将隐藏层形成的编码映射到输出层来重构原输入，其输入层和输出层具有相同的规模，通过改变隐层神经元数量达到学习数据压缩表示地目的。自动编码器的整个训练建模过程的关键就是通过学习提取一个可以等价于原输入的特征信息，通过迭代训练使得特征信息可以尽可能接近输入数据。若要完成对数据的分类过程，我们则需要在Auto。Enco

32、der的最上层连接一个Softmax分类器，然后基于重构误差对于原输入数据的关系定义相关的损失函数，通过梯度下降方法来训练整个网络参数强化自动编码器的特征学习过程。2007年以来，基于正则化的思想，Vincent、Bengio、Hinton等人通过对原有自动编码器结构进行改变，产生了一些衍生自动编码器，进一步深化了自动编码器的研究，并且借鉴深度神经网络思想，产生了深度自动编码器模型，显著提高了神经网络的性能参数。Vincent等人于2007年提出了降噪自动编码器(Denoising AutoEncoder，DAE)17】【18】，其主要思想是在原始输入数据上添加一定的噪声干扰来损坏原始数据信息

33、，使得编码器在训练过程当中都基于该毁坏的输入来重构原输入，并通过强大的数据训练过程使得重构的输入更接近于原始数据，从而使得编码器具有降低原始数据噪声和对噪声干扰具有更好的鲁棒性，因为噪声以一定比率被添加到原始数据，可能也会去除掉原始数据的噪声，从而避免出现过拟合的情况。从现实生活中来看，我们得到的很多图片视频可能是不清晰或者残缺的，我们仍然可以识别和知道事件的发展过程，甚至我们从背影就能知道一个人的身份，所以降噪自动编码器的产生是非常有必要的，也为实际应用提供了更多的方法和参考价值。Bengio提出了稀疏自动编码器(Sparse AutoEncoder，SAE)【19】的概念，通过在万方数据武

34、汉科技大学硕士学位论文编码过程中添加稀疏性约束条件，使得每次得到的编码表示都尽量稀疏，可以类比人脑的神经元处理机制，人脑在处理信息是，只有部分神经元是激活的，大量的神经元都是处于抑制状态，所以在无监督学习过程中，通过减少隐含层的节点数目，可以更好地学习到原始数据的输入结构。2010年，在对已有自动编码器模型的理论特点和构造实现功能的研究下，Salah和Jonathat分别提出了收缩自动编码器(Contractive AutoEncoder，CAE)20】模型和卷积自动编码器模型。收缩自动编码器的产生是为了进一步提高表示学习算法的鲁棒性，使得学习到的特征表示更加具体。我们在基础自动编码器的损失函

35、数中添加解析性收缩表达式来“惩罚”整个函数，从而限定特征表示的自由度。从神经网络的概念上看，其目的就是让隐含层神经元在一定的参数空间范围内得到最好的激活状态，从而更好地代表原输入信息。CAE损失函数(cost function)qh的正则化目标为编码器Jacobian矩阵的Frobenius范数，主要思想就是避免不稳定的数据变量对编码器特征学习过程造成影响，辅助编码器更好的学习特征【2。2009年，Bengio通过实验对各类型神经网络模型进行综述对比，并且着重研究了基于基本的自动编码器单元建模构造深度神经网络模型的理论算法，产生了堆叠自动编码器模型(Stacked AutoEncoder)22

36、1。堆叠自动编码器的思想是基于多层感知器模型连接方式，通过逐层叠加自动编码器，在sigmoid函数的激励下，前一个自动编码器的输出作为后一个自动编码器的输入，进行原始数据的特征表达，达到深层学习的目的。多层神经网络的优势在于通过不停的特征变换，使得学到的数据特征更加抽象化，堆叠自动编码器以基本自动编码器为建模单元，使得神经网络对于非线性数据具有很强的拟合能力，并且能够更好的利用各自动编码器的特点，获得更抽象的数据特征表示。2012年，Taylor较为深入地阐述了DAE与无监督特征学习之间的相关性，主要提出了怎样利用自动编码器搭建不同特点的深度学习结构【231。Hinton以及Vincent等不

37、同深度学习研究的代表人物都通过实验对各类型自动编码器在优缺点上进行了对比，为以后的科研和实践提供了参考。2013年，Telmo在DAE的基础上采用多样化的损失函数，通过实验效果对比对损失函数的激励策略进行了详细的阐述【241。13本文的研究内容131本文的主要研究内容本文主要是基于自动编码器作为学习特征表示的深度学习方法进行研究。对深度学习的发展研究现状，以及各类型自动编码器的基本原理、损失函数惩罚因子6万方数据武汉科技大学硕士学位论文和整个训练过程包括预训练和微调过程都进行了阐述。在理解本实验室的研究内容之上，基于AE，DAE，CAE等自动编码器，采用模块化的方法建立新的深度网络结构，即将降

38、噪自动编码i器(DAE)和收缩自动编码器(CAE)；Ji入同一个神经网络，提出了一种基于自动编码器的深度混合学习模型，使得模型在训练过程中既具有DAE的噪声干扰的鲁棒性，又具有CAE的隐藏层表示的鲁棒性。通过对模型进行参数训练和微调，提高分类任务的精确度。本文完成的主要内容如下：(1)对现有的自动编码器算法模型进行研究和学习，无论是在理论方面和建模策略方面都进行了总结。(2)阅览国内外相关综述论文，明确自动编码器现今的研究和发展方向。(3)对堆叠自动编码器的算法过程通过实验进行研究和学习。(4)提出一种混合神经网络模型SDCAE，将两种基本的自动编码器模型DAE和CAE引入同一个神经网络，利用

39、DAE的训练方法训练模型的第一个隐含层，利用CAE的训练方法训练第二个隐含层，对输入数据进行更深层次的特征变换，提高特征表示能力。(5)将SDCAE和DAE，CAE在MNIST数据集上进行实验，通过对实验结果进行对比分析，发现新的混合自动编码器模型的实验结果要优于单个的自动编码器，说明了本文提出的SDCAE模型的准确性和有效性。(6)基于SDCAE、DAE、CAE单元构造深度神经网络模型，通过实验对比，验证新的混合深度网络模型分类效果优于单独的堆叠自动编码器模型。132本文的内容安排本文一共分为五个章节，第一章为绪论。主要阐述了机器学习以及深度学习的发展历程以及国内外现状，其次介绍了各类型自动

40、编码器的特征表示学习目的。然后针对自动编码器模型的发展中遇到的理论和策略问题，进行了总结和介绍，并确定了本文的研究方向。最后阐明了接下来的文章的内容结构安排。第二章为基础算法的描述，针对本文所涉及的自动编码器模型以及优化自动编码器模型进行介绍。通过图片和公式推导，本章对自动编码器的网络结构原理、工作方法以及编码过程进行了介绍。第三章介绍了论文构建的新的混合自动编码器模型的设计逻辑。重点介绍了如何将不同的自动编码器引入同一个神经网络，在最小化误差的基础上，得到最优的自动编码器模型。并给出了相应的网络结构和算法流程。第四章对实验结果进行分析，通过混合自动编码器，降噪自动编码器，收缩自动编码器的在M

41、NIST数据集上的对比实验，从分类错误率评价指标入手，对比发现了新的混合自动编码器模型要优于单独地DAE算法和CAE算法，证明了设7万方数据武汉科技大学硕士学位论文计逻辑的可行性。第五章是总结及展望。对本文提出的观点和内容进行全面的总结，并针对实验中遇到的困难指出有待改进和不足之处，对未来的研究工作进行展望。8万方数据武汉科技大学硕士学位论文第2章深度学习理论模型综述21神经网络与深度学习人工神经网络的历史最早可以追溯到上世纪的40年代，基于信息处理过程的分析，它对人脑神经元的工作机制进行抽象建模，从而良好的模仿了人脑信息处理过程。神经网络可以看作一个前向拓扑结构图的计算过程，通过对输入信息实

42、现激活或者抑制来处理【2525。综合来看，神经网络系统是通过模拟人脑神经系统的信息处理机制，由大量简单的神经元广泛地互相连接而形成的复杂网络系统【261。随着时间的推移，人们提出了感知器神经网络(Perceptron Neural Network)27】和自适应线性元件等。MMinsky等在实验过程中详细介绍了基于感知器的深度神经网络系统的优缺点，发现感知器并没有很好地解决高阶问题，神经网络算法的训练成本也限制了能够处理复杂问题的大型系统平台的运行使用。这样的观点在当时影响了神经网络的研究脚步的前进，并且人工智能与深度学习也受限于当时的硬件设备【26】26。但有研究者将人工神经网络简单地作为矩

43、阵的数学运算，将神经网络算法中基本的操作作为单独模块编程再组合，提出了适应谐振理论(AdaptiveResonance Theory)28】、自组织映射(Self-Organizing Map)29】、认知机网络(Neocognitron Network)30】。人工神经网络是一种松散地模仿生物大脑解决由生物神经元连接对外来信息进行处理的数学模型。每个神经单元与其他神经元单元连接，每个神经元代表一种特定的输出函数，并且在前向传播过程中，可以对下一层它们所连接的神经单元激活状态进行影响，称为激励函数(Activation Function)。在每个连接和单元本身上可以存在阈值函数或限制函数，使得

44、信号在传播到其他神经元之前必须受到一定限制。整个模型的输出受制于网络的连接模式(双向连接或前馈型)，超参数值的改变以及损失函数的正则化目标，这些因素的改变都能影响输出值。而整个网络模型想要实现的都是基于数据的拟合过程，复杂函数的逼近过程或者对于某种策略规则的表达和描述过程。神经网络的基本结构如图21所示。包括输入层，隐藏层和输出层三个部分。输入层中每个神经元或节点接受非线性的输入信息x成为基本的输入向量；隐藏层单元处在输入和输出单元之间，隐藏层中的每个神经元都为输入信息加权求和节点，根据连接中神经元的权重差异，计算出加权和，再通过激活函数将神经元的加权输入转换为其输出激活；输出层则是信息在神经

45、元连接中通过非线性变换9万方数据武汉科技大学硕士学位论文得到的输出向量，实现整个模型训练处理结果的输出。图21神经网络基本结构人工神经网络被当作并行分布式处理模型，具有自适应、自组织和实时学习的特点【311。被广泛地应用于分类，回归，预测等实际问题当中。通过正确的实现，人工神经网络可以自然地用于在线学习和大数据集应用。它们的简单实现和在结构中呈现的大多数本地依赖的存在允许在硬件中快速，并行实现。人工神经网络具有从输入数据学习到任意函数近似机制的能力，所以在使用过程中需要对神经网络的理论进行相对良好的理解。通过从模型选择，甚至学习算法中的参数选择来改善整个神经网络模型的鲁棒性。我们需要根据原输入

46、数据的特征表示限定模型的辅助度，从而更容易的学习；在学习过程中，我们需要更多地折中去设定超参数和成本函数的限制，这样整个模型更具有鲁棒性。深度学习的概念起源于人工神经网络的研究，是基于一组尝试对输入数据中的高级抽象过程进行建模的算法，属于机器学习的一个新的研究领域。在简单的情况下，可能存在两组神经元：输入和输出。而深度学习算法中，输入和输出之间有多个处理层，这就构成了对数据的线性变换和非线性变换过程。通过深度学习算法，可以得到更广泛的输入数据的学习表示。深度学习同样被成功应用于计算机视觉，语音识别和自然语言处理等领域【51。为了学习到对原输入具有更好表示的特征表达，深度学习通过多层的非线性单元的级联来进行特征提取和变换。在无监督学习的条件下，基于多层非线性处理单元的特征映射，将现有空间样本的特征映射到另一个特征空间，完成从低级特征到高级特征的层级导出过程。我们可以将该深度学习分层模型当成一个神经网络，其核心思想有三个主要的特点：(1)每