基于深度卷积神经网络的图像检索算法研究-刘兵.pdf

《基于深度卷积神经网络的图像检索算法研究-刘兵.pdf》由会员分享，可在线阅读，更多相关《基于深度卷积神经网络的图像检索算法研究-刘兵.pdf（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、分类号!P塑14学校代码l 0 4 8 8学号2Q!12Z箜Q!密级烈蔫弄净拨走哮硕士!学位论文基于深度卷积神经网络的图像检索算法研究学位申请人：学科专业： 型墨一一计算机科学与技术指导教师： 张鸿答辩日期：型l三笪月14日万方数据A Dissertation Submitted in Partial Fulfillment of the Requirementsfor the Degree of Master in EngineeringResearch on Image Retrieval Based on DeepC onvolutional Neural NetworkMaster C

2、andidate：Major：一 -3UDervlsor：Bing LiuComputer Science and TechnologyProfZhangWuhan University of Science and TechnologyWuhan，Hubei 430081，PRChinaMay,2017万方数据武汉科技大学研究生学位论文创新性声明本人郑重声明：所呈交的学位论文是本人在导师指导下，独立进行研究所取得的成果。除了文中已经注明引用的内容或属合作研究共同完成的工作外，本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标

3、明。申请学位论文与资料若有不实之处，本人承担一切相关责任。论文作者签名：二攀虹日期：堕趔研究生学位论文版权使用授权声明本论文的研究成果归武汉科技大学所有，其研究内容不得以其它单位的名义发表。本人完全了解武汉科技大学有关保留、使用学位论文的规定，同意学校保留并向有关部门(按照武汉科技大学关于研究生学位论文收录工作的规定执行)送交论文的复印件和电子版本，允许论文被查阅和借阅，同意学校将本论文的全部或部分内容编入学校认可的国家相关数据库进行检索和对外服务。论文作者签名：指导教师签名：日万方数据摘要近年来，随着手机等智能终端的普及，以及社交网络和购物网站的兴起，图像、视频等多媒体数据在互联网上呈现爆炸

4、式的增长。如何从纷繁复杂的图像数据中快速准确检索到用户所需的相关信息，一直是计算机视觉和图像检索领域的研究热点和难点。基于内容的图像检索方法通常包含特征提取和相似性度量两方面的关键技术。传统的图像检索方法大多采用的人工提取的特征，由于低层图像内容特征与高层语义之间存在的“语义鸿沟”问题，使得目前的图像检索效率仍有待进一步提高。本文将深度学习的方法应用到图像检索中，提出了一种基于深度卷积神经网络的图像检索算法。首先对图像数据进行预处理；然后用卷积神经网络对图像数据集进行训练，当网络趋于收敛时保存训练的网络模型，利用训练模型来提取深度图像特征并可视化图像特征；最后结合距离度量算法得到图像检索结果。

5、在实验结果分析中，详细对比了卷积神经网络训练过程中迭代次数与损失及准确率之间的关系。同时利用平均准确率等评价指标来分析图像检索的结果，通过实验验证了基于卷积神经网络的图像检索方法的有效性和优越性。从多个方面与传统方法进行对比，实验结果表明本文算法有较好的检索性能，对于不同的图像数据有着较强的普适性。关键词：图像检索；深度学习；卷积神经网络；特征提取；特征可视化万方数据AbstractIn recent years，with the popularity of smart phones and other mobile terminals，aswell as the rise of social

6、 networking and shopping sites，images，video and othermultimedia data on the Internet showing explosive growthHow to retrieve the relevantinformation from the complex image data quickly and accurately has been a hotspot anddifficulty in the field of computer vision and image retrievalThe content base

7、d image retrieval mainly includes two key technologies：featureextraction and similarity measurementThe traditional image retrieval methods alemostly based on the features of artificial extraction，due to the”semantic gap”betweenthe low1evel image content and the highlevel semantics，the current image

8、retrievalefficiency still needs to be further improvedThis paper applies the method of deeplearning to image retrieval，a depth image retrieval algorithm based on convolutionalneural network Was proposedFirstly,the image data is preprocessedThen，the imagedata set is trained by convolution neural netw

9、orkWhen the network tends to converge，the training network model is saved，and the training model is used to extract the depthimage feature and visualize the image featureFinally,the method of measuring distanceby image retrieval resultsIn the analysis of the experimental results，the relationship bet

10、ween the number ofiterations，the loss and the accuracy was compared in detailThe results of imageretrieval were analyzed by using the mean average precisionThe validity andsuperiority of the image retrieval method based on convolution neural network wereverified by experimentsCompared with the tradi

11、tional methods，the experimentalresults show that the algorithm has better retrieval performance，and it has stronguniversality for different image dataKeywords：image retrieval；deep learning；convolutional neural network；featureextraction；feature visualizationII万方数据目 录摘 要IAbstract11：第1章绪论l11研究背景112国内外研

12、究现状213本文的主要工作314本文的章节安排4第2章基于深度学习的图像检索方法综述521基于内容的图像检索流程522经典的图像视觉特征623相似性度量方法概述624神经网络与深度学习7241神经网络简介8242经典算法9243深度学习简介l l25本章小结14第3章卷积神经网络模型分析与优化1631卷积神经网络模型16311 AlexNet网络模型16312改进的卷积神经网络模型1832权重初始化算法2133模型训练优化策略2l34训练流程2335经典深度学习工具2436本章小结24第4章基于CNN特征的可视化分析及选取2641特征图及卷积核可视化2642基于t-SNE的图像特征可视化284

13、3 CNN特征的选取3 l44本章小结3 l第5章实验结果和性能分析3251系统框架和流程32III万方数据52图像数据集3353卷积神经网络参数设置3354实验结果与分析34541性能评价标准34542训练结果分析34543图像检索结果分析3755本章小结40第6章总结与展望4261总结4262展望42致谢44参考文献45附录1攻读硕士学位期间发表的论文49附录2攻读硕士学位期间参加的科研项目50IV万方数据武汉科技大学硕士学位论文第1章绪论11研究背景随着互联网的极速发展，尤其是移动互联网更是显现出空前的发展，人们能够更方便地通过智能设备访问互联网。近些年，伴随微博、facebook等社交

14、网站的盛行，互联网上的图像数据每天都在快速的增长。截止2016年底，微博上的月活跃用户接近313亿，日活跃用户峰值达154亿，每天都会有大量的图像上传到服务器上；电商网站淘宝的服务器上保存着两百多亿张商品图像，并且每天都会有大量的商品图像上传。面对如此巨大的图像数量，如何快速准确的从庞大的图像数据库中找到用户感兴趣或想要的图像信息，成为图像检索研究领域的重点及难点。依据图像内容的不同描述方式，图像检索大致分成两种类别：基于文本的图像检索(Text Based Image Retrieval，TBIR)t1】和基于内容的图像检索(Content BasedImage Retrieval，CBIR

15、)E21。TBIR的研究源于上世纪七十年代，它的基本思想是利用人工的方式对数据库中图像的内容进行文字标注。这些标记的内容被称为关键词，它是与图像相对应的。用户在检索的时候，在系统中输入关键词，系统根据输入的关键词来匹配图像数据库已有的关键词，然后根据关键词的匹配结果返回相应的图像给用户。这种检索方式实现起来较为简单，由于图像标注大部分由手工完成，检索的准确度也相对较高，在现实生活中有着较为广泛的应用。如百度、Google等公司的图像搜索功能。虽然TBIR应用广泛，但是它也有着非常明显的缺陷。首先对于图像的标注工作是一个非常艰巨的任务。对于较小的图像数据集，人工标注的方式尚可满足，在大规模的图像

16、检索任务中，对图像的标注要花费大量的财力及人力。伴随图像数据的不断扩充，还需要对新增的数据手动标注；其次人工标注往往会受到标注者的主观意识、思维方式等多方面的影响，导致对相同图像的标注内容出现一定的偏差。同时，由于图像所表达的信息较为丰富，一些简短的文字信息无法准确的描述图像的内容，对于这类图像，检索的结果很难达到用户的所需。为了解决TBIR中存在的这些不足，20世纪九十年代，CBlR技术应运而生【31。CBIR的基本思想是先对抽取特征，构建一个图像特征库。当用户输入查询图片后，先抽取查询图像的特征，然后使用相似性算法对该特征和特征库进行相似度计算，最后依据相似性的大小来排序并将结果返回。CB

17、IR极大减少了人工对图像的干预，图像内容的表达和相似度的计算全都交给计算机处理，从一定程度上克服了TBIR中所存在的问题，提高了图像检索性能。这种方式也存在一定的缺陷，由于1万方数据武汉科技大学硕士学位论文CBIR中普通存在“语义鸿沟”的难题，即低层图像特征和高层语义的不一致导致的检索需求间的差距【41。语义鸿沟的问题不可避免，只能从一定程度上来减小影响。CBIR技术在电子商务、医疗和知识产权等诸多领域都有着重要应用【51。电子商务方面，淘宝的“拍立淘功能，用户拍摄一张照片上传，服务器就会返回与拍摄照片相似的商品；医疗方面，利用检索医学数据库找到和病人类似的地方，从而帮助医生对病情做出诊断；知

18、识产权方面，通过图像检索来查找某个商标是否已经注册，是否存在侵权行为等。综上所述，图像检索是多媒体检索的一个较为重要研究方向，这项工作具有一定的研究意义及应用价值。在互联网技术日新月异的今天，图像检索技术显得愈发的重要。12国内外研究现状CBIR技术经过几十年的快速发展，已经形成了包括图像特征提取和相似性度量等一系列相关技术在内的完整的技术体系。国外出现了一系列商业化的检索系统。例如IBM于二十世纪九十年代研发的首个商业化的图像检索系统：QBIC系统61。它的成功应用对未来的检索系统有着极其重大的启示作用：后来也出现一系列较为成功的系统：Virage系统【71、PhotoBooK系统81、We

19、bSEEK系统【9】等等。在国内也有一些成功的运用，如浙大自主研发的WebScoreCBR系统等。特征提取及相似性大小计算是图像检索中两个方向的关键技术【10】10。为了进一步的提高图像检索准确率，国内外众多研究者在这两个方面做了大量的研究工作。CBIR致力于研究图像本身的视觉信息。过去几十年里，大量描述图像内容的底层特征被提出【11】。由于CBIR中“语义鸿沟”的影响，检索的准确率总是不尽人意。在图像检索算法中通常选用欧式距离、余弦距离等一些简单的距离度量方法对特征进行相似性计算。然而面对越来越复杂的图像检索系统，这些相似性度量算法对于图像间的相似程度匹配的并不太准确。近年来国内外出现了大量

20、针对相似性算法的研究，其中效果较好的是距离度量学-(Distance Metric LearningDML)12。DML是机器学习中的一个方向，它的主要思想是用有标记的数据或者结合部分没有标记的数据，寻找能在指定标准下最为恰当的刻画数据相似程度的距离函数。国内外众多研究者在DML方面有许多研究成果。Weinberger等人提出了大间隔最近邻(La唱e Margin Nearest Neighbor,LMNN)算法【13】，该算法运用K近邻分类算法来学习新的距离度量函数。Chechik等人提出了在线可扩展图像相似(onlinealgorithm for scalable image simila

21、rity,OASIS)算法14】，该算法通过在线学习双线性模型来实现一种可扩展的相似度量函数，成功的应用在了海量的图像检索任务中。近年来，随着机器学习的快速发展，特别是深度学习在文本、语音、图像等2万方数据武汉科技大学硕士学位论文方面取得了巨大的成功【15】【16】【17】。国内外研究者们看到了深度学习在特征学习方面的巨大潜力，深度学习很有可能成为跨越语义鸿沟的桥梁。1985年，Hinton等人提出了受限制的玻尔兹曼机(Restricted Boltzmann Machine，RBM)t18】，之后在RMB的基础上，又提出了深度置信网络(Deep BeliefNetwork，DBN)19】。D

22、BN是由多层的RBM组成，运用贪婪算法来按层训练，解决了在网络训练过程中权值可能出现局部最小的难题。1998年，LeCun等人使用七层的深度卷积网络LeNet-5来训练手写体数字并成功的识别201。2012年，在ImageNet图像识别大赛中，Alex等人提出的卷积神经网络模型AlexNet获得冠军【211。在一百多万的图像数据，1000个类别的图像分类任务中取得了巨大的成功，将图像分类top5的错误率由原来的26降低至153。微软亚洲研究院(MSRA)的视觉计算组于2015年提出了152层的深度残差网络(ResNet)，该网络模型以绝对优势获得了图像分类、图像定位和图像检测全部三个主要项目的

23、冠军【221。该算法的提出很好的解决了深层的网络结构与其准确率之间的矛盾，为人们训练更深层的网络模型指明了方向。在最近的研究中，He将RestNet网络的层数提升至了1001层(23】。在图像检索方面，Alex利用将自动编码器算法用于到图像检索中24】，Wu等人在自动编码器算法的基础之上，利用降噪自动编码器(Stacked Denoising AutoEncoder，SDA)来训练无标记的图像数据，用在线学习算法对作为度量算法来实现图像检索的应用【251。Wan等人详细阐述了深度学习在图像检索中的应用【26】，将深度卷积神经网络抽取到的图像特征应用到图像检索中，并对网络中不同的隐层输出的特征的

24、检索精度进行了详细的分析和比较。13本文的主要工作针对图像检索中底层视觉特征与图像高层语义间普遍存在的“语义鸿沟”问题及大规模图像检索中的检索速度问题，本文尝试将深度学习算法中的卷积神经网络应用于到图像检索任务中。在已有的卷积神经网络的基础上继续进行研究，在全连接层中添加一个输出低维度图像特征的隐含层。将图像数据集送到网络里面进行迭代训练，然后提取新添加隐含层的图像特征。最后在深度卷积特征的基础上利用相似性算法进行图像检索的研究。通过后续的实验证明，该算法检索的平均准确率要好于传统图像检索算法。本文主要有以下研究内容：(1)卷积神经网络的模型改进与优化。通过对AlexNet网络的深入研究，结合

25、近年来针对卷积神经网络新提出的一些算法，对AlexNet网络中部分层和参数进行修改，在卷积层的后面添加了BatchNorm层，在全连接层中添加一个新层用于学习低维度的图像特征。(2)特征可视化。对卷积神经网络中的特征图和卷积核的可视化，通过图像直万方数据武汉科技大学硕士学位论文观的表现特征从低层到高层的变化过程及特点。另外，利用t-SNE算法，将部分图像数据进行可视化。运用可视化更加形象具体观察卷积神经网络对于图像特征的学习能力。(3)利用提取好的图像特征，利用相似性度量算法对图像检索的结果进行评价，同量根据实验结果来确定网络中隐含层输出值的大小。14本文的章节安排本文共包含六章，详细内容如下

26、：第一章绪论。本章主要介绍了与图像检索相关的研究背景与意义，以及该领域的国内外研究现状。第二章基于深度学习的图像检索方法综述。本章介绍了图像检索的基本流程、底层图像视觉特征、相似性度量方法。然后介绍了神经网络及其经典算法，最后详细介绍了卷积神经网络。第三章卷积神经网络模型分析与优化。本章详细介绍了卷积神经网络中的经典网络模型AlexNet，然后介绍了对该模型的改进和优化，最后简单介绍了网络在训练的优化策略和流程以及深度学习框架的选择。第四章卷积神经网络特征的可视化分析及选取。本章主要介绍了运用可视化来展示卷积神经网络中低层次到高层次过程的特征表达。同时介绍了如何选取网络中的图像特征用于图像检索

27、。第五章实验结果和性能分析。本章介绍了系统的整体框架和流程及实验所用的数据集。然后介绍了卷积神经网络训练过程中的参数设置，对卷积神经网络训练过程中迭代次数与损失及准确率进行了详细分析，对不同数集的平均准确率进行了评价并与其它算法结果进行了比较，分析总结了实验结果。第六章总结与展望。本章主要是对基于卷积神经网络的图像检索算法总结，并分析了文章所存在的不足和下一步工作的展望。4万方数据武汉科技大学硕士学位论文第2章基于深度学习的图像检索方法综述21基于内容的图像检索流程在Web20时代，互联网技术飞速发展，特别是近年来移动社交网络的不断发展，人们可以随时随地访问互联网上的信息。然而对于网络上大量的

28、图像信息，想要整理或查找图像数据显得愈发困难。图像检索技术此时就显得相当重要，它是当下研究人员的重点研究方向之一。图像检索能够在一定程度上帮助人们从复杂的图像数据中迅速找寻到相关的信息。图像检索主要包含预处理、图像的特征提取和相似性计算等几个步骤，具体过程如图21所示。二一一一一一一一一一一一一一一一一一一一一一一一一一一一-一一一一一一一一一一一-一一-一一一一一一一一一一J图21图像检索流程11图像预处理：数据库中的图像的大小、分辨率和光照等可能存在差别，为了方便对图像进行统一操作，需要对图像进行预处理操作。常见的预处理操作包括：归一化、空间变换、几何变换和图像净化处理等。通过这些操作，可

29、以得到质量较高的图像数据，方便后面的特征提取等操作。2、)图像特征提取：特征提取就是将视觉特征转化为数学中矢量的表示方式。通常的特征主要是颜色及形状等特征。特征对于后续的相似性计算有着一定的影响。通常提取的特征都是低层特征，这和高层语义信息间有着较大的差距。近些年机器学习的快速发展，研究人员正在研究如何利用机器学习算法来自动获取图万方数据武汉科技大学硕士学位论文像的特征。3)相似性度量：相似性度量主要是用来计算查询特征与特征库间距离的大小，通过得出的值的大小来评判图像间的相似程度，通常的相似计算方法有余弦距离、欧式距离等。22经典的图像视觉特征图像检索研究工作里，特征抽取是其中一个十分重要的技

30、术，图像特征以矢量的形态存在于计算机里面。特征提取是检索的基本工作，它和最后的检索效果息息相关。通常的特征一般是底层视觉特征，这些特征的提取通常是根据人工所规定的方法来提取，如颜色、纹理和形状特征等。1)颜色特征在检索任务中运用最频繁的一种特征就是颜色特征，主要是由于图像里含有的一些场景或物体往往和颜色密不可分。另外，相对于其它的特征，它对于图像自身的大小、方位等因素有着较小的依赖，所以它的鲁棒性强。同时，这种特征的提取方法较简单。2)纹理特征纹理特征通常表现的是图像里的同质现象。不同于颜色特征，它是利用像素和附近空间邻域灰度值的分布情况来展现的。它体现的是物体表面的一种特性，对于尺寸及其大小

31、的干扰较小。3)形状特征形状往往与图像里的某些具体的目标有着联系，是人类对于目标的初始认知。形状特征一般存在某些语义内容，通常认为它的特征层次相对于其它视觉特征更高。形状特征通常包括两大类：一类特征是针对物体轮廓的描述，另一类特征是基于物体区域的描述。23相似性度量方法概述图像检索算法研究中，图像相似程度通常是由它们对应的特征间距离的大小来决定的。一般来说，特征间的距离愈小，表明图像的相似程度愈高，反之则愈不相似。对于一个n维空间的两个图像特征向量x=五，x2，吒和Y=M，儿，蚝，令D(z，Y)为向量x和Y之间的相似度，传统的距离计算方法有如下几种：1)欧式距离，即空间里的两个点间的距离值的大

32、小，值愈小愈相似。计算公式如下：6万方数据武汉科技大学硕士学位论文哪)=每鬲 (2一1)2)余弦距离，表示两个向量间的余弦值的大小，值愈大表示两者愈相似。计算公式如下：。(训)2崩 (2-2)3)马式距离，比较的是数据问的协方差，值愈小愈相似。计算公式如下：其中F1是x和Y的协方差矩阵。4)相关距离，计算公式如下：o(x，y)=1一岛其中岛表示相关系数，计算公式如下：(2-3)(24)岛=Cov(x,y)45N45(y)=等端铲 (2-5)岛一一厩丽雨厂 u。24神经网络与深度学习1943年，WS等人建立了神经网络及其数学模型，命名为MP模型【27】，人工神经网络(Artificial Neu

33、ral Network，ANN)起源于此。神经网络尝试运用模拟人类大脑机制来解决机器学习中的某些问题。神经网络发展的第二次的高峰始于20世纪80年代，此次伴随着连接机制运动而出现。连接机制的主要思想是：当把神经网络中的众多简易的计算单元联结在一起时能够出现智能的行为。反向传播算法的成功应用就是连接机制的重要成就之一。此次浪潮一直持续到90年代中期。2006年，神经网络出现第三次发展高峰，这一年，Geoffrey Hinton提出一种深度信念网络(DBN)的神经网络能够使用贪婪按层进行训练的方法，这种方法能够真正使训练7万方数据武汉科技大学硕士学位论文有效。这一年“深度学习这个新的专业术语正式进

34、入人们的视野，它解决了不能够的训练更深的人工神经网络的难题。深度学习显现出了优势，已经渐渐优于其它的机器学习算法和人工设计的智能系统。241神经网络简介神经元(Neuron)为ANN的主要组成单元，它通过模仿生物神经元的特性，接收输入信息，经过处理后输出信号。神经元的基本结构如图22所示。+1图22神经元结构k6(x)假设有样本集n，y(O)，k6为神经元的最终输出，W,b为其参数，用此参数来拟合样本集。在图22中，输入单元为五，x2，x3，+l表示偏置单元。若此神经元的激活函数为()，那么输出为：=(矿功=厂(乙+6) (26)在神经元的结构里一般选择Sigmoid当作激活函数，即：=缶 (

35、27)除了Sigmoid函数，也能够选择双曲正切函数f=tanh(x)。在神经网络中，激活函数可以抑制网络的两头，从而对网络中间细微变化敏感，使其对特征识别度更好。将多个神经元联结在一起，就构成了简易的神经网络，图23是一个简单的例子。图中左边为输入，用X=瓴，x2，x3)来表示，其中+1为偏置节点。中间所有节点所组成的一层称为隐藏层。右边为神经网络的输出。从图里可以了解到，除去偏置节点外，神经网络的结构包括：输入单元三个、隐藏的单元三个和一个输出万方数据武汉科技大学硕士学位论文毛恐!x3+lu层 L2层图23一个简单的神经网络单元。设咒，为网络层数，厶表示第，层。网络参数为：(W,b)=(W

36、n，护，W，b2)(28)嘭D为第，层第单元和第z+l层第f单元间的联接参数。b7是第，+1的f单元的偏置项。磷7表示第，层第f单元的激活值，网络里的激活函数用八)表示，网络中西孙、2、西2和输出k6的计算方法如下：前2=(蚓xa+蠼恐+赠x3+65D)2=八赠xt+唆x2+昭x3+噬D)西2=八赠k+蠼而+赠x3+噬D)6=砰=f(B祭n2磷2+孵蟛+孵口；2+研21)(2-9)(2一lO)(2-11)(2-12)242经典算法1)随机梯度下降算法机器学习中，随机梯度下降(stochastic gradient descent，SGD)算法【28】是一个使用非常广泛的算法，神经网络中也运用到

37、了这个算法。神经网络通常须要众多的训练数据，数据量愈大，训练效果也就愈好。但是庞大的数据量也带来了一个新的问题：计算的代价过高。于是在计算过程中引入了SGD算法。SGD算法的核心思想是：梯度作为期望，期望可以使用小规模的样本数据来近似估计。设有数据9万方数据武汉科技大学硕士学位论文集X=缸n，Y，机器学习算法中，损失函数通常可以分解为每一个样本损失函数的总和。训练数据的负条件关系的极大对数的似然函数为：以=乓,Y-PdutaL，o=去喜妒，D (2_13)其中三为每个样本的损失函数三0，Y，O)=-logp(ylx；O)。将每个样本的损失函数进行叠加，则梯度下降的计算所需代价为：V朋=去善V彬

38、， (2-14)公式(214)的计算代价为O(m)，随着训练数据的不断增加，计算梯度的过程中将消耗相当长的时间。为了适当减小计算梯度的时间代价，使用了SGD算法。其具体做法是：在算法的每一步从训练数据集中均匀抽取出一个小批量数据B=x(，x(扪，x，其中是一个在一到几百之间的较小的数值。当训练的数I J据集m不断增大时，通常是保持不变的。这样在训练较大数据时，每次梯度更新只需要计算几百个数据，大大减少了计算量。其梯度估计可表示为：梯度下降估计可表示为：g=刍V日善(删，乡)e卜eag(215)(216)其中口表示学习速率。2)反向传播算法反向传播算法【29】从整体上来说大致可以分为两个过程：前

39、向传播阶段和反向传播阶段。设固定样本集z=(o，少1)，(x(，y)，其中的某个样本为(z，y)，先按照前向传播算法进行前向计算，得到网络中全部的激活值，其中包含，。(x)的输出结果。然后对于第z层中的各个结点i，得到它的残差母n，辞7)说明此结点对最后的输出值的残差影响的大小。最后输出的结点可以用万(砷来表示，它是通过运lO万方数据武汉科技大学硕士学位论文算网络中的激活数值和真实数值问的距离。至于网络中的隐含单元，用基于结点残差的平均加权数来计算彭n，然后用西7)作为网络中结点的输入值。具体计算过程如下所示：运用前传公式进行前传计算，得出厶，3，直至输出层厶的激活数值；至于第n，层的各个输出

40、i，可以运用式(217)来计算得到残差；牡南妒砀刷卜(咒一计(圳 (2-17)对于k啊-1，-2，n，-3，的每层，第，层的第f个结点按照式(218)来计算得到残差；牡(警哕k别 、，=l 通过式(219)和(220)来计算偏导数；=秽)=辞“1)最后使用SGD算法来按照式(221)和(222)对参数形，b进行更新。呀。=嘭。一口南咿训)巧7)=2jf0-a+，(形，6；五y)(218)(219)(220)(221)(222)通过重复SGD算法的循环步骤求出代价函数，(形6；五y)的极小值，进而最终得到神经网络的解。243深度学习简介深度学习源于简单的神经网络，它的概念是由Hinton在200

41、6年提出来的【30】。力力k而厉厉帆以，一砷一旦噔旦捌万方数据武汉科技大学硕士学位论文在此之后，深度学习得到广泛关注并在众多研究领域获得突破。人工智能研究领域在近十年来最大的突破就是深度学习31】【321。深度学习属于机器学习算法中的一种，在它的不断发展过程中，涵盖了包括脑科学、应用学及统计数学等多方面的知识。这些年，深度学习变得越来越大从化和实用，主要取决于计算机能力更强大、数据样本更多以及可以训练更深层次的网络算法。深度学习包含了一系列机器学习算法，按照训练样本是否有标记，可划分为非监督算法和监督算法两个类别。非监督学习算法有自动编码器(AutoEncoder,AE)t33】等，监督学习算

42、法有卷积神经网络(Convolutional Nepal Network，CNN)t34】丝寸O(1)自动编码器在非监督算法中，训练数据集的是没有标签的。AE是非监督的算法，它采用的是BP算法，AE的最终目的是让输出值与输入值相等。自编码神经网络的一个简要组成示意图如下图所展示。L1层 L2层 L3层图24自动编码器自编码网络的终极目标是试着构造出一个类似。fxlx的函数，也就是说它试着无限趋近一个恒等的函数，最终使输出殳接近输入x。虽然看上去自动编码网络学习一个恒等函数没有什么意义，但当往其中添加一些约束，例如约定隐含层神经元的个数，那么在输入中会看到一些有意思的构造【351。假如一个网络的

43、输入x是一个lOxlO大小的图像，此时n=100，隐藏层厶神经元数目为50。由于神经元的个数仅为50，使得此时的网络不得不从原始数据中学习数据的压缩表示，即网络必须由50个有限的神经元中重现出100维度的输入z。反过来看，当隐含层的神经元数目多于输入时，通过约束此时神经元的稀疏的特性，这样同样可以重构出输入向量。12万方数据武汉科技大学硕士学位论文(2)卷积神经网络CNN是一种监督学习算法，即网络的输入数据是有类别标记的，CNN属于前馈神经网络中的一种，它是受到生物学上感受野的启发而提出的。CNN中一个重要的操作是卷积。卷积运算一个重要的特点就是能够起到减少噪声并放大原始特征的作用。CNN在语

44、音、图像和视频等多个领域都有着许多成功的应用。下面将介绍其中几个重要的层的基本概念。1)卷积层卷积层主要用到了数学概念中的卷积运算。对图像的卷积计算可当作是对图像进行类似滤波的操作。设函数，力为图像I kx行Y列的灰度值，函数吣，t)为卷积核，a，b为卷积核的大小，o为卷积运算符。那么卷积运算可表示为：a bf(x，力。w(s，f)=w(s，t)f(x-s，y-t) (223)s=一口s=一6卷积网络中有三个重要思想：稀疏连接(sparse connectivity)、参数共享(parameter sharing)和等变表示(equivadant representations)，卷积还提供了一种处理大小可变的输入方法。在一般的神经网络中输入及输出主要利用矩阵相乘来创立联系，输入及输出单元间的交互通过矩阵中的独立的参数来进行表达。由于CNN具有稀疏连接的特性，使得卷积核的规模小于输入的规模。图25展示的是稀疏联接的结构示意图。第n层的隐含元只和第n-1层的局部区域相联接，区域称之为接受域。第聍层接受域大小为3，这一层和下一层的3x3个神经元相连。若n+l层的宽度也为3，那么相对于n一1层的接受域宽度就为5x5。n+l层n层n-1层图25稀疏连接权值共享是指在多个函数在同一模