AI-第7章 人工神经网络（2）-卷积神经网络.pptx

人工智能导论7.1 概述7.2 前馈神经网络7.3 反馈神经网络第七章第七章 人工神经网络与人工神经网络与深度学习深度学习37.2.37.2.3 卷积卷积神经网络神经网络深度学习表现出优异性能深度学习表现出优异性能模式识别类问题（例如：图像识别、语音识别）模式识别类问题（例如：图像识别、语音识别）自然语言处理类问题（例如：机器翻译，语言模式）自然语言处理类问题（例如：机器翻译，语言模式）卷积神经网络（卷积神经网络（Convolutional Neural NetworksConvolutional Neural Networks，CNNCNN）深度学习的典型代表之一深度学习的典型代表之一前馈人工神经网络继BP网络之后，再次掀起ANN研究高潮极大地解决了模式识别应用化问题当前AI浪潮的动力之一4卷积神经网络卷积神经网络ConvolutionalNeuralNetwork20世纪60年代，Hubel等人的生物学研究表明，视觉信息从视网膜传递到大脑中是通过多个层次的感受野激发完成。1980年，Fukushima第一次提出了基于感受野的理论模型，即CNN的前身-neocognitron。1998年，LeCun等人确定了CNN的结构，并设计了一种多层人工神经网络，即LeNet-5。LeNet-5通过交替连接的卷积层和下采样层对原始图像转换为一系列特征图，最后，通过全连接的神经网络对图像特征表达进行分类。LeNet-5采用BP算法训练网络。5卷积神经网络卷积神经网络CNNCNN基本架构卷积层（convolutionallayer）池化层（poolinglayer）全连接层（fully-connectedlayer）主要特点局部感知权值共享随机梯度下降学习（StochasticGradientDescent，SGD）6CNNCNN的核心思想的核心思想u一般认为人对外界的认知是从局部到全局的，u而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。u因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，u然后在更高层将局部的信息综合起来就得到了全局的信息7CNNCNN的核心思想的核心思想u图像中某一部分的统计特性与其它部分是一样的。u这意味着我们在这一部分学习的特征也能用在另一部分上，u所以对于该图像上的所有位置，我们都能使用同样的学习特征。8卷积层卷积层9卷积概念卷积概念u对信号的错位加权叠加u掩码g(m)反转后在信号f(n)上平移求和M：信号f(n)的长度g(m)：滤波器或掩码s(n)：卷积结果序列，长度为len(f(n)+len(g(n)-110卷积概念卷积概念u卷积满足交换律Zero-padding可使卷积后图像大小不变11卷积概念卷积概念ux为input，w为kernel，s为feature mapu特征图边长：u卷积核边长为奇数u为卷积核滑动步长，一般称为stride12卷积层卷积层u右图1层原始灰度图u有4 4个卷积核u生成4 4个特征图13卷积层卷积层u右图原始彩色图有3个通道（Channel），或者说深度为3 u每个深度上都有各自的卷积窗口，所以实际上共有34 4=1212个卷积窗口u生成4 4个特征图uInput:7*7*3,pad=1u2个filter:3*3,stride=2,pad=015池化层池化层u最大池化u均值池化u减少数据处理量，u保留有用信息。16池化层池化层17u用一个可训练的滤波器f去卷积一个输入的图像，然后加上一个偏置b,得到卷积层。u每邻域四个像素求和变为一个像素，然后通过标量w加权，在增加一个偏置b,然后通过一个sigmoid激活函数，产生一个大概缩小4倍的特征映射图S。18全连接层全连接层u也称为Dense Layeru假设第L-1层有m个神经元，u第L层有n个神经元，uL层的每一个神经元均与L-1层的所有神经元连接，u再加一个偏置向量。InceptionInception结构结构 InceptionInception结构是一种网中网结构，即原来的结点也可以是一个网络结构是一种网中网结构，即原来的结点也可以是一个网络 采用不同的卷积核意味着不同大小的感受野，采用不同的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度最后拼接意味着不同尺度特征的融合特征的融合 一分为四，然后做一些不一分为四，然后做一些不同大小的卷积，之后再堆叠同大小的卷积，之后再堆叠feature mapfeature map 网络越到后面，特征越抽网络越到后面，特征越抽象，而且每个特征所涉及的象，而且每个特征所涉及的感受野也更大了，因此随着感受野也更大了，因此随着层数的增加，层数的增加，3x33x3和和5x55x5卷积卷积的比例也要增加的比例也要增加 嵌入了嵌入了poolingpooling20常用的激活函数常用的激活函数AlexNetAlexNet 出世出世20122012年年HintonHinton的学生的学生Alex KrizhevskyAlex Krizhevsky提出了提出了AlexNetAlexNet获得当年获得当年ImageNetImageNet比赛冠比赛冠军，其识别精度大大优于传统模型。军，其识别精度大大优于传统模型。结构结构八层：八层：5 5个卷积和池化层个卷积和池化层+3+3个全连接层，有个全连接层，有60M60M以上的参数总量以上的参数总量最终最终softmaxsoftmax输出输出10001000类类AlexNetuAlexNet使用两块GTX580显卡进行训练，u两块GPU各训练网络的一部分，在第二个卷积层和全连接层才需要互相通信第一层卷积、池化过程 第二层卷积、池化过程 第三层卷积、池化过程第三层卷积、池化过程 输入：13*13*256卷积核大小、数目、步长：3*3、384、1无池化层输出大小：13*13*384 第四层卷积、池化过程第四层卷积、池化过程输入大小：输入大小：1313*1313*384384卷积核大小、数目、步长：卷积核大小、数目、步长：3 3*3 3、384384、1 1无池化层无池化层输出大小：输出大小：1313*1313*384384 第五层卷积、池化过程第五层卷积、池化过程输入大小：输入大小：1313*1313*384384卷积核大小、数目、步长：卷积核大小、数目、步长：3*3、256、1池化大小、步长：池化大小、步长：3*3、2输出大小：输出大小：6*6*256第六层第六层 全连接层全连接层输入大小：输入大小：6 6*6 6*256256卷积核大小、数目：卷积核大小、数目：6 6*6 6*256256、40964096（相当于隐层神经元（相当于隐层神经元数目为数目为40964096）设置：设置：DropoutDropout输出：输出：40964096第七层第七层 全连接层全连接层输入大小：输入大小：40964096隐层神经元个数：隐层神经元个数：40964096激活函数：激活函数：ReluRelu设置：设置：DropoutDropout输出：输出：40964096第八层第八层 全连接输出层全连接输出层输入大小：输入大小：40964096SoftmaxSoftmax函数输出：函数输出：10001000AlexNet的主要贡献VGG 出世出世VGGVGG也是也是20142014年出现在年出现在ILSVRC14ILSVRC14比赛中，但是得了亚军。比赛中，但是得了亚军。结构结构使用的都是使用的都是3 3*3 3卷积模块，以及卷积模块，以及2 2*2 2池化层，池化层，将卷积层的深度提升到将卷积层的深度提升到16-1916-19层层 证明了一件事证明了一件事网络深度是算法优良性能的关键部分网络深度是算法优良性能的关键部分33VGGVGG 在在20142014ILSVRCILSVRC竞赛中取得第二名；主要任务是：探究卷积网络竞赛中取得第二名；主要任务是：探究卷积网络深度对模型精度的影响？深度对模型精度的影响？这个网络的结构用的都是这个网络的结构用的都是3 3*3 3的卷积模块，以及的卷积模块，以及2 2*2 2的池化层，的池化层，将卷积层的深度提升到将卷积层的深度提升到16-1916-19层。层。结论：证明了网络深度是算法优良性能的关键部分。结论：证明了网络深度是算法优良性能的关键部分。VGGVGG网络结构网络结构特点p连续conv多，p计算量巨大（比前面几个都大很多）p基本组成构建就是AlexNet用到的VGG模型参数u输入是224*224的RGB图像，图像预处理在训练集上每个像素上减去RGB的均值u卷积层的处理使用了很小的卷积核3*3、有的地方使用了1*1u1*1的卷积可以看做是输入通道的线性变换u一般是5层，池化的窗口是2*2，步长是2VGG模型参数u一系列卷积、池化层之后是全连接层，u前两个全连接层包含4096个神经元，u最后一个全连接层包含1000个神经元，u所有全连接层的模型参数相同。u所有隐含层的激活函数都是Relu。VGGu随着卷积层数目的增加，分类错误率逐渐下降u19层网络的分类效果达到饱和u对于更大的数据集，网络层数可能会更深u1*1的卷积层起到了线性变换，卷积后的Relu函数引入非线性提升了分类效果u3*3的卷积核比1*1的卷积核效果更好，因为3*3的卷积更能捕捉到全局信息ResNet 出世出世残差网络是残差网络是20152015年底年底ImageNetImageNet的冠军。的冠军。结构结构可以深达数百甚至上千层可以深达数百甚至上千层独特之处在于设计了独特之处在于设计了“bottleneck”bottleneck”形式的形式的blockblock有跨越几层的直连有跨越几层的直连 证明了一件事证明了一件事将将convconv进行到底，没有最深只有更深进行到底，没有最深只有更深ResNetu通过增加网络的深度来提高准确率uCNN网络层数越多，意味着能够提取不同程度的特征越丰富。所以网络深度很重要u但是简单地增加深度，会导致梯度弥散或者梯度爆炸u网络层数增加，训练集上的准确率饱和甚至下降了，这就产生了退化问题u通过“短路”传递梯度，从而可以大大增加层数ResNet基本思想u假定某段神经网络输入是x，期望输出是H(x)u即H(x)是期望的复杂潜在映射，但学习难度大u如果通过短路连接直接把输入x传到输出作为初始结果p那么此时需要学习的目标就是 F(x)=H(x)-xpResNet相当于改变了学习目标，p不再是学习一个完整的输出，而是最优解H(X)和全等映射x的差值，即残差ResNet残差结构单元u残差单元的输出由多个卷积层级联的输出和输入元素相加(保证卷积层输出和输入元素维度相同)，u再经过ReLU激活后得到。p将这种结构级联起来，就得到了残差网络。ResNetu将卷积输出F(x)与输入x相加u相当于对输入x计算一个微小变化u所得输出H(x)是x与变化量的叠加u传到前一层的梯度就多了一个x的梯度u由于多了这条捷径，来自深层的梯度能直接传递到上一层，使得浅层的网络层参数得到有效训练ResNet优点u更容易优化，连LRN这样的层都没有了u在反向传播过程中梯度信息更容易传播ResNet特点CNN展望（1）CNN变得越来越深，需要大规模的数据库和巨大的计算能力来展开训练。人为搜集标签数据库要求大量的人力劳动。所以，大家都渴望能开发出无监督式的CNN学习方式。（2）深度学习模型在训练过程中都对内存有很高要求，并且消耗较长时间的。如何在不减少准确度的情况下，降低复杂性并获得快速执行的模型，这是重要的研究方向。（3）CNN运用于新任务的一个主要障碍是：如何选择合适的超参数？比如学习率、卷积过滤的核大小、层数等等，需要大量的技术和经验。超参数间还存在内部依赖，获得优化参数的代价很大。（4）关于CNN依然缺乏统一的理论。目前CNN模型的理论解释依然是黑箱。很值得研究CNN的基本理论。待续待续