(1.9)--第9章 深度学习人工智能导论.ppt

《(1.9)--第9章 深度学习人工智能导论.ppt》由会员分享，可在线阅读，更多相关《(1.9)--第9章 深度学习人工智能导论.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第九章 深度学习概述Introduction to Deep LearningPPT模板下载： 目录CONTENTS一二 卷积层三 池化层与全连接层四 常用数据集深度学习与卷积神经网络一、深度学习与卷积神经网络2016年，Google的AlphaGo战胜围棋高手李世石。Deep Learning is so cool for so many problemsClassificationImage Style TransferSegmentationObject Detection2016年人工智能元年1.1 深度学习概述一、深度学习与卷积神经网络1、大规模数据集3.开发框架1.1 深度学习概述

2、2、GPU设备一、深度学习与卷积神经网络深度学习（DeepLearning，DL）是基于深层神经网络的机器学习，简单理解为多隐层神经网络，隐层个数依具体问题可以数个、数十个、数百、千个。1.1 深度学习概述浅层神经网络深层神经网络一、深度学习与卷积神经网络单隐层神经网络的隐层宽度足够大时，理论上能拟合逼近任意复杂的非线性函数，完成复杂的非线性分类。宽度大深度大性能表现更为理想1.1 深度学习概述单隐层神经网络多隐层神经网络一、深度学习与卷积神经网络边缘特征（初级）局部特征（中级）复杂、抽象特征（高级）浅层神经元中层神经元深层神经元人脸识别1.1 深度学习概述从动物视觉皮层处理自然场景的机制来看

3、，深度学习是对大脑“感知认知”机制的一种模拟。一、深度学习与卷积神经网络1818像素324个数字特征人眼中的图像计算机“看到”的图像1.2 卷积神经网络（Convolutional Neural Network）使用全连接神经网络识别手写体数字1、模型的提出一、深度学习与卷积神经网络传统全连接神经网络对于尺寸较大的图像进行识别具有很强的不适应性。1.2 卷积神经网络1、模型的提出一、深度学习与卷积神经网络例：图像100010003，模型输入层：300万节点，第1隐层：假设1000节点，则二者间的权值参数：30亿。传统全连接神经网络对于尺寸较大的图像进行识别具有很强的不适应性。原因1：输入层特征

4、维度过大，导致（1）模型结构复杂；（2）模型参数过多。原因2：不符合图像特征提取机制，忽略各像素点间的区域联系。1.2 卷积神经网络1、模型的提出一、深度学习与卷积神经网络特征提取特征分类识别1.2 卷积神经网络1、模型的提出一、深度学习与卷积神经网络1962年，Hubel和Wiesel对猫的视觉皮层细胞研究。提出局部感受野（LocalReceptiveField），视觉皮层神经元仅接受局部区域内的信号，不是对全局图像直接感知。猫的视觉皮层对信息的处理是层级结构。局部感受野（LocalReceptiveField）1.2 卷积神经网络1、模型的提出一、深度学习与卷积神经网络1998年，Yann

5、LeCun提出卷积神经网络LeNet-5；包括卷积层、池化层和全连接层。卷积层和池化层重复多次，用于提取图像特征。生物科学发现卷积神经网络猫工智能？1.2 卷积神经网络1、模型的提出一、深度学习与卷积神经网络特征提取特征分类识别一、深度学习与卷积神经网络为什么提出卷积神经网络：（1）降低参数的数量（2）提高特征提取能力权值共享（SharedWeights）：同一种特征提取（卷积核）使用的参数相同。局部连接（SparseConnectivity）：每个神经元仅对局部感知，然后在模型高层综合局部信息得到全局信息。1.2 卷积神经网络2、模型的基本机制PPT模板下载： 目录CONTENTS一二 卷积

6、层三 池化层与全连接层四 常用数据集深度学习与卷积神经网络二、卷积层（Convolution Layer）（1）通道（Channel）数：图像中每类像素的数量。例如：灰度图像，通道数为1，彩色图像，通道数为3（红、绿、蓝）；2.1 基本概念灰度图像彩色图像彩色图像-通道1（红）彩色图像-通道2（绿）彩色图像-通道3（蓝）二、卷积层（Convolution Layer）（2）卷积核（ConvolutionKernel）：也称模板图像、过滤器（Filter）、图像算子。（3）卷积计算：卷积核与原始图像相应位置逐点相乘累加，得到输出目标像素的值。（4）输出（Output）图像：也称特征图，其中单道情

7、况下为FeatureMap，多通道称为FeatureMaps。2.1 基本概念原始图像卷积核（Kernel、Filter）特征图（FeatureMap）-10+050+10+(-2)0+080+231+(-1)33+090+10=29二、卷积层（Convolution Layer）1、一维卷积：输入为序列（1）窄卷积：输入序列两端不补0，输出序列长度：n-m+1，小于输入序列长度。输入序列长度n，卷积核长度m（2）等长卷积：输入序列两端补0，输出序列长度等于输入序列长度。窄卷积等长卷积计算过程单个卷积核2.2 卷积计算（单个卷积核）二、卷积层（Convolution Layer）卷积核的数值：

8、模型训练过程中要学习的参数。2、二维卷积：输入为图像计算过程单个卷积核、单个通道2.2 卷积计算（单个卷积核）二、卷积层（Convolution Layer）注意：卷积核的深度（Depth）等于输入图像的通道（Channel）数。Inputimage553Kernel333FeatureMap332、二维卷积：输入为图像计算过程单个卷积核、多个通道2.2 卷积计算（单个卷积核）二、卷积层（Convolution Layer）2、二维卷积：输入为图像2.2 卷积计算（单个卷积核）二、卷积层（Convolution Layer）为增强卷积层特征表示能力，常使用多个不同的卷积核，计算得到多个特征图（

9、FeatureMaps），其中每个FeatureMap都共享一个卷积核。每个卷积核是一种特征提取器，每个FeatureMap是输入图像经过一个特征提取后得到的特征矩阵。1、一维卷积2.3 卷积计算（多个卷积核）二、卷积层（Convolution Layer）注意：（1）特征图的数量等于卷积核的数量；（2）卷积过程中，对于输入图像所有位置，同一个卷积核的参数相同，不同的卷积核不同。2、二维卷积2.3 卷积计算（多个卷积核）二、卷积层（Convolution Layer）2、二维卷积2.3 卷积计算（多个卷积核）例：对于32323的图像，使用553的卷积核，理解输出特征图与卷积核的数量关系。二、卷

10、积层（Convolution Layer）1、步幅（Stride）：卷积核每次在原始输入图像上滑动的步长，默认为1。2.4 卷积层的超参（Super Parameter）Stride=1Stride=2二、卷积层（Convolution Layer）卷积运算降低图像的尺寸，可能会造成原始图像的边缘信息对输出的贡献降低。2、填充（Padding）：对原始图像的边缘进行扩展补值，默认为0。2.4 卷积层的超参（Super Parameter）二、卷积层（Convolution Layer）记I：输入图像尺寸，O：输出图像的尺寸。K：卷积核尺寸，N：卷积核数量，S：步长，P：填充。3、卷积层的输出图

11、像（FeatureMaps）计算（2）通道数：等于卷积核数量N。（1）尺寸：2.4 卷积层的超参（Super Parameter）二、卷积层（Convolution Layer）ReLU2.5 卷积层的非线性（Non-linearity）二、卷积层（Convolution Layer）2.5 卷积层的非线性（Non-linearity）二、卷积层（Convolution Layer）1.输入一个300300的彩色（RGB）图像，假设未使用卷积神经网络。若第一隐层有100个神经元，每个神经元与输入全连接，该隐层有多少参数（包括偏置）？A.3003100B.3003100+100 C.300300

12、3100 D.3003003100+1002.输入一个300300的彩色（RGB）图像，假设使用卷积神经网络。若卷积层包括100个55的卷积核，该层有多少个参数（包括偏置）？A.55100B.553300300 C.55100+100D.553100+1002.6 测试题二、卷积层（Convolution Layer）1.输入一个300300的彩色（RGB）图像，假设未使用卷积神经网络。若第一隐层有100个神经元，每个神经元与输入全连接，该隐层有多少参数（包括偏置）？A.3003100B.3003100+100 C.3003003100 D.3003003100+1002.输入一个300300

13、的彩色（RGB）图像，假设使用卷积神经网络。若卷积层包括100个55的卷积核，该层有多少个参数（包括偏置）？A.55100B.553300300 C.55100+100D.553100+1002.6 测试题二、卷积层（Convolution Layer）1.输入一个300300的彩色（RGB）图像，假设未使用卷积神经网络。若第一隐层有100个神经元，每个神经元与输入全连接，该隐层有多少参数（包括偏置）？A.3003100B.3003100+100 C.3003003100 D.3003003100+1002.输入一个300300的彩色（RGB）图像，假设使用卷积神经网络。若卷积层包括100个5

14、5的卷积核，该层有多少个参数（包括偏置）？A.55100B.553300300 C.55100+100D.553100+1002.6 测试题二、卷积层（Convolution Layer）3.设有一个636316的图像输入，并使用大小为77的32个卷积核（过滤器）进行卷积，使用步幅为2和无填充，请问输出是多少？A.292932B.161632C.292916D.1616162.6 测试题二、卷积层（Convolution Layer）3.设有一个636316的图像输入，并使用大小为77的32个卷积核（过滤器）进行卷积，使用步幅为2和无填充，请问输出是多少？A.292932B.161632C.2

15、92916D.161616提示：输出图像的尺寸：(63-7+20)/2+1=29。输出图像通道数=卷积核的通道数=322.6 测试题PPT模板下载： 目录CONTENTS一二 卷积层三 池化层与全连接层四 常用数据集深度学习与卷积神经网络三、池化层与全连接层方法：在卷积层之后，计算特征图FeatureMaps某区域特征的最大值或平均值，对应为最大池化（MaxPooling）或平均池化（AveragePooling）；作用：降低特征图的维度，减小模型参数数量和计算量，有助于降低过拟合。PoolingLayer3.1 池化层（Pooling Layer）三、池化层与全连接层池化层的输出图像（Fea

16、tureMaps）的大小记I：输入图像的尺寸，O：输出图像的尺寸。K：池化区域尺寸，S：步长。（2）通道数：不变。（1）尺寸：3.1 池化层（Pooling Layer）三、池化层与全连接层测试题：设有一个323216的输入，使用步幅为2、卷积核大小为2的最大池化，请问输出是多少？A.151516B.16168C.161616D.32328三、池化层与全连接层测试题：设有一个323216的输入，使用步幅为2、卷积核大小为2的最大池化，请问输出是多少？A.151516B.16168C.161616D.32328提示：输出图像的尺寸：(32-2)/2+1=16。输出图像通道数：池化不改变原有通道数

17、。三、池化层与全连接层位置：在卷积神经网络模型的最后。作用：通过隐层计算，最终输出样本对应类别的概率（Probability）。3.2 全连接层（Fully Connected Layer）FullyConnectedLayer三、池化层与全连接层（1）数据展平（Flatten）：将最后一个池化层的特征图（多维矩阵）平铺为一维向量，作为全连接层的输入。3.2 全连接层（Fully Connected Layer）三、池化层与全连接层输出属于某一个分类类别的概率（2）输出类别的概率：利用SoftMax函数将所有输出值转换为概率，最大概率对应的节点即为模型分类结果。SoftMax计算示例3.2 全

18、连接层（Fully Connected Layer）PPT模板下载： 目录CONTENTS一二 卷积层三 池化层与全连接层四 常用数据集深度学习与卷积神经网络四、常用数据集规模：70,000张2828的图片。Google公司+YannLeCunhttp:/ 计算机视觉的数据集四、常用数据集（4）MSCOCO规模：91类目标，328,000图像，用于识别、语义分割等。http:/cocodataset.org/（3）PASCALVOCVOC2007：9,963图像，标注24,650个物体，主要用于检测、分割等VOC2012：11,540图像，标注27,450个物体。https:/ 计算机视觉的数

19、据集四、常用数据集（5）ImageNet最大的数据集，14,197,122张图片，共22,000类。斯坦福大学的李飞飞等人。http:/www.image-net.org/about-stats4.1 计算机视觉的数据集四、常用数据集（1）PennTreebankDataset（PTB）4.2 自然语言处理的数据集语言模型学习数据集。由华尔街日报的文章组成，10,000个词汇量，929,000个标记。（2）wikitext2语言模型学习数据集。由维基百科文章组成，33,000个词汇量，2000,000个标记。（3）IMDB文本分类（电影评论）数据集，包含电影名称、演员、电影评论等。共50000个电影评论，分正反两类。（4）MR电影评论中的情绪极性数据集。四、常用数据集4.3 深度学习的缺陷AlanYuille计算机视觉的权威数据瓶颈数据瓶颈可靠性瓶颈可靠性瓶颈泛化瓶颈泛化瓶颈能耗瓶颈能耗瓶颈