Python深度学习（基础入门到深度实践）.docx

《Python深度学习（基础入门到深度实践）.docx》由会员分享，可在线阅读，更多相关《Python深度学习（基础入门到深度实践）.docx（321页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Python深度学习基础入门到深度实践1.1人工智能、机器学习与深度学习中所有红色像素”这个任务，使用RGB格式会更简单，而对于“降 低图像饱和度”这个任务，使用HSV格式那么更简单。机器学习模型 都是为输入数据寻找合适的表示一一对数据进行变换，使其更适合 手头的任务（比方分类任务）。我们来具体说明这一点。考虑x轴、y轴和在这个（x, y）坐标系 中由坐标表示的一些点，如图1-3所示。可以看到，图中有一些白点和一些黑点。假设我们想要开发一 个算法，输入一个点的坐标（儿y）,就能够判断这个点是黑色还是白 色。在这个例子中： 输入是点的坐标； 预期输出是点的颜色； 衡量算法效果好坏的一种方法是，正

2、确分类的点所占的百分比。y图1-3 一些样本数据可用的方法有很多，这里这里我们需要的是一种新的数据表示，可以明确区分白点与黑点。 用的是坐标变换，如图1-4所示。在这个新的坐标系中，点的坐标可以看作数据的一种新的表示。这种表示很棒！利用这种新 的表示，用一条简单的规那么就可以描述黑/白分类问题：“x0的是黑点”或“xvO的是白点”。这 种新的表示基本上解决了该分类问题。在这个例子中，我们人为定义了坐标变换。但是，如果我们尝试系统性地搜索各种可能的坐 标变换，并用正确分类的点所占百分比作为反响信号，那么我们做的就是机器学习。机器学习中 的学习指的是，寻找更好数据表示的自动搜索过程。所有机器学习算

3、法都包括自动寻找这样一种变换：这种变换可以根据任务将数据转化为更加有 用的表示。这些操作可能是前面提到的坐标变换，也可能是线性投影（可能会破坏信息）、平移、非 线性操作（比方“选择所有Q0的点”），等等。机器学习算法在寻找这些变换时通常没有什么创 造性，而仅仅是遍历一组预先定义好的操作，这组操作叫作假设空间（hypothesis space）。这就是机器学习的技术定义：在预先定义好的可能性空间中，利用反响信号的指引来寻找输 入数据的有用表示。这个简单的想法可以解决相当多的智能任务，从语音识别到自动驾驶都能解 决。5.1卷积神经网络简介95重要的是，卷积神经网络接收形犬为(image_heigh

4、t, image_width, image_channe 1 s) 的输入张量(不包括批量维度)。本例中设置卷积神经网络处理大小为(28, 28, 1)的输入张量， 这正是MNIST图像的格式。我们向第一层传入参数input_shape= (28, 28, 1)来完成此设置。我们来看一下目前卷积神经网络的架构。 model.summary()Layer (type)Output ShapeParam #conv2d_l (Conv2D)(None, 26z 26, 32)320max_pooling2d_l (MaxPooling2D)(None, 13, 13, 32)0conv2d_2 (

5、Conv2D)(None, 11, llz 64)18496max_pooling2d_2 (MaxPooling2D)(None, 5, 5, 64)0conv2d_3 (Conv2D)(None, 3, 3, 64)36928Total params: 55,744 Trainable params: 55,744 Non-trainable params: 0可以看到，每个Conv2D层和MaxPooling2D层的输出都是一个形状为(height, width, channels)的3D张量。宽度和高度两个维度的尺寸通常会随着网络加深而变小。通道数量由传 入Conv2D层的第一个参数所

6、控制(32或64)。下一步是将最后的输出张量大小为(3, 3, 64)输入到一个密集连接分类器网络中， 即Dnse层的堆叠，你已经很熟悉了。这些分类器可以处理1D向量，而当前的输出是3D张量。 首先，我们需要将3D输出展平为1D,然后在上面添加几个Dns层。代码清单5-2在卷积神经网络上添加分类器model. add(layers.Flatten()model.add(layers.Dense (64, activation= * relu *)model.add(layers.Dense(10, activation= * softmax *)我们将进行10类别分类，最后一层使用带10个输出

7、的softmax激活。现在网络的架构如下。 model.summary()conv2d 3 (Conv2D)Layer (type)OutputShapeParam #conv2d_l (Conv2D)(None,26, 26, 32)320max_pooling2d_l (MaxPooling2D)(None,13, 13z 32)0conv2d_2 (Conv2D)(None,11, 11, 64)18496max_pooling2d_2 (MaxPooling2D)(None,5, 5, 64)0(None, 3, 3, 64)3692896第5章深度学习用于计算机视觉flatten_l

8、 (Flatten)(None,576)0dense_l (Dense)(None,64)36928dense_2 (Dense)(None,10)650Total params: 93,322Trainable params: 93,322Non-trainable params: 0如你所见，在进入两个Dense层之前，形状(3, 3, 64)的输出被展平为形状(576,)的 向量。下面我们在MNIST数字图像上训练这个卷积神经网络。我们将复用第2章MNIST例如中 的很多代码。代码清单5-3 在MNIST图像上训练卷积神经网络from keras.datasets import mnis

9、tfrom keras.utils import to_categorical(train_images, train_labels), (test_imagesz test_labels) = mnist.load_data()train_images = train_images.reshape(60000, 28, 28z 1)train_images = train_images.astype(* float321) / 255test_images = test_images.reshape(10000, 28, 28, 1)test_images = test_images.ast

10、ype(* float32 f) / 255train_labels = to_categorical(train_labels)test_labels = to_categorical(test_labels)model. compile (optimizer= rmsprop ,loss= * categorical_crossentropy, metrics=1 accuracy1)model.fit(train_imagesz train_labelsz epochs=5, batch_size=64)我们在测试数据上对模型进行评估。 test_loss, test_acc = mod

11、el.evaluate(test_imagesz test_labels) test_acc0.99080000000000001第2章密集连接网络的测试精度为97.8%,但这个简单卷积神经网络的测试精度到达了99.3%,我们将错误率降低了68% (相比照例)。相当不错!与密集连接模型相比，为什么这个简单卷积神经网络的效果这么好？要回答这个问题，我们 来深入了解Conv2D层和MaxPooling2D层的作用。卷积运算密集连接层和卷积层的根本区别在于，Dense 层从输入特征空间中学到的是全局模式5.1卷积神经网络简介97（比方对于MNIST数字，全局模式就是涉及所有像素的模式），而卷积层学到

12、的是局部模式（见图 5-1）,对于图像来说，学到的就是在输入图像的二维小窗口中发现的模式。在上面的例子中，这 些窗口的大小都是3义3。图5-1 图像可以被分解为局部模式，如边缘、纹理等这个重要特性使卷积神经网络具有以下两个有趣的性质。口卷积神经网络学到的模式具有平移不变性（translation invariant）o卷积神经网络在图像 右下角学到某个模式之后，它可以在任何地方识别这个模式，比方左上角。对于密集连接网络来说，如果模式出现在新的位置，它只能重新学习这个模式。这使得卷积神经网 络在处理图像时可以高效利用数据（因为视觉世界从根本上具有平移不变性），它只需 要更少的训练样本就可以学到具

13、有泛化能力的数据表示。 卷积神经网络可以学到模式的空间层次结构（spatial hierarchies of patterns）,见图5-2。 第一个卷积层将学习较小的局部模式（比方边缘），第二个卷积层将学习由第一层特征 组成的更大的模式，以此类推。这使得卷积神经网络可以有效地学习越来越复杂、越来越 抽象的视觉概念（因为视觉世界从根本上具有空间层次结构）。对于包含两个空间轴（高度和宽度）和一个深度轴（也叫通道轴）的3D张量，其卷积也叫 特征图（feature m叩）。对于RGB图像，深度轴的维度大小等于3,因为图像有3个颜色通道：红色、 绿色和蓝色。对于黑白图像（比方MNIST数字图像），深度

14、等于1 （表示灰度等级）。卷积运算从 输入特征图中提取图块，并对所有这些图块应用相同的变换，生成输出特征图（output feature map）o该输出特征图仍是一个3D张量，具有宽度和高度，其深度可以任意取值，因为输出深度 是层的参数，深度轴的不同通道不再像RGB输入那样代表特定颜色，而是代表过滤器（filter）o过滤器对输入数据的某一方面进行编码，比方，单个过滤器可以从更高层次编码这样 一个概念：“输入中包含一张脸。”98第5章 深度学习用于计算机视觉图5-2 视觉世界形成了视觉模块的空间层次结构：超局部的边缘组合成局部的对象, 比方眼睛或耳朵，这些局部对象又组合成高级概念，比方“猫”

15、在MNIST例如中，第一个卷积层接收一个大小为（28, 28, 1）的特征图，并输出一个大 小为（26, 26, 32）的特征图，即它在输入上计算32个过滤器。对于这32个输出通道，每个 通道都包含一个26X26的数值网格，它是过滤器对输入的响应图（response m印），表示这个过滤 器模式在输入中不同位置的响应（见图5-3）。这也是特征图这一术语的含义：深度轴的每个维 度都是一个特征（或过滤器），而2D张量output :, :, n是这个过滤器在输入上的响应的 二维空间图（map）。图5-3响应图的概念：某个模式在输入中的不同位置是否存在的二维图卷积由以下两个关键参数所定义。口从输入中

16、提取的图块尺寸：这些图块的大小通常是3X3或5X5。本例中为3义3,这是 很常见的选择。 输出特征图的深度：卷积所计算的过滤器的数量。本例第一层的深度为32,最后一层的 深度是64。5.1卷积神经网络简介99对于Keras的Conv2D层，这些参数都是向层传入的前几个参数：Conv2D (output_depth, (window_height, window_width)。卷积的工作原理：在3D输入特征图上滑动(slide)这些3X3或5X5的窗口，在每个可能 的位置停止并提取周围特征的3D图块形状为(window_hight, window_width, input_ depth) o然后

17、每个3D图块与学到的同一个权重矩阵叫作卷积核(convolution kernel)做张 量积，转换成形状为(output_depth,)的ID向量。然后对所有这些向量进行空间重组，使 其转换为形状为(height, width, output_depth)的3D输出特征图。输出特征图中的每 个空间位置都对应于输入特征图中的相同位置(比方输出的右下角包含了输入右下角的信息)。举个例子，利用3X3的窗口，向量output izj ,:来自3D 图块 input i-1: i + lz j-1: j+1, : o整个过程详见图5-4。图5-4卷积的工作原理3x3注意，输出的宽度和高度可能与输入的宽

18、度和高度不同。不同的原因可能有两点。 边界效应，可以通过对输入特征图进行填充来抵消。口使用了步幅(stride),稍后会给出其定义。我们来深入研究一下这些概念。100第5章深度学习用于计算机视觉1 .理解边界效应与填充假设有一个5X5的特征图（共25个方块）。其中只有9个方块可以作为中心放入一个 3X3的窗口，这9个方块形成一个3X3的网格（见图5-5）。因此，输出特征图的尺寸是3X3。 它比输入尺寸小了一点，在本例中沿着每个维度都正好缩小了2个方块。在前一个例子中你也可 以看到这种边界效应的作用：开始的输入尺寸为28X28,经过第一个卷积层之后尺寸变为 26X26o图5-5 在5义5的输入特

19、征图中，可以提取3 X 3图块的有效位置如果你希望输出特征图的空间维度与输入相同，那么可以使用填充（padding）o填充是在 输入特征图的每一边添加适当数目的行和列，使得每个输入方块都能作为卷积窗口的中心。对于 3X3的窗口，在左右各添加一列，在上下各添加一行。对于5X5的窗口，各添加两行和两 列 （见图5-6）。XXIX XMX XDKDX图5-6对5X5的输入进行填充，以便能够提取出25个3X3的图块对于Conv2D层，可以通过padding参数来设置填充，这个参数有两个取值：valid”表 示不使用填充（只使用有效的窗口位置）；”表示“填充后输出的宽度和高度与输入相同”。 paddin

20、g参数的默认值为“valid”。5.1卷积神经网络简介1012 .理解卷积步幅影响输出尺寸的另一个因素是步幅的概念。目前为止，对卷积的描述都假设卷积窗口的中 心方块都是相邻的。但两个连续窗口的距离是卷积的一个参数，叫作步幅，默认值为1。也可以 使用步进卷积(strided convolution),即步幅大于1的卷积。在图5-7中，你可以看到用步幅 为2 的3X3卷积从5X5输入中提取的图块(无填充)。12341234图5-7 2X2步幅的3义3卷积图块步幅为2意味着特征图的宽度和高度都被做了2倍下采样(除了边界效应引起的变化)。虽 然步进卷积对某些类型的模型可能有用，但在实践中很少使用。熟悉

21、这个概念是有好处的。为了对特征图进行下采样，我们不用步幅，而是通常使用最大池化(max-pooling)运算, 你在第一个卷积神经网络例如中见过此运算。下面我们来深入研究这种运算。最大池化运算在卷积神经网络例如中，你可能注意到，在每个MaxPooling2D层之后，特征图的尺寸都 会减半。例如，在第一个MaxPooling2D层之前，特征图的尺寸是26义26,但最大池化运算将 其减半为13X13。这就是最大池化的作用：对特征图进行下采样，与步进卷积类似。最大池化是从输入特征图中提取窗口，并输出每个通道的最大值。它的概念与卷积类似，但 是最大池化使用硬编码的max张量运算对局部图块进行变换，而不

22、是使用学到的线性变换(卷积 核)。最大池化与卷积的最大不同之处在于，最大池化通常使用2X2的窗口和步幅2,其目的是 将特征图下采样2倍。与此相对的是，卷积通常使用3X3窗口和步幅1。为什么要用这种方式对特征图下采样？为什么不删除最大池化层，一直保存较大的特征图？ 我们来这么做试一下。这时模型的卷积基(convolutional base)如下所示。model_no_max_poo1 = models.Sequential()model_no_max_pool.add(layers.Conv2D(32, (3, 3), activation= * relu, input_shape=(28, 2

23、8, 1)model_no_max_pool.add(layers.Conv2D (64, (3, 3), activation= * relu * ) model no max pool.add(layers.Conv2D(64 A (3, 3), activation= * relu1)102 第5章 深度学习用于计算机视觉该模型的架构如下。 model_no_max_pool.summary()Layer (type)OutputShapeParam #conv2d_4(Conv2D)(None,26,26, 32)320conv2d_5(Conv2D)(None,24,24, 64)1

24、8496conv2d_6(Conv2D)(None,22,22, 64)36928Total params: 55,744 Trainable params: 55,744 Non-trainable params: 0这种架构有什么问题？有如下两点问题。这种架构不利于学习特征的空间层级结构。第三层的3X3窗口中只包含初始输入的 7X7窗口中所包含的信息。卷积神经网络学到的高级模式相对于初始输入来说仍然很小， 这可能缺乏以学会对数字进行分类（你可以试试仅通过7像素X7像素的窗口观察图像 来 识别其中的数字）。我们需要让最后一个卷积层的特征包含输入的整体信息。口最后一层的特征图对每个样本共有22

25、X22X64=30 976个元素。这太多了。如果你将其 展平并在上面添加一个大小为512的Dense层，那一层将会有1580万个参数。这对于 这样一个小模型来说太多了，会导致严重的过拟合。简而言之，使用下采样的原因，一是减少需要处理的特征图的元素个数，二是通过让连续卷 积层的观察窗口越来越大（即窗口覆盖原始输入的比例越来越大），从而引入空间过滤器的层级 结构。注意，最大池化不是实现这种下采样的唯一方法。你已经知道，还可以在前一个卷积层中使 用步幅来实现。止匕外，你还可以使用平均池化来代替最大池化，其方法是将每个局部输入图块变 换为取该图块各通道的平均值，而不是最大值。但最大池化的效果往往比这些

26、替代方法更好。简而言 之，原因在于特征中往往编码了某种模式或概念在特征图的不同位置是否存在（因此得名特征 图），而观察不同特征的最大值而不是平均值能够给出更多的信息。因此，最合理的子采样策略是 首先生成密集的特征图（通过无步进的卷积），然后观察特征每个小图块上的最大激活，而不是查 看输入的稀疏窗口（通过步进卷积）或对输入图块取平均，因为后两种方法可能导致错过或淡化 特征是否存在的信息。现在你应该已经理解了卷积神经网络的基本概念，即特征图、卷积和最大池化，并且也知道 如何构建一个小型卷积神经网络来解决简单问题，比方MNIST数字分类。下面我们将介绍更加实 用的应用。5.2 在小型数据集上从头开始

27、训练一个卷积神经网络使用很少的数据来训练一个图像分类模型，这是很常见的情况，如果你要从事计算机视觉5.2在小型数据集上从头开始训练一个卷积神经网络5.2在小型数据集上从头开始训练一个卷积神经网络103方面的职业，很可能会在实践中遇到这种情况。“很少的”样本可能是几百张图像，也可能是几 万张图像。来看一个实例，我们将重点讨论猫狗图像分类，数据集中包含4000张猫和狗的图像 （2000张猫的图像，2000张狗的图像）。我们将2000张图像用于训练，1000张用于验证，1000 张用于测试。本节将介绍解决这一问题的基本策略，即使用已有的少量数据从头开始训练一个新模型。首 先，在2000个训练样本上训

28、练一个简单的小型卷积神经网络，不做任何正那么化，为模型目标设定 一个基准。这会得到71%的分类精度。此时主要的问题在于过拟合。然后，我们会介绍数 据增强 （data augmentation）,它在计算机视觉领域是一种非常强大的降低过拟合的技术。使用数据增强 之后，网络精度将提高到82%。5.3 节会介绍将深度学习应用于小型数据集的另外两个重要技巧：用预训练的网络做特征提 取（得到的精度范围在90%96%）,对预训练的网络进行微调（最终精度为97%）。总而言之， 这三种策略一一从头开始训练一个小型模型、使用预训练的网络做特征提取、对预训练的网络进 行微调一一构成了你的工具箱，未来可用于解决小型

29、数据集的图像分类问题。5.2.1 深度学习与小数据问题的相关性有时你会听人说，仅在有大量数据可用时，深度学习才有效。这种说法局部正确：深度学习 的一个基本特性就是能够独立地在训练数据中找到有趣的特征，无须人为的特征工程，而这只在 拥有大量训练样本时才能实现。对于输入样本的维度非常高（比方图像）的问题尤其如此。但对于初学者来说，所谓“大量”样本是相对的，即相对于你所要训练网络的大小和深度而 言。只用几十个样本训练卷积神经网络就解决一个复杂问题是不可能的，但如果模型很小，并做 了很好的正那么化，同时任务非常简单，那么几百个样本可能就足够了。由于卷积神经网络学到的 是局部的、平移不变的特征，它对于感

30、知问题可以高效地利用数据。虽然数据相对较少，但在非 常小的图像数据集上从头开始训练一个卷积神经网络，仍然可以得到不错的结果，而且无须任何 自定义的特征工程。本节你将看到其效果。止匕外，深度学习模型本质上具有高度的可复用性，比方，已有一个在大规模数据集上训练的 图像分类模型或语音转文本模型，你只需做很小的修改就能将其复用于完全不同的问题。特别是 在计算机视觉领域，许多预训练的模型（通常都是在ImageNet数据集上训练得到的）现在都可 以公开下载，并可以用于在数据很少的情况下构建强大的视觉模型。这是5.3节的内容。我们先 来看一下数据。5.2.2 下载数据本节用到的猫狗分类数据集不包含在Kera

31、s中。它由Kaggle在2013年末公开并作为一项 计算视觉竞赛的一局部，当时卷积神经网络还不是主流算法。你可以从 c/dogs-vs-cats/data下载原始数据集（如果没有Kaggle账号的话，你需要注册一个，别担忧，很 简单）。104第5章深度学习用于计算机视觉这些图像都是中等分辨率的彩色JPEG图像。图5-8给出了一些样本例如。图5-8猫狗分类数据集的一些样本。没有修改尺寸：样本在尺寸、外观等方面是不一样的不出所料，2013年的猫狗分类Kaggle竞赛的优胜者使用的是卷积神经网络。最正确结果到达 了95%的精度。本例中，虽然你只在不到参赛选手所用的10%的数据上训练模型，但结果也和

32、这个精度相当接近（见下一节）。这个数据集包含25 000张猫狗图像（每个类别都有12 500张），大小为543MB （压缩后）。 下载数据并解压之后，你需要创立一个新数据集，其中包含三个子集：每个类别各1000个样本 的训练集、每个类别各500个样本的验证集和每个类别各500个样本的测试集。创立新数据集的代码如下所示。代码清单5-4 将图像复制到训练、验证和测试的目录import osz shutil原始数据集解压目录的路径original_dataset_dir = */Users/fchollet/Downloads/kaggle_original_data *base_dir = * /

33、Users/fchollet/Downloads/cats_and_dogs_small * print(* total training cat images:, len(os.listdir(train_cats_dir) total training cat images: 1000 print(1 total training dog images:1, len(os.listdir(train_dogs_dir) total training dog images: 1000 print(1 total total validation print(total total valid

34、ation print(1 total print(1 total total validation print(total total validation print(1 totalvalidation cat images:, len(os.listdir(validation_cats_dir) cat images: 500validation dog images:, len(os.listdir(validation_dogs_dir) dog images: 500test cat images:1, len(os.listdir(test_cats_dir)total tes

35、t cat images: 500 print(1 total test dog images:1, len(os.listdir(test_dogs_dir) total test dog images: 500所以我们确实有2000张训练图像、1000张验证图像和1000张测试图像。每个分组中两个 类别的样本数相同，这是一个平衡的二分类问题，分类精度可作为衡量成功的指标。5.2.3 构建网络在前一个MNIST例如中，我们构建了一个小型卷积神经网络，所以你应该已经熟悉这 种网络。我们将复用相同的总体结构，即卷积神经网络由Conv2D层（使用relu激活）和 MaxPooling2D层交替堆叠构成。但由于这里要处理的是更大的图像和更复杂的问题，你需要相应地增大网络，即再增加一个 Conv2D+MaxPooling2D的组合。这既可以增大网络容量，也可以进一步减小特征图的尺寸，使其 在连接Flatten层时尺寸不会太大。本例中初始输入的尺寸为150X 150 （有些随