深度学习笔记：用卷积神经网络进行MNIST手写数字识别.docx

《深度学习笔记：用卷积神经网络进行MNIST手写数字识别.docx》由会员分享，可在线阅读，更多相关《深度学习笔记：用卷积神经网络进行MNIST手写数字识别.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、深度学习笔记：用卷积神经网络进行MNIST手写数字识别0.前言上一篇深度学习笔记基于Keras库的MNIST手写数字识别s:/首先把后面代码要用到的库先加载一下。fromtensorflowimportkerasfromtensorflow.kerasimportlayersfromtensorflow.kerasimportutilsimportnumpyasnpimportmatplotlib.pyplotasplt%matplotlibinline1.Sequential类vs函数式APIKeras中定义模型有两种方法一种是使用Sequential类仅限于以层的线性堆叠的方式构建模型线性

2、堆叠也是最常用的神经网络构造另一种是函数式API(functionalAPI),用于由层模块构成有向无环图以这种方式可以构建任意形式的网络构造。以下我们分别以这两种形式搭建一个用于MNIST识别的简单的卷积神经网络以比照两种模型构建方式的不同之处。但是在如今这个简单的例子中两种形式的模型构建方式没有什么差异。1.1基于Sequential类的方式model_seqkeras.Sequential(layers.Conv2D(filters32,kernel_size3,activationrelu),layers.MaxPooling2D(pool_size2),layers.Conv2D(f

3、ilters64,kernel_size3,activationrelu),layers.MaxPooling2D(pool_size2),layers.Conv2D(filters128,kernel_size3,activationrelu),layers.Flatten(),layers.Dense(10,activationsoftmax)#*Buildthemodelanddisplayingthemodelssummary*model_seq.build(input_shape(None,28,28,1)model_seq.summary()1.2基于函数式API的方式inputs

4、keras.Input(shape(28,28,1)xlayers.Conv2D(filters32,kernel_size3,activationrelu)(inputs)xlayers.MaxPooling2D(pool_size2)(x)xlayers.Conv2D(filters64,kernel_size3,activationrelu)(x)xlayers.MaxPooling2D(pool_size2)(x)xlayers.Conv2D(filters128,kernel_size3,activationrelu)(x)xlayers.Flatten()(x)outputslay

5、ers.Dense(10,activationsoftmax)(x)modelkeras.Model(inputsinputs,outputsoutputs)#*Displayingthemodelssummary*model.summary()最后model.summary()打印出来的结果于上一节完全一致。这也讲明了两种模型构建方式本质上是一致的。但是要注意的一点是Sequential类方式构建时在调用model.summary()之前需要先调用model.bulild()传入参数input_shape告诉模型它的输入数据的shape否那么没法计算参数量。当然可以以它的第一层layers.

6、Conv2D()中通过参数input_shape指定输入数据的shape。1.3神经网络的参数个数和每层的数据维度变化大众可能会好奇以上model.summary()打印出来的信息是怎么来的详细来讲就是神经网络的参数的个数和层与层之间的数据维度是按什么规律变化的。Tobeadded.2.编译以及训练数据的加载以及预处理在上一篇已经做了简单的解释这里就不再赘述了。这里我们考虑两种标签向量化的方法。第一种方法是直接将标签列表转换为整数张量其实就是用原始的整数型标签即原来的0,1,2,.9标签值另一种方法是使用one-hot编码。one-hot编码是分类数据广泛使用的一种格式也叫分类编码(categ

7、oricalencoding)。对应于两种标签表示方式固然都是使用穿插熵(crossentropy)损失函数但是形式上有所不同。整数类型标签对应的损失函数为sparse_categorical_crossentropy而使用分类编码标签时对应的损失函数为categorical_crossentropy。这一章的训练我们仍然使用整数类型标签,sparse_categorical_crossentropy在以函数API方式构建的模型上进展训练.2.1数据加载以及预处理fromtensorflow.keras.datasetsimportmnist(train_images,train_labels

8、),(test_images,test_labels)mnist.load_data()train_imagestrain_images.reshape(60000,28,28,1)train_imagestrain_images.astype(float32)/255test_imagestest_images.reshape(10000,28,28,1)test_imagestest_images.astype(float32)/2552.2用原始的(整数值型)标签进展编译以及训练modelpile(optimizerrmsprop,losssparse_categorical_cross

9、entropy,metricsaccuracy)model.fit(train_images,train_labels,epochs5,batch_size64)上一篇基于Denselayer的模型在训练集上的accuracy是略小于98.9%而这里到达了99.4%!固然似乎差异不大其实是一个非常大的进步在这么高的accuracy范围获得0.1%的进步都是非常困难的。或反过来看错误率会更加容易理解一一些错误率从1.1%下降到0.6%相对下降了45%!3.模型评价3.1在测试集上的表现仍然用evaluate()来评估在测试集上的表现。test_loss,test_accmodel.evaluat

10、e(test_images,test_labels)print(fTestaccuracy:test_acc:.3f)313/313-1s3ms/step-loss:0.0267-accuracy:0.9917Testaccuracy:0.992同样相比基于Denselayer的模型的98%有大幅度的提升。但是如上所示还是有0.83%的错误率10000个测试样本有83个判断错误。下面我们来看看这些导致模型错判的样本终究是长得怎么样竟然骗过了神经网络的火眼金睛。3.2出错的样本长啥样首先用predict()计算模型对于每一个输入的输出。注意 (1)evaluate()其实内部也是调用predic

11、t()的但是它只给出了最终的loss以及accuracy。 (2)针对每个数据样本输出是一个长度为10的向量其中每个元素表示对应类别的概率其中概率最大的即为预测值概率值可以理解为结果的可信度。参考以下输出例。predictionsmodel.predict(test_images)print(predictions2)print(predictions2.argmax()test_labels22.9075080e-099.9999452e-014.3390884e-073.4823213e-131.6539088e-068.4169738e-097.5451565e-092.9908574e

12、-063.3132730e-071.9043126e-08Out9:1其中第2项为0.999讲明神经网络非常确信这就是一个1.接下来我们根据预测结果原test_labels的比照把判断错误的数据样本抽取出来。error_index就是所有出错样本在test_images中的序号。print(predictions.shape)predicted_labelspredictions.argmax(axis1)print(predicted_labels,test_labels)error_index(predicted_labels!test_labels)print(sum(error_ind

13、ex)以下把出错样本的图像判断值与原标签模型输出中最大的概率值打印出来总共有83个错误这里只打印了前10个出来。pred_probspredictionserror_indexpred_labelspredicted_labelserror_indexgt_labelstest_labelserror_indexerror_imagestest_imageserror_indexprint(error_images.shape)forkinrange(0,len(gt_labels),10):plt.imshow(error_imagesk,cmapplt.binary)plt.show()p

14、rint(pred_labels0,gt_labels1,max_prob2.format(pred_labelsk,gt_labelsk,np.max(pred_probsk)以下为打印结果仅列几个例子有兴趣的小伙伴自己运行以上代码观察结果原值为5本模型判断成6了站在神经网络的角度来看确实也有那么一点6的样子-。而且概率值只有58%神经网络也不是觉得十分有把握。这个判断错误站在人类的角度来讲有点离谱神经网络以83.5%的概率认为这是一个0这个有点为难了9的头上闭环的那一段像素值太浅了由此导致神经网络看错了4用分类编码(CategoricalEncoding)型标签前面提到还有一种标签表示方式

15、即分类编码标签也叫One-hot编码。在这种编码中每个标签被转换为一个维数为K的向量K对应分类数。这个K维向量只有一个元素为1其余元素为0。在本例中原始标签已经被指定为09的整数那么对应下标为该标签值的元素值被置为1其余为0。在一般的情况下只不太多了一个将标签种类赋予一个0.K-1的整数值的步骤再基于该整数标签值进展one-hot编码。比方讲原标签为3那么转换为0,0,0,1,0,0,.原标签为7那么转换为0,0,0,0,0,0,0,1,0,0,0.这里我们用分类编码标签,categorical_crossentropy在以Sequential方式构建的模型上进展训练。Keras提供了to_c

16、atgorical()函数用于对标签进展格式转换。fromtensorflow.keras.utilsimportto_categoricaltrain_labels_catto_categorical(train_labels)test_labels_catto_categorical(test_labels)model_seqpile(optimizerrmsprop,losscategorical_crossentropy,metricsaccuracy)model_seq.fit(train_images,train_labels_cat,epochs5,batch_size64)毫不意外地训练结果与上面的训练结果高度吻合细微的差异可以理解为训练经过的随机打乱顺序所致的随机性效应5Summary以上我们基于tensorflow.keras库搭建一个简单的卷积神经网络模型用于MNIST数据集手写体数字的识别到达了99.13%的分辨准确度在这一篇中顺便学习了以下几个知识点(1)基于Sequential类以及基于函数式API的模型构建方式的比照(2)整数型标签表示方式和One-Hot编码分类编码,categoricalencoding标签表示方式(3)对出错样本的观察例如期待后续更加精彩上一篇