2022年实验六卷积神经网络CNN框架的实现与应用 .pdf

《2022年实验六卷积神经网络CNN框架的实现与应用 .pdf》由会员分享，可在线阅读，更多相关《2022年实验六卷积神经网络CNN框架的实现与应用 .pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、实验六卷积神经网络CNN 框架的实现与应用一、实验目的1、掌握卷积神经网络CNN 的基本原理2、利用 CNN 实现手写数字识别二、实验原理利用 LeNet-5 CNN 框架，实现手写数字识别。其中网络层级结构概述如图2所示，共有 7 层神经网络。在图2.1 中，各网络层参数如下表2.1 所示.表 2.1 各网络层参数设置对应表Input layer输入数据为原始训练图像32*32Conv16 个 5*5 的卷积核，步长 Stride 为 1Pooling1卷积核 size为 2*2，步长 Stride 为 2Conv212 个 5*5 的卷积核，步长 Stride 为 1Pooling2卷积核

2、 size为 2*2，步长 Stride 为 2Output layer 输出为 10 维向量图 2 CNN模型基本框架图本次实验采用 minst 数据集，初始图像大小为28*28，采用下表 2.2 参数搭建CNN 模型。表 2.2 各网络层参数设置对应表Input layer输入数据为原始训练图像28*28Conv16 个 5*5 的卷积核，步长 Stride 为 1Pooling1卷积核 size为 2*2，步长 Stride 为 2名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 7 页 -Conv216 个 5*5 的卷积核，步长 Stride 为 1Pooling2卷积核

3、 size为 2*2，步长 Stride 为 2Flatten()一个重新调整为1D 的张量。Dense(120,activation=tanh)全连接层Dense(84,activation=tanh)全连接层Dense(10,activation=softmax)输出为 10 维向量三、实验结果注：由于添加交叉验证会导致训练时间边长，这里采用先确定合适参数再进行交叉验证训练。衡量实验结果的常用指标如下：检测率：recall=?+?查全率：precision=?+?准确率：arrcuracy=?+?+?+?+?1、调整学习率、epochs以及 bacth_size这三个参数，分别观察参数的变

4、化对于实验结果的影响。(1)固定参数 epochs=3，batch_size=128，观察学习率对于正确率的影响，可以发现随着学习率由0.0001 逐渐增大时，准确率及其他评价指标都是先上升后下降，运行时间受学习率的影响不大，变化图见图3.1.1，具体结果见表 3.1.1。图 3.1.1 学习率对于准确率的影响名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 7 页 -表 3.1.1 学习率对于准确率的影响学习率0.0001 0.001 0.01 0.1 1 运行时间（s）24.57 25.63 25.34 25.39 25.13 准确率87.67%98.07%98.06%51.9

5、5%74.33%查全率44.78%83.86%84.00%16.62%10.83%检测率99.76%99.88%99.64%94.73%21.67%F1值0.61 0.91 0.91 0.28 0.14（2）固定参数 learning_rate=0.001,batch_size=128，观察 epochs 对于准确率的影响。表 3.1.2 epochs 对于准确率的影响epochs 1 3 5 7 9 运行时间（s）10.09 25.51 42.63 60.47 75.75 准确率67.21%91.89%95.96%97.40%98.28%查全率23.34%55.24%71.31%79.43%

6、95.39%检测率99.78%99.78%99.87%99.94%99.95%F1值0.37 0.71 0.83 0.88 0.92 图 3.1.2 epochs 对于准确率的影响（3）固定参数 learning_rate=0.001，epochs=5,观察 batch_size对于准确率的影响。表 3.1.3 batch_size 对于准确率的影响batch_size名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 7 页 -108 118 128 138 148 运行时间（s）42.85 44.01 41.20 41.93 41.82 准确率93.69%96.53%97.48%

7、97.93%98.22%查全率61.35%74.31%79.95%82.94%85.02%检测率99.83%99.87%99.89%99.88%99.88%F1值0.76 0.85 0.88 0.90 0.91 图 3.1.3 batch_size 对于准确率的影响2、最终的实验结果选取参数 learning_rate=0.001,batch_size=148，epochs=5，具体的实验结果如表 3.2 所示：表 3.2 最终实验结果检测率查全率准确率F1值99.88%85.02%98.22%0.91 3、采用 3 折交叉验证选取参数 learning_rate=0.001,batch_si

8、ze=148，epochs=5，具体的实验结果如表 3.3 所示：表 3.3 最终实验结果检测率查全率准确率F1值名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 7 页 -99.85%89.50%98.79%0.94 四、实验总结1、CNN 算法步骤?获取训练数据和测试数据；?定义网络层级结构；?初始设置网络参数（权重 W，偏向 b）cnnsetup(cnn,train_x,train_y)?训练超参数 opts定义（学习率，batchsize，epoch）?网络训练之前向运算 cnnff(net,batch_x)?网络训练之反向传播 cnnbp(net,batch_y)?网络训

9、练之参数更新 cnnapplygrads(net,opts)?重复?，直至满足 epoch?网络测试 cnntest(cnn,test_x,test_y)2、设计程序流程图图 4.2 程序流程图3、试分析 mnist 数据集 X_train、X_test 以及相对应的 Y_train、Y_test。表 4.3 数据集分析表X_train X_test Y_train Y_test 原始数据 shape 60000*28*28 10000*28*28 60000*1 10000*1 名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 7 页 -处理后 shape 60000*28*28

10、*1 10000*28*28*1 60000*10 10000*10 4、交叉验证及衡量指标部分代码：注：由于添加交叉验证会导致训练时间边长，这里采用先确定合适参数再进行交叉验证训练。#合为一个数据，进行交叉验证data=np.row_stack(x_train,x_test)target=np.row_stack(y_train,y_test)for train,test in kf.split(data):model.fit(datatrain,targettrain,batch_size=batch_size,epochs=epochs,verbose=1,validation_data

11、=(datatest,targettest),callbacks=history)#测试y_predict=model.predict(datatest,batch_size=512,verbose=1)#y_predict=(y_predict 0.007).astype(int)y_predict=(y_predict 0.01).astype(int)y_true=np.reshape(targettest,-1)y_pred=np.reshape(y_predict,-1)#评价指标accuracy.append(accuracy_score(y_true,y_pred)#正确率，查准

12、率，预测对的样本数占样本总数的比例precision.append(precision_score(y_true,y_pred)#精度，查全率，预测为正的样本中实际正样本的比例recall.append(recall_score(y_true,y_pred,average=binary)#实际正样本中预测为正的概率f1score.append(f1_score(y_true,y_pred,average=binary)#Micro F1:将 n 分类的评价拆成n 个二分类的评价，将n 个二分类评价的TP、FP、RN 对应相加，计算评价准确率和召回率，由这2 个准确率和召回率计算的F1 scor

13、e即为 Micro F1。micro_f1=f1_score(y_true,y_pred,average=micro)5、实验过程中建立的Lenet5 模型中各个参数及卷积核的个数见下图4.4，核心代码如下，具体代码见附件。#建立模型model=Sequential()#lenet-5model.add(Convolution2D(filters=6,kernel_size=(5,5),padding=valid,input_shape=(img_rows,img_cols,1),activation=tanh)model.add(MaxPooling2D(pool_size=(2,2)#步长

14、为 2model.add(Convolution2D(filters=16,kernel_size=(5,5),padding=valid,activation=tanh)model.add(MaxPooling2D(pool_size=(2,2)model.add(Flatten()model.add(Dense(120,activation=tanh)model.add(Dense(84,activation=tanh)名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 7 页 -model.add(Dense(n_classes,activation=softmax)model

15、.summary()pile(optimizer=Adam(lr=learning_rate),loss=categorical_crossentropy,metrics=accuracy)history=LossHistory()#显示回调函数，看看到底执行了什么，我的参数如何设置的model.fit(x_train,y_train,batch_size=batch_size,epochs=epochs,verbose=1,validation_data=(x_test,y_test),callbacks=history)图 4.5 模型参数的设置名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 7 页 -