深度学习报告.docx

《深度学习报告.docx》由会员分享，可在线阅读，更多相关《深度学习报告.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、电3科技大学实验报告（实验）课程名称 深度学习学生姓名：李寒雪指导教师：杨波学号：一、实验名称：基于MINST数据的CNN设计二、网络设计MNIST实例? CNN网络结构设计20个9x9滤波需 (Valid)?个输入节点W3?个输出节点网络设计如上图所示分为特征提取子网络和分类子网络，特征提取子网络分为卷积和池化部分，MNIST数据是28x28的矩阵，选择卷 积函数为20个9x9的滤波器，即图中的W1 (20x9x9),于是可以将 原来的一个输入数据(28x28)降解为20个特征矩阵(20x20),接 下来这20个特征矩阵各自经过ReLU激活函数后作为进入池化层的 输入，池化层采用2x2的平均

2、池化，那么池化层的输出20个10x10 的特征矩阵，再讲它们reshape为2000x1的列向量作为分类子网络 的输入；分类子网络采用单隐层，因此包含两个隐层矩阵参数W3(100x2000)和W4(l0x100),隐层采用ReLU激活方便误差反向传播时计算更新参数，因为是多分类问题，输出层采用softmax激活函 数。三、训练方法 对真实数据标记与模型预测标记之间的误差目标函数最小化,利用梯 度下降算法更新参数,在模型隐层和卷积池化层的参数利用误差反向 传播算法计算它们的更新值。对所有MNIST训练数据输入一遍，每 次输入更新一次模型参数,最后利用更新好的模型参数在所有测试数 据上进行准确率计

3、算。关键更新过程和验证过程如下：1、模型向前计算预测标记过程:X: 28x28图像(矩阵)，为方便计算像素值可归一化为0TW1: 9x9x20的滤波器(矩阵)，可初始化为：W1 = randn(9, 9, 20);V1: 20x20x20的FeatureMap矩阵， V1 (:,:,k)=filter2(W1(:,:,k), X, valid);Y1:与V1 同尺寸矩阵，Y1 =max(0,V1);Y2: 10x10x20的矩阵，Y2 = (Y1(1:2:end,1:2:end,:)+Y1 (2:2:end,1:2:end,:)+Y1 (1:2:end,2:2:end,:)+Y1(2:2:en

4、d,2:2:end,:)/4;y2: 2000x1 的列向量，y2 = reshape(Y2, 0,1)；W3: 100x2000的矩阵,可初始化为：W3 = (2*rand(100,2000)-1)/20;v3: 100x1 的列向量，v3 = W3*y2;y3:与v3同尺寸，y3=max(0,v3);W4: 10x100的矩阵，可初始化为；W4 = (2*rand(10,100)-1)/10;v: 10x1的列向, ” = W4*y3;y：与v同尺寸，y = Softmax(v); c4士学U1MB0Soma and Tnciogy otOwae: 10x1的输出偏差列向量=d-y;dW4

5、: W4的更新(矩阵)dW4 = alpha*delta*y3,;dW3: W3的更新(矩阵)dW3 = alpha*delta3*y2,;2、模型向后误差传播参数更新过程:b:与e同尺寸，delta = e; %交叉烯+Softre3: 100x1 维的列向，e3 = W4J * delta;b3:与e3同尺寸，delta3 = (v3 0) .* e3;e2: 2000x1 维的列向，e2 = W3 * delta3;E2: 10x10x20的矩阵,E2 = reshape(e2, size(Y2);E1 = zeros(size(Y1); E2_4= E2/4;E1(1:2:end,1:

6、2:end,:) = E2_4;E1(1:2:end,2:2:end,:) = E2_4;E1: 20x20x20的矩阵,E1=?b1:与E1 同尺寸，deltal = (V1 0) .* E1；2:2:end,2:2:end,:) = E2 4;E1(2:2:end,1:2:end,:) = E24;用b1各页直接（不翻转）对X滑窗滤波，取valid区域dW1(:,:,k) = alpha*filter2(delta1 (:,:,k), X, valid);四、实验结果（含运行界面截图”1、运行实验代码：实验平台(1.6 GHz Intel Core i5 macOS 4GBMatlabR2

7、016b)HOMEPLOTSAPPSEDITORPUBLISHSingle二 Left/ Right 三 Top/ Bottom 用 Custom 姮 Tabs Position 一 Shrink Tabs to FitO AlphabetizeR Nonem Left/ Top/Right BottomE圈Expand CollapseVIEW因ExpandAll/ Users lihanxue Desktop 深度学习TLAB R2016b3 国为Current Folder Name 国深度学习导论-第13 笆深度学习导论-第12. 笆深度学习导论-第1L. 笆深度学习导论-第10. 笆

8、深度学习导论-第9讲. 馆深度学习导论-第8讲. 笆深度学习导论-第7讲. 国深度学习导论-第6讲. 笆深度学习导论-第S讲. 团深度学习导论-第4讲. 笆深度学习导论-第3讲. 笆深度学习导论-第2讲. 笆深度学习导论-第1讲. 17深度学习作业1, 2, 7作业四、五、六.pages 7 作业7 16.pagesJ TestCnn.m 与 Softmax.m 田 MNISTData.mat 田 F_Y.mat 田 F_X.mat 田 F_D.matZ Editor - /Users/lihanxue/Desktop/深度学习/TestCnn.mCommand Window Cnn.m第9讲

9、 Matlab Code. L_J 第7-8讲 Matlab Co.4so广4cCnn.m (Function)O Cnn(Wl, W3, W4, X, D)21k =22 -for k = 1:N23 -if mod(k,1000)=0400024 -k25 -end26 -vl = zeros(20,20,20);k =27 -x = X_Test(:, :, k);28 - Efor j = 1:20500029 -vl(:,:,j) = filter2(Wl(:,:,j),x,valid);30 -end31 -Y1 = max(0,vl);k =32 -Y2 = (Yl(l:2:en

10、d,l:2:end,:)+Yl(2:2:end,l:2:end,:)+Yl33 -y2 = reshape(Y2,2000,1);600034 -v3 = W3*y2;35 -y3 = max(0,v3);36 -v = W4*y3;k =37 -y = SoftmaxCv);38 -,i = max(y);700039 -h,j】=max(D_Test(:,k)；40 -d_comp(k) = i;41 -d_true(k) = j;k =42 -if d_comp(k) = d_true(k)43 -acc = acc + 1;800044 -else45 -false = false +

11、 1;46 -心:，:,false) = x;k =47 -d-false(false) = j;48 -false) = i;900049 -end50 -end51k =5253 -save ( F_X.mat,x_fal.se,);1000054 -save (F_D.mat,d_false);55 -save (*F_Y.mat, *y_fal.se);accuracy is 0.97660056 - fprintf(accuracy is %fn,acc/N);false number is 234.0000001A TestCnn.m X Cnn.m x + 1 4 j . _ j

12、Command w-ndow实验运行正确率为97.66%, 10000个测试数据分类错误的有234个, 运行时间约为7min。2、实验结果分析：我们把分类错误的234个28x28的数据矩阵保存在同目录下F_X.mat 文件中，把这234个数据对应的正确的分类标记保存在F_D.mat文 件中，把模型对着234个数据预测的错误的分类标记保存在F_YO mat中，对比分析探究本实验模型分类错误的原因。分类错误的234个数据样本加上它们对应的真实标记（左上）和预测标记（左下）如下图所示：六、总结及体会：在网络设计上是否可以设计更多更复杂的网络隐层使模型使正确率 更高，可以多尝试别的卷积矩阵大小，可以使用批量算法和动量算法 加快训练时间。