大数据技术在学生成绩分析中的应用,计算机应用技术论文.docx

《大数据技术在学生成绩分析中的应用,计算机应用技术论文.docx》由会员分享，可在线阅读，更多相关《大数据技术在学生成绩分析中的应用,计算机应用技术论文.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术在学生成绩分析中的应用,计算机应用技术论文本篇论文目录导航：【题目】【第一章】【第二章】【第三章】【第四章】 大数据技术在学生成绩分析中的应用【总结/以下为参考文献】 第 4 章 大数据技术在学生成绩分析中的应用。 通过第一章的文献总结，我们了解到我们国家已经有一部分高校利用大数据技术对教育数据进行了分析，华而不实包括学生行为的分析、学生成绩的分析、远程教育资源的分析和在线系统中师生的交互数据进行分析，得到了一些有价值的教学和教育决策的应用。本章采用吉林大学电子科学与工程学院 2002 年到 2018 年除了 2005 年的学生成绩作为输入数据集，结合 Hadoop 平台对其进行了统

2、计分析以及发现了课程之间的关联规则，希望能为我的母校做一些奉献。 4.1 实验环境介绍。 本文通过在VMware workstation10.0.0上建立两台虚拟机来搭建Hadoop集群环境，华而不实一台作为 NameNode,另一台作为 DataNode. 1搭建 Linux 系统。 Hadoop 是开发在 Linux 平台上的，固然在其它系统上也能运行，但是搭建的环境极为复杂，需要把原先的系统模拟成 Linux 环境才能使用 Hadoop,因而本文选择采用 Linux 系统。在 PC 机上安装了 VMware Workstation10.0.0,之后便能够搭建 Linux 系统了。图 4.

3、1 是 Linux 版本信息。 2Hadoop 平台的搭建。 由于搭建的是集群环境，所以 Hadoop 采用完全分布式形式。 在 Linux 上搭建 Hadoop 之前，需要安装两个程序：JDK 和 SSHSecure Shell安全外壳协议。 JDK1.6 或更高层次版本，本文采用 JDK1.7Hadoop 是用 Java 开发的，Hadoop 的编译以及 MapReduce 的运行都需要使用 JDK. SSH安全外壳协议Hadoop 运行经过中需要管理远端 Hadoop 守护进程。在 Hadoop 启动后，NameNode 是通过 SSH 来与 DataNode 进行交互的。也就是讲必须在

4、节点之间通信的时候采用不需要输入密码的形式，故我们需要配置 SSH 运用无密码公钥认证。这样 NameNode 就能够在不输入密码的情况下管理 DataNode.同样原理，DataNode 上也能使无密码访问 NameNode. 从 Apache Hadoop 的发布页面下载 Hadoop本文所使用的是 Hadoop-1.0.3，首先为 master 机器安装 Hadoop. 配置 Hadoop 环境变量： /etc/profile:添加 Hadoop 环境变量。 conf/hadoop-env.sh:配置 Java 环境变量、和 Hadoop 环境变量等。 conf/core-site.xm

5、l:用于定义系统级别的参数，如 Hadoop 的临时目录，配置NameNode 节点的 URI-统一资源标识符包括协议，主机名称，端口号。 conf/mapred-site.xml:配置指定 MapReduce 的 JobTracker 的地址。 conf/hdfs-site.xml:配置数据块副本的个数以及执行权限等。 通过 scp 命令将 master 上的 Hadoop 文件复制到 slave1 上， 进入 master 的 Hadoop 安装目录，格式化 HDFS: bin/hadoop namenode -format运行 hadoop 进程：bin/start-all.shjps

6、查看进程启动情况，如此图 4.2 所示上面的图为 master 的节点信息，下面的图为 slave1 上的节点信息。 3Eclipse 配置Eclipse 是本文编写 MapReduce 程序的开发环境，方便调试 MapReduce 程序。 Eclipse 版本：eclipse-jee-kepler-SR2-linux-gtk在 Eclipse 上配置 Hadoop 相关插件 将 hadoop-1.0.3-eclipse-plugin.jar 复制到 eclipse 安装目录下。 配置 hadoop installation directory:选择 Hadoop 的安装目录。 配置 Map/

7、Reduce Locations:添加 Location name、MapReduce Master 和 DFSMaster 的地址和端口。 这样整个 Hadoop 分布式集群环境就搭建成功了。图 4.3 为 Hadoop 集群部署示意图。 Master 管理 NameNode、SecondaryNamonode 和 JobTracker,slave1 管理DataNode 和 TaskTracker. 4.2 数据预处理。 大部分原始数据难免会存在某些数据记录的缺失和冗余等，为了保证结果的严谨性，很有必要对原始数据进行清洗；而将某些数据用特定的字符转换会方便程序的编写；本文将原始数据根据成绩

8、的等级进行分类，这样的划分能够精准挖掘结果。基于以上三点本文的数据清洗经过如下： 1清理无效数据数据中存在 - ,空值等不合法的字符，这些数据并不存在任何意义。而针对学生成绩数据，华而不实的选修课程并不是所有的学生都会选择的，本文也不会采用这样的数据。 2数据转换数据转换也就是用简单的字符代替课程名称，例如，本文采用不同的阿拉伯数字代表不同的课程名称。 3数据规范化我们将学生成绩根据这样的标准划分：90 分以上为优秀，80-90 分为良好，70-80 分为中等，60-70 分为及格，60 分下面为不及格。 4.3 基于学生成绩的统计分析。 根据数据本身的特点，即我们首先采用趋势图分析，所使用的

9、绘图工具是Gnuplot.Gnuplot51 是一个能够在 Linux 下支持命令行形式绘图的软件，不仅图形漂亮，而且操作简单。 本文所采用的数据是吉林大学电子科学与工程学院各专业从 2002 到 2018除了 2005年的保研成绩。这里需要讲明的就是在我们所获取的保研成绩中，从 2006 年开场电子信息工程专业、电子科学与技术专业和微电子科学与工程专业三个专业的保研成绩不计入大四的成绩，而从 2018 年开场电子信息科学与技术专业和生物医学工程专业的保研成绩也不计入大四的成绩。原始数据格式以2002 年电子信息工程专业为例的部分。 我们计算了各个专业的每个年级的排名与保研成绩相比上下波动 5

10、 范围内的百分比。为了方便起见，在图中我们用英文缩写表示了一些名称，如 DG 表示电子信息工程专业、DK 表示电子科学与技术专业、DX 表示电子信息科学与技术专业、SY 表示生物医学工程专业、WD 表示微电子科学与技术专业。 结论：由以上的图形能够看出，在排名波动 5 范围内，绿色大二的线一直在上面，红色大一的线一直在下面，在这里，我们忽略大四的成绩，因而讲明无论是哪个专业，电子科学与工程学院的学生大二的成绩排名与最后的保研排名最相关，而大一的成绩排名与最后的保研成绩最不相关。所以想要保研的同学需要愈加努力学习大二的基础课程。 4.4 MapReduce Apriori 在学生成绩分析中的应用

11、。 4.4.1 输入数据格式。 根据 4.2 小节所述，我们将原始数据数据格式变换结果如此图 4.10 所示，在这里我们还是以 2002 年电子信息工程专业的部分数据为例，符合分数要求的课程将以特殊符号代替我们把所有的课程名称用不同的阿拉伯数字表示减少占用空间。 通过以上数据格式的转换后我们分别对各个专业成绩 =90 分、 =80 分和 =70 分的数据进行了关联规则处理，由于发现我们所选取的数据集中很少有 60 分下面的同学，也就是大部分的学生都经过了期末考试，因而并没有必要对 70 分下面的数据进行处理。 4.4.2 分析结果。 我们将处理后的结果按专业分类，结果如下： 1微电子科学与技术

12、专业。 图 4.11 为标识符所代表的课程名称，图 4.12 为本算法在微电子科学与技术专业的应用结果，本文只选取了一些有代表性的结果，下面专业好像。 结论：概率论与数理统计优秀的同学中有 66%的同学高等数学 AI 也优秀，但高等数学优秀的同学概率论与数理统计不一定优秀，比例只占了 47%;数字电子技术实验优秀的同学中有 60%的同学高等数学 AI 也优秀；而大部分模拟电子技术实验优秀的同学数字电子技术实验也优秀，同样数字电子技术实验优秀的同学模拟电子技术实验也优秀；2生物医学工程专业。 图 4.13 为标识符所代表的课程名称，图 4.14 为本算法在生物医学工程专业的应用结果。 结论：数字

13、电子技术实验优秀的同学中有 60%的同学高等数学 AI 也优秀；概率论与数理统计优秀的同学中有 66%的同学高等数学 AI 也优秀；数字电子技术优秀的同学中有 75%的同学数字电子技术实验也优秀，所以理论课还是要好好学习的；而模拟电子技术实验优秀的同学数字电子技术实验也优秀，同样数字电子技术实验优秀的同学模拟电子技术实验也优秀。 3电子信息科学与技术专业。 图 4.15 为标识符所代表的课程名称，图 4.16 为本算法在电子信息科学与技术专业的应用结果。 结论：高等数学 AI 优秀的同学中有 64%的同学数字电子技术实验也优秀；数字电子技术优秀的同学中有 79%的同学概率论与数理统计也优秀；而

14、模拟电子技术实验优秀的同学数字电子技术实验也优秀，同样数字电子技术实验优秀的同学模拟电子技术实验也优秀。 4电子科学与技术专业。 图 4.17 为标识符所代表的课程名称，图 4.18 为本算法在电子科学与技术专业的应用结果。 结论：大部分半导体物理学优秀的同学和电子功能材料和元器件也优秀，而大部分电子功能材料和元器件优秀的同学半导体物理学也优秀，并且比例都超过了 50%;高等数学 AI 优秀的同学中有 72%的同学数字电子技术实验也优秀；概率论与数理统计优秀的同学中有 81%的同学高等数学 AI 也优秀；而模拟电子技术实验优秀的同学数字电子技术实验也优秀，同样数字电子技术实验优秀的同学模拟电子

15、技术实验也优秀。 5电子信息工程专业。 图 4.19 为标识符所代表的课程名称，图 4.20 为本算法在电子信息工程专业的应用结果。 结论：高等数学 AI 优秀的同学中有 87%的同学数字电子技术实验也优秀；高等数学 AI 优秀的同学中有 83%的同学物理实验也优秀；概率论与数理统计优秀的同学中有 56%的同学高等数学 AI 也优秀；信号与系统优秀的同学中有 74%的同学高等数学也优秀；物理实验优秀的同学数字电子技术实验也优秀，而数字电子技术实验优秀的同学物理实验也很优秀。 4.5 应用结果分析。 根据实验结果，提出下面几条参考意见： 高等数学和概率论与数理统计是两门非常重要的基础课，并且这两

16、门课程相辅相成。然而我们发现各个专业普遍存在这样一种现象：概率论与数理统计优秀的同学中有一半以上的同学高等数学 AI 也优秀，但高等数学 AI 优秀的同学概率论与数理统计不一定优秀，通过查看课表我们知道大一和大二都有高等数学这门课，而概率论与数理统计是大二才上的课程，所以讲假如把概率论与数理统计放在大一的课程中学生的学习效率会更高层次。 而实验课是基于理论的基础，要想在实验课中获得优异的成绩，理论课的学习至关重要。但是实验课并不是完全依靠于理论课，如高等数学和概率论与数理统计这样的基础课也很重要，由于我们发现高等数学和概率论与数理统计成绩好的同学实验课表现的也很好。 在电子科学与技术专业有这样

17、两门课程：导体物理学以及电子功能材料和元器件，我们发现大部分半导体物理学优秀的同学和电子功能材料和元器件也优秀，而大部分电子功能材料和元器件优秀的同学半导体物理学也优秀，并且比例都超过了 50%. 该学院大部分同学的动手能力较强，应加强理论课的教学。 4.6 本章小结。 本章主要的工作是应用Hadoop平台对吉林大学电子科学与工程学院2002年到 2018 年的数据做了分析，华而不实包括两个方面：一是用统计分析对整体学生成绩做了初步处理，发现最后的保研排名与大二的成绩排名最接近，这也从侧面反映出基础课程的重要性，有些学生只是注重专业课的学习因此会忽略基础课的学习；其二，我们用改良的 MapReduceApriori 算法对课程做了关联规则挖掘，发现如高等数学和概率论与数理统计等基础课程非常重要，直接影响将来专业课的学习。