高校大数据专业教学科研平台建设方案设计.pdf

《高校大数据专业教学科研平台建设方案设计.pdf》由会员分享，可在线阅读，更多相关《高校大数据专业教学科研平台建设方案设计.pdf（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、范文范例 参考指导高校大数据专业教学科研平台建设方案一、项目建设的意义及目的芝诺数据自主研发的高校大数据教学科研平台以校企联合培养模式为手段，通过校企合作联合培养机制，让企业、行业深度参与人才培养过程，逐步实现校企共同制定培养目标、共同建设课程体系和教学内容、共同实施培养过程、共同把控培养质量，全面提升学生的应用实践能力。该平台以应用型人才培养为目标定位，在以解决现实问题为目的的前提下，使培养的学生有更宽广和跨学科的知识视野，注重知识的实用性，有创新精神和综合运用知识的能力。注重培养学生具有在创新中应用、在应用中创新的能力，让学生真正学会大数据行业各个岗位真正的职业技能。二、功能模块和建设思路

2、芝诺大数据教学科研平台构建总体分为三大部分，一是平台硬件，二是教学与实验支撑系统（包括：芝诺数据综合分析 ZDM 平台、芝诺数据教学实训平台），三是产品服务体系。具体如下：组成部分序号名称型号规格与说明大数据教学科研一体机作为芝诺大平台硬件1大数据教学科研一体机数据教育产品的载体，是一体化大数据教育科研的解决方案，采用新型技术体系架构，整合软硬件系统，涵盖数据存 word 格式整理单位数量台1范文范例 参考指导储、数据处理、数据展现等全环节。每套教育大数据一体机能够为 40 个用户提供计算支撑服务，面向客户的业务需求，集海量数据存储、多源异构数据整合、统一数据目录、数据分析与挖掘、数据可视化等

3、功能。计算集群1.1 Master 节点1.21.3计算集群 Slave 节点机柜+交换机+配件24 核心 CPU/48G 内存/900G SAS 硬盘42U 千兆交换机芝诺数据综合分析 ZDM 平台是全面基于 Apache Hadoop 及 Apache Spark计算框架的高性能大数据分析平台，提教学实验2支撑系统分析 ZDM 平台芝诺数据综合供一站式大数据开发环境和工具，包括数据存储、分布式计算、分析挖掘及数据可视化的整套支持。用户可以在大数据综合分析处理平台上采集、存储、分析、挖掘海量数据及其内在价值。大数据行业2.1应用数据包真实项目数据超过 20 亿条以上具备商业价值的套1台套31

4、24 核心 CPU/48G 内存/900G SAS 硬盘台2套1 word 格式整理范文范例 参考指导芝诺数据教学实训平台能够为大数据教学及科研提供一个完整的、一体化的实验教学环境，从而打造出全方位的专芝诺数据3教学实训平台业大数据实训室。学员登录平台后按照实验指南完成大数据教学实训,教师通过对学员学习情况进行大数据分析析，统计各个班级总体学习进度、每门课程学习进度、学生登录时间统计、所有学生学习情况统计。包括大数据系统和大数据应用 2 个大数据3.1实训项目实验方向共计 60 个实验项目，每个项目实验材料包括：实验数据、实验指导、实验原理、实验环境、实验考核等内容。产品4服务体系系统维护提供

5、软硬件平台系统维护。年1套1套15师资培训提供免费师资培训机会（每套产品有 2个免费名额）。提供真实大数据项目实战案例，不断完善和补充。提供具有商业价值的数据，每年更新10%。提供大数据项目的技术支撑。年16案例支持年17数据提供年18项目众包年1 word 格式整理范文范例 参考指导教学与实验支撑系统由芝诺数据综合分析 ZDM 平台和芝诺数据教学实训平台构成，教学与实验支撑系统部署在大数据教学科研一体机中。二、项目建设的目标及内容1、项目建设目标1）平台的建设能让高校大数据专业与实际应用相结合，提高学生的学习、实践和创新创业能力，能够培养实用性人才所需的专业能力，提升教学效果与就业率，为“大

6、数据时代”的创新人才培养做出贡献。2）平台的建设将支撑大数据去冗降噪、大数据融合、大数据可视化等关键技术研究，能够服务于学校的教学和科研，有助于大数据方向发展和自主创新，有利于创新团队培育和高水平研究成果积累，有利于提升教师的教学和科研水平，推动教学和科研团队建设。3）平台的建设搭建可以发挥学校的行业优势，体现学校办学特色，推进与国内外高校、科研机构和企业间的产学研合作，开展项目合作研究和人才培养，促进科研成果转化，促进产学研协同创新。4）平台的建设有利于促进学科交叉与融合。2、项目建设内容1）模块一：平台相关硬件建设本模块主要包含：大数据教学科研一体机 word 格式整理范文范例 参考指导技

7、术参数：作为一个可供大量学生完成大数据实训的集成环境，该平台同步提供了配套的培训服务，对于教学组件的安装、配置、教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。对于各大 word 格式整理范文范例 参考指导高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据的教学、实验与科研。2）模块二：教学与实践支撑系统芝诺大数据教学科研平台由芝诺数据综合分析 ZDM 平台及芝诺数据教学实训平台联合搭建。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综

8、合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实践教学体系。（1）芝诺数据综合分析 ZDM 平台芝诺数据综合分析 ZDM 平台是全面基于 Apache Hadoop 及ApacheSpark 计算框架的高性能大数据分析平台，提供一站式大数据开发环境和工具，包括数据存储、分布式计算、分析挖掘及数据可视化的整套支持。用户可以在大数据综合分析处理平台上采集、存储、分析、挖掘海量数据及其内在价值。ZDM 平台包含的 Hadoop 生态组件：word 格式整理范文范例 参考指导 平台构成：i.Zeno Container 分布式实时数据库：支持结构化、

9、半结构化和非结构化数据的存储；采用分布式存储，支持海量数据存储，支持高并发的快速查询。ii.Zeno Monitor 服务器监控套件：服务器监控是利用 Ganglia 和 Nagios对集群机器进行资源监控，包括 CPU 内存，硬盘，网络资源等进行实时监控，方便用户实时掌握集群机器资源的利用情况。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实验体系，以满足不同学校的实践需求。iii.Zeno Mining 数据挖掘套件：支持多种数据挖掘工具相结合，支持Mah

10、out，MLlib 自带的并行化的高性能机器学习算法库；同时也致辞基于 R 自定义的编程算法；也有强大的主流数据统计个绘图语言 R 以及 Web 图形化开发界面 R-Studio。word 格式整理范文范例 参考指导iv.Zeno Analysis 数据分析套件：使用 Sqoop 和 Flume 支持数据迁移和采集；采用多计算框架模型，可满足不同数据的计算要求。及支持 Hadoop 离线大数据的计算，也支持 Stream 实时流式处理，还支持 Spak 内存快速计算；支持多语言的数据分析工作，支持 SQL、Java、Python、Scala 等。v.Zeno Coop 协作管理引擎：基于 Zo

11、okeeper 的协调服务机制，采用Yarn 的管理模式，支持同时运行多个计算框架，可同时部署 Hadoop、Storm、Spark 等计算框架。ZDM 平台工作流：word 格式整理范文范例 参考指导平台优点：I 安装方便友好的图形化安装界面，使用户可在 1 小时内，零基础搭建基于Hadoop/Spark 的大数据存储、分析、监控及可视化平台。确保安装 100%成功。功能完备提供一站式大数据开发环境和工具，解决从数据源采集/清洗/存储/分析/挖掘/机器学习到数据流处理/可视化/集群监控等问题。Stream 分布式实时流处理引擎提供强大的流计算能力，可支持复杂的实时处理逻辑，满足企业实时告警、

12、风险控制、在线统计和挖掘等应用需求 性能保障 word 格式整理范文范例 参考指导计算速度比传统关系型数据库快 50-100 倍。例如，一个集群包括 13 个Spark 节点，每个 256G 内存的服务器，1 个计算任务 30 秒以内处理 200M 数据，处理过程包括数据入库、逻辑计算、结果展现。同时，系统可线性扩充存储容量或提高处理性能，只需要简单地向集群中增加机器，无需停机。使用方便图形化的数据分析和挖掘界面，令使用者不用理会 Hadoop 底层技术，只需专注于自身业务逻辑。基于 Hadoop 的 ZDM 分布式存储与计算的优点高可扩展性Hadoop 是一个高度可扩展的存储平台，可以存储和

13、分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库系统不能扩展到 word 格式整理范文范例 参考指导处理大量的数据，Hadoop 是能给企业提供涉及成百上千 TB 的数据节点上运行的应用程序。成本效益Hadoop 还为企业用户提供了极具成本效益的存储解决方案。传统关系型数据库管理系统并不符合海量数据的处理器，不符合企业的成本效益。许多公司过去不得不假设哪些数据最优价值，根据这些有价值的数据设定分类，如果保存所有的数据，那么成本就会过高。Hadoop 的架构则不同，其被设计为一个向外扩展的架构，可以经济的存储所有公司的数据供以后使用，节省的费用是非常惊人的。灵活性更好Had

14、oop 能够使企业访问新的数据源，并可以分析不同类型的数据，从这些数据中产生价值，这意味着企业可以利用 Hadoop 的灵活性从社交媒体、电子邮件或点击流量等数据源获得宝贵的商业价值。处理速度更快Hadoop 拥有独特的存储方式，用于数据处理的工具通常在与数据相同的服务器上，从而导致能够更快的处理器数据。如果处理大量的非结构化数据，Hadoop 能够在几分钟内处理 TB 级的数据，而不是像以前都需要以小时为单位。容错能力更强Hadoop 的一个关键优势就是它的容错能力，Hadoop 能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。当数据被发送到一个 word 格式整理范文范例 参

15、考指导单独的节点，该数据也被复制到集群的其它节点上，这意味着在故障情况下，存在另外的副本可供使用。ZDM 平台安装界面截图：ZDM 平台登陆界面 word 格式整理范文范例 参考指导用户名密码登陆后，可以看到如下的首页。系统管理界面 word 格式整理范文范例 参考指导在系统管理界面中，“用户管理”和“角色管理”中，可以定义角色（管理员、操作员等）、添加用户、修改用户密码等。此外，在“资源管理”页面中，可以为每一个用户指定允许安装的组件或者模块。组件安装界面在“组件安装”界面中，具有以下功能：基础信息配置（主机名映射）、Hadoop 组件安装、Spark 组件安装、数据挖掘工具安装、集群监控及

16、 HUE 安装。以下逐一进行介绍。基础信息配置基础信息配置，也即主机名映射，在初次安装 Hadoop 集群前需要配置各服务器的 IP 地址与主机名的映射。点击“配置”按钮后，系统会在后台完成以下配置。修改各服务器的主机名，完成映射。word 格式整理范文范例 参考指导完成各服务器之间的 SSH 互信。完成各服务器 java JDK 环境配置。Hadoop 基础组件在 Hadoop 基础组件页面，可以点击各个 Hadoop 基础组件的图标，完成相应组件的安装及配置。说明：由于组件之间有相互依赖关系，因此，如果某个组件的前序依赖组件没有安装，系统会提示用户安装前序依赖组件。word 格式整理范文范

17、例 参考指导 Spark 基础组件安装在 Spark 基础组件页面，可以点击 Spark 基础组件的图标，完成 Spark集群（包括，Spark SQL，Spark Streaming，MlLib，GraphX）的安装及配置。数据挖掘工具安装在数据挖掘工具安装页面，可以点击各个数据挖掘工具的图标，完成相应工具的安装及配置。word 格式整理范文范例 参考指导集群监控及 HUE在集群监控及 HUE 安装页面，可以点击相应的图标，完成 Ganglia 及HUE 的安装及配置。word 格式整理范文范例 参考指导基础应用模块在上述 Hadoop 集群及相关的组件安装配置完成后，在基础应用模块，可以是

18、用 Rstudio，以及查看 Ganglia、HDFS、YARN 的监控页面。Rstudio word 格式整理范文范例 参考指导登陆后可以看到如下 Rstudio 的页面。（用户名：hadoop，密码：hadoop）Ganglia 监控页面 word 格式整理范文范例 参考指导 HDFS 监控页面 YARN 监控页面 word 格式整理范文范例 参考指导定制应用模块该模块使用系统自带的数据，展示了大数据可视化的三个应用效果。静态报表展示多维报表展示 word 格式整理范文范例 参考指导动态实时报表展示（2）大数据教学实训平台 word 格式整理范文范例 参考指导芝诺数据教学实训平台包括大数据

19、系统和大数据应用 2 个方向共计60 个实验项目，能够为大数据教学及科研提供一个完整的、一体化的实验教学环境，打造出全方位的专业大数据实训室。每个项目实验材料包括：A 实验数据B 实验指导C 实验原理D 实验环境E 实验考核等内容。该平台集学员实训学习与教师教学管理于一体，因此，对于学员和教师这两类不同的角色，可以通过不同的账号登陆，进入平台的相应界面。word 格式整理范文范例 参考指导学员登录实训平台后，可以选择相应的实验课程，并按照实验指南完成大数据处理与分析实操案例的教学实训，并提交实验报告。教师登陆管理平台后，可以通过对班级与学员学习情况进行管理，统计各个班级总体学习进度、每门课程学

20、习进度、查看学生实验报告并批阅评分等。以下就分别对学生与教师这两类不同角色登陆平台后的界面操作进行说明。大数据实训管理平台登陆链接如下：http:/192.168.0.121:8081/TPF 大数据实训管理平台-学生登陆 word 格式整理范文范例 参考指导 学生登陆后的课程界面学生登陆后可以看到如下图所示的“我的课程”界面。大数据实训管理平台现在共有四门课程，分别为：A 数据分析员B 大数据分析师C 大数据挖掘工程师D 大数据系统工程师 word 格式整理范文范例 参考指导点击课程，进入实验列表界面点击上述四门课程的任何一个，即可进入相应课程的实验列表界面。比如，点击“大数据分析师课程”，

21、就可进入如下的实验列表。点击“开始实验”按钮，即可进入对应实验的实训界面由于不同类型实验的实训环境不同，以下分别就 RStudio 与 WebTerm 环境分别说明。RStudio 实训环境该实训环境主要针对大数据统计分析与建模的相应实验，也就是通过 R 语言来完成相应的大数据统计分析实验。word 格式整理范文范例 参考指导比如，点击上述大数据分析师课程实验列表中的，“R 语言实现多元线性回归模型案例”，即进入如下的实训平台界面。说明：对 R 语言操作的实验，需要登陆 Rstudio，登陆的用户名和密码与实训平台的用户名和密码一致。输入实训平台的用户名和密码，登陆 RStudio，登陆后的界

22、面如下。word 格式整理范文范例 参考指导在该实训界面中，学员就可以按照左侧的实验指南，在 RStudio 的环境中，完成该多元线性回归模型实验的操作与练习。WebTerm 实训环境该实训环境主要用于大数据挖掘工程师与大数据系统工程师相关的实验，可以在 WebTerm 环境下运行 Linux 系统及 Hadoop 大数据生态圈工具的相关命令。比如，进入“大数据系统工程师”课程，点击课程实验列表中的，“Linux 基本命令操作实例”，即进入如下的实训平台界面。word 格式整理范文范例 参考指导说明：对 Linux 命令操作的实验，需要登陆 WebTerm，登陆的用户名和密码与实训平台的用户名

23、和密码一致。输入实训平台的用户名和密码，登陆 WebTerm，登陆后的界面如下。word 格式整理范文范例 参考指导在该实训界面中，学员就可以按照左侧的实验指南，在 WebTerm 的环境中，完成该实验的操作与练习。word 格式整理范文范例 参考指导 下载实验资源在 RStudio 或者 WebTerm 环境的实训页面中，如果该实验有附加的软件安装包或者数据文件等需要下载的资源，都可以点击“下载资源”按钮一键下载，下载的资源文件为压缩的 ZIP 文件。如下图所示。提交实验报告每一个实验演示操作完成后，都有一个实验作业，如下图所示。word 格式整理范文范例 参考指导学生可根据该实验所练习的内

24、容，完成相应的实验作业，并点击“实验报告”按钮，就可进入如下的实验报告提交页面。在该页面中，可以“输入内容”、“上传图片”等。查看实验报告 word 格式整理范文范例 参考指导学生在完成实验练习并提交实验作业后，可以点击“我的实验报告”，查看已提交的实验报告列表，而且还可以对已提交的实验报告进行编辑。示意图如下所示。大数据实训管理平台-教师登陆教师登陆后的管理界面 word 格式整理范文范例 参考指导教师登陆大数据实训管理平台后，可以看到上图的管理界面。教师账号主要有三方面的功能：创建和管理班级批阅学生提交的实验报告集群监控以下对这三方面的功能逐一进行介绍。我的班级 创建班级在“我的班级”页面

25、，教师可以创建和编辑班级。word 格式整理范文范例 参考指导按照上述示意图操作，即可创建班级。创建班级后的效果如下图所示。导入学员在创建了班级后，可以对该班级的学员进行管理。word 格式整理范文范例 参考指导点击上图的“学员管理”按钮，即可进入如下的学员管理。对于新创建的班级，可以点击“下载学员模板”，根据模板导入该班级的学员。word 格式整理范文范例 参考指导 课程管理可以通过“课程管理”为该班级的学员分配相应的课程。点击上图中的“课程管理”按钮，即进入课程分配页面，为该班级分配相应的实验课程。word 格式整理范文范例 参考指导 批阅报告点击“批阅报告”，可以筛选“专业”与“班级”，

26、查看相应班级学生提交的实验报告，并进行批阅。集群监控点击“集群监控”，可以进入分布式计算机集群的监控页面，如下图所示。word 格式整理范文范例 参考指导在该页面中，可以分别查看 Hadoop 集群、Spark 集群、Ganglia 集群监控，以及，进程启动等监控信息。示意图如下。Hadoop 集群信息：word 格式整理范文范例 参考指导Spark 集群信息：Ganglia 集群监控信息：word 格式整理范文范例 参考指导进程启动页面信息：3、项目教学内容及数据库（1）芝诺数据教学课程 word 格式整理范文范例 参考指导 word 格式整理范文范例 参考指导（2）实训平台实验教学大纲 w

27、ord 格式整理范文范例 参考指导（3）芝诺数据库 word 格式整理范文范例 参考指导附：部分学员作业（大数据应用分析报告）展示 word 格式整理范文范例 参考指导往期回顾 word 格式整理范文范例 参考指导4、项目建设重点由于本实验室的建设思路是侧重实验内容建设，因此我们在规划中突出了平台及大数据专业课程的建设，在整个建设过程中，我们的主要重点在于：（1）以科学、节约为原则，合理解决实验室服务器的问题。（2）严格按照实验室建设进度安排执行。word 格式整理范文范例 参考指导（3）硬件及相关支撑平台以满足基本要求即可，重点引入跟我们大数据专业人才培养方案相关的大数据课程内容及行业案例库

28、，通过专业的大数据课程和真实的企业实训场景，大力培养学生的应用创新能力。（4）在整个实验室项目建设的同时，着力加强大数据专业教师团队的建设。5、项目建设预期效益本项目通过对芝诺数据教学实训平台和芝诺数据综合分析 ZDM 平台的建设，支撑大数据去冗降噪、大数据融合、大数据安全与隐私保护等关键技术研究，形成以工程实训和创新拓展为主的实践教学体系，培养学生良好的科学素养和实践创新能力。同时，提升高校承担重大科研项目和实现自主创新的能力。适应国民经济和社会发展的信息化进程、信息化与工业化“两化”融合和新兴战略性产业迅速发展，完善科研平台和教学实验平台体系建设，提升科技创新能力，推进产学研合作。预期达到以下效果：（1）建立健全实验教学环境，为相关专业学生提供与产业界接轨的、良好的实验条件；（2）模拟企业环境，引入以实际项目为蓝本的实训项目，构建实训基地；（3）为开设大数据类公共选修课提供实验环境；（4）支撑高校科研项目的实施及科研论文的发表；（5）为学生在数学、统计、计算机类学科竞赛获奖提供教学实验环境支持。word 格式整理范文范例 参考指导 word 格式整理