《Hadoop大数据技术》课程实验教学大纲(1).docx

《《Hadoop大数据技术》课程实验教学大纲(1).docx》由会员分享，可在线阅读，更多相关《《Hadoop大数据技术》课程实验教学大纲(1).docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Hadoop大数据技术实验教学大纲一、课程基本情况课程代码：1()41139课程名称：Hadoop 大数据技术/Hadoop Big Data Technology课程类别：专业必修课总学分：3.5总学时：56实验/实践学时：24合用专业：数据科学与大数据技术合用对象：本科先修课程：JAVA程序设计、Linux基础二、课程简介Hadoop大数据技术课程是数据科学与大数据技术专业的专业必修课程，是数据科学与 大数据技术的交叉学科，具有极强的实践性和应用性。Hadoop大数据技术实验课程是理论 课的延伸，它的主要任务是使学生对Hadoop平台组件的作用及其工作原理有更深入的了解，提 高实践动手能力

2、，并为Hadoop大数据平台搭建、基本操作和大数据项目开辟提供技能训练，是 提高学生独立操作能力、分析问题和解决问题能力的一个重要环节。三、实验项目及学时安排序 号实验/实践项目名称实验 学时实验 类型每组 人和实验 要求对应的课程 教学目标1买验一 Hadoop环境搭建4综合性1必做52实验二 通过API和Shell访问HDFS4验证件1必做23实验三MapReduce基础编程与WordCount 程序4验证性1必做1、24实验四HBase的安装与配置、Shell访 问与Java API访问4综合性1必做15实验五基于Local模式的Hive环境搭建和常用操作2验证性1必做16实验六Flum

3、e的安装与基本使用2验证性1必做67实验七Sqoop的安装与基本使用4验证性1必做6合计24四、实验内容实验一 Hadoop环境搭建实验实验目的：1 .掌握Hadoop伪分布式模式环境搭建的方法；2,熟练掌握Linux命令(vi、tar.环境变量修改等)的使用。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop版本：或者以上版本实验主要内容及步骤：1 .实验内容在Ubuntu系统下进行Hadoop伪分布式模式环境搭建。2 .实验步骤(1)根据内容要求完成Hadoop伪分布式模式环境搭建的逻辑设计。根据设计要求，完成实验准备工作：关闭防火墙、安装JDK、配置SSH免密登录、Ha

4、doop 安装包获取与解压。(3)根据实验要求，修改Hadoop配置文件，格式化NAMENODE。(4)启动/住手Hadoop,完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验二(1)Shell命令访问HDFS实验实验目的：L理解HDFS在Hadoop体系结构中的角色；3 .熟练使用常用的Shell命令访问HDFSo实验设备：1 .操作系统：Ubuntu 16.042 .Hadoop环境：已部署的或者以上版本实验主要内容及步骤：1 .实验内容(1)练习常用hdfs操作命令(2)练习常用hdfs管理命令(3)命令的综合运用2 .实验步骤(1)根

5、据内容要求完成实验的逻辑设计。(2)根据设计要求，完成实验数据准备工作。(3)根据实验要求，练习利用常用hdfs操作命令和管理命令操作实验数据。(4)命令的综合运用，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验二(2) 通过API访问HDFS实验实验目的：1 ,理解HDFS在Hadoop体系结构中的角色；2 .熟悉通过Java API访问HDFSo实验设备：1 .操作系统：Ubuntu 16.042 .Hadoop环境：已部署的或者以上版本3 .JDK版本：L8或者以上版本4 .开辟环境：Eclipse/IDEA Maven实验主要内容及

6、步骤：1 .实验内容练习通过Java API访问HDFS2 .实验步骤(1)根据内容要求完成JavaAPI访问HDFS的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，采用Eclipse/IDEA创建Maven工程。(4)调用HadoopHDFS的Java API编写程序，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验三MapReduce基础编程与 WordCount程序实验实验目的：1 .熟练理解和掌握MapReduce编程模型2 .调用 MapReduce 的 Java API 编写 wordcount 程序实验设备

7、：1 .操作系统：Ubuntu 16.042 .开辟环境：Eclipse/IDEA、Maven3 .Hadoop环境：已部署的Hadoop2,7.3或者以上版本实验主要内容及步骤：1 ,实验内容利用Hadoop Mapreduce相关Java API编写wordcount程序对输入文件统计单词频率。2 .实验步骤(1)根据内容要求完成Java API访问M叩reduce统计单词频率程序的逻辑设计。(2)根据设计要求，完成实验数据准备工作。(3)根据实验要求,采用Eclipse/IDEA创建Maven工程。(4)调用Hadoop Mapreduce的Java API编写程序，完成实验测试，验证设

8、计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验四(1) HBASE的安装与配置实验实验目的：1 .掌握HBase的伪分布式模式的搭建。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的或者以上版本4 .JDK版本：L8或者以上版本5 .Hbase 安装包：实验主要内容及步骤：1 .实验内容完成HBase的伪分布式模式搭建。2 .实验步骤(1)根据内容要求完成HBASE伪分布式模式搭建的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，修改HBASE配置文件。(4)完成HBase伪分布式搭建，完成实验测试，验证设

9、计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验四(2) Shell访问HBASE实验实验目的：1 .掌握HBaseShell常用指令的使用。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的Hadoop273或者以上版本4 .JDK版本：1.8或者以上版本5 .Hbase环境：已经搭建好的HBasel.3. 1伪分布式环境实验主要内容及步骤：1 .实验内容利用HBase Shell常用指令访问HBASEo2 .实验步骤(1)根据内容要求完成Shell访问HBASE的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要

10、求，完成Shell访问HBASE实验，完成实验测试，验证设计的合理性。(4)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验四(3) 通过Java API访问HBase实验实验目的：1 .掌握常用的HBase Java APIo实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的或者以上版本3JDK版本：1.8或者以上版本4 .Hbase环境：已经搭建好的HBasel.3. 1伪分布式环境实验主要内容及步骤：1 ,实验内容利用Hbase相关Java API编写程序操作HBASE数据库。2 .实验步骤(1)根据内容要求完成Java API访问HBASE

11、数据库程序的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，采用Eclipse/IDEA创建Maven工程。(4)调用Hbase的Java API编写程序，打包运行完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验五(1) 采用Local模式搭建Hive环境实验实验目的：L掌握Hive的环境搭建方法。3 .采用Local模式搭建Hiveo实验设备：1 .操作系统：Ubuntu 16.042 .Hadoop环境：已部署的或者以上版本3 .JDK版本：1.8或者以上版本4 .Hive 版本：实验主要内容及步骤：1 .实验内容采用

12、Local模式搭建Hive2 .实验步骤(1)根据内容要求完成Local模式搭建Hive环境的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，完成Mysql数据库安装与配置。(4)完成Hive安装与配置，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验五(2)Hive常用操作实验实验目的：1 .掌握Hive常用的使用方法。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的或者以上版本4 .JDK版本：1.8或者以上版本5 .Hive环境：已部署的环境实验主要内容及步骤：1 .实验内容利用Sh

13、ell访问Hive练习HQL常规操作。2 .实验步骤(1)根据内容要求完成HQL常规操作Hive的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，利用Hive HQL对实验数据进行操作。(4)完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验六 Flume的安装与基本使用实验目的：1 ,理解Flume的基本原理，掌握各组件的作用及关系；2,熟悉Flume的常用配置。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的或者以上版本4 .JDK版本：L8或者以上版本5 .Flume 版本：实验主要内

14、容及步骤：1 .实验内容(1)完成Flume的安装搭建。2 2) 了解Flume的基本使用。3 .实验步骤(1)根据内容要求完成Flume的安装搭建的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，完成Flume的安装搭建，并进行Flume基本使用。(4)完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验七 Sqoop的安装与基本使用实验目的：1 .理解Sqoop的基本原理；2 .熟悉Sqoop的常用功能。实验设备：1 .操作系统：Ubuntu 16.042 .Hive环境：已部署的环境3 .Mysql：已部署的Mysql环

15、境4 .Sqoop 版本：实验主要内容及步骤：1 .实验内容（1）完成Sqoop的安装搭建。（2）掌握Sqoop的基本使用。2 .实验步骤（1）根据内容要求完成Sqoop的环境搭建的逻辑设计。（2）根据设计要求，完成实验准备工作。（3）根据实验要求，完成Sqoop的安装搭建，并进行Sqoop的数据互导基本操作。（4）完成实验测试，验证设计的合理性。（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。五、考核方式1 .实验成绩考核方式实验成绩包含实验方案设计（20%）、实验操作（40%）和实验报告（40%）三部份构成。2 .成绩评定标准基本要求考核结果及标准成绩 比例 （%）优秀（9

16、0100 分）良好（8089分）中等（7079分）及格（60-69 分）不及格（60 分）实 验 方 案课程目标1 （毕业要 求 1.1）能运用 Hadoop、 HBase 和 Hive的工作 制定 合理的实验 方案。基本能运用 Hadoop、 HBase 和 Hive的工作 机制，实验方 案较为合理。理解Hadoop、 HBase 和 Hive的工作 机制，能识别 或者判断方 案的合理性了解Hadoop、 HBase 和 Hive的工作 机制,基本能 识别或者判 断方案的合 理性C不了解 Hadoop、 HBase 和 Hive的工作 机制，不能识 别或者判读 方案的合理20实 验 操 作课

17、程目标2 （毕业要 求 1.2）实验流程规 范，各步骤实 验结果正确、 完整，具有创 新意识。实验流程规 范，各步骤实 验结果正确。O实验流程合 理，各步骤实 验结果正确。实验流程合 理，各步骤实 验结果基本 正确。性。实验流程缺 少关键步骤 或者结果不40实 验 报 告课程目标3 （毕业要 求 3.2）按时提交实告， 结构合理、书 写规范。按时提交实 验报告，实验 结构合理、书 写规范。按时提交实 验报告，实验 绢勾合理、书按时提交实报告，实验 结构较合理、 书写符合要 求。止确。没有按时提 交实验报告 或者报告不40六、教学资源建议教材：(1)杨治明，许桂秋.Hadoop大数据技术与应用.人民邮电出版社,2022.(2)林子雨.大数据技术原理与应用：概念、存储、处理、分析与应用(第2版).人民邮电出 版社,2022.主要参考书：(1) Tom White.Hadoop权威指南(第四版).清华大学出版社,2022.(2)王宏志，李春静.Hadoop集群程序设计与开辟.人民邮电出版社,2022.