《Hadoop大数据技术》课程实验教学大纲.docx

Hadoop大数据技术实验教学大纲一、课程基本情况课程代码：1041139课程名称： Hadoop 大数据技术/Hadoop Big Data Technology课程类别：专业必修课总学分：3.5总学时：56实验/实践学时：24合用专业：数据科学与大数据技术合用对象：本科先修课程：JAVA程序设计、Linux基础二、课程简介Hadoop大数据技术课程是数据科学与大数据技术专业的专、也必修课程，是数据科学与 大数据技术的交叉学科，具有极强的实践性和应用性。Hadoop大数据技术实验课程是理论 课的延伸，它的主要任务是使学生对Hadoop平台组件的作用及其工作原理有更深入的了解，提 高实践动手能力，并为Hadoop大数据平台搭建、基本操作和大数据项目开辟提供技能训练，是 提高学生独立操作能力、分析问题和解决问题能力的一个重要环节。三、实验项目及学时安排序 号实验/实践项目名称实验 学时实验 类型每组 人热实验 要求对应的课程 姓学日标1实验一 Hadoop环境搭建4综合性1必做52实验二通过API和Shell访问HDFS4验证性1必做23实验三MapReduce基础编程与WordCount 程序4验证性1必做1、24实验四HBase的安装与配置、Shell访 问与Java API访问4综合性1必做15实验五基于Local模式的Hive环境搭 建和常用操作2验证性1必做1由、蟋螭Flume的安装与基本使用2验证性1必做67实验七Sqoop的安装与趣遵用See田环龙!；瀚嬲1必做6实验日的，合计241 .掌握Hadoop伪分布式模式环境搭建的方法；2 .熟练掌握Linux命令（vi、tar、环境变量修改等）的使用。 实验设备：1 .操作系统：Ubuntu 16.042 .Hadoop版本：2.73或者以上版本实验主要内容及步骤：1 .实验内容在Ubuntu系统下进行Hadoop伪分布式模式环境搭建。2 .实验步骤(1)根据内容要求完成Hadoop伪分布式模式环境搭建的逻辑设计。(2)根据设计要求，完成实验准备工作：关闭防火墙、安装JDK、配置SSH免密登录、Hadoop 安装包获取与解压。(3)根据实验要求，修改Hadoop配置文件，格式化NAMENODE。(4)启动/住手Hadoop,完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验二(1) Shell命令访问HDFS实验实验目的：1 .理解HDFS在Hadoop体系结构中的角色；2 .熟练使用常用的Shell命令访问HDFSo实验设备：L 操作系统:Ubuntu 16.042.Hadoop环境：已部署的Hadoop273或者以上版本实验主要内容及步骤：1 .实验内容(1)练习常用hdfs操作命令(2)练习常用hdfs管理命令(3)命令的综合运用2 .实验步骤(1)根据内容耍求完成实验的逻辑设计。(2)根据设计要求，完成实验数据准备工作。(3)根据实验要求，练习利用常用hdfs操作命令和管理命令操作实验数据。(4)命令的综合运用，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验二(2) 通过API访问HDFS实验实验目的：1 .理解HDFS在Hadoop体系结构中的角色；2 .熟悉通过Java API访问HDFSo实验设备：L 操作系统:Ubuntu 16.042 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本3 .JDK版本：1.8或者以上版本4 .开辟环境：Eclipse/IDEA、Maven实验主要内容及步骤：1 .实验内容练习通过Java API访问HDFS2 .实验步骤(1)根据内容要求完成Java API访问HDFS的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，采用Eclipse/IDEA创建Maven工程。(4)调用HadoopHDFS的Java API编写程序，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验三 MapReduce基础编程与 WordCount程序实验实验目的：1 .熟练理解和掌握MapReduce编程模型2 .调用 MapReduce 的 Java API 编写 wordcount 程序实验设备：1 .操作系统：Ubuntu 16.042 .开辟环境：Eclipse/IDEA> Maven3 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本实验主要内容及步骤：1 .实验内容利用Hadoop Mapreduce相关Java API编写wordcount程序对输入文件统计单词频率。2 .实验步骤(1)根据内容要求完成Java API访问Mapreduce统计单词频率程序的逻辑设计。(2)根据设计要求，完成实验数据准备工作。(3)根据实验要求，采用Eclipse/IDEA创建Maven工程。(4)调用Hadoop Mapreduce Java API编写程序，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验四(1) HBASE的安装与配置实验实验目的：1 .掌握HBase的伪分布式模式的搭建。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本4 .JDK版本：1.8或者以上版本5 .Hbase 安装包：hbase-1.3.1 -bin.tar.gz实验主要内容及步骤：1 .实验内容完成HBase的伪分布式模式搭建。2 .实验步骤(1)根据内容要求完成HBASE伪分布式模式搭建的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，修改HBASE配置文件。(4)完成HBase伪分布式搭建，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验四(2)Shell访问HBASE实验实验目的：1 .掌握HBase Shell常用指令的使用。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本4 .JDK版本：L8或者以上版本5 .Hbase环境：已经搭建好的HBaseL3.1伪分布式环境实验主要内容及步骤：1 .实验内容利用HBase Shell常用指令访问HBASE。2 .实验步骤(1)根据内容要求完成Shell访问HBASE的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，完成Shell访问HBASE实验，完成实验测试，验证设计的合理性。(4)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验四(3) 通过Java API访问HBase实验实验目的：1 .掌握常用的 HBase Java APL实验设备：L 操作系统:Ubuntu 16.042 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本3 .JDK版本：1.8或者以上版本4 .Hbase环境：已经搭建好的HBasel.3.1伪分布式环境实验主要内容及步骤：1 .实验内容利用Hbase相关Java API编写程序操作HBASE数据库。2 .实验步骤(1)根据内容要求完成Java API访问HBASE数据库程序的逻辑设计。(2)根据设计要求，完成实验准备工作。根据实验要求，采用Eclipse/IDEA创建Maven工程。(4)调用Hbase的Java API编写程序，打包运行完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验五(1) 采用Local模式搭建Hive环境实验实验目的：1 .掌握Hive的环境搭建方法。2,采用Local模式搭建Hive。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本4 .JDK版本：1.8或者以上版本5 .Hive 版本：hive-2.3.3实验主要内容及步骤：1 .实验内容采用Local模式搭建Hive2 .实验步骤(1)根据内容要求完成Local模式搭建Hive环境的逻辑设计。(2)根据设计要求，完成实验准备工作。(3)根据实验要求，完成Mysql数据库安装与配置。(4)完成Hive安装与配置，完成实验测试，验证设计的合理性。(5)撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。实验五(2)Hive 常用操作实验实验目的：1 .掌握Hive常用的使用方法。实验设备：2 .操作系统：Ubuntu 16.043 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本4 .JDK版本：1.8或者以上版本5 .Hive环境：已部署的Hive2.3.3环境实验主要内容及步骤：1 .实验内容利用Shell访问Hive练习HQL常规操作。2 .实验步骤(2)根据设计要求, (3)根据实验要求, (4)完成实验测试, (5)撰写实验报告,(1)根据内容要求完成HQL常规操作Hive的逻辑设计。完成实验准备工作。利用Hive HQL对实验数据进行操作。验证设计的合理性。整理实验数据，记录完备的实验过程和实验结果。实验六 Flume的安装与基本使用实验目的：1 .理解Flume的基本原理，掌握各组件的作用及关系；2 .熟悉Flume的常用配置。实验设备：1 .操作系统：Ubuntu 16.042 .Hadoop环境：已部署的Hadoop2.7.3或者以上版本3 .JDK版本：1.8或者以上版本4 .Flume 版本：flumel.8.0实验主要内容及步骤：1 .实验内容(1)完成Flume的安装搭建。2 2) 了解Flume的基本使用。3 .实验步骤(1)根据内容要求完成Flume的安装搭建的逻辑设计。(2)根据设计要求, (3)根据实验要求, (4)完成实验测试, (5)撰写实验报告,完成实验准备工作。完成Flume的安装搭建，并进行Flume基本使用。 验证设计的合理性。整理实验数据，记录完备的实验过程和实验结果。 实验七 Sqoop的安装与基本使用实验目的：1 ,理解Sqoop的基本原理;2 .熟悉Sqoop的常用功能。实验设备：1 .操作系统：Ubuntu 16.042 .Hive环境：已部署的Hive2.3.3环境3 .Mysql：已部署的Mysql环境4 .Sqoop 版本：Sqoop 1.4.7实验主要内容及步骤：1 .实验内容（1）完成Sqoop的安装搭建。（2）掌握Sqoop的基本使用。2 .实验步骤（1）根据内容要求完成Sqoop的环境搭建的逻辑设计。（2）根据设计要求，完成实验准备工作。（3）根据实验要求，完成Sqoop的安装搭建，并进行Sqoop的数据互导基本操作。（4）完成实验测试，验证设计的合理性。（5）撰写实验报告，整理实验数据，记录完备的实验过程和实验结果。五、考核方式1 .实验成绩考核方式实验成绩包含实验方案设计（20%）、实验操作（40%）和实验报告（40%）三部份构成。2 .成绩评定标准基本要求考核结果及标准成绩 比例 （%）优秀（90-100 分）良好（8089分）中等（70-79 分）及格（6069分）不及格（60 分）实 验 方 案课程目标1 （毕业要 求 1.1）能运用 Hadoop、 HBase 和 Hive的工作 机制，制定 合理的实验 方案。基本能运用 Hadoop、 HBase 和 Hive的工作 机制，实验方 案较为合理。理解Hadoop、 HBase 和 Hive的工作 机制，能识别 或者判断方 案的合理性了解Hadoop、 HBase 和 Hive的工作 机制，基本能 识别或者判 断方案的合 理性C不了解 Hadoop、 HBase 和 Hive的工作 e山不能识 别或者判读 方案的合理20实 验 操 作课程目标2 （毕业要 求 1.2）实验流程规 范，各步骤实 验结果正确、 完整，具有创 新意识。实验流程规 范，各步骤实 验结果正确。O实验流程合 理，各步骤实 验结果正确。实验流程合 理，各步骤实 验结果基本 正确。性。实验流程缺 少关键步骤 或者结果不TT- TA40实 验 报课程目标3 （毕业要 求 3.2）按时提交实 验报告，实验 结构合理、书 写规范。按时提交实 黝艮告， 编勾合理、书 写规范。按时提交实 验报告，实验 结构合理、书按时提交实 验报告，实验 结构较合理、 书写符合要 求。1L确。没有按时提 交实验报告 或者报告不40六、教学资源建议教材：(1)杨治明，许桂秋.Hadoop大数据技术与应用.人民邮电出版社,2022.(2)林子雨.大数据技术原理与应用：概念、存储、处理、分析与应用(第2版).人民邮电出 版社,2022.主耍参考书：(1) Tom White.Hadoop权威指南(第四版).清华大学出版社,2022.(2)王宏志，李春静.Hadoop集群程序设计与开辟.人民邮电出版社,2022.