Hadoop大数据开发基础 教案 第3、4章 Hadoop基础操作、 MapReduce编程入门.docx

《Hadoop大数据开发基础 教案 第3、4章 Hadoop基础操作、 MapReduce编程入门.docx》由会员分享，可在线阅读，更多相关《Hadoop大数据开发基础 教案 第3、4章 Hadoop基础操作、 MapReduce编程入门.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第3章Hadoop基础操作教案课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：6学时一、材料清单（1）Hadoop大数据开发基础（第2版）教材。（2）配套 PPT。（3）引导性提问。（4）探究性问题。（5）拓展性问题。二、教学目标与基本要求.教学目标首先介绍了 Hadoop的平安模式，了解Hadoop平安模式的机制和作用，掌握Hadoop安 全模式的查看、解除和开启。接着结合实际任务及多个例如，介绍Hadoop集群的文件系统 与计算资源信息的查询，再重点介绍了 Hadoop的HDFS文

2、件系统的基本操作，最后通过使 用Hadoop的官方例如包执行MapReduce任务。1 .基本要求了解Hadoop平安模式。(2)掌握查看、解除与开启Hadoop平安模式的方法。(3)掌握查看Hadoop集群存储系统和计算资源信息的方法。(4) 了解HDFS文件系统。(5)掌握HDFS文件系统的基本操作。(6)掌握提交MapReduce任务的基本操作。(7)掌握多个MapReduce任务的管理。三、问题1.引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而到达理解、掌握知识，开展各种能力和提高思想觉悟的目的。(1)是否了解过关于文件系统的内容

3、？(2)你认为HDFS文件系统与Windows或Linux的文件系统有什么异同？(3)从第2章的配置中是否对如何查看HDFS文件系统有认识？(4)在启动集群是，对应启动的任务代表什么？2 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(1) HDFS与Linux系统的本质区别是什么？(2)启动集群的哪些服务就可以操作HDFS文件系统？如果要提交MapReduce任务 呢？(3) HDFS文件系统客户端能为我们提供集群的哪些信息？(4)操作HD

4、FS文件系统的的命令是什么？可以在哪些客户端操作HDFS?(5)如何查看HDFS端数据的块分布和副本存放情况？(6)如何提交一个MapReduce任务?(7)如何查看一个MapReduce任务的Map和Reduce任务数？3 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问 题。(1)中断一个MapReduce任务有哪些方法？(2) 一个MapReduce任务从提交到结束会有哪些状态，分别代表什么？(3)如何关闭Linux系统防火墙？!1!主要知识点、重点与难点(3) 要知

5、识点(1)认识Hadoop平安模式。(4) Hadoop平安模式的查看、解除和开启。(5) HDFS文件系统的操作。(6) MapReduce任务的提交。(5)查询和中断M叩Reduce任务。(6)集群监控的查看方法。2.重点Hadoop平安模式的查看、解除和开启。(1) HDFS文件系统的操作。(2) MapReduce任务的提交。(4)查询和中断MapReduce任务。3.难点HDFS文件系统的操作。(1) MapReduce任务的提交。(3)查询和中断MapReduce任务。五、教学过程设计1 .理论教学过程(1)认识Hadoop的平安模式。(2)查看HDFS文件系统客户端。(3)查看任

6、务日志监控窗口。(4) HDFS文件系统的基础操作。(5)提交 MapReduce 任务。(6)管理多个MapReduce任务。2 .实验教学过程(1)解除和开启Hadoop平安模式。(2) HDFS文件系统的基础操作。(3)提交、查看和中断MapReduce任务。(4)查看任务日志监控窗口。(5)统计日志文件中的登录次数。六、教材与参考资料1 .教材张军，张良均.Hadoop大数据开发基础(第2版)(微课版)M.北京：人民邮电出 版社.2021.2 .参考资料1余明辉，张良均.Hadoop大数据开发基础M.北京：人民邮电出版社.2018.2张良均，樊哲，位文超，刘名军.Hadoop与大数据挖

7、掘M.北京：机械工业出版 社.2015.3张良均，樊哲，赵云龙，李成华.Hadoop大数据分析与挖掘实战M.北京：机械 工业出版社.2015.第4章MapReduce编程入门教案课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时(其中理论28学时，实验36学时)总学分：4.0学分本章学时：8学时七、材料清单(6)Hadoop大数据开发基础(第2版)教材。(7)配套 PPT。(8)引导性提问。(9)探究性问题。(10)拓展性问题。八、教学目标与基本要求.教学目标首先介绍了在Windows下Java和IntelliJ IDEA开发工具的安装过程,并介绍

8、了在IDEA 中新建MapReduce工程及配置MapReduce环境的过程。接着介绍了 MapReduce编程的基 础知识，通过对Hadoop官方的例如WordCount源码的分析解读,使读者深入了解MapReduce 的工作原理与执行流程。并结合竞赛网站每日访问次数的统计任务，分析MapReduce编程 的基本思路和处理逻辑，实现核心代码的编写。3 .基本要求(1)掌握在Windows下安装Java和IDEA的方法。(2)掌握在IDEA中创立MapReduce工程和配置MapReduce环境的方法。(3)熟悉MapReduce的工作原理及执行流程。(4) 了解Hadoop官方例如WordC

9、ount程序源码。(5) 了解MapReduce编程的基本思路。(6)熟悉m叩()方法与reduce。方法的处理逻辑。(7)掌握编写基础的MapReduce程序处理简单任务。九、问题4 .引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问 题，提问，从而到达理解、掌握知识，开展各种能力和提高思想觉悟的目的。(5)你是否有较好的Java基础？(6)常用的Java编程软件有哪些？(7)你觉得MapReduce程序为何用Java语言编写？5 .探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的 基础上，从重点、难点问题切入，进行

10、插入式提问。或者是对引导式提问中尚未涉及但在课 文中又是重要的问题加以设问。(8 )如何在IDEA中配置MapReduce开发环境？(9) Map、Reduce的处理逻辑是怎么样的？(10)编写一个M叩Reduce程序需要哪些类，每个类中有哪些方法？(11)如何将MapReduce工程打成jar包并在Linux终端运行？(12) 一个文件夹中有两个文件，如果输入路径是文件夹，那么会读入两个文件吗？ Map和Reduce的任务数是多少？3 .拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提 出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，

11、完成拓展性问 题。(4)输入文件不止一个的情况下，有哪些解决的方法?(5)当需耍有多个输出路径即输出文件时，Driver类如何设置？(6)当需要对M叩阶段后的文件进行分片后再传入Reduce阶段，要如何设置?十、主要知识点、重点与难点1 .主要知识点IDEA的安装配置。(7) MapReduce开发环境的搭建。(8) 熟悉M叩Reduce的工作原理及执行流程。(9) MapReduce原理和运行流程。(10) MapReduce的编程逻辑。(11) MapReduce程序打包和运行。2 .重点MapReduce开发环境的搭建。(5) MapReduce原理和运行流程。(6) MapReduce

12、的编程逻辑。(7) MapReduce程序打包和运行。3 .难点4) MapReduce原理和运行流程。4 5) M叩Reduce的编程逻辑。十一、教学过程设计1 .理论教学过程(7)安装IDEA软件。(8) MapReduce开发环境配置。(9) Map 逻辑。(10) Reduce 逻辑。(11) Driver 逻辑。(12) MapReduce任务的打包和运行。(13) MapReduce实现按日期统计网站日志中用户访问次数的任务。2 .实验教学过程(6)在IDEA搭建MapReduce开发环境。(7) 在 IDEA 创立 MapReduce 工程。(8)编程实现统计网站每日的访问次数。(9)编程实现将网站每日访问量根据访问次数进行升序排序。十二、教材与参考资料1 .教材张军，张良均.Hadoop大数据开发基础(第2版)(微课版)M.北京：人民邮电出 版社.2021.2 .参考资料1余明辉，张良均.Hadoop大数据开发基础M.北京：人民邮电出版社.2018.2张良均，樊哲，位文超，刘名军.Hadoop与大数据挖掘M.北京：机械工业出版 社.2015.3张良均，樊哲，赵云龙，李成华.Hadoop大数据分析与挖掘实战M.北京：机械 工业出版社.2015.