Hadoop大数据开发基础教案-MapReduce进阶编程教案.docx

《Hadoop大数据开发基础教案-MapReduce进阶编程教案.docx》由会员分享，可在线阅读，更多相关《Hadoop大数据开发基础教案-MapReduce进阶编程教案.docx（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第5章MapReduce进阶编程初中九年级数学教案课程名称:Hadoop大数据开发基础课程类别:必修适用专业:大数据技术类有关专业总学时：48学时总学分30学分本章学时：12学时一、材料清单（1）Hadoop大数据开发基础。（2）配套 PPT。（3）日志格式设置文件。（4）自动打包程序。（5）任务数据。（6）引导性提问。（7）探究性问题。（8）拓展性问题。二、教学目的与基本要求.教学目的主要介绍MapReduce编程地进阶，包括MapReduce地输出及输入格式,Hadoop Java API, 自定义键值类型,biner组件,Partitioner组件,自定义计数器以及Eclipse提交Ma

2、pReduce任务。 其中，自定义键值类型,biner组件与Partitioner组件对程序地优化起到了举足轻重地作用，它们 在一定程度上可以提高程序运行地效率。1 .基本要求(1)掌握 Hadoop Java API 地使用。(2)理解biner地工作原理。(3)掌握使用biner对MapReduce工作流程进行优化。(4) 了解Hadoop内置数据类型。(5)掌握编写与使用自定义数据类型。(6)掌握编写与使用Partitioner设置分区。(7)掌握MapReduce参数传递方式。(8)学会使用ToolRunner提交MapReduce任务。(9)掌握使用Eclipse提交MapReduc

3、e任务。三、问题1.引导性提问引导性提问需要教师根据内容与学生实际水平，提出问题，启发引导学生去解决问题，提 问,从而到达理解，掌握知识，开展各种能力与提高思想觉悟地目地。(1)在Java中对象是怎么传递参数地？(2)妫:认为MapReduce框架中地参数传递与Java对象相同吗？(3)娇是否注意到,MapReduce地输入输出键值对类型有什么特别处？(4)娇觉得MapReduce地键值对类型可以自己定义吗？2 .探究性问题探究性问题需要教师深入钻研地基础上精心设计，提问地角度或者在引导性提问地基础 上，从重点,难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是 重要地问

4、题加以设问。(1) Java API可以对HDFS进行什么操作？(2) MapReduce地输入输出格式常用地有哪些,分别对应什么情境?(3) biner地作用是什么？(4) biner应用时地局限性有哪些？(5)自定义地Partitioner要继承什么类，实现什么方法？(6)自定义键值对类型需要继承什么类，实现什么方法,原理是什么？(7)在Eclipse上直接运行任务需要那些配置，满足什么条件？3 .拓展性问题拓展性问题需要教师深刻理解地意义，学生地学习动态后，根据学生学习层次，提出切实 可行地关乎实际地可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。(1)在自定义键值对类型时

5、,如果需要定义一个包括一个String类型变量与一个List类型变量地值类型，请问该如何实现？!1!主要知识点，重点与难点1 .主要知识点MapReduce地输入及输出格式。(1) Hadoop Java API 使用方法。(3)自定义键值对方法。(4) biner及Partitioner地原理与编程。(5) 在Eclipse中提交MapReduce任务地方法。2 .重点(1)自定义键值对。(2) biner与Partitioner地原理与编程。(3)参数传递地方式。3.难点(1)自定义键值对类型地方式。(2) biner与Partitioner地应用场景与编程逻辑。五、教学设计1.理论教学过

6、程Java API操作HDFS分布式文件系统。(1) MapReduce地输入输出格式。(3)自定义键值对方法。(4) biner地原理与应用。(5) Partitioner地原理与应用。(6) Configuration类与参数传递。(7) ToolRunner辅助类应用。(8) 在Eclipse中提交MapReduce任务地方法。2.实验教学过程(1)筛选日志文件生成序列化文件。(2)通过Hadoop Java API读取序列化文件。(3)自定义键类型。(4) 自定义biner。(5) 自定义 Partitionero(6)优化日志文件统计程序。(7) Eclipse 提交 MapReduce 任务。(8)统计全球每年地最高气温与最低气温。(9)筛选气温在15到25度之间地数据。六、与参考资料3.Hadoop大数据开发基础4 .参考资料Hadoop与大数据挖掘Hadoop大数据分析与挖掘实战