《Hadoop》理论教学大纲（大数据）.docx

Hadoop理论教学大纲课程代码：总 学 时：32学时(其中：讲课16学时、实验16学时)先修课程：大数据导论一、课程的性质、目的与任务Hadoop是数据科学与大数据技术专业必修课程。通过本课程的学习，应掌握大 数据核心平台框架的基本知识，具有应用Hadoop平台实施海量数据存储和分析计算的 能力;初步掌握大数据开发的技巧和方法，以及平台的安装、调试和测试方法;对Hadoop 平台的各种成份有较好的理解；能够根据要求编制程序解决实际问题；为后续课程的 学习打下必备的基础。二、教学基本内容与基本要求1 .基本内容本课程主要内容为大数据的基本概念、分布式文件存储与管理系统HDFS、分布式文 件计算引擎MapReduce、yarn等组件的原理及使用等。2 .基本要求本课程借助Hadoop平台讲授海量数据的存储与分析计算。通过hdfs shell及 MapReduce编程，使学生掌握大批量数据集读写及计算的原理、方法和技巧，具有一定 的大数据开发的能力。为后续课程的学习打下基础。三、教学内容及学时分配教学内容教学要求重点 ()难点 ()学时 安排备注第一章Linux系统1. VMware虚拟机安装C12. Linux系统安装B23. Linux系统的命令使用B24.权限及用户管理B2第二章Hadoop概述1. Hadoop的概念A12. Hadoop平台的发展A23. Hadoop的特点A24. Hadoop安装搭建A2第三章分布式存储与管理系统1. HDFS的分布式概念A12. HDFS SHELLA23. HDFS读写数据流程A24. NameNode> datanode 主从架构A2第四章MapReduce计算引擎1.分布式计算概念A12.主从架构关系A23. MapReduce 编程A24.计算优化A2第五章Yarn调度系统1. Yarn概念A22. Yarn主从架构A2合计32（教学要求：A一熟练掌握；B一掌握；C了解）四、建议实验项目及学时分配序 号实验项目名称实验学时内容提要实验要求实验 类型1Linux及虚拟机安装搭建3VMware安装及Linux系统安 装必做验证2Hadoop的安装搭建3Hadoop软件包安装配置必做验证3HDFS sheU 应用3Hdfs数据读写、文件操作必做设计4MapReduce 编程3WC编程，UDF及UDAF编 程必做设计5MapReduce数据倾斜等优 化4MapReduce代码优化必做设计合计16五、教学方法与教学手段1 .教学方法：Hadoop是一门理论与实践并重的课程，因此，本课程采用理论课 程教学与实验课程教学相结合的方法。通过对知识点和典型例题的讲解分析以及上机 实验的指导答疑，发挥学生思考问题的主动性和创造性，能用Hadoop框架处理大数据 计算。2 .教学手段：利用多媒体、CAI课件等现代化教学手段，提高教学质量。六、建议教材与参考书目.参考教材：大数据技术原理与应用（第2版），林子雨，人民邮电出版社，2017年1月第 2版。1 .参考书目：大数据基础编程、实验和案例教程，林子雨编，清华大学出版社，2017年 1月第1版。七、大纲编写的依据与说明本课程教学大纲，是根据数据科学与大数据技术专业培养目标和基本要求，结合 本课程的性质，经学校教学委员会审定后编写的。本课程着重训练学生程序设计的思 想和编程技巧，培养学生初步应用大数据框架解决和处理实际问题的能力，为数据 结构、Python语言程序设计、Java程序设计、WEB程序设计等后续课程打下 坚实的基础。