《Hadoop》理论教学大纲（大数据）.docx

《《Hadoop》理论教学大纲（大数据）.docx》由会员分享，可在线阅读，更多相关《《Hadoop》理论教学大纲（大数据）.docx（3页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Hadoop理论教学大纲课程代码：总 学 时：32学时(其中：讲课16学时、实验16学时)先修课程：大数据导论一、课程的性质、目的与任务Hadoop是数据科学与大数据技术专业必修课程。通过本课程的学习，应掌握大 数据核心平台框架的基本知识，具有应用Hadoop平台实施海量数据存储和分析计算的 能力;初步掌握大数据开发的技巧和方法，以及平台的安装、调试和测试方法;对Hadoop 平台的各种成份有较好的理解；能够根据要求编制程序解决实际问题；为后续课程的 学习打下必备的基础。二、教学基本内容与基本要求1 .基本内容本课程主要内容为大数据的基本概念、分布式文件存储与管理系统HDFS、分布式文 件计算

2、引擎MapReduce、yarn等组件的原理及使用等。2 .基本要求本课程借助Hadoop平台讲授海量数据的存储与分析计算。通过hdfs shell及 MapReduce编程，使学生掌握大批量数据集读写及计算的原理、方法和技巧，具有一定 的大数据开发的能力。为后续课程的学习打下基础。三、教学内容及学时分配教学内容教学要求重点 ()难点 ()学时 安排备注第一章Linux系统1. VMware虚拟机安装C12. Linux系统安装B23. Linux系统的命令使用B24.权限及用户管理B2第二章Hadoop概述1. Hadoop的概念A12. Hadoop平台的发展A23. Hadoop的特点A

3、24. Hadoop安装搭建A2第三章分布式存储与管理系统1. HDFS的分布式概念A12. HDFS SHELLA23. HDFS读写数据流程A24. NameNode datanode 主从架构A2第四章MapReduce计算引擎1.分布式计算概念A12.主从架构关系A23. MapReduce 编程A24.计算优化A2第五章Yarn调度系统1. Yarn概念A22. Yarn主从架构A2合计32（教学要求：A一熟练掌握；B一掌握；C了解）四、建议实验项目及学时分配序 号实验项目名称实验学时内容提要实验要求实验 类型1Linux及虚拟机安装搭建3VMware安装及Linux系统安 装必做验

4、证2Hadoop的安装搭建3Hadoop软件包安装配置必做验证3HDFS sheU 应用3Hdfs数据读写、文件操作必做设计4MapReduce 编程3WC编程，UDF及UDAF编 程必做设计5MapReduce数据倾斜等优 化4MapReduce代码优化必做设计合计16五、教学方法与教学手段1 .教学方法：Hadoop是一门理论与实践并重的课程，因此，本课程采用理论课 程教学与实验课程教学相结合的方法。通过对知识点和典型例题的讲解分析以及上机 实验的指导答疑，发挥学生思考问题的主动性和创造性，能用Hadoop框架处理大数据 计算。2 .教学手段：利用多媒体、CAI课件等现代化教学手段，提高教学质量。六、建议教材与参考书目.参考教材：大数据技术原理与应用（第2版），林子雨，人民邮电出版社，2017年1月第 2版。1 .参考书目：大数据基础编程、实验和案例教程，林子雨编，清华大学出版社，2017年 1月第1版。七、大纲编写的依据与说明本课程教学大纲，是根据数据科学与大数据技术专业培养目标和基本要求，结合 本课程的性质，经学校教学委员会审定后编写的。本课程着重训练学生程序设计的思 想和编程技巧，培养学生初步应用大数据框架解决和处理实际问题的能力，为数据 结构、Python语言程序设计、Java程序设计、WEB程序设计等后续课程打下 坚实的基础。