Hadoop大数据开发基础-教学大纲.docx

《Hadoop大数据开发基础-教学大纲.docx》由会员分享，可在线阅读，更多相关《Hadoop大数据开发基础-教学大纲.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Hadoop大数据开发基础教学大纲课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：48学时（其中理论26学时,实验22学时）总学分：3.0学分一、课程的性质本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为 一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐 成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和 计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上 的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它

2、提供了一 个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布 式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并 在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数 据行业工作所必不可少的一步。二、课程的任务通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基 础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究 工作以及后续课程的学习奠定基础。三、课程学时分配序号教学内容理论学时实验学时其它1第1章Hadoop介绍202第2

3、章Hadoop集群的搭建及配置463第3章Hadoop集群基础操作424第4章MapReduce入门编程545第5章MapReduce进阶编程666第6章项目案例：电影网站用户性别预测54总计2622四、教学内容及学时安排.理论教学序 号章节名称主要内容教学目标学时1Hadoop介绍L Hadoop的发展历史2. Hadoop的特点3. Hadoop的核心组件4. Hadoop的生态系统5. Hadoop的应用场景1 .了解Hadoop的来 源与特点2 .掌握Hadoop的核 心组件内容22Hadoop集群的搭建及配置1 .设置固定IP的方法2 .设置远程连接虚拟机3 . Linux在线安装软

4、件的方法4 .在 Window 和 Linux 下安装 Java5 .了解Hadoop集群相关配置文件6 . SSH免密码登录配置7 .时间同步服务配置8 .启动关闭Hadoop集群以及查看 Hadoop集群监控1 .掌握安装配置虚 拟机和安装JDK2 .掌握搭建Hadoop 完全分布式集群环 境的方法43Hadoop集群基础操作1. 了解HDFS的操作方法2. MapReduce任务的运行和中断方法3. 集群监控的查看方法1.学会查看Hadoop 集群的基本信息2,掌握HDFS的基 本操作3.掌握运行 MapReduce任务的 命令44MapReduce 入门编程1. Eclipse 安装2

5、. MapReduce 原理3. MapReduce的编程逻辑1 ,掌握 MapReduce 的原理2,掌握 MapReduce 程序的编程逻辑55MapReduce 进阶编程1. MapReduce的输入及输出格式2. Hadoop Java API 使用方法3. 自定义键值对方法4. Combiner 及 Partitioner 的原理与编 程5. 在Eclipse中提交MapReduce任务的 方法1.掌握 MapReduce 框架中的进阶应用， 包括自定义键值对、 Combiner Partitioner 等66项目案例：电影 网站用户性别 预测1 . KNN算法原理与实现步骤2 .案

6、例要求与任务3 . MapReduce编程逻辑4 .分类算法的评价指标1. 了解KNN算法与 案例需求，通过 MapReduce实现数 据预处理以及KNN 算法5学时合计261 .实验教学序号实验项目名称实验要求学时1安装配置虚拟 机1 .在VMware创建Linux虚拟机2 .配置虚拟机的IP为固定IP3 .配置本地Yum源4 .安装软件12安装Java1 .在 Windows系统安装Java2 .在Linux虚拟机上安装Java0.53搭建Hadoop完 全分布式集群1 .按照配置文档配置Hadoop集群2 .克隆3个从节点，修改固定IP和主机名3 .配置主节点到从节点的ssh无密码登录4

7、 .配置NTP时间同步服务5 .格式化集群并启动集群34为Hadoop集群 增加一个节点1 .克隆一个节点slave42 .修改slave4的固定IP和主机名称3 .在主节点和所有子节点修改slaves文件,添加slave4 节点的信息。4 .配置SSH免密码登录到slave4o5 .在新增节点启动DataNode、NodeManager进程15编写Shell脚本 同步集群时间1 .新建文件2 .编写时间同步命令3 .运行时间同步脚本0.56查看Hadoop集1 .启动Hadoop集群0.5群的基本信息2.查看50070端口信息3.查看8088端口信息7上传文件到HDFS目录1 .上传 ema

8、il_log.txt 到 HDFS 目录/user/root/2 .查看HDFS文件系统中数据的存储情况8运行首个 MapReduce 任 务1.运行示例程序中的WordCount程序2.查看任务运行时8088端口的任务状态与资源使用情况0.59统计文件中所 有单词的平均 长度1 .上传数据到HDFS2 .调用示例程序中的wordmean程序统计单词的平均长 度0.510查询与中断 MapReduce 任 务1 .运行多个MapReduce任务2 .查看任务状态与资源使用情况3 .中断其中一个任务4 .再次查看任务状态与资源情况0.511使用Eclipse创 建 M叩 Reduce 工程1 .

9、在Eclipse中配置MapReduce开发环境2 .新建MapReduce工程0.512编程实现按日 期统计访问次 数1 .上传数据到HDFS2 .编写 MapReduce3 .打包程序4 .在集群中提交MapReduce任务0.513编程实现按访 问次数排序1 .编写MapReduce程序2 .打包程序并上传到Linux节点3 .提交MapReduce任务114获取成绩表的 最高分记录1 .在Eclipse中编写程序2 .打包上传到Linux节点并提交任务115实现对两个文 件中数据的合 并与去重1 .上传数据到HDFS2 .编写MapReduce程序3 .打包程序4 .上传到Linux节

10、点5 .提交MapReduce任务116筛选日志文件 生成序列化文 件1 .上传数据到HDFS2 .编程实现数据过滤3 .打包程序上传到master节点并运行117Hadoop Java API读取序列化 日志文件1 读取序列化数据0.518优化日志文件 统计程序1 .自定义 Combiner2 .自定义 Partitioer3 .自定义键类型4 .编程实现日志数据统计任务219Eclipse提交日 志文件统计程 序1 .在Eclipse设置集群连接的环境配置2 .使用ToolRunner辅助类编程并提交任务3 .自己打包或使用自动打包程序编译JAR文件0.54.在Eclipse直接运行程序2

11、0统计全球每年 的最高气温和 最低气温1 .上传数据到HDFS2 .编写M叩Reduce程序3 .在Eclipse运行程序121筛选气温在15 到25度之间的 数据1 .编写MapReduce程序122电影网站用户 性别预测1 .连接用户数据、评分数据与电影数据2 .清洗缺失值和异常值3 .划分数据集得到训练集、验证集、测试集4 .实现KNN分类模型5 .评价KNN分类模型4学时合计22五、考核方式突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=平时作业 （20%） +课堂参与（10%） +期末考核（70%）,期末考试建议采用开卷形式，题应包括 基本概念、基本理论、程序设计、综合应用等部分，题型可采用判断题、选择、简答、应用 题等方式。六、教材与参考资料.教材1 .参考资料