大数据技术入门——Hadoop+Spark教学大纲.docx

大数据技术入门Hadoop+Spark教学大纲1课程基本信息课程中文名称：课程代码：课程类别：考核性质：先修课程：适用专业：开课单位：课程团队负责人：2教学目标2.1课程教学目标大数据技术入门- Hadoop+Spark专业基础课考试Java语言课程英文名称:学时/学分:课程性质：后续课程:开课学期:成员:教学目标1：掌握大数据的基本概念,Big Data Technology andPractice了解大数据技术发展历程、技术体系及应用领域。教学目标2：理解大数据存储的基本原理，掌握大数据存储的基本技术，能够应用常用的大数据存储 系统进行数据存取及管理。教学目标3：理解大数据处理的基本原理，掌握大数据处理的基本编程模型并能够进行初级实践。教学目标4： 了解大数据技术的发展趋势，认识到大数据技术的发展及应用对社会发展的影响。教学目标5：理解大数据应用需求及技术环境的多样性，认识到自我学习的必要性。2.2课程教学目标与毕业要求的关系矩阵课程教学目标与毕业要求的关系矩阵见表1。表1课程教学目标与毕业要求的关系矩阵业要求 相关度教学目毕业要求指标点6-2 了解计算机应用领域新知识、新 技术及发展趋势，能够客观评价 计算机科学与技术的发展及应用 对社会、健康、安全、法律以及 文化的影响。毕业要求指标点12-1对于自我探索和学习的必要性有止确的 认识，理解技术环境的多样化、技术应用 发展和技术进步对于知识和能力的影响 和要求。目标1目标2目标3目标4目标5注：相关程度大；O表示有相关。3课程基本内容和学时安排3.1 教学单元1：大数据概述教学单元1-1研究背景和意义教学单元1-2数据定义及其技术持点教学单元1-3大数据处理的主要技术特点与难点教学单元1-4研究大数据的意义重点：数据定义及其技术持点难点：3大数据处理的主要技术特点与难点3.2 教学单元2： Hadoop简介及安装部署教学单元2-1 Hadoop简介及生态体系教学单元2-1 Hadoop集群架构教学单元2-1 Hadoop集群运行环境搭建重点：Hadoop简介及生态体系难点：Hadoop集群运行环境搭建3. 3教学单元3： HDFS分布式文件系统教学单元3-1相关基本概念教学单元3-2 HDFS存储架构教学单元3-3 HDFS的特点教学单元3-4 HDFS常用Shell命令教学单元3-5 HDFS的Java API重点：HDFS存储架构难点：HDFS 常用 Shell 命令、HDFS 的 Java API3. 4教学单元4： MapReduce计算框架教学单元4-1 MapReduce核心思想教学单元4-2 MapReduce的工作原理教学单元4-3 M叩Reduce的运行机制教学单元4-4 MapReduce数据本地化教学单元4-5 MapReduce编程教学单元4-6 MapReduce编程示例重点：MapReduce核心思想难点：MapReduce的工作原理、运行机制3. 5教学单元5： Hive数据仓库教学单元5-1 Hive概述教学单元5-2 Hive安装教学单元5-3 Hive数据库相关操作重点：Hive安装难点：Hive数据库相关操作3. 6教学单元6： HBase分布式数据库教学单元5-1 HBase的概述教学单元5-2 HBase安装教学单元5-3 HBase数据模型教学单元5-4 HBase的Shell操作教学单元5-5 Hbase常用Java API及示例程序重点：HBase安装难点：HBase的Shell操作3. 7教学单元7： Spark基础教学单元7-1 Spark概述教学单元7-2 Spark的安装教学单元7-3 Spark运行架构与原理教学单元7-4 Spark运行基本流程重点：Spark运行架构与原理难点：Spark运行基本流程3.8教学单元8： Spark RDD弹性分布式数据集教学单元8-1 RDD的设计与运行原理教学单元8-2 RDD创建教学单元8-3 RDD操作教学单元8-4程序示例：倒排索引重点：RDD的设计与运行原理难点：RDD操作4. 9 教学单元9： spark SQL教学单元9-1 spark SQL概述教学单元9-2 DataFrame教学单元9-3 Dataset教学单元9-4 Spark SQL编程重点：DataFrame难点：Spark SQL编程5. 10教学单元10： Spark Streaming实时计算框架教学单元10-1 Spark Streaming概述教学单元10-2 DStream编程模型教学单元10-3 DStream编程模型示例重点：DStream编程模型难点：DStream编程模型示例6. 11 教学单元11： Spark Streaming与Flume、Kafka的整合教学单元11-1 Flume简介及安装教学单元11-2 kafka简介及其安装教学单元11-3 Flume> Kafka区别和侧重点教学单元11-4 Spark Streaming与Flume> Kafka整合与开发重点：Flume、Kafka区别和侧重点难点：Spark Streaming 与 Flume> Kafka 整合与开发3. 12教学单元12： Spark MLlib机器学习教学单元12-1机器学习概念教学单元12-2 MLlib的简介教学单元12-3 SparkMLlib数据类型教学单元12-4 SparkMLlib机器学习示例重点：SparkMLlib数据类型难点：SparkMLlib机器学习示例3.13实战案例-分布式优惠券后台应用系统教学单元13-1系统简介教学单元13-1系统整体架构教学单元13-1表结构设计教学单元13-1系统实现教学单元13-1系统运行测试重点：系统整体架构难点：系统实现、运行测试4学时分配4.1 学时分配本课程共64学时，其中课堂讲授38学时，上机实验26学时，具体的学时分配见表2。表2课程学时分配表教学内容学时课堂教学学时自主学习讲授实验作业报告资料收集教学单元122教学单元242211教学单元36421.50.51教学单元464211教学单元542211教学单元66421.50.51教学单元742211教学单元86421.50.51教学单元94221.50.51教学单元1084411教学单元1142211教学单元1264211教学单元1342211学时合计643826142124.2 实践性教学内容课内实验内容及要求见表3。表3课内实验内容及要求序号项目编号项目名称实验类型学时实验内容及基本要求1XM07YZ001熟悉常用的Linux操作和 Hadoop操作验证21、米用虚拟机或双系统方式女装Linux 后安装Hadoop,测试是否安装成功； 2、进行伪分布式配置，运行相同测试 程序，比较单机环境与伪分布式环境的 差异，认识分布式环境；3、练习常用的Linux操作，练习常用的 Hadoop操作，了解Hadoop处理架构的 基本构成。2XM07ZH002熟悉常用的HDFS操作综合性21、利用Hadoop提供的Shell命令完成 文件下载、文件输出、追加文件内容等 一些列指定任务，掌握分布式文件系统 HDFS的基本存取方法；2、利用HDFS提供Java API编程实现 文件的读取与管理3XM07ZH003MapReduce编程初级实践综合性21、编程实现文件合并和去重操作：对 于两个输入文件，即文件A和文件B, 编写M叩Reduce程序，对两个文件进行 合并，并剔除其中重复的内容，得到一 个新的输出文件C。2、编写程序实现对输入文件的排序： 现在有多个输入文件，每个文件中的每 行内容均为一个整数。要求读取所有文 件中的整数，进行升序排序后，输出到 一个新的文件中，输出的数据格式为每 行两个整数，第一个数字为第二个整数 的排序位次，第二个整数为原待排列的 整数。4XM07Z11004Hive的安装及操作验证2Hive安装及建表，查询，导入数据等操 作5XM07ZH005熟悉常用的HBase操作综合性21、安装Hbase并完成配置；2、用Hadoop提供的HBase Shell命令 完成数据管理任务：3、使用Hbase提供的Java API完成一 系列指定编程任务，实现应用程序对数 据的管理及存取。6XM07ZH006Spark的安装验证2Spark的安装7XM07ZH007Spark RDD弹性分布式数 据集API操作综合性2利用Spark RDD实现倒排索引8XM07ZH008Spark SQL 编程综合性2DataFrame 操作、Spark SQL 读写 MySQL 数据库、Spark SQL 读写 Hive9XM07ZH009DStream编程示例综合性4DStream编程基本步骤-文件流、无状态 转换操作、有状态转换操作、输出操作10XM07ZH010Spark Streaming 与 Flume> Kafka 的整合综合性2Spark Streaming 与 Flume、Kafka 的整 合步骤及开发11XM07ZH011SparkMLlib机器学习综合性2特征抽取TF-IDF,分类与回归线 性回归、分类与回归一逻辑回归12XM07ZH012综合案例-分布式优惠券 后台应用系统综合性2商户投放子系统、用户消费子系统及系 统测试5教学方式方法5.1教学方法本课程是一门64学时的专业必修课，课堂教学38学时，上机实验26学时。根据课程目标，设计课程教 学方法如下：1、课堂讲授：以问题导入的方式，通过介绍当前应用环境的变化和需求引入大数据技术，概括介绍 大数据知识体系，使学生对课程有一个初步的认识，进而详细介绍大数据存储和大数据处理两大核心技术。 采用多媒体与板书相结合的方式进行讲授，对于各章节的重点及难点，基于案例进行详细讲解，帮助学生 理解和掌握。每次开始授课之前，以提问的方式，帮助学生回顾课程内容、抓住知识重点。每章结束进行 章节总结，帮助学生梳理知识体系。授课过程中，以启发学生思维为核心，注重师生互动，调动学生的学 习主动性和积极性。2、课内实验：采用课内实验辅助学生理解和掌握大数据技术的原理及应用方法，实验内容主要围绕 大数据存储及大数据处理两大核心技术。实验指导书在每次实验之前提前发布，以便学生预习。实验课上 由教师布置实验任务并进行简单讲解，不宜讲解过细，应注重培养学生自我探索的能力。学生针对实验问 题进行分析、设计并完成上机实验、撰写实验报告。实验报告中除记录实验过程外，还要记录实验中遇到 的问题、解决办法，以及实验心得，以促进学生的思考与总结。3、自主学习：为了充分调动学生的学习主动性和积极性，除课堂教学及实验教学外，加入11学时的 自主学习，通过作业帮助学生理解并掌握各章节的重点内容；通过报告中的案例调研分析及课程总结展望, 培养自主学习和终身学习的意识，以及客观评价大数据技术的能力。5. 2教学手段及措施采取课堂讲授、实验、应用实例讲解等形式，结合课后自学进行教学。采用电子教案和板书相结合的 方式，提高讲课效果。在教学过程中，教师应对大数据的基本概念、技术体系、基本存储原理以及基本计 算模型进行详细讲解，并指出各教学内容的重点和难点部分。讲授中应以学生为中心，注重理论联系实际, 以及先进教学方法的使用C6考核方式6.1 考核方式说明采用平时、实验，作业相结合的考核方式，注重实践环节的考核。各部分所占比重如下:课堂出勤表现10%平时作业成绩10%实验报告成绩20%期末考试成绩60%6.2 考核权重分配建议考核权重分配按表4进行，并可根据情况适当调整权重。表4考核权重分配表考核方式重教学内容平时表现课后作业课内实验期末考试备注10%10%20%60%教学单元1VV教学单元2VVV教学单元3VVVV教学单元4VV教学单元5VVV教学单元6VVVV教学单元7VVVV教学单元8VVV教学单元9VVV教学单元10VVV教学单元11JVV教学单元12VV教学单元13VVV