大数据技术入门——Hadoop+Spark教学大纲.docx
《大数据技术入门——Hadoop+Spark教学大纲.docx》由会员分享,可在线阅读,更多相关《大数据技术入门——Hadoop+Spark教学大纲.docx(10页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、大数据技术入门Hadoop+Spark教学大纲1课程基本信息课程中文名称:课程代码:课程类别:考核性质:先修课程:适用专业:开课单位:课程团队负责人:2教学目标2.1课程教学目标大数据技术入门- Hadoop+Spark专业基础课考试Java语言课程英文名称:学时/学分:课程性质:后续课程:开课学期:成员:教学目标1:掌握大数据的基本概念,Big Data Technology andPractice了解大数据技术发展历程、技术体系及应用领域。教学目标2:理解大数据存储的基本原理,掌握大数据存储的基本技术,能够应用常用的大数据存储 系统进行数据存取及管理。教学目标3:理解大数据处理的基本原理,
2、掌握大数据处理的基本编程模型并能够进行初级实践。教学目标4: 了解大数据技术的发展趋势,认识到大数据技术的发展及应用对社会发展的影响。教学目标5:理解大数据应用需求及技术环境的多样性,认识到自我学习的必要性。2.2课程教学目标与毕业要求的关系矩阵课程教学目标与毕业要求的关系矩阵见表1。表1课程教学目标与毕业要求的关系矩阵业要求 相关度教学目毕业要求指标点6-2 了解计算机应用领域新知识、新 技术及发展趋势,能够客观评价 计算机科学与技术的发展及应用 对社会、健康、安全、法律以及 文化的影响。毕业要求指标点12-1对于自我探索和学习的必要性有止确的 认识,理解技术环境的多样化、技术应用 发展和技
3、术进步对于知识和能力的影响 和要求。目标1目标2目标3目标4目标5注:相关程度大;O表示有相关。3课程基本内容和学时安排3.1 教学单元1:大数据概述教学单元1-1研究背景和意义教学单元1-2数据定义及其技术持点教学单元1-3大数据处理的主要技术特点与难点教学单元1-4研究大数据的意义重点:数据定义及其技术持点难点:3大数据处理的主要技术特点与难点3.2 教学单元2: Hadoop简介及安装部署教学单元2-1 Hadoop简介及生态体系教学单元2-1 Hadoop集群架构教学单元2-1 Hadoop集群运行环境搭建重点:Hadoop简介及生态体系难点:Hadoop集群运行环境搭建3. 3教学单
4、元3: HDFS分布式文件系统教学单元3-1相关基本概念教学单元3-2 HDFS存储架构教学单元3-3 HDFS的特点教学单元3-4 HDFS常用Shell命令教学单元3-5 HDFS的Java API重点:HDFS存储架构难点:HDFS 常用 Shell 命令、HDFS 的 Java API3. 4教学单元4: MapReduce计算框架教学单元4-1 MapReduce核心思想教学单元4-2 MapReduce的工作原理教学单元4-3 M叩Reduce的运行机制教学单元4-4 MapReduce数据本地化教学单元4-5 MapReduce编程教学单元4-6 MapReduce编程示例重点:
5、MapReduce核心思想难点:MapReduce的工作原理、运行机制3. 5教学单元5: Hive数据仓库教学单元5-1 Hive概述教学单元5-2 Hive安装教学单元5-3 Hive数据库相关操作重点:Hive安装难点:Hive数据库相关操作3. 6教学单元6: HBase分布式数据库教学单元5-1 HBase的概述教学单元5-2 HBase安装教学单元5-3 HBase数据模型教学单元5-4 HBase的Shell操作教学单元5-5 Hbase常用Java API及示例程序重点:HBase安装难点:HBase的Shell操作3. 7教学单元7: Spark基础教学单元7-1 Spark
6、概述教学单元7-2 Spark的安装教学单元7-3 Spark运行架构与原理教学单元7-4 Spark运行基本流程重点:Spark运行架构与原理难点:Spark运行基本流程3.8教学单元8: Spark RDD弹性分布式数据集教学单元8-1 RDD的设计与运行原理教学单元8-2 RDD创建教学单元8-3 RDD操作教学单元8-4程序示例:倒排索引重点:RDD的设计与运行原理难点:RDD操作4. 9 教学单元9: spark SQL教学单元9-1 spark SQL概述教学单元9-2 DataFrame教学单元9-3 Dataset教学单元9-4 Spark SQL编程重点:DataFrame难
7、点:Spark SQL编程5. 10教学单元10: Spark Streaming实时计算框架教学单元10-1 Spark Streaming概述教学单元10-2 DStream编程模型教学单元10-3 DStream编程模型示例重点:DStream编程模型难点:DStream编程模型示例6. 11 教学单元11: Spark Streaming与Flume、Kafka的整合教学单元11-1 Flume简介及安装教学单元11-2 kafka简介及其安装教学单元11-3 Flume Kafka区别和侧重点教学单元11-4 Spark Streaming与Flume Kafka整合与开发重点:Fl
8、ume、Kafka区别和侧重点难点:Spark Streaming 与 Flume Kafka 整合与开发3. 12教学单元12: Spark MLlib机器学习教学单元12-1机器学习概念教学单元12-2 MLlib的简介教学单元12-3 SparkMLlib数据类型教学单元12-4 SparkMLlib机器学习示例重点:SparkMLlib数据类型难点:SparkMLlib机器学习示例3.13实战案例-分布式优惠券后台应用系统教学单元13-1系统简介教学单元13-1系统整体架构教学单元13-1表结构设计教学单元13-1系统实现教学单元13-1系统运行测试重点:系统整体架构难点:系统实现、运
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 技术 入门 Hadoop Spark 教学大纲
限制150内