《大数据处理与云计算》教学大纲.pdf

《《大数据处理与云计算》教学大纲.pdf》由会员分享，可在线阅读，更多相关《《大数据处理与云计算》教学大纲.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据处理与云计算教学大纲课程类别：专业教育课课程名称：大数据处理与云计算开课单位：信息与通信工程学院课程编号：N03050703总 学 时：40学分：2.5适用专业：信息工程专业先修课程：无一、课程在教学计划中的地位、作用大数据处理与云计算是信息工程专业高年级学生开设的一门专业教育课。本课程主要学习大数据处理和云计算的相关原理和技术，根据实际需求，构建相应的大数据处理和云计算平台框架。通过本课程学习，使学生掌握大数据的采集、传输、处理和应用的技术，了解Hadoop基础架构，掌握HDFS 和 MapReduce 技术。了解、Pig 等相关大数据技术，与实际工程应用相结合，构建相应的云计算平台。

2、教学应当结合实际实验条件，培养学生实践动手能力，了解大数据技术发展现状，促进大数据相关教学改革。二、课程教学内容、要求及学时分配第一章大数据与云计算概况1、了解大数据概念2、了解大数据的产生、应用和作用3、了解云计算技术的概述4、了解云计算的特点及技术分类5、了解大数据与云计算、物联网之间的关系第二章大数据处理与云计算的关键技术1、理解大数据处理的基本流程2、掌握大数据的关键技术3、理解大数据的处理工具4、了解大数据面临的挑战5、理解云计算及关系型数据库第三章 Hadoop1、了解 Hadoop 概述2、了解 Hadoop 发展简史3、理解 Hadoop 的功能与作用4、了解 Hadoop 的

3、优缺点5、了解 Hadoop 的应用现状和发展趋势6、掌握 Hadoop 项目及其结构7、掌握 Hadoop 的体系结构8、掌握 HDFS 的体系结构第四章 MaReduce1、理解分布式并行编程2、理解 MapReduce模型概述3、掌握 Map 和 Reduce函数4、掌握 MapReduce工作流程5、掌握并行计算的实现6、掌握新的 MapReduce框架：Yarn7、理解新旧 Hadoop MapReduce框架的对比第五章 HDFS1、理解 HDFS 的假设与目标2、理解 HDFS 的相关概念3、掌握 HDFS 体系结构4、掌握 HDFS 命名空间5、掌握 HDFS 存储原理6、掌握

4、通讯协议7、理解数据错误和异常8、理解从 HDFS 看分布式文件系统的设计需求第六章 Zookeeper1、了解 Zookeeper 简介2、掌握 Zookeeper 的工作原理3、理解 Zookeeper 的数据模型第七章HBase 海量实时处理实战技巧1、理解 HBase 简介和架构2、掌握 HBase 核心知识点3、掌握 HBase 高级应用4、理解 HBase 应用场景5、理解 HBase 常用接口和 SQL 引擎层实战6、理解基于 Hadoop V1 和 V2 使用 HBase 的异同第八章基于 Hadoop V2 的 Hive/Pig 开发技巧1、理解 Hive 和 Pig 架构和

5、理论基础2、理解 Hive 的作用和原理说明3、掌握 Hadoop 仓库和传统数据仓库的协作关系4、理解 Hadoop/Hive 仓库数据数据流5、理解基于 Hadoop V1 和 V2 使用 Hive 和 Pig 等工具的异同6、HQL 基本语法第九章实时流框架 Storm on YARN（Hadoop V2）实战技巧1、理解实时流计算的概念2、理解 Storm 的概念、核心组件、特性3、理解 Storm 核心概念和数据流模型4、了解运行基于 Storm 的编程实例第十章内存计算框架 Spark on YARN（Hadoop V2）实战技巧1、理解 Spark 核心架构2、掌握在 YARN

6、上安装 Spark3、理解 Spark 集群配置介绍4、理解 Spark 多语言编程第 11 章 云数据库1、了解云数据库概述2、了解云数据库的特性及其需求3、理解云数据库与传统的分布式数据库4、了解云数据库产品5、理解数据模型6、理解数据访问方法及编程模型三、实验四学时分配章节名称讲授（学时）实验（学时）小计第一章大数据与云计算概况第二章大数据处理与云计算的关键技术第三章 Hadoop第四章 MaReduce第五章 HDFS第六章 Zookeeper第七章 HBase 海量实时处理实战技巧第八章基于Hadoop V2 的Hive/Pig 开发技巧第九章实时流框架 Storm on YARN（HadoopV2）实战技巧第十章内存计算框架 Spark on YARN（HadoopV2）实战技巧第 11 章 云数据库合计24344232300022022024366254332320308240