Hadoop技术及编程(计算机科学与技术)课程教学大纲.docx
-
资源ID:72192057
资源大小:17.07KB
全文页数:6页
- 资源格式: DOCX
下载积分:15金币
快捷下载
会员登录下载
微信登录下载
三方登录下载:
微信扫一扫登录
友情提示
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
5、试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。
|
Hadoop技术及编程(计算机科学与技术)课程教学大纲.docx
Hadoop技术及编程教学大纲课程性质专业限选课课程编号xx408314课程名称Hadoop技术及编程适用专业计算机科学与技术先修课程面向对象程序设计总学时48其中理论48学时,实验0学时 学分数 3一、课程简介以Hadoop技术的来源,Google的三大关键技术为引子,介绍了 Hadoop整体架 构、基本原理和开展历程,在此基础上展示了一个使用Hadoop技术完成大数据处理工 作的简明框架,同时简要介绍了目前Hadoop技术在国内知名企业中的应用情况。深入 剖析了 MapReduce计算模式,包括原理和工作机制,介绍了实用性的MapReduce应用开 发方法,并结合简单的实例讲解了几类常用的MapReduce设计模,HDFS分布式文件存 储系统的工作原理和机制,说明了使用命令行和代码对HDFS文件进行操作的方法,介 绍了提高文件访问效率的假设干重要优化方法,并梳理了目前解决HDFS中小文件存储和 高可用性问题的解决方法。可用于快速数据检索的HBase技术,包括核心原理与架构, 以及管理HBase中数据的方法,同时从传统关系型数据库使用者的角度讲解了如何在新 型列存储数据库上进行设计与开发的方法,并梳理了提高HBase性能的重要方法。介绍 了 Hadoop中的高层数据分析工具Hive和Pig,结合具体实例讲解了这两个工具的使用 方法,并从实际应用的角度对具有相似性的两者进行了差异比照。二、课程教学目标通过本课程Hadoop技术及编程的学习,学生应实现如下目标:知识目标:了解Hadoop中各项关键组件的技术原理和内部结构,并结合实践经验 介绍了一些重要的使用技巧和优化方法,理解大数据处理任务要解决的3个关键问题一 存储、计算和容错,掌握Hadoop技术的关键性思路。能力目标:通过本书的学习,增强学生的理论知识,本书是为了能够让学生更好地 掌握理论知识、具备一定的实践能力,实验教学内容是依托于理论教学内容的,配有实 验教程一起学习,从而提升学生的动手能力。三、课程教学基本要求在理解、掌握、了解三个能力层次上,对学生学习和掌握课程知识有如下要求:(1)理解:能识记云计算基础理论知识中的基本概念、基本原理和基本技术的含义。(2)掌握:在理解的基础上,能较全面的掌握应用计算机的基本概念、基本原理和 基本技术,掌握一些典型的云计算领域具有代表性的Goodie、Amazon> WMware和微软 四家公司的云计算技术原理和应用方法,并熟练使用云计算仿真器CloudSim。(3) 了解:在掌握的基础上,能运用应用云计算的基本概念、基本原理和基本技术, 阐述Hadoop、Eucalyputs为代表的开源云计算系统。了解云计算领域的理论研究热点 为题,了解云计算领域的理论研究热点问题,了解云计算技术和应用未来的开展趋势。四、课程教学模块(或教学内容)与学时分配序号教学模块知识点学时1大数据处理概论了解:大数据处理概论数据处理平台的基础架构大数据处理的存储1大数据处理的云计算变革 理解:大数据处理的计算模式大数据处理系统的容错性12基于Hadoop的 大数据处理架 构了解:Google核心云计算技术Hadoop云计算技术及开展2理解:基于云计算的大数据处理技术的应用理解:Hadoop运行实践掌握:基于云计算的大数据处理架构23MapReduce 计 算模式理解:MapReduce原理MapReduce应用开发2掌握:MapReduce工作机制1了解:MapReduce设计模式2掌握:MapReduce算法实践2理解:MapReduce性能调优14使用HDFS存储大数据了解:大数据的云存储需求理解:HDFS架构与流程2理解:文件访问与控制掌握:HDFS性能的优化2了解:HDFS的小文件存储问题2理解:HDFS的高可用性问题25HBase大数据 库了解:大数据环境下的数据库 从 RDBMS 到 HBase2掌握:在HBase上运行MapReduce2理解:HBase架构与原理掌握:管理HBase中的数据2掌握:HBase性能优化26大数据的分析处理了解:大数据的分析处理概述理解:Hive2理解:Pig2理解:Hive与Pig的比照27Hadoop环境下 的数据整合了解:Hadoop计算环境下的数据整合 数据库整合的工具Sqoop2掌握:Hadoop平台内部数据整合工具HCatalog28Hadoop居群的 管理与维护了解:云计算平台的管理系统ZooKeeper一集群部署与监控集成工具1Hadoop集群监控的基础组件Ambari Hadoop集群部署与监控集成工具1基于Cacti的Hadoop集群服务器监控 理解:Chukwa一集群日志及分析1基于Kepberos的Hadoop安全管理Hadoop集群管理工具分析1五、教学方法与策略9基于MapReduce 的 数据挖掘了解:数据挖掘及其分布式并行化基于MapReduce的数据挖掘与Mathout 经典数据挖掘算法的MapReduce实例 基于云计算的数据挖掘实践及面临的挑战210面向未来的大数据处理了解:下一代计算框架YARN大数据的实时交互式分析 大数据的图计算21、教学方法:在课堂教学中,将演示式教学、讨论式教学、比拟式教学、研究式教 学与问答式教学有机结合在一起,并设计问题让学生思考、讨论,既激发了学生学习的 兴趣,又培养了学生们思考问题和分析问题的能力,取得了良好的教学效果。并进行上 机练习,加强对理论知识的理解,培养学生编程的能力和解决实际问题的能力。2、教学策略:多媒体教学为主,板书为辅,通过制作图文并茂、生动形象的多媒体 教学课件,吸引学生的课堂注意力,通过类比等方法,帮助学生理解教学内容。六、学生学习成效考核方式七、选用教材考核环节构成(均为100分制)评分依据占总成绩 的比重平时成绩(100分)上课的出勤情况记录和课堂作业完成情况.作业缺交 一次扣10分,旷课一次扣10分20%实验成绩(100分)实验课的出勤情况记录和实验内容的完成情况统计20%课堂讨论(100分)以课堂上的分组讨论结果为依据10%期末考试(100分)闭卷:题型:选择题、填空题、简答题、计算题、综合题等50%刘军编著,Hadoop大数据处理,人民邮电出版社,2013年。八、参考资料1中华人民共和国工业和信息化部.2012年5月通信业主要指标完成情况. :/ . html.2 International Data Corporation (IDC). The Expanding Digital Universe, 2007. 3.3 Andrew Ryan. Under the Hood:Hadoop Distributed Filesystem reliability with Namenode and Avatarnode. Facebook Blog, 2012.6.