2022大数据学习总结 (4).doc

《2022大数据学习总结 (4).doc》由会员分享，可在线阅读，更多相关《2022大数据学习总结 (4).doc（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据学习总结大数据学习总结大数据学习路线年薪 30w 大数据学习路线图：一、hadoop 入门，了解什么是 hadoop1、hadoop 产生背景2、hadoop 在大数据、云计算中的位置和关系3、国内外 hadoop 应用案例介绍4、国内 hadoop 的就业情况分析及课程大纲介绍5、分布式系统概述6、hadoop 生态圈以及各组成部分的简介7、hadoop 核心 mapreduce 例子说明二、分布式文件系统 hdfs，是数据库管理员的基础课程1、分布式文件系统 hdfs 简介2、hdfs 的系统组成介绍3、hdfs 的组成部分详解4、副本存放策略及路由规则5、namenodefeder

2、ation6、命令行接口7、java 接口8、客户端与 hdfs 的数据流讲解9、hdfs 的可用性（ha）三、初级 mapreduce，成为 hadoop 开发人员的基础课程1、如何理解 map、reduce 计算模型2、剖析伪分布式下 mapreduce 作业的执行过程3、yarn 模型4、序列化5、mapreduce 的类型与格式6、mapreduce 开发环境搭建7、mapreduce 应用开发8、更多示例讲解，熟悉 mapreduce 算法原理四、高级 mapreduce，高级 hadoop 开发人员的关键课程1、使用压缩分隔减少输入规模2、利用 combiner 减少中间数据3、编

3、写 partitioner 优化负载均衡4、如何自定义排序规则5、如何自定义分组规则6、mapreduce 优化7、编程实战五、hadoop 集群与管理，是数据库管理员的高级课程1、hadoop 集群的搭建2、hadoop 集群的监控3、hadoop 集群的管理4、集群下运行 mapreduce 程序六、zookeeper 基础知识，构建分布式系统的基础框架1、zookeeper 体现结构2、zookeeper 集群的安装3、操作 zookeeper七、hbase 基础知识，面向列的实时分布式数据库1、hbase 定义2、hbase 与 rdbms 的对比3、数据模型4、系统架构5、hbase

4、 上的 mapreduce6、表的设计八、hbase 集群及其管理1、集群的搭建过程讲解2、集群的监控3、集群的管理九、hbase 客户端1、hbaseshell 以及演示2、java 客户端以及代码演示十、pig 基础知识，进行 hadoop 计算的另一种框架1、pig 概述2、安装 pig3、使用 pig 完成手机流量统计业务十一、hive，使用 sql 进行计算的 hadoop 框架1、数据仓库基础知识2、hive 定义3、hive 体系结构简介4、hive 集群5、客户端简介6、hiveql 定义7、hiveql 与 sql 的比较8、数据类型9、表与表分区概念10、表的操作与 cli

5、 客户端演示11、数据导入与 cli 客户端演示12、查询数据与 cli 客户端演示13、数据的连接与 cli 客户端演示14、用户自定义函数（udf）的开发与演示十二、sqoop，hadoop 与 rdbms 进行数据转换的框架1、配置 sqoop2、使用 sqoop 把数据从 mysql 导入到 hdfs 中3、使用 sqoop 把数据从 hdfs 导出到 mysql 中十三、storm1、storm 基础知识：包括 storm 的基本概念和 storm 应用场景，体系结构与基本原理，storm 和 hadoop 的对比2、storm 集群搭建：详细讲述 storm 集群的安装和安装时常见问题3、storm 组件介绍：spout、bolt、streamgroupings 等4、storm 消息可靠性：消息失败的重发5、hadoop2.0 和 storm 的整合：stormonyarn6、storm 编程实战内容总结内容总结