大数据分析技术 习题答案项目六.docx

《大数据分析技术 习题答案项目六.docx》由会员分享，可在线阅读，更多相关《大数据分析技术 习题答案项目六.docx（2页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 .简述HADOOP框架。Hadoop是主流的大数据存储和分析平台之一。它是来源于Apache基金会以Java编写的开 源分布式框架工程。其核心组件是HDFS、YARN和MapReduce,其它组件为:HBase、HIVE、Zookeeper、Spark Kafka、Flume、Ambari、和 Sqoop 等。这 些组件共同提供了一套完成服务或更高级的服务。Hadoop可以将大规模海量数据进行分布式并行处理。Hadoop具有高度容许错性、可扩展性、 高可靠性和稳定性。2 .简述HADOOP核心组件和工作原理。HADOOP有三个核心组件:HDFS (数据存储)、MapReduce (分布式离

2、线计算)和YARN (资源 调度)HDFS (Hadoop Distributed Fi le System) Hadoop 分布式文件系统HDFS属于Hadoop的底层核心组件。它是分布式文件系统的一种，并具备以下特点：海量数据和流式数据访问读写交互能力高度容错能力移动计算部署方便(1) MapReduce是建立在HDFS之上的数据映射和化简并行处理技术。它是一种具有线性特 质的，可扩展的编程模型。它对网络服务器日志等半结构化和非结构化数据的处理非常有效。MAP和REDUCE分别代表 两种函数。前者主要负责将一个任务进行碎片化处理，后者主要负责将各种碎片化信息进行重组汇总。(2) YARN

3、(Yet Another Resource Negotiator)或第二代MapReduce由于第一代MapReduce存在一定的局限性，例如Joblracker既要负责资源管理，又要监控、 跟踪、记录和控制任务，成为整个MapReduce的性能瓶颈。最重要的是，第一代MapReduce在系统的整体资源利用率 方面相对较低。因此，为了优化和提升MapReduce的性能和资源利用率，Hadoop引入了 YARN专门用于整合 Hadoop集群资源，并支持其他分布式计算模式。YARN 的组成局部主要由三个组件：RcsourceManagcr NodoManager 和 Appl icat ionMa

4、stcro.简述HIVE、Spark和HBase的特点。(1) Hive具有如下特点：可扩展性由于Hive是建立在Hadoop之上，因此有与Hadoop集群样的扩展性。Hive可以在不用重 新启动服务的前提下实现集群规模的自由扩展。可延展性Hive可以通过编写更加灵活多样的HQL语言实现比MapReduce更丰富的函数。容错性Hive可以使用Hadoop集群的超强冗余性实现数据的容错性。Hive本身的元数据那么存放在 mysql数据库中。(2) Spark具有如下特点:运行速度快Spark使用基于高速缓存的分布式实时计算框架。与MapReduce不断重复使用磁盘输入输出 保存计算结果相比，Sp

5、ark最大优势在于能够高效地使用高速缓存进行迭代重复计算。只有 在内存缺乏的情况，Spark才会使用磁盘输入和输出。简单易用可以通过Java, Scala, Python, R和SQL等不同语言快速去编写Spark程序，允许开发人员 使用自己熟悉的语言编写Spark程序，极大地提升了 Spark的普及范围。同时，Spark自带 80多个高级操作符，能够更容易地创立Spark并行应用程序，并能够与Java, Scala, Python, R 和SQL shell交互。普适通用Spark是一个分布式计算框架，不仅能够实现MapReduce的场景功能，更能在更多业务场景 中展露头角。Spark既有可

6、以实现离线计算的Spark SQL模块，也有可以实现实时计算的 Spark Streaming模块以及封装了常用的机器学习库Mlib和图计算库Graphxo 运行方式多样性Spark有两种运行方式：StandAlone和YARN。在StandAlone模式下用户可以在Hadoop集 群的一组或全部机器中静态分配资源，与Hadoop MR同时运行，用户可以在HDFS上运行专 属的Spark任务。 在YARN模式中，Hadoop用户可以简单的把Spark运行在YARN中，像 其他运行在Spark上层的模块一样充分利用Spark的强大计算能力。(3) HBase具有如下特点:高可靠性HBase基于H

7、adoop的HDFS分布式文件架构，具有极强的可靠性。高性能HBase是面向实时查询的分布式数据库，能够非常高效地查询和写入数据，实现高并发和实 时处理数据。弹性可扩展HBase建立在Hadoop的HDFS之上，通过线性方式从下到上灵活地增删节点来进行扩展，并 且被众多企业广泛地使用在缓存服务器方面。面向列的操作HBase面向列来进行存储和查询的,包括：行键(Row Key)、列族(Column Fami ly)、列 修饰符(Column Qualifier)、数据(Value)和时间戳(TimeStamp)和类型(Type),# 4.简述 Kafka、Flume、Sqoop 和 Zookee

8、per 的组织架构。(1) Kafka生产者Producer：用于向Kafka集群以Topic的方式发送消息。主题Topic： 一个Topic类似于一个消息流的名字。消费者Consumer：用于不断地向Kafka集群接收并处理消息流。(2)FlumeSource：数据的来源和方式Channel：数据的缓冲池Sink：定义了数据输出的方式和目的地Flume的关键流程是首先通过source获取到数据源的数据，然后将数据缓存在Channel当 中以保证数据传输过程中不丧失，最后通过Sink将数据发送到指定的位置。(3)SqoopSqoop Server：所有的连接器Connectors都安装在Sqo

9、op Server上便于统一管理。其中，Connectors负责数据读写，Metadata负责管理数据库的元数据。Sqoop Client：通过浏览器或者CLI实现客户端的REST API、JAVA API WEB UI以及CL I 控制台与Sqoop Server的交互。(4)ZookeeperLeader：所有Zookeeper服务器中只有一个Leader被选举出来，作为整个ZooKeeper集 群的主节点，其它节点都是Fol lower或Observer。Leader是所有应用程序事务请求的最高 协调和决定者，统一管理集群事物的执行顺序，保证整个集群内部消息处理的先进先出。Observer：主要应用于需要处理更多负载或者跨机房的应用场景用于提升系统可扩展性， 提升读取速度，但Observer不参与选举投票。Follower：接收Client的请求,返回响应给Client,并参与Leader的选举投票。Client:事务请求发送者