Hadoop大数据技术基础与应用 习题及答案.docx

《Hadoop大数据技术基础与应用 习题及答案.docx》由会员分享，可在线阅读，更多相关《Hadoop大数据技术基础与应用 习题及答案.docx（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Hadoop大数据技术基础与应用 习题及答案第1章Hadoop技术概述1 .Hadoop2.0包含哪些核心组件？MapReduce、HDFS、YARN.Hadoop包含哪些优势？方便、弹性、健壮、简单.Hadoop有哪些应用领域？运营商、电子商务、在线旅游、欺诈检测、医疗保健、能源开采、金融、直播、在线教育等 等.Hadoop有几种运行模式？单机模式、伪分布模式、完全分布式模式.Hadoop伪分布集群包含哪些守护进程？DataNode、NodeManager ResourceManager SecondaryNameNode NameNode第2章Hadoop分布式文件系统(HDFS)1 .简

2、述HDFS的设计理念?HDFS的设计理念来源于非常朴素的思想：即当数据文件的大小超过单台计算机的存储能力 时，就有必要将数据文件切分并存储到由若干台计算机组成的集群中，这些计算机通过网络 进行连接，而HDFS作为一个抽象层架构在集群网络之上，对外提供统一的文件管理功能， 对于用户来说就感觉像在操作一台计算机一样，根本感受不到HDFS底层的多台计算机， 而且HDFS还能够很好地容忍节点故障且不丢失任何数据。2 .简述FSImage和Edit Log的合并过程？FSImage和EditLog合并的详细步骤如下所示。(1) SecondaryNameNode (即从元数据节点)引导NameNode

3、(即元数据节点)滚动更新 EditLog,并开始将新的 EditLog 写进 edits.newo(2)SecondaryNameNode W NameNode 的 FSImage(fsimage)和 EditLog(edits)复制到本地的检 查点目录。(3) SecondaryNameNode 将 FSImage(fsimage)导入内存，并回放 EditLog(edits),将其合并到5.如何在Hadoop集群中动态地增加或删除节点？简单的说，Hadoop集群扩容只需要新增节点纳入include文件进行管理即可，Hadoop集群 缩容只需要删除节点纳入exclude文件进行管理即可。第7

4、章Hive数据仓库工具.简述Hive和关系型数据库的异同？Hive和关系型数据库都有数据库和表的概念，都可以使用SQL来处理数据。但是Hive中的 表是逻辑表不是物理表，数据存储在HDFS之上，作业的运行依赖YARN集群，可以基于 Hadoop集群处理海量数据。1 .简述Hive的运行机制？Hive的运行机制包含以下几个步骤：(1)用户通过用户接口连接Hive,发布HQL。(2) Hive解析查询并制定查询计划。(3) Hive将查询转换成MapReduce作业。(4) Hive 在 Hadoop 上执行 MapReduce 作业。2 .简述Hive内部表和外部表的区别与使用？(1)区别删除H

5、ive内部表时，表结构和数据都会被删除。删除Hive外部表时，只删除表结构，数据 不会被删除。(2)使用场景根据实际工作经验，一般会遵循一个经验法则：如果所有数据处理都由Hive来完成， 应该选择使用内部表。如果同一个数据集需要由Hive和其他工具同时来处理，应该选择使 用外部表。一般的做法是将存放在HDFS中的初始数据集使用外部表进行处理，然后使用Hive 的转换操作将数据移到Hive的内部表。3 .简述ORDER BY和SORT BY在使用上的区别和联系？(1)联系order by和sort by都可以对数据进行排序。(2)区别order by排序出来的数据是全局有序的，但是只能有一个pa

6、rtitionsort by排序出来的数据是局部有序的，但是全局无序。即partition内部是有序的，但是partition与partition之间的数据时没有顺序关系的。4 .简述Hive性能调优的常见手段？Fetch Task的优化、本地模式执行的优化、JVM的优化、task并行度优化等等第8章H Base分布式数据库根据下面给出的表格，用HBase Shell模式设计Score成绩表，并对表进行操作。Score成绩表namescoreChineseMathEnglishLucy959086Lily907688Jack8592781 .查看Score表结构。# 创建表create Sco

7、re,*score# 插入数据put Score，Lucyscore:Chinese/95put Score/Lucy/scorerMath/gOput Score,Lucy,score:English,86put Score/Lily/scoreiChineseygOput Score,Lily/scoreiMath/ye1put Score/Lily/scoreiEnglish/SSput Score,Jack/score解析数据val array = t.split(“J)val day = array(2).split(s+)(0)val hour = array(2).split(s

8、+H)(l).substring(0,2) (array(O),array(l),day,hour)/.filter(t=/过滤出最近7天的数据/TimeUtils.getDiffDay(currentDay,t._3)(t._3,t._4,t._l).map(t=(t._l,t._2.size) print(pvRDD.collect().toBuffer)插入HBase省略统计uv独立访问人数-先按照用户去重，然后再聚合统计valuvRDDrdd.groupBy(t=t).map(t=(t. 1. 3,t. 1. 4,t. 1. l),t. 2.size).reduceByKey( + )

9、print(uvRDD.collect().toBuffer)插入HBase省略sc.stop();)Flink示例代码：package com.bigdata;import mon.functions.FilterFunction;import mon.functions.FlatMapFunction;import mon.functions.MapFunction;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.

10、flink.api.java.tuple.Tuple2;import org.apache.flink.util.Collector;public class FlinkTest public static void main(String args) throws Exception /获取 ExecutionEnvironmentExecution Environment benv = ExecutionEnvironment.getExecutionEnvironmentf); 读取数据DataSet ds = benv.readTextFileCGAXIearnWdataWuser.l

11、og);统计pv访问次数DataSetTuple2StringJnteger pvDS = ds.map(new MapFunctionString, Tuple2StringJnteger() (Override public Tuple2 map(String s) throws Exception String array = s.split。,)；String day = array2.split(s+)0;String hour = array2.split(s+)l.substring(0,2);return new Tuple2(day4-+hour+(5)+array0,l);

12、 ) ).filter(new FilterFunctionTuple2String, lnteger() Overridepublic boolean filter(Tuple2 t) throws Exception /过滤出最近7天的数据/TimeUtils.getDiffDay(currentDay,t._3)7return true; ) ) .groupBy(0).sum(l); pvDS.print(); 插入HBase省略 System.out.println(H);统计uv独立访问人数.先按用户去重，然后再聚合统计DataSetTuple2String,lnteger uvl

13、DS = ds.map(new MapFunctionString, Tuple2String,lnteger() Overridepublic Tuple2 map(String s) throws Exception String array = s.split(,);String day = array2.split(s+)O;String hour = array2.split(s+)l.substring(0/2);return new Tuple2(array0+arrayl+day+hour,l)； ).filterfnew FilterFunctionTuple2String,

14、 lnteger() Overridepublic boolean filter(Tuple2 t) throws Exception /过滤出最近7天的数据/TimeUtils.getDiffDay(currentDay,t._3)7return true; ) ) .groupBy(0).sum(l); DataSetTuple2String,lnteger uv2DS = uvlDS.flatMap(newFlatMapFunctionTuple2String, Integers Tuple2String, lnteger() Overridepublic void flatMap(Tu

15、ple2 t, CollectorTuple2String, lnteger collector) throws Exception String line = t.fO;String array = line.split();collector.collect(newTuple2(array2+,+array3+,+array0,l)；).groupBy(0).sum(l);uv2DS.print();插入HBase省略)FSImage(fsimage.ckpt),并将新的 FSImage(fsimage.ckpt)压缩后写入磁盘。(4) SecondaryNameNode 将新的 FSIm

16、age(fsimage.ckpt)传回 NameNode。(5) NameNode 在接收新的 FSImage(fsimage.ckpt)后，将 fsimage.ckpt 替换为 fsimage,然后 直接加载和启用该文件。(6) NameNode将新的EditLog(即edits.new)更名为EditLog(即edits)o默认情况下，该过程 1小时发生一次，或者当EditLog达到默认值(如64MB)也会触发，具体控制参数可以通过配 置文件进行修改。3.简述HDFS的数据读写流程？HDFS读取数据流程主要包括以下几个步骤。1 .客户端通过调用FileSystem对象的open。方法来打开

17、希望读取的文件，对于HDFS来说, 这个对象是DistributedFileSystem的一个实例。数据节点数据节点数据节点图2-4客户端读取HDFS中的数据2 .DistributedFileSystem通过RPC获得文件的第一批块的位置信息(Locations),同一个块按 照重复数会返回多个位置信息，这些位置信息按照Hadoop拓扑结构排序，距离客户端近的 排在前面。3 .前两步会返回一个文件系统数据输入流(FSDatalnputStream)对象，该对象会被封装为分 布式文件系统输入流(DFSInputStream)对象，DFSInputStream可以方便地管理DataNode 和N

18、ameNode数据流。客户端调用read。方法，DFSInputStream会找出离客户端最近的 DataNode并连接。4 .数据从DataNode源源不断地流向客户端。5 .如果第一个块的数据读完了，就会关闭指向第一个块的DataNode的连接，接着读取下一 个块。这些操作对客户端来说是透明的，从客户端的角度来看只是在读一个持续不断的数据 流。6 .如果第一批块全部读完了，DFSInputStream就会去NameNode拿下一批块的位置信息，然 后继续读。如果所有的块都读完了，这时就会关闭所有的流。HDFS的写入数据流程主要包括以下几个步骤。1 .客户端通过调用DistributedFi

19、leSystem的create。方法创建新文件。数据节点数据节点数据节点图2-5 HDFS的写数据流程2 .DistributedFileSystem通过RPC调用NameNode去创建一个没有块关联的新文件。在文件 创建之前，NameNode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如 果校验通过，NameNode就会创建新文件，否则就会抛出I/O异常。3 .前两步结束后，会返回文件系统数据输出流（FSDataOutputStream）的对象，与读文件的 时候相似，FSDataOutputStream被封装成分布式文件系统数据输出流（DFSOutputStream）, DFSO

20、utputStream 可以协调 NameNode和 DataNode。客户端开始写数据到 DFSOutputStream, DFSOutputStream会把数据切成一个个小的数据包（packet）,然后排成数据队列（data quene）o 4,接下来，数据队列中的数据包首先传输到数据管道（多个数据节点组成数据管道）中的第 一个DataNode中（写数据包），第一个DataNode又把数据包发送到第二个DataNode中， 依次类推。5 .DFSOutputStream还维护着一个响应队列（ack quene）,这个队列也是由数据包组成，用 于等待DataNode收到数据后返回响应数据包，

21、当数据管道中的所有DataNode都表示已经 收到响应信息的时候，这时ack quene才会把对应的数据包移除掉。6 .客户端写数据完成后，会调用close。方法关闭写入流。7 .客户端通知NameNode把文件标记为已完成，然后NameNode把文件写成功的结果反馈给 客户端。此时就表示客户端已完成了整个HDFS的写数据流程。4 .简述HDFS的副本存储策略？新版本的副本存放策略的基本思想如下。副本1存放在Client所在的节点上（假设Client不在集群的范围内，则第一个副本存储节点 是随机选取的，当然系统会尝试不选择那些太满或者太忙的节点）。副本2存放在与第一个节点不同机架中的一个节点中

22、（随机选择）。副本3和副本2在同一个机架，随机放在不同的节点中。假设还有很多其他的副本，那么剩余的副本就随机放在集群的各个节点中。5 .简述HDFS的高可用原理？HDFS集群中通常由2台独立的机器来配置NameNode角色，无论在任何时候，集群中只能 有一个NameNode是Active状态，而另一个NameNode是Standby状态。Active状态的NameNode作为主节点负责集群中所有客户端操作，Standby状态的NameNode仅仅扮演一 个备用节点的角色，以便于在Active NameNode挂掉时能第一时间接替它的工作成为主节点, 从而使得NameNode达到一个热备份的效果

23、。为了让主备NameNode的元数据保持一致，它们之间的数据同步通过JournalNode集群完成。 当任何修改操作在主NameNode上执行时，它会将EditLog写到半数以上的JournalNode节 点中。当备用NameNode监测到JournalNode集群中的EditLog发生变化时，它会读取 JournalNode集群中的EditLog,然后同步到FSImage中。当发生故障造成主NameNode宕机 后，备用NameNode在选举成为主NameNode之前会同步JournalNode集群中所有的EditLog, 这样就能保证主备NameNode的FSImage 一致。新的Acti

24、ve NameNode会无缝接替主节点的 职责，维护来自客户端的请求并接受来自DataNode汇报的块信息，从而使得NameNode达 到高可用的目的。为了实现主备NameNode故障自动切换，通过ZKFC对NameNode的主备切换进行总体控制。 每台运行NameNode的机器上都会运行一个ZKFC进程，ZKFC会定期检测NameNode的健康 状况。当ZKFC检测到当前主NameNode发生故障时,会借助Zookeeper集群实现主备选举， 并自动将备用NameNode切换为Active状态，从而接替主节点的工作对外提供服务。第3章Hadoop资源管理系统(YARN).简述YARN解决了哪

25、些问题？YARN解决了 MapReducel.O扩展性差、资源利用率低、通用性差、单点故障问题。1 .简述YARN的基本架构与工作原理？YARN主要是由资源管理器(ResourceManager),节点管理器(NodeManager)、应用程序 管理器(ApplicationMaster)和相应的容器(Container)构成的。YARN的详细工作原理如下所示。(1)客户端(Client)向 ResourceManager 提交一个作业，作业包括 ApplicationMaster 程序、 启动ApplicationMaster的程序和用户程序(如MapReduce)。(2) Resource

26、Manager会为该应用程序分配一个Container,它首先会跟NodeManager进行 通信，要求它在这个容器中启动应用程序的ApplicationMastero(3) ApplicationMaster 一旦启动以后，它首先会向ResourceManager注册，这样用户可以 直接通过ResourceManager查看应用程序的运行状态，然后它将为各个任务申请资源并监控 它们的运行状态，直到任务运行结束。它会以轮询的方式通过RPC协议向ResourceManager 申请和领取资源，一旦ApplicationMaster申请到资源，它会与NodeManager进行通信，要 求它启动并运

27、行任务。(4)各个任务通过RPC协议向ApplicationMaster汇报自己的状态和进度，这样会让 ApplicationMaster随时掌握各个任务的运行状态，一旦任务运行失败，ApplicationMaster就 会重启该任务，重新申请资源。应用程序运行完成后，ApplicationMaster就会向 ResourceManager注销并关闭。在应用程序整个运行过程中，可以通过RPC协议向 ApplicationMaster查询应用程序当前的运行状态，当然在YARN的Web界面也可以看到整个作业的运行状态。2 .简述YARN是如何实现容错的？YARN通过以下几个方面来保障容错性。l.R

28、esourceManager的容错性保障ResourceManager存在单点故障，但是可以通过配置实现ResourceManager的HA(高可用)， 当主节点出现故障时，可以切换到备用节点继续对外提供服务。2 .NodeManager的容错性保障NodeManager失败之后，ResourceManager会将失败的任务通知对应的ApplicationMaster, 由ApplicationMaster来决定如何去处理失败的任务。3 .ApplicationMaster 的容错性保障ApplicationMaster 失败后，由 ResourceManager 负责重启 即可。其中，App

29、licationMaster需要处理内部任务的容错问题。ResourceManager会保存已经运行 的任务，重启后无须重新运行。4 .简述YARN的高可用原理？ResourceManager HA 由一对 Active, Standby 结点构成，ResourceManager 它有个基于 Zookeeper的选举算法，来决定哪个ResourceManager是active状态，哪个 ResourceManager 处于 Standby 状态。ZKFC是ResourceManager进程的一个服务，非独立存在，跟HDFS中的不太一样，而 HDFS中zkfc作为一个独立的进程存在(a)监控Re

30、sourceManager的健康状态(b)向ZK定期发送心跳。ResourceManager是通过RMStateStore存储内部数据和主要应用的数据及标记，目前支 持的可替代的RMStateStore实现有：(a)基于内存的 MemoryRMStateStore,(b)基于文件系统的 FiIeSystemRMStateStore,(c)基于 zookeeper 的 ZKRMStateStore。两个ResourceManager的数据共享通过RMStateStore来实现，保持信息状态的一致当Active状态ResourceManager关掉了，它会将另外一个ResourceManager状

31、态变为 Active,并提供服务。ResourceManager HA的架构模式同NameNode HA的架构模式基本一 致。5 .简述YARN的各种调度器原理及使用场景?先进先出调度器：将应用放置在一个队列中，然后按照提交的顺序(先进先出)运行应用。 首先为队列中第一个应用的请求分配资源，第一个应用的请求被满足后再依次为队列中下一 个应用服务。容量调度器：不会通过强行中止来抢占容器(container),因此，如果一个队列一开始资源 够用，然后随着需求增长，资源开始不够用时，那么这个队列就只能等着其他队列释放容器 资源。缓解这种情况的方法是，为队列设置一个最大容量限制，这样这个队列就不会过多

32、侵 占其他队列的容量了。当然，这样做是以牺牲队列弹性为代价的，因此需要在不断尝试和失 败中找到一个合理的折中。公平调度器：假设有两个用户A和B,分别拥有自己的队列queue A和queue B。A启动一 个作业jobl,在B没有需求时A会分配到全部可用资源；当A的作业仍在运行时B启动一 个作业job2, 一段时间后，按照我们先前看到的方式，每个作业都用到了一半的集群资源。 这时，如果B启动第二个作业job3且其他作业仍在运行，那么job3和job2共享资源，因此 B的每个作业将占用四分之一的集群资源，而A仍继续占用一半的集群资源。最终的结果就 是资源在用户之间实现了公平共享。总的来说，如果应用

33、场景需要先提交的Job先执行，那么就使用FIFO Scheduler；如果所有 的 Job 都有机会获得到资源，就得使用 Capacity Scheduler 和 Fair Scheduler, Capacity Scheduler 不足的地方就是多个队列资源不能相互抢占，每个队列会提前分走资源，即使队列中没有 Job,所以一般情况下都选择使用Fair Scheduler； FIFO Scheduler一般不会单独用，公平调度 支持在某个队列内部选择Fair Scheduler还是FIFO Scheduler,可以认为Fair Scheduler是一个 混合的调度器。第4章Hadoop分布式计

34、算框架(MapReduce)L简述MapReduce的基本设计思想？分而治之、抽象成模型、上升到架构.简述MapReduce的优缺点？(1)有点MapReduce易于编程、良好的扩展性、高容错性、适合PB级以上数据集的离线处理(2)缺点不适合实时计算、不适合流式计算、不适合DAG (有向无环图)计算2 .简述 MapReduce 的 shuffle 过程？MapReduce 的 shuffle 过程如下。(1) map 端map任务开始输出中间结果时，并不是直接写入磁盘，而是利用缓冲的方式写入内存，并 出于效率的考虑对输出结果进行预排序。每个map任务都有一个环形内存缓冲区，用于存储任务输出结

35、果。默认情况下，缓冲区的 大小为100MB,这个值可以通过属性来设置。一旦缓冲区中的数 据达到阈值(默认为缓冲区大小的80%),后台线程就开始将数据刷到磁盘。在数据刷写磁 盘过程中，map任务的输出将继续写到缓冲区，但是如果在此期间缓冲区被写满了，那么 map会被阻塞，直到写磁盘过程完成为止。在缓冲区数据刷写磁盘之前，后台线程首先会根据数据被发送到的reducer个数，将数据划 分成不同的分区(partition) o在每个分区中，后台线程按照key在内存中进行排序，如果 此时有一个combiner函数，它会在排序后的输出上运行。运行combiner函数可以减少写到 磁盘和传递到reducer

36、的数据量。每次内存缓冲区达到溢出阈值，就会刷写一个溢出文件，当map任务输出最后一条记录之 后会有多个溢出文件。在map任务完成之前，溢出文件被合并成一个已分区且已排序的输 出文件。默认如果至少存在3个溢出文件，那么输出文件写到磁盘之前会再次运行combinero 如果少于3个溢出文件，那么不会运行combiner,因为map输出规模太小不值得调用 combiner带来的开销。在map输出写到磁盘的过程中，还可以对输出数据进行压缩，加快 磁盘写入速度，节约磁盘空间，同时也减少了发送给reducer的数据量。(2) reduce 端map输出文件位于运行map任务的NodeManager的本地磁

37、盘，现在NodeManager需要为分 区文件运行reduce任务，而且reduce任务需要集群上若干个map任务的map输出作为其 特殊的分区文件。每个map任务的完成时间可能不同，因此在每个任务完成时，reduce任 务就开始复制其输出。这就是reduce任务的复制阶段。默认情况下，reduce任务有5个复 制线程，因此可以并行获取map输出。如果map输出结果比较小，数据会被复制到reduce任务的JVM内存中，否则，map输出会 被复制到磁盘中。一旦内存缓冲区达到阈值大小，数据合并后会刷写到磁盘。如果指定了 combiner,在合并期间可以运行combiner,从而减少写入磁盘的数据量

38、。随着磁盘上的溢出 文件增多，后台线程会将它们合并为更大的、已排序的文件，这样可以为后续的合并节省时 间。复制完所有map输出后，reduce任务进入排序阶段，这个阶段将map输出进行合并，保持 其顺序排序。这个过程是循环进行的：比如，如果有50个map输出，默认合并因子为10, 那么需要进行5次合并，每次将10个文件合并为一个大文件，因此最后有5个中间文件。在最后的reduce阶段，直接把数据输入reduce函数，从而节省了一次磁盘往返过程。因为 最后一次合并，并没有将这5个中间文件合并成一个已排序的大文件，而是直接合并到 reduce作为数据输入。在reduce阶段，对已排序数据中的每个k

39、ey调用reduce函数进行处 理，其输出结果直接写出到文件系统，这里一般为HDFS。4 .简述MapReduce的运行机制？MapReduce作业完整的运行过程如下。(1)提交MapReduce作业客户端通过调用Job对象的waitForCompletion。方法来提交MapReduce作业。(2)初始化MapReduce作业application master会对MapReduce作业进行初始化。(3)分配任务application master为作业中的map任务和reduce任务向ResourceManager请求容器。(4)执行任务ResourceManager的调度器为任务分配容器

40、，执行map任务和reduce任务。(5)更新进度和状态任务通过这个接口向自己的application master报告进度和状态。（6）完成作业当application master收到作业最后一个任务已完成的通知后，就会将作业的状态设置为“成 功”。5 .简述MapReduce作业容错机制在作业运行过程中，我们需要考虑的容错实体包括：任务、application master NodeManager 和 ResourceManagero（1）任务容错当application master被告知一个任务尝试失败后，它将重新调度该任务的执行。（2） application master 容?昔

41、application master 向 ResourceManager 发送周期性的心跳,当 application master 失败时， ResourceManager将检测至II该失败，并在一个新的容器中重新启动一个application master实 例。（3） Nodemanager 容错对于出现故障的NodeManager节点，那么曾经在其上运行且成功完成的map任务，如果属 于未完成的作业，那么application master会安排它们重新运行。（4） ResourceManager 容错ResourceManager出现故障是比较严重的，因为没有ResourceMana

42、ger,作业和任务容器将 无法启动。为了实现高可用（HA）,有必要以一种active-standby配置模式运行一对 ResourceManagero第5章Zookeeper分布式协调服务.Zookeeper的应用场景有哪些？分布式锁服务、配置管理服务、分布式消息队列、分布式通知与协调服务等。1 .简述Zookeeper监听机制？znode以某种方式发生变化时，观察（watcher）机制（观察机制：一个watcher事件是 一个一次性的触发器，当被设置了 watcher的znode发生了改变时，服务器将这个改变发送 给设置了 watcher的客户端，以便通知它们）可以让客户端得到通知。可以针对Zookeeper 服务的操作来设置观察，该服务的其他操作可以触发观察。在Zookeeper中，引入了 watcher机制来实现分布式的通知功能。Zookeeper允许客户 端向服务端注册一个watcher监视器，当服务端的一些特定事件触发了这个watcher监视器 之后，就会向指定客户端发送一个异步