《大数据技术原理与操作应用》习题解答(六).docx

《《大数据技术原理与操作应用》习题解答(六).docx》由会员分享，可在线阅读，更多相关《《大数据技术原理与操作应用》习题解答(六).docx（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术原理与操作应用习题解答（六）第八章一、单项选择题.当服务器突然宕机，以下Channels选项中，哪一个可以保证数据不会丧失。A、 Memory ChannelFile ChannelB、 JDBC ChannelD Kafka Channel参考答案:B.、以下关于flume的说法正确的选项是A Event是Flume数据传输的基本单元B Sink是Flume数据传输的基本单元C Channel是Flume数据传输的基本单元D Source是Flume数据传输的基本单元参考答案:A二、多项选择题1、以下选项中，说法错误的选项是（）。A、在一个Agent中，同一个 source可以有多

2、个channelB、在一个Agent中，同一个sink可以有多个channelC、在一个Agent中，同一个source只能多1个channelD在一个Agent中，同一个sink只能有1个channel 参考答案:A, D10、Failover Sink Processor配置属性必备的参数是【】、processor, type和 processor, priority. o参考答案：【sinks】五、简答题1、简述故障转移接收器处理器的工作原理。参考答案:将故障的sink降级到故障池中，在池中为它们分配一个冷却期，在重试之前 冷却时间会增加，当sink成功发送event后，它将恢复到活跃池

3、中。sink具有与之相 关的优先级，数值越大，优先级越高。如果在发送event时sink发生故障，那么会尝试 下一个具有最高优先级的sink来继续发送evento如果未指定优先级，那么根据配置文件 中指定sink的顺序确定优先级。2、简述tail -F与-f的区别。参考答案:小f根据文件描述符进行追踪，当文件改名或被删除，追踪结束，-F按照文 件名进行追踪，并保持重试，即文件被删除或改名后，如果创立相同的文件名，那么继续 追踪O3、简述Flume负载均衡接收器处理器和故障转移接收器处理器的区别。参考答案:负载均衡接收器处理器中会让每一个活跃的sink轮流/随机的处理event； 而故障转移接收

4、器处理器只允许一个活跃的且优先级高的sink来处理event,只有在 当前sink故障后才会向下继续选择另一个活跃的且优先级高的sink来处理event。4、Flume采集数据会丧失吗？参考答案:不会，Channel中的数据可以存储在File中，数据传输自身有事务。5、什么是Flume拦截器。参考答案:Flume Interceptors （拦截器）主要用于实现对Flume系统数据流中event的操作。6、简述 flume-ng agent 的作用。参考答案:表示使用flume-ng启动一个agent7、编写一个采集类型是netcat的采集方案。参考答案：al.sources = rlal.s

5、inks = klal.channels = clal.sources, rl. type = netcatal.sources, rl. bind = localhostal.sources, rl. port = 44444al.sinks, kl. type = loggeral. channels, cl. type = memoryal. channels, cl. capacity = 1000al. channels, cl. transactionCapacity = 100al.sources, rl. channels = clal. sinks, kl. channel

6、= cl8、编写收集/root/logs/access. log文件的配置参数。参考答案:al sources， rl command = tail -F /root/logs/access. log9、选择Channel类型时，分别说明memory、和file的优缺点。参考答案： 选择Memory Channel时Channel的性能最好，但是如果Flume进程意外挂掉可能会丢失数据。中选择File Channel时Channel的容错性更好，Channel性能相比MemoryChannel 较低。10、简述 Memory Channel 特点。参考答案：读写速度快，但是存储数据量小，Flu

7、me进程挂掉、服务器停机或者重启都会导致数据丧失。资源充足、不关心数据丧失的场景下可以用。2、以下说法中，关于配置参数说法错误的选项是（）。A、 al. sources, rl. channels = clal.sinks, kl. channel = clB、 al. source, rl. channels = clal. sinks, kl. channels = cl参考答案:C,D三、判断题1、在一个POST请求发送的所有的events数据，可以在多个事务中插入channel。对错参考答案:错答案解析:在一个POST请求发送的所有的events都被认为是一个批次，会在一个事务 中插入

8、channel o2、Flume负载均衡接收器处理器能够在多个Sink上进行均衡流量的功能。对错参考答案:对3、查询和替换拦截器基于Java正那么表达式提供了简单的用于字符串的搜索和替换功能, 同时还具有进行回溯/群组捕捉功能。对错 参考答案:对4、采集方案中的sources、channels、sinks是在具体编写时根据业务需求进行配置的，可以随意设置。对错参考答案:错5、Spooling Directory Source对指定磁盘上的文件目录进行监控并提取数据，但是不 能查看新增文件数据。对错参考答案:错答案解析:Spooling Directory Source对指定磁盘上的文件目录进行

9、监控并提取数据, 可以查看新增文件数据。6、Flume Agent是一个JVM进程，它承载着数据从外部源流向下一个目标的三个核心组 件是 Source Channel 和 Sinko对错参考答案:对答案解析:Flume Agent是一个JVM进程，它承载着数据从外部源流向下一个目标的三 个核心组件是Sources Channel和Sinko7、Channel组件对采集到的数据进行缓存，可以存放在Memory或File中。对错参考答案:对答案解析:Channel组件对采集到的数据进行缓存，可以存放在Memory或File中。8、在整个数据传输的过程中，Flume将流动的数据封装到一个event

10、（事件）中，它是 Flume内部数据传输的基本单元。对错参考答案:对答案解析:在整个数据传输的过程中，Flume将流动的数据封装到一个event （事件）中， 它是Flume内部数据传输的基本单元。9、Source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包 括 avro、thrifts exec 等。对错参考答案:对10、Timestamp Interceptor能够过滤掉数据中的时间戳。对错参考答案:错答案解析:Timestamp Interceptor （时间戳拦截器）会将流程执行的时间插入到event 的header头部。此拦截器插入带有timestamp键（或由

11、header属性指定键名）的标头， 其值为对应时间戳。如果配置中已存在时间戳时，此拦截器可以保存现有的时间戳。11、Static Interceptor （静态拦截器）允许用户将具有静态值的静态头附加到所有evento 对错参考答案:对12、Taildir Source用于观察指定的文件，可以实时监测到添加到每个文件的新行，如 果文件正在写入新行，那么此采集器将重试采集它们以等待写入完成。对错参考答案:对答案解析:Taildir Source用于观察指定的文件，可以实时监测到添加到每个文件的新 行，如果文件正在写入新行，那么此采集器将重试采集它们以等待写入完成。13、Logger Sink通常

12、用于调试，Logger Sink接收器的不同处是它不需要在记录原始 数据局部中说明额外的配置。对错参考答案:对答案解析:Logger Sink通常用于调试，Logger Sink接收器的不同处是它不需要在记录 原始数据局部中说明额外的配置。14、关于静态拦截器，用户可以定义多个静态拦截器来为每一个拦截器都追加一个 headero对错 参考答案:对答案解析:关于静态拦截器，用户可以定义多个静态拦截器来为每一个拦截器都追加一 个 headero15、Flume-og与Flume-ng两个版本基本相同，开发者可以使用任意一款工具。对错参考答案:错16、禁用backoff功能的情况下，在round_r

13、obin机制下,所有失败的sink将被传递 到sink队列中的下一个sink后，因此不再均衡。对错参考答案:对17、HDFS Sink将event写入Hadoop分布式文件系统（HDFS）,它目前支持创立文本和 序列文件，以及两种类型的压缩文件。对错参考答案:对18、Avro Source用来监听Avro端口并从外部Avro客户端流中接收event数据，当与 另一个Flume Agent上的Avro Sink配对时，它可以创立分层集合拓扑，利用Avro Source可以实现多级流动、扇出流、扇入流等效果。对错参考答案:对19、一个完整的event包含headers和body,其中body中包含

14、了数据标识信息。对错参考答案:错20、Flume将流动的数据封装到一个event （事件）中，它是Flume内部数据传输的基 本单元。对错参考答案:对答案解析:Flume将流动的数据封装到一个event （事件）中，它是Flume内部数据传输 的基本单元。21、设计Flume采集系统架构时，Sink组件数据可以流向一个新的Agent的Source组 件。对错参考答案:对答案解析:设计Flume采集系统架构时,Sink组件数据可以流向一个新的Agent的Source 组件。22、HTTP Source可以通过HTTP POST和GET请求方式接收event数据。对错参考答案:对23、proces

15、sor, backoff属性默认值为true,表示sink处理器会将失败的sink列入黑 名单。对错参考答案:错答案解析:processor, backoff属性默认值为false24、Sink组件是用于把数据发送到目的地的组件，目的地包括Hdfs、Loggeravro thrift、ipc、file、Hbase、solr 自定义。对错参考答案:对25、Flume采集方案的名称、位置、以及sources、channels sinks参数配置信息可以 任意定义。对错参考答案:错四、填空题1、Flume的核心是把数据从数据源通过数据采集器(Source)收集过来，再将提供的数 据通过汇集到指定的接

16、收器(Sink)。参考答案：【缓冲通道(Channel) 2、Flume采用三层架构，分别为agent、【】、storage,每一层均可以水平扩展。 参考答案：【collector】答案解析:Flume采用三层架构，分别为agent、collector、storage,每一层均可以水 平扩展。3、解压Flume后，需要在【】配置文件中添加JDK环境变量参数。参考答案：【flume-env. sh】4、Flume的负载均衡接收器处理器支持使用【】、random （随机）机制进行流量分配，其默认选择机制为参考答案：【round_robin （轮询）】round_robin5、Flume分为两个版本

17、，分别是Flume-og、【】。参考答案：【Flume-ng】答案解析:Flume分为两个版本，分别是Flume-og和Flume-ng。6、要想使用Flume系统，需要在当前操作系统中安装【】环境变量。参考答案：【JDK】7、Flume的负载均衡接收器处理器支持使用【】、random （随机）机制进行流量分配。参考答案：【round_robin （轮询）】8、File Channel 的配置属性，必备参数为【】、checkpointDir 和 useDualCheckpointSo 参考答案：【type】9、Flume是Cloudera提供的一个【】、可靠、和【】的海量日志采集、聚合和传输的系 统。参考答案：【分布式】【高可用】答案解析:Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚 合和传输的系统。