《大数据技术原理与操作应用》习题解答(二).docx

《《大数据技术原理与操作应用》习题解答(二).docx》由会员分享，可在线阅读，更多相关《《大数据技术原理与操作应用》习题解答(二).docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术原理与操作应用习题解答（二）第三章一、单项选择题1、以下选项中，假设是哪个节点关闭了，就无法访问Hadoop集群（）。 A、 namenode B、 datanode C、 secondary namenode D yarn参考答案：A2、以下说法中，关于客户端从HDFS中读取数据的说法错误的选项是（）。 A、客户端会选取排序靠前的DataNode来依次读取Block块 B、客户端会把最终读取出来所有的Block块合并成一个完整的最终文件 C、客户端会选取排序靠后的DataNode来依读取Block块 D、如果客户端本身就是DataNode,那么将从本地直接获取数据参考答案：C3、以

2、下选项中，用于检验数据完整性的信息的是（）o A、心跳机制 B、ACK机制 C、选举机制 D、垃圾回收机制参考答案：B4、以下选项中，关于HDFS说法错误的选项是（）o A、HDFS是Hadoop的核心之一五、简答题 1、简述单点故障的产生。参考答案：当存储数据块的服务器中突然有一台机器宕机，我们就无法正常的获取文 件了，这个问题被称为单点故障2、简述HDFS的优点和缺点。参考答案：HDFS分布式文件系统具有优点和缺点。优点有高容错、流式数据访问、支 持超大文件、高数据吞吐量以及可构建在廉价的机器上；缺点有高延迟、不适合小文 件存取场景以及不适合并发写入。3、简述Fslmage镜像文件和Edi

3、tLog日志文件。参考答案：Fslmage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文 件用于持久化记录文件系统元数据发生的变化。答案解析：Fslmage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文 件用于持久化记录文件系统元数据发生的变化。4、简述NameNode管理分布式文件系统的命名空间。参考答案：在NameNode内部是以元数据的形式，维护着两个文件，分别是Fslmage镜 像文件和EditLog日志文件。其中，Fslmage镜像文件用于存储整个文件系统命名空间 的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNo

4、de 启动的时候，Fslmage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的 操作，以确保内存所保存的数据处于最新的状态，这样就加快了元数据的读取和更新 操作。答案解析：在NameNode内部是以元数据的形式，维护着两个文件，分别是Fslmage镜 像文件和EditLog日志文件。其中，Fslmage镜像文件用于存储整个文件系统命名空间 的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNode 启动的时候，Fslmage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的 操作，以确保内存所保存的数据处于最新的状态，这样就加快了元数据的读取和更新

5、 操作。5、简述HDFS中提供了 Secondary NameNode节点的职责。参考答案：Secondary NameNode节点主要是周期性的把NameNode中的EditLog日志 文件合并到Fslmage镜像文件中，从而减小EditLog日志文件的大小，缩短集群重启 时间，并且也保证了 HDFS系统的完整性。答案解析：Secondary NameNode节点主要是周期性的把NameNode中的EditLog日志 文件合并到Fslmage镜像文件中，从而减小EditLog日志文件的大小，缩短集群重启 时间，并且也保证了 HDFS系统的完整性。6、简述HDFS读数据的原理。参考答案：（1）

6、客户端向NameNode发起RPC请求，来获取请求文件Block数据块所 在的位置。（2） NameNode检测元数据文件，会视情况返回Block块信息或者全部 Block块信息，对于每个Block块，NameNode都会返回含有该Block副本的DataNode 地址。（3）客户端会选取排序靠前的DataNode来依次读取Block块（如果客户端本 身就是DataNode,那么将从本地直接获取数据），每一个Block都会进行CheckSum（完整性验证），假设文件不完整，那么客户端会继续向NameNode获取下一批的Block列 表，直到验证读取出来文件是完整的，那么Block读取完毕。（4

7、）客户端会把最终读 取出来所有的Block块合并成一个完整的最终文件 B HDFS 源于 Google 的 GFS 论文 C、HDFS用于存储海量大数据 D、HDFS是用于计算海量大数据 参考答案：D5、以下选项中，用于存放部署Hadoop集群服务器的是()。 A、 namenode B、 datanode C、 rack D、 metadata参考答案：c答案解析：Rack是用来存放部署Hadoop集群服务器的机架。6、以下选项中，用于删除HDFS上文件夹的方法是()o A、delete () B、rename () C、mkdirs () D copyToLocalFile()参考答案：A

8、答案解析:FileSystem对象调用delete。方法可以删除文件夹，delete()方法接收两 个参数，第一个参数表示要删除的文件夹路径，第二个参数用于设置是否递归删除目 录。7、以下选项中，关于HDFS的架构说法正确的选项是()。 A、HDFS采用的是主备架构 B、HDFS采用的是主从架构 C、HDFS采用的是从备架构 D、以上说法均错误参考答案：B答案解析：HDFS采用主从架构（Master/Slave架构）。8、以下选项中，用于上传文件的Shell命令是（）o A、 -1s B、 -mv C -cp D、 -put参考答案：D二、多项选择题1、以下选项中，关于数据块说法正确的选项是O

9、 O A、磁盘进行数据读/写的最大单位 B、磁盘进行数据读/写的最小单位 C、数据块是抽象的块 D、DataNode是按block对数据进行存储。参考答案：B, C,D2、以下说法中，关于crontab表达式说法正确的选项是（）。 A、通过执行crontab表达式可以执行定时任务 B、crontab表达式是由6个参数决定 C、Crontab表达式是由5个参数决定 D、以上说法均正确参考答案：A,B3、以下说法中，关于使用Java API操作HDFS说法正确的选项是（）。 A、需要引入hadoop-common依赖 B、需要引入hadoop-hdfs依赖 C、需要引入hadoop-client依

10、赖 D、以上说法均错误参考答案：A, B,C4、以下选项中，关于Metadata元数据说法正确的选项是（）。 A、元数据维护HDFS文件系统中文件和目录的信息 B、元数据记录与文件内容存储相关的信息 C、元数据用来记录HDFS中所有DataNode的信息 D、元数据用于维护文件系统名称并管理客户端对文件的访问参考答案：A, B,C答案解析：NameNode用于维护文件系统名称并管理客户端对文件的访问。三、判断题1、HDFS目前不支持并发多用户的写操作，写操作只能在文件末尾追加数据。 对 错参考答案：对答案解析：HDFS目前不支持并发多用户的写操作，写操作只能在文件末尾追加数据。2、HDFS中提

11、供Secondary NameNode节点，是为了取代掉NameNode节点。 对 错参考答案：错3、在Windows平台开发HDFS工程时，假设不设置Hadoop开发环境，也是没问题的。参考答案：错答案解析：在Windows平台开发HDFS工程时，假设不设置Hadoop开发环境，那么会报以 下的错误：java. io. lOException: (null) entry in command string: null chmod 0644o4、传统文件系统存储数据时，假设文件太大，会导致上传和下载非常耗时。参考答案：对答案解析：传统文件系统存储数据时，假设文件太大，会导致上传和下载非常耗时。

12、5、Hadoop在设计时考虑到数据的平安与高效，数据文件默认在HDFS上存放一份。参考答案：错答案解析：Hadoop在设计时考虑到数据的平安与高效，数据文件默认在HDFS上存放 三份。6、在采集数据的过程中，通过在滚动完文件的名称后添加一个标识的策略，不能防止 因日志文件过大而导致上传效率低的问题。参考答案：错答案解析：为了防止因日志文件过大而导致上传效率低，可以采取在滚动完文件的名 称后添加一个标识的策略来解决这个问题。7、DataNode在客户端或者NameNode的调度下，存储并检索数据块，对数据块进行创 建、删除等操作。参考答案：对8、Namenode存储的是元数据信息，元数据信息并不

13、是真正的数据，真正的数据是存储 在 DataNode 中。 对 错参考答案：对9、在安装配置windows平台hadoop,配置后直接运行是没有问题的。 对 错参考答案：错10、DataNode是HDFS集群的主节点，NameNode是HDFS集群的从节点。 对 错参考答案：错答案解析：NameNode是HDFS集群的主节点，DataNode是HDFS集群的从节点。11、在Linux中，mkdir命令主要用于在指定路径下创立子目录。 对 错参考答案：对答案解析：mkdir命令主要用于在指定路径下创立子目录。12在Hadoop2. x版本下,Block数据块的默认大小是64M。 对 错参考答案：

14、错答案解析：在Hadoop2. x版本下，Block数据块的默认大小是128M。13、由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件 系统。 对 错参考答案：对答案解析：由于Hadoop是使用Java语言编写的，因此可以使用Java API操作 Hadoop文件系统。14、HDFS适用于低延迟数据访问的场景，例如毫秒级实时查询。 对 错参考答案：错15、由于Hadoop的设计对硬件要求低，因此无需构建在昂贵的高可用性机器上，导致 无法保证数据的可靠性、平安性和高可用性。 对 错参考答案：错16、通过扩容的方式，解决不了传统文件系统遇到存储瓶颈的问题。

15、 对 错参考答案：错答案解析：通过扩容的方式，可以解决传统文件系统遇到存储瓶颈的问题。17 Secondary NameNode可以有效解决Hadoop集群单点故障问题。参考答案：对四、填空题1、HDFS是可以由【】组成，每个服务器机器存储文件系统数据的一局部。参考答案：【成百上千台服务器机器】答案解析：HDFS是可以由成百上千台服务器机器组成，每个服务器机器存储文件系统 数据的一局部。2、DataNode中的数据块是以文件的类型存储在磁盘中，其中包含两个文件，一是【】，二是每个数据块对应的一个元数据文件。参考答案：【数据本身】3、DataNode之间需要建立【】通道，用于传输数据包。参考答案

16、：【Pipeline】答案解析：DataNode之间需要建立Pipeline通道，用于传输数据包。4、在HDFS写数据的流程中，数据是以【】的形式进行发送。参考答案：【数据包】答案解析：在HDFS写数据的流程中，数据是以数据包的形式进行发送。5、传统的文件系统对海量数据的处理方式是将数据文件直接存储在台服务器上。参考答案：【一】6、在NameNode内部是以元数据的形式，维护着两个文件，分别是Fslmage镜像文件 和【】文件。参考答案：【EditLog日志】7、【】会自动加载HDFS的配置文件core-site. xml,从中获取Hadoop集群的配置信 息。参考答案：【Configurat

17、ion实例】8、节点，负责记录文件系统名称空间或其属性的任何更改操作，并存储配置文件 中设置备份的数量。参考答案：【NameNode】答案解析：NameNode节点，负责记录文件系统名称空间或其属性的任何更改操作，并 存储配置文件中设置备份的数量。9、NameNode和DataNode通过【】，可以检测DataNode是否工作。参考答案：【心跳检测机制】10、一般关于日志文件产生都是根据【】而决定。参考答案：【业务】答案解析：一般日志文件产生是由业务决定11、一个元数据文件包括数据长度、【】以及时间戳。参考答案：【块数据校验和】12、HDFS采用的是【】的数据一致性模型。参考答案：【一次写入，

18、屡次读取】答案解析：HDFS采用的是“一次写入，屡次读取”的数据一致性模型。13、客户端从HDFS中查找数据，即为【】数据；Client从HDFS中存储数据，即为Write （写）数据。参考答案：【Read （读）】14、扩容的方式有两种，分别是【】和横向扩容。参考答案：【纵向扩容】15、HDFS与现有的分布式文件系统的主要区别是HDFS具有【】能力。参考答案：【高度容错】16、NameNode主要以【】的形式对数据进行管理和存储。参考答案：【元数据】答案解析：NameNode主要以元数据的形式对数据进行管理和存储。17、文件系统对象FileSystem提供的方法【】用于从HDFS复制文件到本地磁盘。参考答案：【copyToLocalFileO】18、客户端发起文件上传请求，通过【】协议与NameNode建立通讯。参考答案：【RPC】19、在HDFS中，通过执行【】命令查看HDFS根目录下的所有文件及文件夹。参考答案：【hadoop fs -Is答案解析：在HDFS中，通过执行“hadoop fs Ts”命令查看HDFS根目录下的所有文 件及文件夹。