2023年Hadoop面试题.pdf

《2023年Hadoop面试题.pdf》由会员分享，可在线阅读，更多相关《2023年Hadoop面试题.pdf（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1.Hadoop集群可以运营的3 个模式？单 机（本地）模式伪分布式模式全分布式模式2.单 机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运营在一个JVM上。这里同样没有D F S,使用的是本地文献系统。单机模式合用于开发过程中运营MapReduce程序，这也是最少使用的一个模式。3.伪分布模式中的注意点？伪分布式（Pseud。）合用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运营。4.VM是否可以称为Pseudo?不是，两个事物，同时Pseudo只针对Hadoop。5.全分布模式又有什么注意点？全分布模式通常被用于生产环境，这里我们

2、使用N 台主机组成一个Hadoop集群，Hadoop守护进程运营在每台主机之上。这里会存在Namenode运营的主机，Datanode运营的主机，以及task tracker运营的主机。在分布式环境下，主节点和从节点会分开。6.Hadoop是否遵循UNIX模式？是 的,在 UNIX用例下，Hadoop还拥有conf目录。7.Hadoop安装在什么目录下？Cloudera和 Apache使用相同的目录结构，Hadoop被安装在cd/usr/lib/hadoop-0.20/o8.Namenode、Job tracker 和 task tracker 的端标语是？Namenode,70：Job tr

3、acker,30；Task tracker,60。9.Hadoop的核心配置是什么？Hadoop的核心配置通过两个xm l文献来完毕：1,hadoop-default.xml；2,hadoop-site.xmlo这些文献都使用xml格式，因此每个xm l中都有一些属性，涉及名称和值，但是当下这些文献都已不复存在。10.那当下又该如何配置？Hadoop 现在拥有 3 个配置文献：1,core-site.xml；2,hdfs-site.xml；3,mapred-site.xmlo这些文献都保存在conf/子目录下。11.RAM的溢出因子是？溢出因子（Spillfactor）是临时文献中储存文献的大

4、小，也就是Hadoop-temp目录。12.fs.mapr.working.dir 只是单一的目录？fs.mapr.working.dir 只是一个 目录。13.hdfs-site.xml的 3 个重要属性？dfs.name.dir决定的是元数据存储的途径以及DFS的存储方式（磁盘或是远端）dfs.data.dir决定的是数据存储的途径fs.checkpoint.dir 用于第二 Namenode14.如何退出输入模式？退出输入的方式有：1,按 ESC；2,键入:q（假如你没有输入任何当下）或者键入:wq（假如你已经输入当下），并且按下Enter。15.当你输入 hadoopfsck/导致co

5、nnection refused java exception”时，系统究竟发生了什么？这意味着Namenode没有运营在你的VM之上。16.我们使用Ubuntu及 Cloudera,那么我们该去哪里下载Hadoop,或者是默认就与Ubuntu 一起安装？这个属于Hadoop的默认配置，你必须从Cloudera或者Edureka的 dropbox下载，然后在你的系统上运营。当然，你也可以自己配置，但是你需要一个Linux box,Ubuntu或者是Red Hat。在 Cloudera网站或者是Edureka的 Dropbox中有安装环节。17.“jps”命令的用处？这个命令可以检查 Namen

6、ode、Datanode、Task T rackerJob Tracker 是否正常工作。18.如何重启Namenode?点击 stop-all.sh,再点击 start-all.sh键入sudohdfs(Enter),su-hdfs(Enter),/etc/init.d/ha(E nte r),及/etc/init.d/hadoop-0.20-namenode start(E nter)。19.Fsck的全名?全名是：File System Check。20.如何检查Namenode是否正常运营？假如要检查Namenode是否正常工作，使用命令/etc万 rdt.d/hadoop-0.20-

7、namenodestatus或者就是简朴的jps。21.mapred.job.tracker 命令的作用？可以让你知道哪个节点是Job Tracker22./etc/in计.d命令的作用是?/etc/in汇 d 说明了守护进程(服务)的位置或状态，其实是UNUX特性，和 Hadoop关系不大。23.如何在浏览器中查找Namenode?假如你的确需要在浏览器中查找Namenode,你不再需要localhost:8021,Namenode的端标语是50070。24.如何从SU转到Cloudera?从 SU转到Cloudera只需要键入exit。25.启动和关闭命令会用到哪些文献？Slaves 及

8、Masterso26.Slaves由什么组成？Slaves由主机的列表组成，每 台 1 行，用于说明数据节点。27.Masters由什么组成？Masters同样是主机的列表组成，每台一行，用于说明第二Namenode服务器。28.hadoop-env.sh是用于做什么的？hadoop-env.sh 提供了 Hadoop 中.JAVA_HOME 的运营环境。29.Master文献是否提供了多个入口？是的你可以拥有多个Master文献接口。30.Hadoop-env.sh文献当下的位置？hadoop-env.sh 现在位于 conf,31.在 Hadoop_PID_DIR 中，PID 代表了什么？

9、PID 代表了“Process ID”。32./var/hadoop/pids 用于做什么？/var/hadoop/pids 用来存储 PID。33.hadoop-metrics.properties 文献的作用是？hadoop-metrics.properties 被用做Reporting,控制 Hadoop 报告,初始状态是notto reportno34.Hadoop需求什么样的网络？Hadoop核心使用Shell(S S H)来驱动从节点上的服务器进程，并在主节点和从节点之间使用password-less SSH连接。3 5.全分布式环境下为什么需求password-less SSH?

10、这重要由于集群中通信过于频繁，Job Tracker需要尽也许快的给Task Tracker发布任务。3 6.这会导致安全问题吗？完全不用紧张。Hadoop集群是完全隔离的，通常情况下无法从互联网进行操作。与众不同的配置，因此我们完全不需要在意这种级别的安全漏洞，比如说通过互联网侵入等等。Hadoop为机器之间的连接提供了一个相对安全的方式。37.SSH工作的端标语是？SSH工作的端标语是N O.22,当然可以通过它来配置，22是默认的端标语。38.SSH中的注意点还涉及？SSH只是个安全的shell通信，可以把它当做NO.22上的一种协议，只需要配置一个密码就可以安全的访问。39.为什么SS

11、H本地主机需要密码？在 SSH中使用密码重要是增长安全性，在某些情况下也主线不会设立密码通信。40.假如在SSH中添加k e y,是否还需要设立密码？是的，即使在SSH中添加了 k e y,还是需要设立密码。41.假 如 Namenode中没有数据会怎么样？没有数据的Namenode就不能称之为Namenode,通常情况下，Namenode肯定会有数据。42.当Job Tracker宕掉时，Namenode会发生什么？当 Job Tracker失败时，集群仍然可以正常工作，只要Namenode没问题。43.是客户端还是Namenode决定输入的分片？这并不是客户端决定的，在配置文献中以及决定分

12、片细则。4 4,是否可以自行搭建Hadoop集群？是的，只要对Hadoop环境足够熟悉，你完全可以这么做。4 5.是否可以在Windows上运营Hadoop?你最佳不要这么做，Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在 Hadoop安装中，Windows通常不会被使用，由于会出现各种各样的问题。因此,Windows绝对不是Hadoop的推荐系统。Hadoop就业面试宝典1.0 简要描述如何安装配置apache的一个开源hadoop,只描述即可,无需列出具体环节，列出具体环节更好。答：1 使用root账 户 登 录 2 修 改 IP 3 修改host主 机 名

13、 4 配置SSH免密码登录5 关闭防火墙6安装JDK 7 解 压 hadoop安 装 包 8 配 置 hadoop的核心文献 hadoop-env.sh,core-site.xml z mapred-site.xml,hdfs-site.xml 9 酉 己 置 hadoop 环境变量10 格式化 hadoop namenode-format 11 启动节点 start-all.sh2.0 请；列出正常的hadoop集群中hadoop都分别需要启动哪些进程，他们的作用分别都是什么，请尽量列的具体一些。答：namenode：管理集群，存储数据的原信息，并管理记 录 datanode中的文献信息。S

14、econdname:可以做冷备，对一定范围内数据做快照性备份。Datanode:存 储 数 据 Jobtracker:管理任务，并将任务分派给tasktracker。Tasktracker:执行：JobTracker分派的任务。3.0请写出以下的shell命令（1）杀死一个job（2）删 除 hdfs上 的/tmp/aaa目 录（3）加入一个新的存储节点和删除一个节点需要执行的命令答：（1）hadoop job-list 得到job的 id,然后执 行 hadoop job-kill jobld就可以杀死一个指定jobld的job工作了。（2）hadoop fs-rmr/tmp/aaa（3）增

15、长一个新的节点在新的几点上执行 Hadoopdaemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点 中 执 行 hadoop dfsadmin-refreshnodes 删除一个节点的时候，只需要在主节点执行 hadoop mradmin-refreshnodes4.0 请列出你所知道的hadoop调度器,并简要说明其工作方法 答：Fifo schedular:默认，先 进 先 出 的 原 则 Capacityschedular:计算能力调度器，选择占用最小、优先级高的先执行,依此类推。Fairschedular:

16、公平调度，所 有 的 jo b 具有相同的资源。5.0 请列出你在工作中使用过的开发mapreduce的 语 言 答：java,hive6.0 当前日记采样格式为 a,b,c,d b,b,f,e aa,c,f 请你用最熟悉的语言编写mapreduce,计算第四列每个元素出现的个数Static final String答：public class WordCountl public static final String INPUT_PATH=hdfs:/hadoop0:9000/in;public static final String OUT_PATH=hdfs:/hadoop0:9000/

17、out;public static void main(String args)throws Exception Configuration conf=newConfiguration();FileSystem fileSystem=FileSystem.get(conf);if(fileSystem.exists(newPath(OUT_PATH)fileSystem.delete(new Path(OUT_PATH)ztrue);Job job=newJobfcontWordCountl.class.getSimpleNameO);/1.0 读 取 文 献，解析成 key,value 对F

18、ilelnputFormat.setlnputPaths(jobznew Path(INPUT_PATH);/2.0 写上自己的逻辑,对输入的可以，value 进行解决，转换成新的key,value 对 进 行 输 出job.setMapperClass(MyMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);/3.0 对输出后的数据进行分区,A.0 对分区后的数据进行排序，分组，相 同 key的 value放到一个集合中/万.0 对分组后的数据进行规

19、约/H 0 对通过网络将m ap输出的数据拷贝到reduce节点/7.0写上自己的reduce 函数逻辑，对 map 输出的数据进行解决 job.setReducerClass(MyReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);FileOutputFormat.setOutputPath(job,new Path(OUT_PATH);job.waitForCompletion(true);static class MyMapper extends Mapp

20、er(Overrideprotected void map(LongWritable kl,Text vl,org.apache.hadoop.mapreduce.Mapper.Context context)throws lOException,InterruptedException String split=vl.toString().split(t);for(String words:split)context.write(split3,1);static class MyReducer extends Reducer protected void reduce(Text k2,lte

21、rable v2,org.apache.hadoop.mapreduce.Reducer.Context context)throws lOException,InterruptedException Long count=OL;for(LongWritable time:v2)count+=time.get();context.write(v2/new LongWritable(count);7.0 你认为用java,streaming,pipe方式开发map/reduce,各有哪些优点就用过java和 hiveQLo Ja va写 m叩reduce可以实现复杂的逻辑，假如需求简朴，则显得繁

22、琐。HiveQL基本都是针对hive中的表数据进行编写，但对复杂的逻辑很难进行实现。写起来简朴。8.0 hive有哪些方式保存元数据，各有哪些优点 三种：内存数据库derby,挺小，不常 用。本 地 mysql。常用 远 程 端 mysqLo不常用 上网上找了下专业名称：single usermode.multi user mode.remote user mode9.0 请简述hadoop如何实现二级排序 第一种方法是，Reducer将给定key的所有值都缓存起来，然后对它们再做一个Reducer 内排序。但是，由于Reducer需要保存给定key的所有值，也许会导致出现内存耗尽的错误。第二

23、种方法是，将值的一部分或整个值加入原始key,生成一个合成key。这两种方法各有优势，第一种方法也许会更快一些(但有内存耗尽的危险)，第二种方法则是将排序的任务交给MapReduce框架，更符合Hadoop/Reduce的设计思想。这篇文章里选择的是第二种。我们将编写一个Partitioner,保证拥有相同key(原始key,不涉及添加的部分)的所有数据被发往同一个Reducer,还将编写一个Comparator,以便数据到达Reducer后即按原始key分组。10.简述hadoop实现jion的几种方法运用dataJoin来实现mapreduce的 jion问题。11.0 请用 java 实

24、现非递归二分查询 1.public class BinarySearchClass 2.3.4.public static int binary_search(int array,int value)5.6.int beginlndex=0;/低位下标 7.int endindex=array.length-1;/高位下标 8.intmidIndex=-1;9.while(beginlndex=endindex)10.midIndex=beginlndex+(endindex-beginlndex)/2;防止溢出 11.if(value=arraymidlndex)12.return midI

25、ndex;13.else if(value TextlnputFormat-RecordReader-LineRecordReader-LineReader5、参考下列M/R系统的场景：hdfs块大小为64M B,输入类为FilelnputFormat,有 3 个文献的大小分别为64KB,65MB,127MB Hadoop框架会把这些文献拆分为多少块？5 块6、hadoop中 RecordReader的作用是什么？RecorderReader是一个接口，重要是用来读取文献的输入键值对的，我们也可以自定义输入的key,value对的读取规则7、Map阶段结束后，Hadoop框架会解决：Parti

26、tioning,Shuffle和 S o rt,在这个阶段都发生了什么？Partition是对输出的key,value进行分区，可以自定义分区，按照业务需求，将m ap的输出归分到多个不同的文献中 将 m ap的输出作为输入传给reducer称 为 shufflesort是排序的过程，将 map的输出，作为reduce的输入之前.,我们可以自定义排序，按照key来对map的输出进行排序8、假如没有定义partitioned那数据在被送达reducer前是如何被分区的？hadoop有一个默认的分区类，HashPartioer类，通过对输入的k2去 hash值来确认map输出的k2,v2送到哪一个

27、reduce中去执行。9、什么是 combiner?combiner就是规约操作，通过对map输出的数量进行规约，可以减少reduce的数量，提高 执 行 效 率 combiner的输入输出类型必须和mapper的输出以及reducer的输入类型一致10、分别举例什么情况要使用combiner,什么情况不使用？求平均数的时候就不需要用com biner,由于不会减少reduce执行数量。在其他的时候，可以依据情况，使用combiner,来减少map的输出数量，减少拷贝到reduce的文献，从而减轻reduce的压力，节省网络开销，提高执行效率11、Hadoop中job和 tasks之间的区别是

28、什么？一方面通过jobTracker接受到了用户的操作请求之后，就会产生Job任务，job然后将任务分派给tasks分派给多个机器去并行的 执行，通过将job任务分解为多个tasks任务并行的执行，提高了执行的效率。12、hadoop中通过拆分任务到多个节点运营来实现并行计算，但某些节点运营较慢会拖慢整个任务的运营，hadoop采用全程机制应对这个情况？对于那些较慢的tasks任务，hadoop13、流 API中的什么特性带来可以使map/reduce任务可以以不同语言(如perl,ruby,awk等)实现的灵活性？14、有也许使hadoop任务输出到多个目录中吗？假如可以，怎么做？可以，ha

29、doop15、如何为一个hadoop任务设立mappers的数量？1 map的数量 m叩的数量通常是由hadoop集群的DFS块大小拟定的，也就是输入文献的总块数，正常的map数量的并行规模大体是每一个Node是 10-100个，对于CPU消耗较小的作业可以设立Map数量为300个左右，但是由于hadoop的没一个任务在初始化时需要一定的时间，因此比较合理的情况是每个 map执行的时间至少超过1 分钟。具体的数据分片是这样的，InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片，每一个分片会由一个m叩任务来进行解决，当然用户还是可以通过参数mapred.min.spl

30、it.size参数在作业提交客户端进行自定义设立。尚有一个重要参数就是mapred.map.tasks,这个参数设立的map数量仅仅是一个提醒，只有当InputFormat决定了 map任务的个数比mapred.map.tasks值小时才起作用。同样，Map任务的个数也能通过使用JobConf的 conf.setNumMapTasks(int num)方法来手动地设立。这个方法可以用来增长map任务的个数，但是不能设定任务的个数小于Hadoop系统通过度割输入数据得到的值。当然为了提高集群的并发效率，可以设立一个默认 的 map数量，当用户的map数量较小或者比自身自动分割的值还小时可以使用一

31、个相对交大的默认值，从而提高整体hadoop集群的效率。16、如何为一个hadoop任务设立要创建reduder的数量？2 reduece的数量 reduce在运营时往往需要从相关map端复制数据到reduce节点来解决，因此相比于map任务。reduce节点资源是相对比较缺少的，同时相对运营较慢，对的的reduce任务的个数应当是0.95或者 1.75*（节 点 数 Xmapred.tasktracker.tasks.maximum参数值）。假如任务数是节点个数的0.95倍，那么所有的reduce任务可以在map任务的输出传输结束后同时开始运营。假如任务数是节点个数的1.75倍，那么高速的节

32、点会在完毕他们第一批reduce任务计算之后开始计算第二批reduce任务，这样的情况更有助于负载均衡。同时需要注意增长reduce的数量虽然会增长系统的资源开销，但是可以改善负载匀衡，减少任务失败带来的负面影响。同样，Reduce 任务也可以与 map 任务同样，通过设定 JobConf 的 conf.setNumReduceTasks（int num）方法来增长任务个数。xxx信息技术有限公司1、你们的集群规模？开发集群：10台（8 台可用）8 核 cpu 2、你们的数据是用什么导入到数据库的？导入到什么数据库？解决之前的导入：通过hadoop命令导入到hdfs文献系统 解决完毕之后的导出

33、：运用hive解决完毕之后的数据，通过sqoop导出到mysql数据库中，以供报表层使用 3、你们业务数据量多大？有多少行数据？（面试了三家，都问这个问题）开发时使用的是部分数据，不是全量数据，有将近一亿 行（8、9 千万，具体不详，一般开发中也没人会特别关心这个问题）4、你们解决数据是直接读数据库的数据还是读文本数据？将日记数据导入到hdfs之后进行解决 5、你们 写 hive的 hql语句，大约有多少条？不清楚，我自己写的时候也没有做过记录 6、你们提交的job任务大约有多少个？这些job执行完大约用多少时间？（面试了三家，都问这个问题）没记录过，加上测试的，会与很多7、1126跟 他 2

34、56的区别是？这个可以百度 8、你在项目中重要的工作任务是？运 用 hive分析数据 9、你在项目中碰到了哪些难题，是怎么解决的？某些任务执行时间过长，且失败率过高，检查日记后发现没有执行完就失败，因素出在hadoop的 jo b 的 timeout过短（相对于集群的能力来说），设立长一点即可 10、你自己写过udf函数么？写了哪些？这个我没有写过 11、你的项目提交到job的时候数据量有多大？（面试了三家，都问这个问题）不清楚是要问什么 12、reduce后输出的数据量有多大？不清楚 1.一个网络商城1 天大约产生多少G 的日记？2.大约有多少条日记记录（在不清洗的情况下）？3.日访问量大约

35、有多少个？4.注册数大约多少？5.我们的日记是不是除了 apache的访问日记是不是尚有其他的日记？6.假设我们有其他的日记是不是可以对这个日记有其他的业务分析？这些业务分析都有什么（*）1.问：你们的服务器有多少台？2.问：你们服务器的内存多大？3.问：你们的服务器怎么分布的？（这里说地理位置分布，最佳也从机架方面也谈谈）4.问：你平常在公司都干些什么（一些建议）下面是HBASE我非常不懂的地方：l.hbase怎么预分区？2.hbase怎么给web前台提供接口来访问（HTABLE可以提供对HTABLE的访问，但是怎么查询同一条记录的多个版本数据）？3.htable API有没有线程安全问题，

36、在程序中是单例还是多例？4.我们的hbase大约在公司业务中（重要是网上商城）大约都几个表，几个表簇，大约都存什么样的数据？5.hbase的并发问题？1、将现有逻辑在Spark上面实现。2、数据倾斜怎么解决？数据倾斜有很多解决方案，本例子简要介绍一种实现方式，假设表A 和 表 B 连接，表A 数据倾斜，只有一个key倾斜，一方面对A 进行采样，记录出最倾斜的ke y,将 A 表分隔为A 1 只有倾斜key,A 2 不包含倾斜k e y,然后分别与表B 连接。最后将结果合并，union3、各完毕一个awk和 sed的例子，最简朴的应用即可，并说明。cat/etc/passwd|awk-F pri

37、nt$l 读取文献，指定文本分隔符，然后打印第一个域cat test.sh|sed 2,50d,读取文献的每一行，然后对每一行进行解决后打印在控制台，有很多模式，很多方法。还可以直接修改文献4、简要描述你知道的数据挖掘算法和使用场景(-)基于分类模型的案例(1)垃圾邮件的判别 通常会采用朴素贝叶斯的方法进行判别(2)医学上的肿瘤判断通过度类模型辨认(-)基于预测模型的案例(1)红酒品质的判断分类回归树模型进行预测和判断红酒的品质(2)搜索引擎的搜索量和股价波动(三)基于关联分析的案例：沃尔玛的啤酒尿布(四)基于聚类分析的案例：零售客户细分(五)基于异常值分析的案例：支付中的交易欺诈侦测(六)基

38、于协同过滤的案例：电商猜你喜欢和推荐引擎（七）基于社会网络分析的案例：电信中的种子客户（八）基于文本分析的案例（1）字符辨认：扫描王APP（2）文学著作与记录：红楼梦归属5、列举你知道的常用的Hadoop管理和监控的命令、比如hdfsdfs-mkdir/usr-Is-cat-text-cp-put-chmod-chown-du-get-copyFromLocal-copyToLocal-mv-rm-tail-chgrp6、评 述 hadoop运营原理站在高处，大的方面讲解1、有 hdfs负责数据存放 是 Hadoop的分布式文献存储系统将大文献分解为多个Block,每 个 Block保存多个副

39、本。提供容错机制，副本丢失或者宕机时自动恢复。默认每个Block保存3 个 副 本,64M为 1 个 Block。将 Block按照key-value映射到内存当中。2、有 mapreduce负责计算，Map（映射）和 Reduce（归约）7 讲述mapreduce的原理ApplicationMaster是 一个 具 体 的 框 架 库，它 结 合 从 ResourceManager获得的资源和NodeManager协同工作来运营和监控任务。ResourceManager支持分层级的应用队列，这些队列享有集群一定比例的资源。从某种意义上讲它就是一个纯粹的调度器，ApplicationMaste

40、r的职责有：向调度器索要适当的资源容器，运营任务，跟踪应用程序的状态和监控它们的进程，解决任务的失败因素。输入分片(input split)map阶段：combiner 阶段：8、JVM&垃圾回收机制三个代：年 轻 代(Young Generation)年 老 代(Old Generation)和 持 久 代(PermanentGeneration).,9、找出公共好友：原理：A 有 好 友 B,C,D F 有 好 友 DEF其实A 的好友也是他好友的好友其 实 F 的好友也是他的好友的好友那么D 的共同好友就是A F10、combiner 作用Combiner最基本是实现本地key的聚合，对

41、 map输出的key排序、value进行迭代。Combiner尚有本地reduce功 能（其本质上就是一个reduce）：使用Combiner先完毕在map端的本地聚合，可以减少网络传输数据量，提高性能。平均数的归约算法不能多次调用。11、在 m r环节中，那些环节需要优化，如何优化，请具体说明。1、setNumReduceTasks适当的设立reduce的数量，假如数据量比较大，那么可以增长 reduce的数量2、适当的时候使用combine函数，减少网络传输数据量3、压 缩 map和 reduce的输出数据4、使用SequenceFile二进制文献。5、通过application的 u i

42、页面观测job的运营参数6、太多小文献，导致map任务过多的问题，应当可以先合并小文献，或者有一个特定的map作为解决小文献的输入7、map端效率低因素分析源文献的大小远小于HDFS的块的大小。这意味着任务的启动和停止要花费更多的时间，就没有足够的时间来读取并解决输入数据。源文献无法分块。这导致需要通过网络10从其他节点读取文献块。一个节点的本地磁盘或磁盘控制器运营在降级模式中，读取写入性能都很差。这会影响某个节点，而不是所有节点.源文献不来自于HDFSo则也许是Hadoop节点和数据源之间的延迟导致了性能低下。Map任务从其他数据节点读取数据。可以从JobTracker的 map任务细节信息

43、和任务运营尝试中找到输入块的位置。假如输入块的位置不是任务执行的节点，那就不是本地数据了。技术33 Reduce实例局限性或过多技术3 4 诊断reduce段的数据倾斜的问题技术3 5 拟 定 reduce任务是否存在整体吞吐量过低技术3 6 缓慢的洗牌(shuffle)和排序技术3 7 作业竞争和调度器限制1.查找硬件的失效CPU竞争3 内存互换4 磁盘健康网络技术4 6 规避使用reduce技术4 8 使用combine技术5 0 收集倾斜数据减 小 Reduce端数据倾斜的性能损失抽样和范围分区方法2：自定义分区方法 3：Combine方法4：Map端连接和半连接数据大小倾斜的自定义策略

44、1.正则表达式(少用)2.字符串令牌化(TOKENIZATION)Apache commons中的StringUtils类效率要更好3.对象重用4 字符串连接5 对象的内存资源消耗6.4.6优化数据序列化压缩二进制文献格式 使用二进制文献格式，如 Avro和 SequenceFile,可以使数据的表达更为紧凑，并提高编组(marshalling)和逆编组的效率，相比文本格式要更为高效。保证精确的度量，理解如何获得MapReduce和系统的性能指标使用性能指标来减少潜在的性能问题通过检查MapRecue/HDFS配置，优 化 MapReduce洗牌/排序阶段，优化用户JAVA代码，来修复常见的性

45、能问题spark通信模块1 spark 的 cluster manager 可以 有 local,standalone,mesos,yarn 等部署方式,为了集中通信方式1 rpc remote produce callspark的通信机制：akka的优势和特性如下：1、并行和分布式：akka在设计时采用了异步通信和分布式架构2、可靠性：在本地、远程都有监控和恢复机制3、高性能：在单机环境中美妙可以发送50000000个消息，1 G B 内存中可以创建和保存2500000 个 actor 对象4、去中心，区别于master-slave模式，采用无中心节点的架构5、可拓展性：可以在分布式环境下记

46、性scalaout,线性扩充计算能力。可以看到akka具有强大的并发解决能力。4.5容错机制4.5.1 lineage机 制 rdd的依赖有宽依赖，尚有窄依赖宽依赖的：lineage根据分区，来进行恢复，很简朴窄依赖：一个子的rdd有多个父亲，比较麻烦一点，所以增长了 checkpoin,检查点机制，其实就是备份的意思，来做容错解决可以通过sparkcontext.setcheckpointdir()设立检查点数据的存储途径，进而将数据存储备份，然后spark删除所有已经做检查点的rdd的祖先rdd依赖。这个操作需要在所有需要对这个rdd所做的操作完毕之后再做。官方建议：做检查点的rdd最佳是

47、在内存中已经缓存的rd d,否则这个rdd在持久化的文献中需要重新计算，产生i。开销。4.6shuffler 机制shufffler writeshuffler fetchshuffler aggenrspark在执行过程中中driver控制应用生命周期，在调度中，spark采用了经典的fifo 和 fair等调度算法对内部的资源实现不同级别的调度。在 spark的 i。中，将数据抽象为以快为单位进行管理，rdd中的一个分区就是需要解决的一个快，集群中的通信对于命令和状态的传递极为重要，spark通过akka框架进行集群消息通信，spark通 过 lineage和 checkpoint机制 进行容错性保证，lineage进行重算操作，checkpoint进行数据冗余备份，最后介绍了 spark中的 shuffle机制，spark也借鉴了 mapreduce模型，但是其shuffle机制进行了创新与优化，第五章：spark开发环境配置和流程