大数据入门快速计算引擎之Spark的核心内容.docx

《大数据入门快速计算引擎之Spark的核心内容.docx》由会员分享，可在线阅读，更多相关《大数据入门快速计算引擎之Spark的核心内容.docx（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据入门快速计算引擎之Spark的核心内容是什么为大规模数据处理而设计的快速通用的流式计算引擎MapReduce的通用并行计算框架支持Java、Scala、Python技术点SparkStreamingSparkGraphXMLBaseSparkSQL以及MR的区别Spark计算中间结果基于内存缓存MapReduce基于HDFS存储Spark处理数据的才能一般是MR的三到五倍以上Spark使用有向无环图来切分任务的执行先后顺序运行形式Local用于本地测试StandaloneSpark自带的一个资源调度框架它支持完全分布式YarnHadoop生态圈里面的一个资源调度框架Mesos资源调度框架

2、SparkCorePartition每个RDD是由假设干个Partition组成HashPartitioner采用哈希的方式对KeyValue键值对数据进展分区partitionIdKey.hashCode%numPartitionsRangePartitioner为解析决HashPartitioner所带来的分区倾斜问题基于抽样的思想来对数据进展分区在Job执行经过中一个Partition对应一个Task此时就会使得某几个Task运行过慢RDD弹性分布式数据集是其最根本的抽象数据集五个属性RDD是由一系列的partition组成的函数是作用在每一个partition/split上RDD之间有

3、一系列的依赖关系分区器是作用在(K,V)格式的RDD上RDD提供一系列最正确的计算位置系统架构Master资源管理的主节点ClusterManager在集群上获取资源的外部效劳Worker资源管理的从节点管理本机资源Application基于Spark的用户程序包含driver程序以及运行在集群上的executor程序Dirver用来连接工作进程Executor是在一个worker进程所管理的节点上为某Application启动的一个个进程Task被发送到executor上的工作单元Job包含很多任务Task的并行计算以及action算子对应Stage一个job会被拆分成很多组任务每组任务被称

4、为Stage算子Transformations转换算子懒加载执行类别filter过滤符合条件的记录数true保存map通过map中的函数映射变为一个新的元素flatMap先map后flatsample根据传进去的小数按比例进展有放回或无放回的抽样reduceByKey一样的Key根据相应的逻辑进展处理sortByKey/sortBy对key进展升序或降序排序Action行动算子触发执行一个行动算子对应一个JOB类别count返回数据集中的元素数。会在结果计算完成后回收到Driver端。take(n)返回一个包含数据集前n个元素的集合。first效果等同于take(1),返回数据集中的第一个元素

5、。foreach循环遍历数据集中的每个元素运行相应的逻辑。collect将计算结果回收到Driver端。控制算子将RDD持久化持久化的单位是partition三种cache默认将RDD的数据持久化到内存中懒执行rdd.cache().count()返回的不是持久化的RDD而是一个数值persist可以指定持久化的级别。最常用的是MEMORY_ONLY以及MEMORY_AND_DISK懒执行checkpoint将RDD持久化到磁盘还可以切断RDD之间的依赖关系懒执行任务提交方式Standaloneclient适用于测试调试程序Driver进程是应用程序的当前节点启动。在Driver端可以看到ta

6、sk执行的情况任务流程client形式提交任务后会在客户端启动Driver进程。Driver会向Master申请启动Application启动的资源。资源申请成功Driver端将task分发到worker端执行启动executor进程任务的分发。Worker端exectuor进程将task执行结果返回到Driver端任务结果的回收。cluster任务流程cluster形式提交应用程序后会向Master恳求启动Driver。Master承受恳求随机在集群一台节点启动Driver进程。Driver启动后为当前的应用程序申请资源。Driver端发送task到worker节点上执行任务的分发。work

7、er上的executor进程将执行情况以及执行结果返回给Driver端任务结果的回收。应用程序使用的所有jar包以及文件必须保证所有的worker节点都要有因为此种方式spark不会自动上传包yarnclient同样是适用于测试因为Driver运行在本地Driver会与yarn集群的Executor进展大量的通信任务流程客户端提交一个Application在客户端启动一个Driver进程。应用程序启动后会向RS(ResourceManager)相当于standalone形式下的master进程发送恳求启动AM(ApplicationMaster)。RS收到恳求随机选择一台NM(NodeMana

8、ger)启动AM。这里的NM相当于Standalone中的Worker进程AM启动后会向RS恳求一批container资源用于启动Executor。RS会找到一批NM包含container返回给AM,用于启动Executor。AM会向NM发送命令启动Executor。Executor启动后会反向注册给DriverDriver发送task到Executor,执行情况以及结果返回给Driver端。cluster任务流程客户机提交Application应用程序发送恳求到RS(ResourceManager),恳求启动AM(ApplicationMaster)。RS收到恳求后随机在一台NM(NodeM

9、anager)上启动AM相当于Driver端。AM启动AM发送恳求到RS恳求一批container用于启动Excutor。RS返回一批NM节点给AM。AM连接到NM,发送恳求到NM启动Excutor。Excutor反向注册到AM所在的节点的Driver。Driver发送task到Excutor。主要用于消费环境中不会产生某一台机器网卡流量激增的现象只能通过yarn查看日志多文件算子转换算子joinleftOuterJoin左外连接rightOuterJoin右外连接fullOuterJoin全连接joinK,V)join(K,W)返回(K,(V,W)union合并两个数据集。两个数据集的类型要

10、一致分区数是合并RDD分区数的总以及intersection取两个数据集的交集分区数为多的那个集合subtract取两个数据集的差集分区数为前面的那个集合mapPartitions与map类似单位是每个partition上的数据distinct(mapreduceByKeymap对RDD内数据去重cogroup当调用类型(K,V)以及(KW)的数据上时返回一个数据集(K(Iterable,Iterable)行动算子foreachPartition遍历每个Partition分区算子转换算子mapPartitionsWithIndex类似于mapPartitions,除此之外还会携带分区的索引值r

11、epartition增加或者减少分区。此算子会产生shufflecoalesce减少分区算子中第二个参数是TRUE表示分区的经过中产生shufflegroupByKey根据Key进展分组。作用在(KV)zip将两个RDD中的元素KV格式/非KV格式变成一个KV格式的RDDzipWithIndex该函数将RDD中的元素以及这个元素在RDD中的索引号从0开场组合成K,V对行动算子countByKeyK,V格式的RDD上根据Key计数一样Key的数据集元素countByValue根据数据集每个元素一样的内容来计数。返回一样内容的元素对应的条数reduce根据聚合逻辑聚合数据集中的每个元素宽窄依赖形容

12、RDD之间的关系stage根据宽窄依赖进展切分窄依赖目的地一对一或者多对一传输经过需要Shuffle宽依赖目的地多对多或者一对多需要ShuffleStage划分根据RDD之间的宽窄依赖遇到宽依赖就划分stage每个stage包含一个或者多个task任务stage是由一组并行的task组成切割规那么从后往前遇到宽依赖就切割stage切割经过1.从后向前推理遇到宽依赖就断开遇到窄依赖就把当前的RDD参加到Stage中2.每个Stage里面的Task的数量是由该Stage中最后一个RDD的Partition数量决定的3.最后一个Stage里面的任务的类型是ResultTask前面所有其他Stage里

13、面的任务类型都是ShuffleMapTask4.代表当前Stage的算子一定是该Stage的最后一个计算步骤计算形式pipeline管道计算形式,pipeline只是一种计算思想、形式。在spark中pipeline是一个partition对应一个partition所以在stage内部只有窄依赖数据落地RDD进展持久化shufflewrite的时候Stage的task并行度是由stage的最后一个RDD的分区数来决定使用算子时传递分区num参数就是分区partition的数量资源调度以及任务调度调度流程流程图解粗粒度资源申请(Spark在Application执行之前将所有的资源申请完毕当资源

14、申请成功后才会进展任务的调度当所有的task执行完成后才会释放这局部资源。优点每一个task直接使用资源task启动快application执行就快了缺点最后一个task执行完才释放资源无法充分利用细粒度资源申请MRApplication执行之前不需要先去申请资源而是直接执行让job中的每一个task在执行前自己去申请资源task执行完成就释放资源。优点集群的资源可以充分利用缺点task自己去申请资源task启动变慢Application的运行就响应的变慢了播送变量使用目的节省了通信的本钱以及效劳器的资源加快数据传输速度使用方式vallistList(“helloyjx)valbroadCas

15、tsc.broadcast(list)考前须知播送变量只能在Driver端定义不能在Executor端定义。在Driver端可以修改播送变量的值在Executor端无法修改播送变量的值。一种调优方式累加器使用目的为了让一个变量被改变时在driver端进展全局汇总task运行的只是原始变量的一个副本并不能改变原始变量的值当这个变量被声明为累加器后该变量就会有分布式计数的功能使用方式valscnewSparkContext(conf)valaccumulatorsc.longAccumulatoraccumulator.add(1)考前须知累加器在Driver端定义赋初始值Driver端读取在Ex

16、cutor端更新累加器不是一个调优的操作因为假如不这样做结果是错的SparkShuffle概念一个stage另一个stage中间数据转换经过ShuffleWrite上一个stage的每个maptask就必须保证将自己处理的当前分区的数据一样的key写入一个分区文件中ShuffleReadreducetask就会从上一个stage的所有task所在的机器上寻找属于自己的那些分区文件这样就可以保证每一个key所对应的value都会会聚到同一个节点上去处理分类HashShuffle普通机制上游产生数据的时候根据下游的partition生成文件文件数MapTask*ReduceTask合并机制根据下游partition数每个Executor创立一批文件文件数MapExectur*ReduceTask这两种方式都会产生很多小文件合并机制固然减少了很多文件SortShuffle根本以及MapReduce思想一样普通机制map产生中间结果写出到KVBuffle分区排序溢写合并文件数MapTask*2bypass机制shufflereducetask的数量小于200不需要进展map端的预聚合比方groupBykey,join文件数MapTask*2