终于有人把Flink设计理念与基本架构讲明白了.docx

《终于有人把Flink设计理念与基本架构讲明白了.docx》由会员分享，可在线阅读，更多相关《终于有人把Flink设计理念与基本架构讲明白了.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、终于有人把Flink设计理念与基本架构讲明白了导读：本文从设计理念的角度将Flink与主流计算引擎Hadoop MapReduceSpark进行比照，并从宏观上介绍Flink的基本架构。OlFlink与主流计算引擎比照1. Hadoop MapReduceMapReduce 是由谷歌首次在论文“MapReduce: Simplified Data Processing on Large Clusters(谷歌大数据三驾马车之一)中提出的，是一种处理和生成 大数据的编程模型。Hadoop MapReduce借鉴了谷歌这篇论文的思想，将大的 任务分拆成较小的任务后进行处理，因此拥有更好的扩展性。如

2、图1所示,Hadoop M叩Reduce包括两个阶段一Map和Reduce : M叩 阶段将数据映射为键值对 (key/value ) , map 函数在 Hadoop 中用 Mapper 类表示;Reduce 阶段使 用shuffle后的键值对数据，并使用自身提供的算法对其进行处理，得到输出结果,reduce函数在Hadoop中用Reducer类表示。其中shuffle阶段对MapReduce模式开发人员透明。图 1 Hadoop MapReduce 处理模型Hadoop MR1通过JobTracker进程来管理作业的调度和资源，TaskTracker进 程负责作业的实际执行，通过Slot来

3、划分资源（CPU、内存等），Hadoop MR1 存在资源利用率低的问题。Hadoop MR2为了解决MR1存在的问题，对作业的 调度与资源进行了升级改造，将JobTracker变成YARN ,提升了资源的利用率。 其中，YARN 的 ResourceManager 负责资源的管理，ApplicationMaster 负责 任务的调度。YARN支持可插拔不但支持Hadoop M叩Reduce还支持Spark. Flink、Storm等计算框架。Hadoop MR2解决了 Hadoop MR1的一些问题， 但是其对HDFS的频繁I/O操作会导致系统无法到达低延迟的要求，因而它只适 合离线大数据的

4、处理，不能满足实时计算的要求。2. SparkSpark是由加州大学伯克利分校开源的类Hadoop MapReduce的大数据处理框架。与Hadoop M叩Reduce相比，它最大的不同是将计算中间的结果存储于内 存中，而不需要存储到HDFS中。Spark的基本数据模型为RDD ( Resilient Distributed Dataset ,弹性分布式数 据集)o RDD是一个不可改变的分布式集合对象，由许多分区(partition )组成， 每个分区包含RDD的一局部数据，且每个分区可以在不同的节点上存储和计算。 在Spark中，所有的计算都是通过RDD的创立和转换来完成的。Spark S

5、treaming是在Spark Core的基础上扩展而来的，用于支持实时流式数 据的处理。如图2所示，Spark Streaming对流入的数据进行分批、转换和输出。 微批处理无法满足低延迟的要求，只能算是近实时计算。输入的数据流Spark Streaming分批的输入流分批处理后的数据图2 Spark Streaming处理模型Structured Streaming是基于Streaming SQL引擎的可扩展和容错的流式计 算引擎。如图3所示structured Streaming将流式的数据整体看成一张无界表， 将每一条流入的数据看成无界的输入表，对输入进行处理会生成结果表。生成结 果表

6、可以通过触发器来触发，目前支持的触发器都是定时触发的，整个处理类似 Spark Streaming的微批处理；从Spark 2.3开始引入持续处理。持续处理是一 种新的、处于实验状态的流式处理模型，它在Structured Streaming的基础上支持持续触发来实现低延迟。无界表DataStream图 3 Structured Streaming 处理模型FlinkFlink是对有界数据和无界数据进行有状态计算的分布式引擎，它是纯流式处理模 式。流入Flink的数据会经过预定的DAG （ Directed Acyclic Graph ,有向无环 图）节点，Flink会对这些数据进行有状态计算

7、，整个计算过程类似于管道。每个 计算节点会有本地存储，用来存储计算状态，而计算节点中的状态会在一定时间 内持久化到分布式存储，来保证流的容错，如图4所示。这种纯流式模式保证了 Flink的低延迟，使其在诸多的实时计算引擎竞争中具有优势。无界/有界输入数裾输出数据 =图4 Flink流式处理模型02Flink基本架构F面从分层角度和运行时角度来介绍Flink基本架构。其中，对于运行时Flink架构，会以1.5版本为分界线对前后版本的架构变更进行介绍。1 .分层架构Flink是分层架构的分布式计算引擎，每层的实现依赖下层提供的服务，同时提供抽象的接口和服务供上层使用。整体分层架构如图5所示。API

8、 & LibraryAPI核心部署方式DataStreamDataSet运行时本地部署集群部署云上部署CEPTableGeliyTable图5 Flink分层架构Flink ML部署：Flink支持本地运行，支持Standalone集群以及YARN、Mesos、Kubernetes管理的集群，还支持在云上运行。核心：Flink的运行时是整个引擎的核心，是分布式数据流的实现局部，实现了运 行时组件之间的通信及组件的高可用等。API : Datastream提供流式计算的API , DataSet提供批处理的API , Table和SQL AP提供对Flink流式计算和批处理的SQL的支持。Lib

9、rary :在Library层，Flink提供了复杂事件处理（CEP ）、图计算（Geliy ） 及机器学习库。2 .运行时架构Flink运行时架构经历过一次不小的演变。在Flink 1.5版本之前，运行时架构如图6所不。(Worker)(Worker)TaskManager作业状态更新统计信息与结果内存与I/O管理器(Master)图6 Flink 1.5以前版本的运行时架构Client负责编译提交的作业，生成DAG ,并向JobManager提交作业,往JobManager发送操作作业的命令。JobManager作为Flink引擎的Master角色，主要有两个功能：作业调度和检查点协调。T

10、askManager为Flink引擎的 Worker角色,是作业实际执行的地方。TaskManager通过Slot对其资源进行逻辑分割，以确定TaskManager运行的 任务数量。从Flink 1.5开始，Flink运行时有两种模式,分别是Session模式和Per-Job 模式。Session模式：在Flink 1.5之前都是Session模式，1.5及之后的版本与之前不 同的是引入了 Dispatcher., Dispatcher负责接收作业提交和持久化，生成多个 JobManager和维护Session的一些状态，如图7所示。(Worker)(Worker)(Worker)(Master)图7 Session模式Per-Job模式：该模式启动后只会运行一个作业，且集群的生命周期与作业的生 命周期息息相关，而Session模式可以有多个作业运行、多个作业共享 TaskManager资源，如图8所示。(Worker)(Worker)DataStreamTaskExecutorTaskExecutor客户端客户端(Master)图8 Per-Job模式关于 罗江宇，赵士杰，李涵淼，闵文俊，四位作者都是非常资深的Flink专家，局部作者是Flink源代码的维护者和改造者。