手把手教你获取.docx

《手把手教你获取.docx》由会员分享，可在线阅读，更多相关《手把手教你获取.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、手把手教你获取、编译和调试Flink的源代码导读：本文介绍如何导入Flink源代码，对源代码进行编译、构建及调试。01获取与导入Flink源代码1 .下载Flink源代码获取Flink源代码的方式有两种：一种是通过官网的源代码下载地址直接下载，另一种 是通过git clone的方式。1）官网下载方式下载地址为选择的Source版本下载。2 ) git clone 方式 输入git clone gitgithub :apache/flink.git命令将源代码下载到本地，如图1所示。|GCGJAJua opGCf2：0第（4丁。38330。 r8 WTB I K,OO K!BaLGWOfG： C

2、OWbLGaauG Op】GCf2： 丁00改（丁212） qOUG*LGiuofG： conufiuQ oplGCfe: jqq（J2J2）1 qoue,LGiuofG： EunwGLG“uG oplscfe: 12 qousCIOUG !O ,U，uk/$ Qff cjoug QjQjfpnp - coujzabacpGXtjJuic-ajf图1 git clone方式下载2.导入Flink源代码导入Flink源代码分成两步，分别是将Flink源代码导入IDEA和配置Flink源代码的Checkstyle。其中，配置好Flink源代码的Checkstyle是为了保证Fl ink源代码修改符

3、合Checkstyle里的规范要求。将下载好的Flink源代码导入IDEA ,流程如下。i. 启动IntelliJ IDEA并单击欢迎窗口右上角的Open按钮。ii. 在弹出窗口中选择Flink源代码的根目录。iii. 选择 Import project from external model 和 maven 项,并单击 Next 按钮。iv. 选择SDKO如果之前没有配置过SDK ,单击+ 图标，并点击JDK ,选择你的JDK的目录，然后单击OK按钮。v. 单击Next按钮完成Flink源代码的导入。vi. 在导入的工程右侧单击 MavenGenerate Sources and Updat

4、e Folders 的图标,将Flink Library构建至 Maven本地仓库。vii. 构建工程（单击Build-Make Project图标）。想对Flink进行二次开发或者为开源社区贡献代码的读者可以选择配置Checkstyle。1） Java CheckStyle 配置流程IntelliJ IDEA 通过 CheckStyle-IDEA 插件来支持 CheckStyle。在 IntelliJ IDEA 的 Plugins Marketplace 中查找并安装 CheckStyle-IDEA 插件。ii. 依次选择 SettingsToolsCheckstyle 并设置 checks

5、tyleo将 Scan Scope 设置为 Only Java sources ( including tests ) oiii. 在Checkstyle version下拉列表中选择checkstyle版本并单击Apply按钮。(注：官方推荐版本为8.12。)在Configuration File面板中单击 + 图标添加新配置：在弹窗中将Description 设置为 Flink ;选中 Use a local Checkstyle file z 并选择 Flink 源代码目 录下的 tools/maven/checkstyle.xml 文件；勾选 Store relative to pro

6、ject location选项，单击Next按钮；将的属性设置值为suppressions.xml z单击Next按钮即完成配置。vi.勾选刚刚添加的新配:Flink,以将其设置为活跃的配，依次单击Apply和0K按钮，即完成Java局部Checkstyle的配置。假设源代码违反Checkstyle规范,Checkstyle会给出警告。在 Checkstyle 构建完成后，依次选择 Settings-Editor-Code Style-Java ,并单击 齿轮图标，选择导入Flink源代码目录下的tools/maven/checkstyle.xml文件，这样 就可以自动调整import的布局了

7、。可以在Checkstyle的窗口中单击Check Module按钮扫描整个模块，以检测代码的 CheckStyle0注意：目前 Flink 源代码的 flink-core、flink-optimizer 和 flink-runtime 模块还没有 完全符合设置的Checkstyle的要求，因此在这三个模块中出现违反Checkstyle的警告是正常的。2 ) Scala Checkstyle 配置流程开启 Scala 的 CheckStyle，依次选择 SettingsEditorInspections ,再搜索 Scalastyle inspections并勾选。将Flink源代码目录下的t

8、ools/maven/scalastyle_config.xml 放置至IFlink 源代码的.idea 目录下，即完成 Scala 局部 CheckStyle 的配置。02编译与调试Flink源代码.编译与构建Flink源代码已经导入，CheckStyle也已配置好，接下来开始编译与构建Flink。在构建源代码之前，假如有修改Flink版本的需求，可以通过修改Flink源代码的 tools/change-version.sh 来实现。Flink源代码的编译与构建会因Maven版本的不同而有所差异。对于版 本、版本、版本，可以采用简单构建Flink的方式，在Flink源代码的根目 录下运行以下

9、命令。$ mvn clean install -DskipTests而对于及以上版本,那么要相对麻烦一点，在Flink源代码的根目录下运行 下面的命令。$ mvn clean install =DskipTestsTivr. c_ean i推荐使用版本,下面就依据这个版本来介绍更多的构建内容。使用如下方式快速构建Flink源代码，会跳过测试、QA插件、Java docs。$ mvn clean install -DskipTests -Dfast在构建Flink时会默认构建一个Flink特定的Hadoop 2的jar以供Flink使用HDFS 和YARNO大多数开发者有指定Hadoop版本的需

10、求（建议选择Hadoop 2.4及以上 版本）。$ mvn clean install -DskipTests -Dhadoop.version=3.22 -Dinclude-hadoop其中加上了-Dinclude-hadoop参数，这会将Hadoop的类打包到lib目录下的 flink-dist*.jar,否那么Hadoop会作为一个jar包放在opt目录下。选择合适的方式构建Flink工程会将Flink的构建放到本地Maven仓库中，并将Flink 源代码构建结果放在build-target目翦Flink源代码构建目录）下。可以将build-target 目录压缩到一个tar包，即与官网

11、一样的Flink二进制包。2. Flink源代码调试调试Flink源代码有助于我们了解源代码的执行流程和排查问题。Flink源代码调试分 为本地调试和远程调试，下面来分别介绍。1）本地调试以Flink源代码自带Streaming的WordCount为例介绍如何进行本地调试。找到Flink 源代码目录flink-examples/flink-examples-streaming的多级子目录下的 WordCount.java再选择Debug。读者可以在Flink源代码中设置断点进行跟踪调试。2）远程调试本地调试仅限于部署模式中的Local模式，对于基于Standalone, on YARN、onK

12、ubernetes的部署模式，需要使用远程调试。远程调试方式有两种：一是修改日志等级，二是修改配置来开启Java远程调试。修改日志等级翻开Flink源代码的构建目录(build-target)下的conf/log4j.properties ,根据需要 将内容中的INFO改成DEBUG ,如下所示,只是将rootLogger的赋值从INFO修改 为DEBUG0修改Iog4j.properties后构建和运行Flink,即可通过DEBUG日志进行远 程调试。#设置全局的日志等级10g4j . rootLogger=DEBUG, file1 ；：；4 j , I - I 三: k H -卜口log4

13、j . logger.org. apachelog4j . logger .org. apache .hadoop=?3B二工Nf5|Log all infos in the given filelog4j .appender.file二org.apachelog4j .ji ：i ,.i口;,log4j .appender.file.layout=org.apache.log4j . Pattern La 下10g4j.appended.file.layout.ConversionPattern=%dyyyy-MM-dd HH:mm:ss,SSS%-5p %-60c %x - %m%n lo

14、g4j .logger .org. apache .flink, . j boss. netty.channelB修改配置来开启Java远程调试首先翻开IDEA ,创立Remote项（见图2 ）并复制Remote项的Java运行参数内容, 然后修改Flink构建目录下的conf/flink-conf.yaml ,添加属性与值， 添加的内容如下：: agentlib:jdwp=transport=dt_socketserver=yJ suspend=n a Appttotioft 3 Remote手 fotxnanager TmptatMNwnt： QbnwnagerCorrflguraton

15、LogsDebugger mode: Atuch to remote JVM .Hot:PortCommand in arguments for remote JVM: agent I ib: j dwpt ransport*dt_socketf server*1Um nxxlult ciasspath： no module Before iMnch： Activate tool window图2配置远程调试中的Remote项还可以通过 env.java.opts.jobmanager 与 env.java.opts.taskmanager 来设置JobManager和TaskManager运

16、行的参数,从而设置开启远程调试。设置配基于这个构建目录运行Fl ink应用，根据运行的JobManager与TaskManager的IP修改原先配置的Remote项的host,在Flink源代码中设置断点,通过Debug配置Remote项来进行远程调试。设置 env.java.opts. env.java.opts.jobmanager 和 env.java.opts.taskmanager 的方 法在on Kubernetes模式下很适用，因为Flink运行的各个组件的IP不同。其他模式 存在运行组件与IP、调试端口相同的问题，对于这种情况可以考虑采用修改日志等级的 方式。通过学习Flink源代码的编译与构建，我们知道如何根据需要构建一个Flink发布包。通过学习Flink源代码的调试，我们对源代码的调试有了更深的了解，为后续理解源代 码和排查源代码问题打下了基础。