skywalking链路监控8.1.0集群安装及性能测试.docx

《skywalking链路监控8.1.0集群安装及性能测试.docx》由会员分享，可在线阅读，更多相关《skywalking链路监控8.1.0集群安装及性能测试.docx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、skywalking链路监控8.1.0集群安装及性能测试kywalking链路监控1、 kywalking ,概述请求链路追踪，故障快速定位：可以通过调用链结合业务日志快速定位错误信息。可视化：各个阶段耗时，进行性能分析。依赖优化：各个调用环节的可用性、梳理服务依赖关系以及优化。数据分析，优化链路：可以得到用户的行为路径，汇总分析应用在很多业务场景1.1 系统概述APM (Application Performance Management) 即应用性能管理系统，是对企业系统即时监控以实现 对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理，主要指对企业的关键业务应用进 行监测、优化

2、，提高企业应用的可靠性和质量，保证用户得到良好的服务，降低IT总拥有成本。APM系统是可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能够快速定位和解决问题。1.2 分 布式链路追踪随着分布式系统和微服务架构的出现，一次用户的请求会经过多个系统，不同服务之间的调用关系十分 复杂，任何一个系统出错都可能影响整个请求的处理结果。以往的监控系统往往只能知道单个系统的健 康状况、一次请求的成功失败，无法快速定位失败的根本原因。1 .主流的开源产品SkyWalkingSkyWalking是apache基金会下面的一个开源APM项目，为微服务架构和云原生架构系统设计。它通过探针自动收集所

3、需的指标，并进行 分布式追踪。通过这些调用链路以及指标，Skywalking APM会感知应用间关系和服务间关系，并进行相应的指标统计。Skywalking支持 链路追踪和监控应用组件基本涵盖ZipkinZipkin是由Twitter开源，是分布式链路调用监控系统，聚合各业务系统调用延迟数据，达到链路调用监控跟踪。Zipkin基于Google的 Dapper论文实现，主要完成数据的收集、存储、搜索与界面展示。PinPointPinpoint是由一个韩国团队实现并开源，针对Java编写的大规模分布式系统设计，通过JavaAgent的机制做字节代码植入，实现加入 traceid和获取性能数据的目的

4、，对应用代码零侵入。CATCAT是由大众点评开源的项目，基于Java开发的实时应用监控平台，包括实时应用监控，业务监控，可以提供十几张报表展示。2 kywalking 原理.1 a a原理n使用Skywalking去监控服务，需要在其VM参数中添加“-2.1.1、 Java agent 是什么？Java agent是java命令的一个参数。参数javaagent可以用于指定一个jar包。1 .这个jar包的MANIFEST.MF文件必须指定Premain-Class项。2 . Premain-Class指定的那个类必须实现premain()方法。当Java虚拟机启动时，在执行main函数之前，

5、JVM会先运行-javaagent所指定jar包内Premain- Class这个类的premain方法。2.1.2、 如何使用java agent?使用java agent需要几个步骤：1,定义一个 MANIFEST.MF 文件，必须包含 Premain-Class 选项，通常也会加入Can-Rfidee- Classes 和 Can-Retransform- Classes 选项。2 .创建一个Premain-Class指定的类，类中包含premain方法，方法逻辑由用户自己确定。3 . 将 premain 的类和 MANIFEST.MF 文件打成 jar 包。4 .使用参数-javaag

6、ent: jar包路径启动要代理的方法。*示例代码*import net.bytebuddy.agent.builder.AgentBuilder;import net.bytebuddy.description.method.MethodDescription;import net.bytebuddy.description.type.TypeDescription;import net.bytebuddy.dynamic.DynamicType;import net.bytebuddy.implementation.MethodDelegation;import net.bytebuddy

7、.matcher.ElementMatchers;import net.bytebuddy.utility.JavaModule;import java.lang.instrument.Instrumentation;public class PreMainAgent public static void premain(String agentArgs, Instrumentation inst) 方法执行System.out.println(agentArgs);类中提供两个静态方法，方法名均为premain,不能拼错 在pom文件中添加打包插件maven-assembly-pluginf

8、alsejar-with-dependenciestruePreMainAgentPreMainAgenttruetruemake-assemblypackagesingle 该插件会在自动生成META-INF/MANIFEST.MF文件时，帮我们添加agent相关的配置信息。使用maven的package命令进行打包：2.1.3、统计方法调用时间Skywalking中对每个调用的时长都进行了统计，使用ByteBuddy和Java agent技术来统计方法的调用时长。Byte Buddy是开源的、基于Apache 2.0许可证的库，它致力于解决字节码操作和instrumentation API

9、的复杂性。Byte Buddy所声称的 目标是将显式的字节码操作隐藏在一个类型安全的领域特定语言背后。通过使用Byte Buddy,任何熟悉Java编程语言的人都有望非常容易 地进行字节码操作。Byte Buddy提供了额外的API来生成Java agent,可以轻松的增强我们已有的代码。添加依赖：net.bytebuddybyte-buddynet.bytebuddybyte-buddy-agent修改PreMainAgent代码public class PreMainAgent public static void premain(String agentArgs, Instrumenta

10、tion inst) 创建一个转换器，转换器可以修改类的实现/ByteBuddy对java agent提供了转换器的实现，直接使用即可AgentBuilder.Transformer transformer = new AgentBuilder.Transformer() public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModu le javaModule) return builder/

11、拦截任意方法.method(ElementMatchers.any()/拦截到的方法委托给TimeInterceptor.intercept(MethodDelegation.to(MyInterceptor.class); ;new AgentBuilder / Byte Buddy专门有个 AgentBuilder 来处理 Java Agent 的场景 .Default。/根据包名前缀拦截类/拦截到的类由transformer处理.transform(transformer).installOn(inst);先生成一个转换器，ByteBuddy提供了java agent专用的转换器。通过实

12、现Transformer接口利用builder对象来创建一个转换器。转换器 可以配置拦截方法的格式，比如用名称，本例中拦截所有方法，并定义一个拦截器类Mylnterceptor。public class MyInterceptor RuntimeTypepublic static Object intercept(Origin Method method, SuperCall Callable callable) throws Exception long start = System.currentTimeMillis();try /执行原方法return callable.call();

13、finally , , /打印调用时长MyInterceptor就是一个拦截器的实现，统计的调用的时长。参数中的method是反射出的方法对象，而callable就是调用对象，可以通过 callable.callO方法来执行原方法。3、Skywalking 环境搭建3.1 软件准备软件包版本已经上传140Gitlabapache-skywalking-apm-8.1.0.tar.gzhttp:/39.100.254.140:12011/loit-Infrastructure-doc/loit-initproject-doc/tree/master/3%E3%80%81other/%E9%9B%

14、86%E6%88%90loit%E9%97%A8%E6%88 %B7/skywalking/8.1.0/apache-skywalking-apm-8.1.0.tar.gz将以上三个软件包上传至服务器/usr/local/src/路径下3.2 安装Skywalking服务端解压安装包cd /usr/local/srctar -zxvf apache-skywalking-apm-8.1.0.tar.gzmv apache-skywalking-apm-bin skywalkingmv skywalking/ /usr/local/修改配置文件vim /usr/local/skywalking/

15、config/application.yml1、其中修改：selector与clusterNodesstorage:selector: $SW_STORAGE:elasticsearchelasticsearch:clusterNodes: $SW_STORAGE_ES_CLUSTER_NODES:172.16.203.79:9200,172.16.203.78:9200,172.16.203.79:92002、其中gRPCHost改成本机服务器IPcore:selector: $SW_CORE:defaultdefault:gRPCHost: $SW_CORE_GRPC_HOST:172.1

16、6.203.772、其中存储为esstorage:selector: $SW_STORAGE:elasticsearchelasticsearch:clusterNodes: $SW_STORAGE_ES_CLUSTER_NODES:172.16.203.77:9200,172.16.203.78:9200,172.16.203.79:9200collector 集群分别在一下3台服务器启动collector :172.16.203.76172.16.203.77 172.16.203.78cd /usr/local/skywalking/bin/sh oapService.shdashboa

17、rd配置及启动在其中一台172.16.203.76配置及其启动vim /usr/local/skywalking/webapp/webapp.yml修改端口号server.port与listOfServers （根据实际情况修改）server:port: 8051collector:path: /graphqlribbon:ReadTimeout: 10000# Point to all backends restHost:restPort, split by ,listOfServers: 172.16.203.76:12800,172.16.203.77:12800,172.16.203.

18、78:12800启动dashboard:cd /usr/local/skywalking/bin/sh webappService.sh服务端产生的日志路径/usr/local/skywalking/logs停止skywalking# 关闭 skywalking webps -ef|grep skywalking-webappkill -9 pid注意skywalking默认会使用(8080, 10800, 11800, 12800)端口，前面已经把8080修改为80513.3 安装Skywalking agent 端实际开发时候，每一个jar包获取应用都应该单独使用一个agent,所以将ag

19、ent这个目录拷贝到各自对应的上包路径下。核心部分的目录信息如下：|activations|config| 1agent.config| logs| 1skywalking-api.log|optional-plugins|plugins1skywalking-agent.jar上传skywalking并解压cd /usr/local/srctar -zxvf apache-skywalking-apm-8.1.0.tar.gzmv apache-skywalking-apm-bin skywalkingmv skywalking/ /usr/local/添加gateway plugin 插件

20、cd /usr/local/skywalking/agent/optional-pluginscp apm-spring-cloud-gateway-2.0.x-plugin-8.1.0.jar /usr/local/skywalking/agent/plugins/设置好参数后，对于Java应用，添加核心的-javaagent进行启动-javaagent:/usr/local/skywalking/agent/skywalking-agent.jar -Dskywalking.agent.service_name=loit-gateway -Dskywalking.collector.bac

21、kend_service=172.1 6.203.76:11800,172.16.203.77:11800,172.16.203.78:11800示例启动脚本如下：nohup /usr/local/java/jdk1.8/bin/java -javaagent:/usr/local/skywalking/agent/skywalking-agent.jar -Dskywalking.agent.service_name=loit-gateway -Dskywalki ng.collector.backend_service=172.16.203.76:11800,172.16.203.77:1

22、1800,172.16.203.78:11800 -Xms512m -Xmx512m -XX:PermSize=128M -XX:MaxPer mSize=256M -jar -Dlogging.config=/home/soft/loit-gateway-7001/logback-dev.xml -Dlogging.path=/home/soft/loit-gateway-7001/logs $KILL_PROCESS_NA ME -spring.config.location=file:./application-test7001.yml &4、Skywalking 性能测试测试包含一些几

23、点内容1、测试使用skywalking前后的cpu、内存、磁盘、QPS变化情况2、Skywalking挂掉后对微服务的影响3、链路监控日志增长情况4、Skywalking重启后是否可以继续收集链路日志（客户端不重启）5、高并发、长时间压测微服务，skywalking是否能正常使用4.1 测试环境准备服务端IP如下http:/121.196.16.86:8051客户端服务器IP如下：172.16.203.77172.16.203.78172.16.203.79三台服务器都按照3.3安装Skywalking agent端安装客户端。三台服务器都启动gateway （其中 deploy-gatewa

24、y-sky-7001.sh 为带skywalking脚本，deploy-gateway-7001.sh 为无skywalking启 动脚本）cd /home/soft/loit-gateway-7001/sh deploy-gateway-sky-7001 .sh三台启动portal（其中 deploy-portal-sky-7005.sh 为带skywalking脚本，deploy-portal-7005.s 为无skywalking启动脚本）cd /home/soft/portal-7005/sh deploy-portal-sky-7005.sh4.2 过程测试4.2.1 性能影响测试

25、：在172.16.203.77服务器上运行wrk进行测试 :分别测试使用skywalking前后变化情况，发连接数分别测试500、1000、5000 :测悯指标比对使用skywalking前后的QPS、内存、cpu、磁盘空间变化情况wrk -t30 -c500 -d30s http:/172.16.203.78/test/json冈500并发（无链路监控）| PIDUSERPRMIVIRTRESSHRSCPLTIME十COMMAND325G2roc-t260637736482960B14688S668.92.511:12,22javaB151roc-t260BS594662.5g6740525

26、.27.9J393:47java2257rootie-1015204833320450BS130,1466: .8,0SAliYunDun2GE4root26Q149586B4050S456 aeS3.7.231:39.57node7955roc-t26G7964b641.3g6452S0.71.155:62,43java发岫rroat2606439140993.5m15688S9.73.131:仙吕6javaroc-t26079646641.3g6604S0.74.299:47,96java3root2800B0Rft.3a.a5 324:40.54ksaftirqd/013363root2

27、6O13.6gi-7g6928S0.3164:27.76java32058roc-t26G16417161721642B60S0.3d.565:24.-10co dis - proxyroot?iZbpl2plbi27iii4rkrqor65Z l.oit-gateway-7001wrk - t3B -c5fl6 -d3&s h Itp:/172.16.203.78:70Gl/test/ json Running 36s test http :/172.16.2O3.70z7(JOl/+e5t7 jsonMax +/- StdOV 99.48ms06.642.57k di.403。 threa

28、ds and 500 connectionsThraad StatsStd&vLatency 17.27ms8. Ei3m5Req/Sec 0.96k87.5Z857190 requests Ln 30.09s p 118,53阳 readRem十_4R7 UR“ 8核CPU使用668.9%,内存使用2.5% , QPS 为 28482.96,平均延迟为17.27ms 冈1000并发（无链路监控）| PIDUSERPRN1VIRTRESSHRMPU%HEHTIME+COMMAND32502root2D663742B0B2B94414 OS 4s662.12.55:56.12java3151ro

29、ot2080504602.5g6740s15.97.93393:30java2257root10-1615204333320450351.30.1456:57.SBALiYunDuni2684root20G14948444Q424B56635C；1.231:39,39node13363root20013.6g1.7g692SS0.75.31&4:27.37java22687root2066189440993.5m15688S0.73.131:44,18java3root20G009S0.30.024:48,61ksoftirqd/O9root2flGQ0Qs6.30.643:11.27rcu_

30、sched7955root2067964664L3g6452s0.34.155:02,03java27495root20G79&K641.3g660450.34.299:17,53java31975root20e153+321344ft796sG,30.G3B:52.54codis-server1 rool2D K_0a-19125629751340s-a-e.a4Sk-0.0E4_5:43.54一1m y_systemd E_3_1raDtiZbpl2plbi27mJ1 rkrqar65Z Icit gateway - 700111# wrk 139 c l&OG -d30s http:7/

31、172.16.283.78 :7(J01/test/j son tinning 3&s tost 世 http;/172.16.2E3.7B:7001/test/json30 threads snd 1000 conF,actinnsI - read Stats Aug Stdev Max +/- StdevLatency 38.14ms J h,67ms 35%.21gSI.39%Req/Sec G_88k163.933.27k 的.8鹃791188 requests In 30.16s, 109.45MB read总q-mst5/sE： 26296.378核CPU使用662.1%,内存使用

32、2.5% , QPS 为 26296.37平均延迟为38.14ms冈5000并发（无链路监控）1 proUSERPRNIVIRTRESEHRSQU席MEMTIKE+COMMAND32502root20日63698&0818872140BOs&46.82.51：WL67java8151root20060594602.5g6740s26.97.93393:19java2257root10-10L5264g3332045G8s1.70.1466:57,22AliYunDun13363root20012 .&gL.7g6928s1.05.3164:27,10java27495root290796466

33、4l-9g6604s0.74.299:47,33java32716rnot?09L62e?ft23321620Re.7a.e0:06.04top2684root20014913324B37965608Se.3L.231:30,12node7955root2907964664L.Jg6452sC.3i.i55:81,02java22687root20064S944D993.5m15688sB.3W J31:43.94java31975root200L5343213440796s0.338:52,48codis -so rvor319B&root20DL4933611328772sB.329:37

34、,67codis - se rverroot20019125629761340sC.Oa.E5二4入53systemd2root200000sB.O0.Be：oo.eikthreaddLCC*rmnnnncn nn. nHA - AC L.Lqc-F* keZ J。!Lroot. Zbpl2plbi27Mrkrqort5Z Ioit-gateway-7B&1# wrk -t38 -c&BBfl -d30s http: /172-1&.203.78： 7001/test/jsonRunning 30s test 但 http; /172.16.203.78:706l/l&st/json3U th

35、reads and 5006 connertinnsTh read StatsAvgStdevMax+/- StdevLatency213.71ms116.29ms2.00s7E.64%Req/Sec737.23151.168.45kT&.54%536555 requests Ln Sfl . 09s , 74-2(3陶 readSocket errors: connect 9,read 181, write 9,timeout 2853FLequest0sel :17829.7&-8核CPU使用646.1%,内存使用2.5% , QPS 为 17829.78平均延迟为21平71ms冈 500

36、 并发(skywalking)rootaiZbpl2p-Lbi27m4rkrqarC5Z lolt-gataway-7001# wrk -t30 -c506 -d30s hltp:/172.16.203.7G: 7001/test/ J son Running 30s test 13 http:/172.16.20J.70:/OOl/test/json3B threads and 500 connectionsTn read Stats Avg Stdev Max +/- StdevLatency 20.48ms9.96ms 105.64msH5,4蕤Req/SHC 801 ,12107.71

37、91.1 鸣713376 requests in 30.LOs, 99.34PE raadO m. I C L L_F L C- C 4 仃白 TA T QPS 为 23867.47平均延迟为20.48ms冈 1000 并发(skywalking)L I UKJ L归-LLU JLE / HIT I I qU I UJJ LUJLL 切 GILkVVCiy / W X J Wrooti3iZbpl2plbi27m4rkrqor65Z loit-gateway-7001# wrk -t30 -clOOO -dJOs http:/172.16.203.78:7001/test/jsonRunnin

38、g 30s test http:/172.16.293.78:7001/test/json30 threads and 1000 connectionsTh read Stats AvgLatency 45.82msReq/Sec 743.65Stdev Max22.00ms 486.56ms106.894.19k+/- Stdev88.50%87.89%663809 requests in 30.10s, 91.79MB readRequests/sec: 22053.67 QPS 为 22053.67口平均延迟为45.82ms冈 5000 并发(skywalking)|_ I W U* L

39、 亡 4Illi I II W. II U IW W JL J It.rootiZbpl2plbi27m4rkrqor65Z loit-gateway-7001# wrk -t30Running 30s test http:/172.16.203.78:7001/test/json30 threads and 5000 connections-c5000 -d30s http:/172.16.203.78:7001/test/jsonTh read Stats Avg Stdev MaxLatency248.63ms 130.31ms2.00sReq/Sec576.00438.697.88k4

40、57760 requests in 30.10s, 63.30MB readSocket errors: connect 0, read 0, writeRequests/sec:15207.78+/- Stdev 70.69% 79.43%0, timeout 2929 QPS 为 15207.78平均延迟为248.63ms冈 500 并发(停止skywalking server)PSUSERPRN工VI RTRE 3SHR S赋PUV1EMEE+COMMAND31313root20064990408818521&240 S644.fi2.721：36.75javaG151root200805946G2-gB740 S2ft.77.93399:37J sv a2257root10-10152048333201508 S1.70.1466:49,79AllYunDun1J363root200U.&gL.7g&928 Sl.G5.J164:23,59java27495root200