DSF分布式服务框架设计.pptx

《DSF分布式服务框架设计.pptx》由会员分享，可在线阅读，更多相关《DSF分布式服务框架设计.pptx（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、目录DSF产生背景DSF介绍服务治理实践第1页/共17页背景 统一服务框架多服务框架：58同城RPC框架、Dubbo框架、维护成本高 统一服务治理注册中心、监控、流控、调用跟踪第2页/共17页DSF介绍 RPC框架核心流程Service网络通讯(send、receive)ClientRetObj retObj=proxy.fun(a,b)接口代理序列化协议接口实现(线程池中调用真实服务)协议网络通讯2.入参对象序列化5.从协议包中获取结果对象流1.创建服务代理对象6.反序列化为结果对象协议包 数据流1.接收协议包数据 交给协议层处理2.从协议包中获取接口签名和入参对象流3.反序列化为入参对象4

2、.返回服务结果对象序列化5.结果对象序列化3.将协议版本,协议类型,序列化方式,序列化结果对象流等,组成一个协议包,交给通讯层3.将协议版本,协议类型,序列化方式,方法签名,入参对象流等,4.接收协议包数据 组成一个协议包,交给通讯层发送交给协议层处理第3页/共17页DSF介绍 整体架构DSF ClientJava动态代理负载均衡网络通讯上下文管理DSF序列化DSF协议DSF Server(容器)网络通讯过滤器异步处理监控权限Dtracker pluginDSF注册中心DSF服务治理管理平台第4页/共17页DSF介绍 协议版本号协议总长度请求上下文编号消息类型(Request,Response

3、,Exception,Reboot)序列化方式(同城,DSF,Hession)压缩算法加解密算法消息体定长包头(公共属性)+变长包体(业务扩展)第5页/共17页DSF介绍 序列化四元组(参考BER(basic encoding rules):类型、对象总字节长度、对象属性序号、对象属性值序号sortid属性值Int num;112序号sortidInt age;223Element(自 定 义 Class类)TypeIdLength15序号sortidString name;5673“张 三”589ListtypeidListsizeelement1sortid=1sortid=2Int nu

4、m;Int age;String name;sortid=32typeid lengthelement2lengthsortid=1sortid=2Int num;Int age;typeidList对象序列化样例:第6页/共17页DSF介绍 跨语言、跨平台客户端Java客户端DSF序列化DSF协议C&C+客户端DSF序列化DSF协议TCP长连接服务端(Java DSF容器)DSF序列化DSF协议客户端、服务端，使用相同的序列化 和 协议第7页/共17页DSF介绍 高可用服务多节点部署 健康检查过载丢弃(请求阈值)服务平滑重启 降级处理客户端重试机制&故障转移客户端超时处理第8页/共17页DS

5、F介绍 负载均衡静态权重配置；服务节点动态请求超时权重调整；安全性IP黑白名单 方法调用授权 服务分组第9页/共17页DSF介绍 易用性 运维部署bin(启动脚本，全局配置文件)|dsf(启动脚本)|dsf_config.xml|dsf_log4j.xmlREADME(相关说明)docs(文档)log(日 志 文 件)lib(DSF容器自身依赖的jar)service|lib(服务依赖的公共jar)|deploy(DSF服务部署目录)|paycenter(支付中心服务)|paycenter.1.0.0.jar|dsf_config.xml|dsf_log4j.xml|order(订单服务)|o

6、rder.1.0.0.jar|dsf_config.xml|dsf_log4j.xml第10页/共17页DSF介绍 易用性 实时监控count|second num|method methodName*show method call times in num seconds*second:in num seconds statistics once(numdefault 1)*method:for statistics method*example:count*example:count|second 3|method getInfotime|grep abc|column tkda*sho

7、w method execute time*grep:condition*column:show column aall ttime kkey ddescription*example:time|grep getInfo*example:time|grep getInfo|column tkhelp*show helpquit*quit monitorjvm option time count*option:*gcutil:detection heap memory usage*class:load class*gcheap:heap memory used and committed*mem

8、ory:JVM memory used*heap :Virtual Machineheap memory used*noheap:Virtual Machine noheap memoryused*thread:thread counts*time:time milliseconds apart test again*count:detection count times*example:jvm gcutil*example:jvm gcutil 1000*example:jvm gcutil 1000 5exec|top|netstat na*exec command(at present

9、only allow:top or netstat)*example:exec|top第11页/共17页DSF介绍 易用性 开发简单服务端(接口定义、接口实现、序列化实体类)客户端(配置加载、创建客户端代理、调用远程接口)第12页/共17页服务治理 注册中心3 notify2 subscribe1 registerRegistry ClusterClientServer4 invokeServer node config 发布&订阅 机制服务增、删节点，对服务消费方透明；方便做分组管理和安全策略；服务健康状况监测TCP长连接、心跳监测；高可用注册中心HA；客户端本地配置第13页/共17页服务治

10、理 流控阈值告警，超过流控阈值80%；波动告警；手动快速扩容(自动扩容)；流控阈值在线调整，实时生效；第14页/共17页服务治理 调用跟踪系统(Dtracker)基于日志的分布式调用跟踪系统web框架service框架cache客户端Dbtool日志收集平台日志组件日志组件日志组件日志组件调用信息traceid,spanId,IP地址,系统类型,URL或接口,执行耗时.调用信息调用信息息调用信kafkaHDSFES调用链Web后台第15页/共17页服务治理 调用跟踪系统(Dtracker)机器2机器Iwebapplicationtraceid:”unique_id”spanId:”0”serv

11、iceAProxyspanId:”0.1”serviceBProxyspanId:”0.2”serviceCProxyspanId:”0.3”ServiceAtraceid:”unique_id”spanId:”0.1.1traceid:unique_id”spanId:”0.1CacheClienttraceid:”unique_id”spanId:”0.1.1.1DBtool访问表1 traceid:”unique_id”spanId:”0.1.1.2DBtool访问表2traceid:”unique_id”spanId:”0.1.1.3CacheDB Traceid全局串联请求调用；spanId描述调用层级关系；traceid、spanId的透传；数据采集：全量或 采样第16页/共17页感谢您的欣赏！第17页/共17页