信托核心业务系统 Kubernetes 落地实践.docx

《信托核心业务系统 Kubernetes 落地实践.docx》由会员分享，可在线阅读，更多相关《信托核心业务系统 Kubernetes 落地实践.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信托核心业务系统 Kubernetes 落地实践一、项目背景华能信托新一代信托综合业务系统是华能信托借助移动互联、大数据、人工智能等金融科技，实现信托项目全生命周期的智能化管理系统，有效提升了其在投前、投后的管理水平，增强了风险防控能力，提高了工作效率，极大增强了专业服务能力。在业务层面，系统将大量需要录入的信息从历史项目复制过来，使业务人员从重复性的工作中释放出来，使员工工作效率提升了50%左右。在数据标准化层面，系统能直接满足监管报送要求，把各个监管机构要求的对应信息从系统层面在项目建设伊始就已经融入整个系统中，实现监管报送无缝支持。在公司战略层面，系统提供了准确、全面的业务数据，为高层领

2、导决策分析、公司战略发展提供数据支撑。新一代信托综合业务系统采用比较先进的基础架构，整合了信托日常工作中常用的业务，包括对第三方的产品和服务进行整合，实现了以客户为中心，提供包含信托业务展业平台、TA资金平台、销售管理平台、信托综合业务管理，以及与第三方系统的交互，包括信托财务的核算模块、监管报送、老系统的数据迁移等。新一代信托综合业务系统包含了华能信托最重要的一些业务，对系统的稳定性、安全性、可靠性和快速介入有较高的要求，要求724小时不间断运行。要建立长期稳定可靠高速接入的环境，现有的基础平台无法满足需求。基于此，华能信托从2019年开始组织内部员工进行K8s的调研和学习，并组织通过CKA

3、考试；2020年9月，搭建了K8s的测试环境，并把部分业务迁到K8s的集群上进行验证；2021年3月，完成了K8s开发环境的搭建和核心业务的整体迁移；2021年9月，测试环境全部迁移到K8s集群中；截至2022年9月底，测试系统已稳定运行一年，后续，核心系统生产业务也将陆续迁移至K8s生产集群，计划2022年10月以后投产。二、核心业务系统华能信托核心业务系统是一个全流程管理的平台，打通前台、中台、后台业务流程，可实现从前端业务部门的申请提交，到领导审批、财务审批，再到最终的核算及监管报送的流程化管理。核心业务系统与其他部门系统及第三方系统进行了集成，包括OA、家族信托系统、资产证券化系统、自

4、动生成凭证、恒生估值系统等，。此外，该系统也对接了短信平台、邮件平台和电子签章，实现了线上合同的电子签约；与各个银行对接，实现线上划款；与增值税开票系统对接，实现了发票的自动开票及电子票的推送。在整体架构方面，核心业务系统包括五个部分：一是业务流程处理平台，包括信托项目的全生命周期管理、资金运用管理和季度结息等功能，可以完成数据录入、系统自动结息，全面实现自动化管理。二是TA销售管理平台，可实现资金端的全生命周期管理和银行代销数据的管理。三是财务会计平台，通过对信托财务模块进行重构，将相关功能集成到业务系统中，包括核算管理、核算场景设置和年终收益结转等功能。四是一体化监管报送平台，内置了人民银

5、行、银保监会、中信登等10余个报送模块，在核心业务系统进行统一管理。五是第三方交互平台，具备外联接口监控和监控报警功能。在技术架构方面，核心业务系统主要包括项目立项、审议、实施、中后期管理、项目清算、代销及委托端管理。信托管理的子业务系统中包含了信财管理，即上文提到的财务模块，其中有风控决策子系统，以及其他的总部业务管理系统。华能信托打通了新核心业务系统与旧系统，通过ETL工具将旧系统的数据迁移到新系统，底层技术支撑包括流程引擎、规则引擎、基于ClickHouse开发的大数据平台、基于方案报表开发的内部报表平台、SpringBoot和Kettle工具等，同时还搭建了内部的大数据平台及报表展示平

6、台。在微服务架构方面，核心业务系统前端使用Keepalived，可实现集群负载均衡的管理，并能够实现动态负载；中间层为从Nginx到前端的SpringCloudZuul的网关，网关对接的是后端各个资金项目、资产、结息、财务、TA、家族、ABS等微应用；底层包括基础服务、流程服务、引擎组件，以及对外提供的OPENAPI应用；数据库包括Redis、RabbitMQCluster、MinIO、MySQL等。同时，这些微应用也通过ELK进行日志收集，包括Zipkin的链路追踪，实现了统一微服务治理。三、K8s容器管理平台华能信托搭建了三套K8s集群，包括开发环境、测试环境和生产环境。K8s架构如图1所

7、示。图1 K8s容器管理平台华能信托核心业务系统基于K8s，前端通过AD进行负载到达Nginx Keepalived，然后将流量引导到K8s中Zuul网关，调到Eureka注册中心，从注册中心获取微服务的后端微应用接口，完成整个业务流程。华能信托通过应用集群、微服务架构，通过Spring Security Oauth2的服务，包括统一的日志收集，对接的第三方对象存储，Redis、ES等检索工具，xxl-job的分布式任务调度，以及整个底层和业务系统适用的MySQL数据库（目前是三个节点“主主从”模式，从库是实现报表展示），完成开发业务流程。目前，生产环境的一个集群有22个节点，包括3个Mast

8、er节点和19个物理节点。其中，3个Master节点放到了SmartX的虚拟化平台上面，其他19个物理节点通过物理机构建。测试环境的一个集群有27个微服务，默认为两副本，跑了54个容器，可从注册中心获取微服务的以监控整个测试环境的资源利用情况。四、DevOps流水线华能信托的DevOps流水线具体流程是：首先，从GitLab上面拉代码执行单元测试、代码扫描；其次，构建推送到Harbor镜像仓库，发布到开发环境的K8s集群；再次，开发验证通过后提交代码到根GitLab上，合并到测试分支后再提交到测试环境；最后，测试人员进行测试，在测试通过后把代码合并到生产分支，再进行发布。在DevOps开发平台

9、（如图2所示）中，开发人员只需在GitLab上修改参数，即可实现代码从发布至虚拟机到自动发布至K8s集群上的转变。同时，K8s集群既支持直接从源码构建，也支持从外部拉取已编译好的二进制镜像进行发布。目前，K8s集群还缺少单元测试，尚处于初级阶段，后续将借助自动化工具实现自动化测试，提升程序的健壮性。图2 DevOps开发平台开发人员提交代码到GitLab，然后Jenkins从git上拉取代码，编译成Docker镜像，提交到Docker仓库，再通过Jenkins执行命令，在K8s集群上拉取镜像进行发布。DevOps开发平台包含开发、测试、生产三套集群，所有业务系统均集中在这三套集群中，开发和测试

10、人员可通过系统直接访问。五、可视化运维与监控华能信托的开发人员通过Jenkins构建代码并将其发布到K8s。和传统运维不同，在实现流程自动化之后，如果中间环节出现问题很难定位，所以监控就比较重要。目前，Jenkins自带的编译工具在每一步都有完整的日志记录，可直接使用Jenkins默认的内部记录编译日志进行问题查询。除了Jenkins编译，华能信托还构建了K8s监控集群，对整个集群的CPU、内存、存储和容器进行整体监控，包括etcd，整个集群健康的状态能够通过可视化界面呈现出来，如资源、API的调度情况等（如图3所示）。图3 可视化运维与监控架构此外，华能信托还在K8s集群上部署了一个Kube

11、Sphere，在实现对整个K8s集群进行监控的同时，还可对线上人员的权限进行管理。除了监控集群状态，KubeSphere还能对Node节点的状态进行监控，在可视化界面完整展示所有节点的状态，包括CPU、内存、磁盘Node数、负载数量等，在出现问题时能够及时告警；对容器的监控包括容器的运行状况、资源利用情况以及历史情况。KubeSphere对整个集群的监控依赖于K8s，如果K8s本身出现问题将导致监控失效。因此，在K8s外层，华能信托引入了Zabbix，对节点以及K8s整个集群状态进行监控，如果K8s的整体集群没有问题，可以通过K8s里的监控来掌握集群、Node节点以及容器的状态。如果K8s集群出现问题，可以通过外部的Zabbix进行监控，达到类似灾备的效果。11