从离线到实时对客湖仓一体释放全量数据价值.docx

《从离线到实时对客湖仓一体释放全量数据价值.docx》由会员分享，可在线阅读，更多相关《从离线到实时对客湖仓一体释放全量数据价值.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、从离线到实时对客，湖仓一体释放全量数据价值十年聚焦，力出一孔。成立10周年之际，巨杉数据库在线召开新品发布会，基于10年的技术积累及对市场的深刻洞察，发布基于湖仓一体架构的SequoiaDB全新版本，进一步诠释了“释放全量数据价值”的价值主张。面向数字时代，新版SequoiaDB围绕金融业务的实时性需求，全面提升结构化查询分析、非结构化存取、性能监控故障诊断及数据全生命周期管理等四大能力，致力于实现全量数据从“内部离线”向“实时对客”的价值提升。发布会上，赛迪咨询深度解读了湖仓一体技术研究报告，并将湖仓一体技术定义为未来重要的发展趋势之一。一、引入“双核心”技术，实时获取全量数据伴随数字化转型

2、的持续深入，金融机构不但要重构面向业务领域的“交易核心”，更需要打造面向数据价值的“数据核心”，并由此形成“双核心”处理模式。其中，“交易核心”针对交易系统问题，由渠道、产品、客户、核算、清算等组成了业务闭环，而交易过程产生的海量流水数据则成为“数据核心”的生产要素。“数据核心”聚焦数据的采集、整理、聚合、运用等问题，能够为“交易核心”提供实时、跨业务的全量数据以及基于数据的决策依据，进而实现数据价值的全量释放。“双核心”逻辑架构如图1所示。图1 “双核心”逻辑架构在此过程中，“实时”是释放全量数据价值的关键。自成立之初，巨杉数据库即将“数据资源”视为促进社会发展的关键要素，倾力打造面向全量数

3、据的实时对客及高并发处理能力。传统模式下，面向“交易核心”的数据库因架构及技术方面的限制，通常仅能服务于指定的业务系统，且无法处理全量数据；与之相比，以Hadoop为代表的大数据产品虽然可以存放全量数据，但无法提供实时处理能力，因此，两者皆无法满足全量数据实时对客服务的发展需求。针对上述挑战，巨杉数据库毅然开启了自研原生分布式数据库内核的发展道路，从多模数据湖、实时数据湖到湖仓一体，坚持为企业用户提供构建“数据核心”所需的全量数据存储、实时对客服务及基于统一数据源的分析能力，以充分激活离线数据价值。二、提升四大特性，释放全量数据价值为实现全量数据价值从“内部离线”到“实时对客”的进一步释放，巨

4、杉数据库在基于湖仓一体架构的SequoiaDB v5.2版本中进行了多项更新，并重点实现了四大实时特性的能力提升(如图2所示)。图2 SequoiaDB v5.2版本四大实时特性一是查询更实时，所有数据均可毫秒级访问。面向结构化数据，SequoiaDB v5.2版本采用Join优化及列存微分区技术，在查询场景下实现了毫秒级实时返回，而且在分析场景中，其性能更是提升了10倍以上，从而使数据湖查询分析变得更加实时。二是存取更实时，吞吐量提升30%以上。面向非结构化数据，SequoiaDB v5.2版本引入“分片并发”及“可变分区大小”等技术，使吞吐量较前一版本提升30%以上，从而使数据湖的非结构化

5、数据存取变得更加实时。三是诊断更实时，业务问题分钟级定位。凭借SAC运维管理工具的全新特性，SequoiaDB v5.2版本在运行监控方面实现了全GUI的性能及故障分析能力，且SAC基于分布式架构的实时诊断功能，可实现业务问题分钟级定位。四是全量数据生命周期管理，提升人效及能效。部署架构方面，SequoiaDB v5.2版本支持多配置硬件的混合部署、按需调度，并横跨结构化、非结构化数据，提供了一体化开发及管理能力，从而在成本可控的前提下，实现全量数据的实时可用。三、聚焦应用创新，助推技术迭代在深耕第三代分布式数据库技术的过程中，巨杉数据库面向多模、实时、分析等应用需求，坚持与上下游合作伙伴合力

6、驱动数字化业务创新，释放全量数据价值。相较而言，最早诞生的第一代数据库主要以网格型、层次型数据库为代表，至今也有不少企业依然在使用，此后的第二代数据库则是以处理交易核心业务的关系型数据库为代表，是当前业界的主流应用。但是，第一代、第二代数据库大多基于集中式架构设计，难以对业务流水、用户过程数据等全量数据进行保存沉淀，不仅需要将全量数据异步导出到后端平台，也无法满足终端用户的实时查询需求。针对上述难点，巨杉数据库SequoiaDB基于湖仓一体架构，可高效支撑企业“数据核心”建设，通过将多个“交易核心”的业务流水数据秒级汇聚到SequoiaDB，快速形成全量数据底座(如图3所示)。其中，实时数据湖

7、针对不同业务的跨系统查询以及多年流水数据获取需求，可提供高并发的实时查询能力，实现所有数据实时可得，且相比于传统的跨系统异构访问方式，SequoiaDB可协助企业将业务响应时间从分钟级、小时级缩短至秒级，从而大幅提升使用体验。多模数据湖面向影像系统、远程银行等需要管理大量非结构化数据的系统，通过重点优化非结构化对象数据的高并发实时存取能力，可实现跨数据类型的一体化管理，显著提升研发及运维效率。此外，实时数仓基于高性能分析引擎，可协助企业基于准确、统一的数据源进行实时的分析加工，并降低数据再次流动的成本与能耗，助力构建绿色低碳的数据基础设施。图3 SequoiaDB湖仓一体架构四、培育创新文化，

8、打造产学研生态链数字时代，数据库的发展不但要坚持技术创新，同时也需要建立良好的技术生态。为此，巨杉数据库结合“立足湾区、协同港澳、面向世界”的发展定位，积极打造产学研生态链，着眼于分布式人才培养、上下游企业赋能等目标，携手行业合作伙伴与各大高校共同推进分布式技术的发展。在高校协同方面，巨杉数据库先后在华南理工大学、深圳大学设立长期的“巨杉数据库奖学金”，推动中国分布式数据库人才培育。截至目前，通过巨杉数据库培训认证的技术工程师已经超过1万人。在实践应用方面，巨杉数据库基于领先的技术研发能力，帮助超过100家金融机构实现了规模化生产上线。同时，SequoiaDB所支持的最大数据量也已经达到1.4万亿行，服务器规模超过400台、数据容量达数PB级。在产业生态方面，巨杉数据库积极推动行业标准及生态联盟建设，致力于构建一个更为开放的基础软硬件企业级生态，并已经与鲲鹏、飞腾、海光、麒麟、统信等厂商的150多款信创上下游产品完成相互认证。展望未来，秉持信息技术应用创新理念，巨杉数据库将持续助力企业搭建基于全量数据的实时业务场景，并积极与上下游合作伙伴形成合力，共同驱动数字化业务创新发展，加速释放全量数据价值。8