网易数帆开源Arctic已应用于金融实时湖仓架构升级.docx

《网易数帆开源Arctic已应用于金融实时湖仓架构升级.docx》由会员分享，可在线阅读，更多相关《网易数帆开源Arctic已应用于金融实时湖仓架构升级.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、网易数帆开源Arctic，已应用于金融实时湖仓架构升级2022年1月，中国人民银行印发金融科技发展规划（2022-2025年），提出了夯实数字基础底座、激活数字化经营动能、强化金融数据全生命周期管理体系等要求。金融企业落实这一规划需要解决什么问题，构建哪些能力，网易数帆在近日交出了一份答卷。8月11日下午，网易数帆举办企业级流式湖仓服务Arctic开源线上发布会，宣布以开源的Arctic完善现有数据湖底座，拓展数据平台的边界，推动湖仓一体、流批融合落地，提升企业用数效率，实现数据价值。网易数帆大数据产品线总经理余利华透露，Arctic目前已在金融行业落地。流批割裂，金融行业数智中台建设面临挑战

2、近年来大量金融科技子公司的成立，各种金融数字化/信息化管委会的设置，无不彰显金融公司对技术升级的渴望。余利华表示，金融企业希望融合实时数据湖与数据仓库，打造实时数据中台支撑其数字化业务创新，如实时的营销、风控，这本质上正是湖仓一体的思路。然而，余利华也认识到，目前的主流数据湖技术等只解决了更新、大表访问性能、流式消费等问题，仍然遗留小文件导致性能损耗、兼容性和流失更新等性能和易用性相关问题，而开源社区尚未出现对应的解决方案。网易数帆大数据产品线总经理余利华这就是网易数帆研发并开源流式湖仓服务Arctic项目的直接原因，解决实时问题的同时也兼容历史遗留的多种数据系统，让金融数据真正成为资产。Ar

3、ctic 作为流式湖仓服务，在 Iceberg 和 Hive 之上添加了更多实时场景的能力，并且面向 DataOps 提供流批统一，开箱即用的元数据服务，让数据湖更加好用和实用。对于金融企业而言，Arctic能够把实时的数据和离线的数据统一起来成为一份数据，并且这份数据能做到同时做离线分析与实时计算，这样能更好地融入我们现在数据中台的体系当中。余利华表示，秉承开放式架构原则，Arctic立足开源数据湖，不绑定计算引擎，注重与传统数仓Hive的兼容，能做到100%兼容 Iceberg / Hive 的表格式和语法。这是继SQL统一入口之后，网易数帆大数据体系再次在存储层面实现统一，这使得数据中台

4、体系可以无缝扩展到实时场景，金融数据价值的发挥将不再被孤岛所困扰。对网易数帆而言，Arctic的成熟也意味着其金融行业数字基础底座建设能力的再次升级。Arctic开源，助力金融实时湖仓架构升级在发布会上，网易数帆大数据实时计算技术专家、湖仓一体项目负责人马进详细介绍了Arctic项目的目标、特性、规划以及给开源用户带来的价值。Arctic 定位是一个搭建在 Apache Iceberg之上的流式湖仓服务，马进表示，流式强调向实时能力的拓展，服务则强调管理、标准化度量，以及其他可以抽象到基础软件中的湖仓一体能力。通过 Arctic，用户可以在 Flink、Spark、Trino 等引擎上实现更加

5、优化的 CDC、流式更新、OLAP 等功能， 结合数据湖高效的离线处理能力，Arctic 能够服务于更多流批混用的场景；同时，Arctic 的结构自优化、并发冲突解决以及标准化的湖仓管理功能，将有效减少用户在数据湖管理和优化上的负担。网易数帆大数据实时计算技术专家、湖仓一体项目负责人马进当前数据湖技术虽多，提供的都是各种数据湖格式，而非真正的湖仓一体平台。这些格式已经存在于企业环境。而有了Arctic服务，金融企业可以去适配不同的数据湖格式，无需担心数据湖技术的选型问题，持续优化数据分析能力，也让数据流管理变得简单。在金融行业数据中台建设中，这一设计得到了充分的利用。共建企业参与计划创新社区协

6、作模式在整个数字基础底座全面升级的时代，开源的模式也悄悄发生变化，如同Arctic，越来越多的企业级能力走向完全开源，同时技术型企业组织参与开源的程度越来越深。另一方面，金融行业在数字化转型及开源政策的双重吸引下，对参与开源、推动金融数字底座发展也产生了浓厚的兴趣。在此背景下，Arctic开源社区同步启动了共建企业参与计划，邀请包括金融行业在内的企业加入社区参与建设，不仅作为用户结合业务场景提供真实的使用反馈，也可以作为开发力量共同持续探索流式湖仓技术领域创新性功能。未来，网易数帆将进一步繁荣 Arctic 社区生态，与Arctic 社区伙伴一起，共同打造一款全球领先的流式湖仓服务创新产品，构建繁荣的实时湖仓生态圈，并以金融行业应用为重点战役，为整个数字化转型提供先进技术支持。7