ojmavpkn.docx

《ojmavpkn.docx》由会员分享，可在线阅读，更多相关《ojmavpkn.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、受访者|邵宗文，腾讯云图数据库产品经理记者|夕颜出品|CSDNID:CSDNnewsAI技术生态论人物访谈栏目是CSDN提议的百万人学AI建议下的重要组成局部。通过对AI生态顶级大咖、创业者、行业KOL的访谈，反映其对于行业的考虑、将来趋势判断、技术理论，和成长经历。本文为AI技术生态论系列访谈第三十四期。百万人学AI你也有份！今日起，点击浏览原文报名2020AI开发者万人大会，使用优惠码“AIP211，即可免费获得价值299元的大会在线直播门票一张。限量100张，先到先得。近日，又一国产数据库诞生！这次是腾讯家推出的分布式图数据库产品腾讯云数图TGDBTencentGraphDatabase

2、。据称，这款数据库可以实现万亿级关联关系数据实时查询，高效处理异构数据，支持实时图计算。从理论上讲，该图数据库的集群节点规模可以到达万台以上，在不同的公开数据集下查询速度比世界市场占有率最高的Neo4j快20-150倍！在近年度，图数据库逐渐火爆起来，据Gartner在?十大数据分析技术趋势?预测，2021年度至2022年度，全球图处理及图数据库的应用都将以每年度100%的速度迅猛增长，DBEngines近7年度数据库流行趋势也显示，图数据库相较其他主流数据库受欢送程度遥遥领先。此前，业内主流图数据库产品主要为国外厂商，国内金融、电商、能源等重点行业只能依赖于国外图数据库产品。在此背景下，关于

3、我们什么时候能拥有真正能知足国内企业需求的强大国产数据库，成为大众关心的热门话题。好在随着大数据，尤其是图数据的重要性被更多厂商意识到之后，国内大小厂也相继推出了自己的图数据库产品，试图打破国外技术厂商的垄断，包括大厂阿里云的图数据库GDB，蚂蚁金服自主研发的分布式图数据库GeaBase，华为的GraphBase，小企业如杭州欧假设数网科技也有自己的图数据产品NebulaGraph，维加星信息科技的TigerGraph等。按照理论，从技术适配性、平安性、本钱上来讲，国产数据库产品应该更加符合国内企业的需求以及信息化的节奏。事实上是这样吗？我们今天的关注重点，是与已经发布的图数据库产品以及国外数

4、据库产品相比，腾讯云数图新发布的这个TGDB有哪些十分之处？是否比它们更有优势？为此，CSDN邀请到腾讯云图数据库产品经理邵宗文，来从研发背景到上层设计，全面评估一下这个图数据库产品是否名符其实。TGDB的研发背景在5G、物联网、人工智能等数字化技术的推动下，企业数据呈爆发式增长，数据间的关联复杂度也随之剧增。传统关系型数据库在处理复杂关联数据时运算效率较低，且难以帮助企业进一步挖掘海量关系数据背后的价值。为了更好地利用数据间的连接，企业需要一种将关系存储为实体、灵敏拓展数据模型的数据库技术，腾讯看到了图数据库潜藏的时机。在深化调研后，腾讯发现客户其实往往需要的是一辆车，除了制造图数据库发动机

5、之外还需要一系列合作伙伴来做配套，才能知足企业的需要。目前，腾讯的图数据库生态构成主要都是行业顶尖数据库人才以及及相关上下游合作伙伴，其中有海归，以及10多年度数据库领域的资深专家构成，重点研究方向包括图数据库分布式存储、高性能计算、图算法，和生态组件如迁移工具、可视化、数据抽取、数据建模等。图数据库技术上的打破相比于国内外其他图数据库产品，TGDB有一些独特的特性。总的来讲，正是因为TGDB在技术上的一些打破带来了性能上的提升以及架构上的灵敏扩展，才实现了全新的特性，包括去中心化纯分布式架构、高效的原生存储、图切割以及分布式算法等。去中心化分布式系统架构据邵宗文介绍，TGDB采用了去中心化分

6、布式架构，理论上支持线性扩展，从目前的部署以及使用来看，TGDB的图数据存储极限还远没有到达极限，在实验室中，团队曾在测试中测得图数据集群节点数量为100台，但根据理论推演，TGDB图数据库的集群节点规模可以到达万台以上，在不同的公开数据集下查询速度比世界市场占有率最高的Neo4j还要快20-150倍。如此大规模的存储极限以及极快的查询速度，与TGDB的系统架构设计分不开。TGDB分布式图数据库从内部架构上主要分3层：资源管理层：负责对底层计算与数据资源进展管理以及调配，简单地讲，就是负责协调把每个计算任务以及对应的数据按照某种算法分发到各个分布式节点上执行、监控、容错并汇总结果；数据抽象层：

7、提供了属性图PropertyGraph的抽象，涉及到图的数据构造、存储方法、访问形式以及消息协议；上层算法应用层：提供了基于分布式计算引擎的算法，这些算法需要访问数据抽象层的图数据，按照每个算法不同设计，把算法的执行变为可以分布式并行处理的单元，交给资源管理层执行。TGDB图数据库系统在集群部署的架构是完全分布式去中心化的，各个节点都很平权，不存在单master的单点故障或者为了防止该问题而导致的系统复杂度。底层数据一致性基于一套稳定的消息队列以及快照机制，使得任何节点以及经过都可以假设一个虚拟的稳定的中间信息交互平台，并且平台保证消息的全局一致性、排序、最高一次送达等保证，同时支持多份热备，

8、结合合理的机柜布局，可以保证高容错才能。从技术层面上来讲，TGDB是怎样才能实现万亿级关联关系数据实时查询？对此，邵宗文做了详细的解释。他讲到，大规模的实时查询不是一个简单的查询分流或优化就可以解决的，需要查询方案优化、高并发任务处理机制、分布式底层资源管理与系统部署架构的严密配合才能高效实现。详细来讲，TGDB首先把每个查询或者计算恳求变成一个优化的DAGDirectedAcyclicGraph，分布式任务通过DAG模型保证前置依赖正确完成，每个DAG的顶点是一个可执行任务，边是一个逻辑先后关系或者数据传输任务，各个机器节点并行调度分解任务，每个DAG被分解成了多个没有互相依赖的独立计算任务

9、，这类计算任务变的非常容易被并行的分发与执行，因为任务之间没有了依赖关系和消息发送/承受/处理等问题，大大降低了系统任务控制复杂度，实现了高并发计算工作流优化控制。TGDB分布式资源管理逻辑负责统一管理以及调度集群的计算资源以及数据存储资源，任何分布式机器节点上都可以进展任务注册以及发布，支持跨多平台移植，功能上提供任务的监控、转移以及恢复。分布式资源管理使用了bagoftasks形式，在平台内构建了资源池，使得其中的计算任务可以被各个节点智能获取执行，高效发挥去中心化自组织架构的优势，实现最优化、无瓶颈、高容错的调度分布式资源。简单地讲，基于这样的设计，高并发的实时查询可以被系统分拆成易于分

10、布式并行执行的单元，被整个系统优化执行。原生图存储从存储计算方式上来讲，TGDB使用了原生图存储，不依赖于任何第三方数据存储平台，如HBase或者RocksDB等，存储系统是腾讯自主研发，这一点以及国外的Neo4j等原生图类似，而不同于开源的JanusGraph等产品。相比之下，原生图在查询以及运算速度上比非原生图有宏大的性能优势。为了讲明这一点，邵宗文打了个比方：原生图上层以及存储通讯相当于一个人自己与自己在脑中对话，非原生图上层以及第三方存储通讯相当于人以及人之间用语言来沟通，需要喊一声，对方听到，再回复。可以看到，非原生形式下，性能代价更高，尤其是在进展深度图查询、多轮迭代计算、图的数据

11、量变时，优势会更加明显。图切割算法传统的图算法大多是基于矩阵来进展表达以及运算的，而TGDB的另一个技术特点是分布式，不仅是系统架构以及部署上的分布式，更重要的是分布式的图分割算法以及其他分布式图算法的设计以及实现。是否支持图分割也是一个图数据库是否能真正支持线性扩展的关键，这一点与一些其他数据库产品有本质区别。TGDB真正实现了把一张大图分割成一片一片的小图，分散到各个分布式节点存储，而不是用Raft协议等搭建一个单节点，全图没有图切割、分布式节点上每一个节点都是全图的存储方式。显然，后者本质上还是要把所有数据在一台单机上存储，无法真正支持数据量的延展。TGDB是原生的分布式图数据库，数据存

12、储抽象就是顶点以及边，不是矩阵的形式，同时进展了图分割，把一张大图分成了很多片存放在了多台效劳器上。在这种新的构造下，传统的图算法需要彻底重写，变成用顶点以及边的形式、充分考虑图数据分片的分布、极致优化跨效劳器消息传输的方式，以实现可扩展的分布式并发执行。其他特性查询语言支持Neo4j的Cypher语言在查询语言方面，TGDB支持Neo4j的Cypher语言，可以以及Neo4j进展简单交换，也支持易用的图形用户界面，让分析人员不用编程就可以快速进展图管理以及图迭代分析。TGDB具有高扩展、高集成、运算快、轻部署等特点，核心功能如下表：与AI前沿技术相结合TGDB目前支持多种算法并在不断增加，同

13、时，它可以以及腾讯的柏拉图计算引擎平台结合，输出算法才能，包括一些图神经网络的算法。另外，邵宗文提到，如前所述，传统图算法在分布式架构下需要被重构优化，TGDB在这方面还有很多科研任务要完成，这也是学术上的一个前沿领域。图数据库展望：首先在金融领域有爆发式增长作为图数据库领域专家，邵宗文从技术创新以及应用两方面对图数据库将来的开展趋势做了一个预测。他预计，图数据库预计会首先在金融领域有爆发式增长，因为之前传统的关系型数据库或者大数据其实受限于先天架构问题，比方传统数据库无法很好解决金融风控相关问题，和员工以及亲属、员工与客户、客户之间的关系、业务合规的关系，这些都是非常复杂的关系。另外，随着5

14、G时代的到来，人与人、人与物、物与物的联结信息会越来越多，这也为图数据库提供了很好的开展时机。TGDB将来规划：到传统行业大展拳脚当前，TGDB的应用场景包括互联网、金融风控、物联网、电力网络、电子商务、智慧交通、生物序列研究、医疗诊断决策、疾病传播分析、辅助司法决策、公共平安等。但在将来，邵宗文表示，TGDB还将深挖传统行业，如能源、电力行业数据之间的关联。他讲道，这些行业固然已经具备了一定的数据整合才能，但数据之间关联关系的挖掘其实还比拟困难，以电力知识图谱为例，支持对电网中接入的各类时序量测数据进展存储以及更新，并直接对电网中电力设备的附属关系以及拓扑构造进展表示，全面提醒设备状态以及设备之间的关系，实现全网设备的监控与管理。不同于传统的基于向量以及矩阵进展大型运算的耗时操作，由于复杂的电力网络及知识以图构造进展了表示，可以直接在图上进展查询以及计算，并将计算结果直接作为图中的元素进展存储，大幅提升电网计算以及分析效率，实现电网运行方式检索、设备状态推理、设备画像以及家族性缺陷分析等应用。而这些，都是TGDB将来可以大展拳脚的领域。更多精彩推荐你点的每个“在看，我都认真当成了喜欢