如何彻底解决烦人的 MySQL 分库分表问题？写一个更好的数据库！.docx

《如何彻底解决烦人的 MySQL 分库分表问题？写一个更好的数据库！.docx》由会员分享，可在线阅读，更多相关《如何彻底解决烦人的 MySQL 分库分表问题？写一个更好的数据库！.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、如何彻底解决烦人的MySQL分库分表问题？写一个更好的数据库！|黄东旭责编|郭芮我还清楚记得五年度前的这个时候当时还在豌豆荚午后与刘奇以及崔秋的闲聊关于将来数据库的想象就像一粒种子一样到了今天看起来也竟枝繁叶茂郁郁葱葱有点感慨。按照惯例五年度是一个重要的节点没有十年度那么冗长也没有一两年度的短暂是一个很好的回首节点。在PingCAP成立五周年度之际就在此认真的回首一下过去展望一下将来。五年度前创业的出发点其实很朴素做一个更好的分布式数据库。从学术的角度上看起来并不是提出了什么惊天地泣鬼神的神奇算法我们选择的Shared-nothing的架构其实在当时的业界也不是什么新颖的事情了但真正令我冲动的

2、是我们要造的是一个真正能作为整个系统的SingleSourceofTruth的根底软件。这句话怎么理解呢我在后边会好好聊聊。数据是架构的中心作为一个互联网行业的架构师几乎是天天都在以及各种类型的数据打交道这么多年度的经历不同行业不同系统从技术层面来讲抽象到最高总结成一句话就是数据是架构的中心。仔细想想我们其实做的一切工作都是围绕着数据。数据的产生数据的存储数据的消费数据的流动只不过是根据不同的需求变化数据的形态以及效劳方式。计算机系的同学可能还记得教师讲过的一句话程序算法数据构造我这里大胆模拟一下这个句式系统业务逻辑x数据。可以讲很多架构问题都是出在数据层例如常见的烟囱式系统带来的种种问题十分

3、是数据孤岛问题其实本质上的原因就出在没有将数据层打通假如不从数据架构去考虑就可能头疼医头、脚疼医脚费了半天劲还是很别扭反过来假如将数据层治理好就像打通任督二脉一样起到四两拨千斤的效果。但是理想通常很饱满现实却很骨感。至少在我们五年度前出来创业那会儿我们觉得并没有一个系统可以很好的解决数据的问题。可能好奇的读者就要问了不是有Hadoop还有NoSQL再不济关系型数据库也能分库分表啊其实列出的这几个几乎就是当年度处理存储问题的全部候选这几个方案的共同特点就是不完美。详细一点来讲这几个解决方案对于数据应用的场景覆盖其实都不大对于复杂一点的业务可能需要同时使用n多个方案才能覆盖完好。这就是为什么随着近

4、几年度互联网业务越来越复杂类似Kafka这样的数据Pipeline越来越流行从数据治理的角度其实很好理解各种数据平台各负责各的为了做到场景的全覆盖必然需要在各个岛之间修路呀。我们当年度就在想能不能有一个系统以一个统一的接口尽可能大的覆盖到更多场景。我们需要一个SingleSourceofTruth。数据应该是贯穿在应用逻辑各个角落我理想中的系统中对于任意数据的存取都应该是可以不加限制的先不考虑权限以及平安这是另一个问题这里的“不加限制是更广义的例如没有容量上限只要有足够的物理资源系统可以无限的扩展没有访问模型限制我们可以自由的关联、聚合数据没有一致性上的限制运维几乎不需要人工干预以分布式数据库

5、为统一中心的架构我当年度十分着迷于一个美剧PersonofInterest疑犯追踪这个电视剧里面有一个神一样的人工智能TheMachine采集一切数据加以分析进而预测或者是干预将来人们的行动。固然这部美剧还是比拟正统的行侠仗义之类的主题但是更让我着迷的是是否我们能设计一个TheMachine固然直到目前我还不是一个AI专家但是给TheMachine设计一个数据库似乎是可行的。这几年度创业经过中我们发现更令人兴奋的点在于以分布式数据库为统一中心的架构是可能的。这个怎么理解呢举个例子就像在上面提到的分裂带来的问题数据层的割裂必然意味着业务层需要更高的复杂度去弥补其实很多工程师其实偏向于用线性的思维

6、去考虑维护系统的本钱。但是实际的经历告诉我们事情并不是这样的。一个系统只有一个数据库以及有十个数据库的复杂程度其实并不是的简单的10x考虑到数据的流动维护本钱只可能是更多这里还没有考虑到异构带来的其他问题。以分布式数据库为中心的架构是什么样子的呢很好理解整个架构的中心是一个场景覆盖度足够广且具有无限的程度伸缩才能的存储系统。大局部数据的流动被限制在这个数据库内部这样应用层就可以几乎做到无状态因为这个中心的数据库负责了绝大局部状态每个应用可以通过自己的缓存来进展加速。这里我想提醒的是为什么我在上面强调程度扩展才能是因为受限的扩展才能也是导致分裂的一个重要的原因。我们从来都没有方法准确的预测将来我

7、们很难想象甚至是一年度后业务的变化想想这次疫情有句老话讲的很好唯一不变的就是变化。另外一个经常被问到的问题为什么要强调缓存层需要离业务层更近或讲为什么位于中心的这个巨型数据库不应该承当缓存的责任我的理解是只有业务更懂业务知道应该以什么样的策略缓存什么样的数据而且出于性能低延迟考虑缓存离业务更近也是有道理的。对应上面那句话唯一不变的就是变化这个架构带来最大的好处正是以不变应万变或更简单的一个词简洁。Google其实在很早就想清楚了这个问题因为他们很早就明白什么是真正的复杂。另一个例子是HTAP假如关注的数据库的开展的话最近一定对HTAP这个词很熟悉其实在我看来的HTAP的本质在于上面提到的覆盖度

8、下面是一个典型的架构传统的数据架构通常将OLTP、OLAP、离线数仓别离各个系统各司其职中间通过独立的Pipeline进展同步有时候还会加上ETL。下面是一个HTAP的系统的样子固然从外表上看只是简单的将接口层进展整合但是这个意义其实是深远的首先数据同步的细节被隐藏了一起来这意味着数据库层面可以自己决定通过何种方式同步数据另外由于OLTP引擎以及OLAP引擎在同一个系统内部使得很多细节信息不会在同步的经过中丧失比方事务信息这就意味着在内部的分析引擎可以做到传统的OLAP没方法做的事情。另外对于业务层的使用来讲少一个系统意味着更统一的体验以及更小的学习以及改造本钱不要低估统一带来的力量。将来在哪

9、里上面这些是过去五年度发生的事情也几乎按照我们创业时候的设想一步步的变为现实那么接下来的五年度会发什么随着对于行业以及技术的理解的加深至少有一点我坚信不疑的是弹性调度会是将来的数据库的核心才能谁都不会否认最近十年度在IT技术上最大的变革是由云带来的这场革命还在进展时。云的核心才能是什么我认为是弹性。计算资源分配的粒度变得越来越细就像从只能买房变成可以租房甚至可以像住酒店一样灵敏。这意味着什么本质在于我们可以不用为想象中的业务峰值提早支付本钱。过去我们的采购效劳器也好租赁机柜也好都是需要设定一个提早量的当业务峰值没有到来之前其实这些本钱是已经提早支付的了。云的出现将弹性变成了根底设施的一个根底才

10、能我预计数据库也会发生同样的事情。可能有很多朋友会有疑问如今难道不是几乎所有数据库都号称可以支持透明程度扩展嘛其实这里祈望大众不要将弹性调度狭隘的理解为扩展性而且这个词的重点在调度上我举几个例子以方便大众理解1、数据库能不可以自动识别workload根据workload进展自动伸缩例如预感到峰值即将降临自动的采购机器对热数据创立更多副本并重分布数据提早扩容。在业务顶峰过去后自动回收机器进展缩容。2、数据库能不能感悟业务特点根据访问特点决定分布例如假如数据带有明显的地理特征比方中国的用户大概率在中国访问美国用户在美国系统将自动的将数据的地理特征在不同的数据中心放置。3、数据库能不能感悟查询的类型

11、以及访问频度进而自动决定不同类型数据的存储介质例如冷数据自动转移到S3之类比拟廉价的存储热数据放在高配的闪存上而且冷热数据的交换完全是对业务方透明的。这里提到的一切背后都依赖的是弹性调度才能。将来我相信物理资源的本钱会持续的降低计算资源的单价持续下降带来的结果是当存储本钱以及计算资源变得不是问题的时候问题就变成怎样高效的分配资源。假如将高效分配作为目的的话能调度就是显而易见的根底。当然就像一切事物开展的客观规律一样学会跑步之前先要学会走路我相信在接下来的一段时间内我们会看到第一批初步拥有这样才能的新型数据库让我们拭目以待。下一个阶段是智能对于更远的将来是怎么样子的我不知道但是就像TheMach

12、ine一样只有足够数据才能诞生出智能我相信就像我们不解析宇宙以及海洋一样我们如今对于数据的认识一定是浅薄的甚至大量的数据我们都还没记录下来一定有更大奥秘隐藏在这海量的数据中从数据中能获取什么样的洞察可以怎么样更好的改变我们的生活我并不知道但是做这件事情的主角我猜不会是人类。固然在这个小节我们讨论的东西可能就有点像科幻小讲了不过我愿意相信这样的将来从数据的海洋中诞生出新的智能体。尾声创业这五年度的时间回头看看那个最朴素的出发点写一个更好的数据库彻底解决烦人的MySQL分库分表问题。似乎也算没有偏离初心但是在这个旅途中一步步看到了更大的世界也越来越有才能以及信心将我们相信的东西变为现实。凡所过往皆

13、为序章。雄心的一半是耐心构建一个完美的数据库并不是一朝一夕的工作但是我相信我们正走在正确的道路上。黄东旭分布式系统专家、架构师、开源软件。PingCAP结合创始人兼CTO知名开源工程Codis/TiDB/TiKV主要曾就职于微软亚洲研究院、网易有道及豌豆荚。2021年度创业成立PingCAP致力于下一代开源分布式数据库的研发工作擅长分布式存储系统设计与实现高并发后端架构设计。声明本文系投稿版权归个人所有。【END】更多精彩推荐拿下Gartner容器产品第一阿里云打赢云原生关键一战今日福利评论区留言入选可获得价值299元的2020AI开发者万人大会在线直播门票一张。快来动动手指写下你想讲的话吧。点击浏览原文精彩继续你点的每个“在看我都认真当成了喜欢