全面分析阿里数据中台小白也能看懂.docx

全面分析阿里数据中台，小白也能看懂扫码介入CSDN“原力方案|yuanziok来源|CSDN原力方案获奖作品数据中台被誉为大数据的下一站由阿里兴起核心思想是数据分享2021年度阿里提出“大中台小前台的策略。2018年度因为“腾讯数据中台论中台再度成为了人们议论的焦点。2019年度似乎人人都在提数据中台但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗普通企业该不该做数据中台数据中台的出现会给现有数据从业者们带来颠覆式的挑战吗数据中台不是大数据平台首先它不是一个平台也不是一个系统假如有厂商讲他们有个数据中台卖给你对不起它是个骗子。要答复数据中台是什么首先要讨论一下中台到底是什么。固然没有明确的定义但是作为理工直男我们可以先把中台看作是一种中间层。既然是一种中间层那么中台确实是一种十足技术用语我们可以完全从技术角度来讨论了。我们可以应用Gartner的PaceLayer来理解为什么要有中间层这样可以更好地理解中台的定位以及价值。PaceLayer里提到可以按照事物变化的速度来分层这样可以逐层分析并设计合理的边界与效劳。在数据开发中核心数据模型的变化是相对缓慢的同时对数据进展维护的工作量也非常大但业务创新的速度、对数据提出的需求的变化是非常快速的。数据中台的出现就是为了弥补数据开发以及应用开发之间由于开发速度不匹配出现的响应力跟不上的问题。数据中台解决的问题可以总结为如下三点效率为什么应用开发增加一个报表就要十几天时间为什么不能实时获得用户推荐清单当业务人员对数据产生一点疑问的时候需要花费很长的时间结果发现是数据源的数据变了最终影响上线时间。协作问题当业务应用开发的时候固然以及别的工程需求大致差不多但因为是别的工程组维护的所以数据还是要自己再开发一遍。才能问题数据的处理以及维护是一个相对独立的技术需要相当专业的人来完成但是很多时候我们有一大把的应用开发人员而数据开发人员很少。这三类问题都会导致应用开发团队变慢。这就是中台的关键让前台开发团队的开发速度不受后台数据开发的影响。数据中台是聚合以及治理跨域数据将数据抽象封装成效劳提供应前台以业务价值的逻辑概念。如下列图所示DDataAPI是数据中台的核心它是连接前台以及后台的桥梁通过API的方式提供数据效劳而不是直接把数据库给前台、让前台开发自行使用数据。至于产生DataAPI的经过怎么样让DataAPI产生得更快怎么样让DATAAPI更加明晰怎么样让DATAAPI的数据质量更好这些是要围绕数据中台去构建的才能。其实这些概念讲多了是很虚的那我们就结合阿里的例子来讲解。阿里数据中台详解1、阿里数据中台赋能业务全景图在架构图中看到最下面的内容主要是数据收集以及接入按照业态接入数据比方淘宝、天猫、盒马等把这些数据抽取到计算平台通过OneData体系以“业务板块分析维度为架构去构建“公共数据中心。基于公共数据中心在上层根据业务需求进展建立消费者数据体系、企业数据体系、内容数据体系等。经过深度加工后数据就可以发挥其价值被产品、业务所用最后通过统一的数据效劳中间件“OneService提供统一数据效劳。2、阿里数据中台三大体系经太多年度实战沉淀出了阿里云上数据中台内核才能框架体系产品技术方法论。历经阿里生态内各种实战历练后云上数据中台从业务视角而非纯技术视角出发智能化构建数据、管理数据资产并提供数椐调用、数据监控、数据分析与数据展现等多种效劳。承技术启业务是建立智能数据以及催生数据智能的引擎。在OneData、OneEntity、OneService三大体系十分是其方法论的指导下云上数据中台本身的内核才能在不断积累以及沉淀。在阿里巴巴几乎所有人都知道云上数据中台的三大体系如上图所示。OneData致力干统一数据标准让数据成为资产而非本钱OneEntity致力于统一实体让数据融通而以非孤岛存在OneService致力于统一数据效劳让数据复用而非复制。这三大体系不仅有方法论还有深入的技术沉淀以及不断优化的产品沉淀进而形成了阿里巴巴云上数据中台内核才能框架体系。3、阿里数据中台及赋能业务形式支撑阿里数据中台经历了所有阿里生态内业务的考验包括新零售、金融、物流、营销、旅游、安康、大文娱、社交等领域。数据中台除了建立起自已的内核才能之外向上赋能业务前台向下与统一计算后台连接融为一体。4、数据中台六大数据技术领域前文提到在建立阿里数据公共层之初规划了六大数据技术领域即数据模型领域、存储治理领域、数据质量领域、平安权限领域、平台运维领域、研发工程领域。而在阿里数据公共层建立工程第二阶段完成存储治理领域已经被扩大到资源治理领域进而晋级到数据资产管理领域平安权限领域晋级到数据信任领域因为很多工作已经在产品中实现平台运维领域不再作为一个数据技术领域被推进数据模型领域与数据质量领域还在持续推进中不过增加了许多新的内涵智能黑盒领域那么是新起之秀。由此可见数据技术领域不是一成不变的而是随着业务的开展以及技术的打破不断扩大、升华的。那么实时的数据中台怎么做下面是实现实时数据中台的一种逻辑架构方便你去理解其实最关键的是实时模型那一层。1、实时接入不同类型的数据需要不同的接入方式flumekafka如今是标配其他还有文件、数据库的DSG等等技术。比方运营商就有B域的订购、通话O域的位置、上网等各类实时数据。2、计算框架这里只列出一种基于Kappa架构实现实时/离线一体化业务开发才能相对于传统Lambda架构开发人员只需面对一个框架开发、测试以及运维的难度都相对较小且能充分发挥Flink流式计算框架一点执行、高吞吐、毫秒级响应、批流交融的特点。比方将流计算组件划分实时数据切片批处理组件提供离线数据模型驻留内存两类数据在处理经过中实现批流关联。3、实时模型跟数据仓库模型一样实时模型肯定首先是面向业务的比方运营商有流量运营、效劳提醒、竞争应对、放好拉新、厅店引流、语音消费、运营评估、实时关心、实时预警、实时洞察、实时推荐等一系列的实时场景你总是要基于你的实时业务提炼出具备共性的数据模型要素。比方放号拉新中的外来务工实时营销其中可能的触发场景是针对漫入到某个交通枢纽并驻留10分钟以上的用户进展营销投放“在某个位置的驻留时长这个公共要素可能就是一种可复用的实时模型。实时模型纵向可以划分为DWD以及DW两层DWD模型做的其实是针对各类实时数据做命名的标准化以及过滤字段的操作方便进展数据的标准化管理DW模型这里分成了三大类动态模型、事件模型以及时序模型每种模型合适不同的场景同时需要采用与之适配的存储格式。动态模型对实时的数据进展汇总统计合适做实时的统计指标分析比方实时的业务办理量一般可存储于Kafka以及Hbase。事件模型把实时的数据抽象成一系列业务事件比方从位置日志轨迹中记录用户的位置变更事件进而可以触发LBS的位置营销以下是典型的位置事件模型设计一般可存储于MQ以及Redis你可以以设计滑动窗口模型比方保存最新一小时的分钟级的滑动窗口位置信息时序模型主要保存用户的在线的时空位置等信息可以基于业务场景需要进展各种快速的计算比方非常方便的计算驻留时长存储于Hbase或者TSDB时序数据库4、实时效劳有了实时模型还不够数据中台还需要提供图形化、流程化、可编排的数据开发工具才能真正的降低实时数据开发本钱。但由于离线以及实时数据处理的技术手段不同导致针对这两种类型的数据开发以及管理大多是在不同的平台承载的。比方以前我们的离线数据模型是通过DACP平台管理的但实时数据那么游离在DACP平台之外其往往属于应用本身的一局部应用需要通过编写特定脚本去消费以及处理流处理引擎中的原生数据这种处理的门槛不仅高而且资源浪费也挺严重每个实时应用其实都是流数据的孤岛。站在应用的角度看业务其实需要的是一个统一的数据开发管理平台离线以及实时数据应作为统一的对象进展管理比方具备混合编排混合关联等才能用简单的类SQL定制化输出应用所需的各类数据进而高效的对外提供实时/离线数据效劳。5、实时应用数据中台假如能支持实时数据的快速编排根据我们的测算其实时场景应用的数据开发、测试、部署周期会由0.5-1个月降低为1-2天效益是很高的。阿里处理的数据量已达EB级相当于10亿部高清电影的存储量。在2016年度双十一当天实时计算处理的数据量到达9400万条/秒。而从用户产生数据源头收集、整合并构速数据、提供数据效劳到前台展现完成仅需2.5秒。友盟是阿里把收买的几家数据公司整合晋级后组成的一家数据公司。这里仅以2017年度“友盟对外公开的局部指标为例其中的数据覆盖14亿部活泼设备、685万家网站、135万个应用程序日均处理约280亿条数据这一切都建立在阿里强大的数据处理技术底座之上。假如实时数据足够多场景足够丰富建立实时数据中台的必要性还是非常高的。随着大数据内外运营的深化我们发现这种需求越来越多你会惊奇的发现很多时候需求是随着你技术才能的加强而增加的很多时候技术就是第一消费力。我们很多负责变现的产品、运营经理应是深有体会的。从那个时候起我就在想我们能否建立一个真正的实时数据中台可以快速高效的创立海量的实时应用进而将大数据的管理以及应用程度提升到一个新的阶段终于我们如今走到了这条路上。本文为CSDN原力方案获奖作品扫描下方二维码介入CSDN原力方案精彩推荐2019中国大数据技术大会BDTC再度来袭豪华主席阵容及百位技术专家齐聚15场优选专题技术以及行业论坛超强干货技术剖析行业理论立体解读深化解析热门技术在行业中的理论落地。6.6折票限时特惠立减1400元学生票仅599元推荐浏览AI科技大本营