数字化大数据平台规划汇报方案.pptx

《数字化大数据平台规划汇报方案.pptx》由会员分享，可在线阅读，更多相关《数字化大数据平台规划汇报方案.pptx（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一、大数据应用发展趋势二、大数据平台整体规划所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。大数据大数据处处理技理技术术代表了新一代的技代表了新一代的技术术架构，架构，这这种架构通种架构通过过高速高速获获取数据并取数据并对对其其进进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值值的信息。的信息。从大量数据中挖掘高价从大量数据中挖掘高价值值知知识识是各界是各界对对于大数据的一个共于大数据的一个共识识。海量数据可广泛海量数据可

2、广泛获获得，所稀缺的是如何从中挖掘出智慧和得，所稀缺的是如何从中挖掘出智慧和观观点。点。Google 首席首席经济经济学家学家 Hal Varian大数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合，对企业产生新的价值。1542提升提升业务业务效率效率自助分析、生自助分析、生产产管道管道可可视视化、化、资资源解耦随源解耦随需而需而动动，营销实时营销实时，以以业务业务效率提升效率提升为标为标志。志。决策和决策和预测预测能力提升能力提升整体整体经营经营管理水平。管理水平。增增强强管

3、理水平管理水平数据集中到数据中心数据集中到数据中心，多数据源管理，透，多数据源管理，透明服明服务务支持，支持，实时实时的的创创新商新商业业模式模式数据开放服数据开放服务务、与、与OTT厂商合作的后向收厂商合作的后向收费费、广告等新广告等新业务业务.提升客提升客户户体体验验互互联联网化的网化的电电子渠道子渠道全景体全景体验验、个性化商、个性化商品推荐、品推荐、LBS位置位置营营销销、面向客、面向客户户个体的个体的深度洞察深度洞察存存计计算、算、MPP、CEP分而治之的分布式分而治之的分布式计计算算让让运运营营商商实时实时高效决策高效决策.3技技术术高效、低成本高效、低成本以技以技术驱动为标术驱动

4、为标志，内志，内精细化营销数据中心营账系统经分(BI)GN口上网话单终端(DM)VAC短彩信中心语音通话详单客服接触记录流媒体平台详单基站信息位置信令话单116114企业黄页信息渠道应用助销信息 经过一二期的建设，精细化运营平台的数据中心，已经成为上海联通最大、内容最丰富的数据仓库；随着数据量的增长，需要对基础架构做长远规划；有必要深入挖掘数据价值，研究新的商业模式，将成本中心转化为利润中心5 增量式的、几乎无限的扩展 要求系统总是在线运行扩展性可用性 灵活可动态改变的数据模型灵活性扩展性分布式可用性纵向扩展资源集中单份数据横向扩展计算和存储分布数据复制 不要使用分布式事务处理一致性业务业务运

5、运营发营发展展趋势趋势低成本运低成本运营营一体化运一体化运营营精精细细化运化运营营全网运全网运营营实时实时、智能化运、智能化运营营对业务对业务支撑平台的集中化要求支撑平台的集中化要求集中化建集中化建设设、管理和、管理和维护维护可不断可不断线线性性扩扩展展提高提高资资源源综综合利用率合利用率标标准化功能准化功能组组件，可共享可复用件，可共享可复用按按业务业务量、按需支付量、按需支付BASS与与BOSS、CRM的一体化的一体化BSS与与MSS、OSS、VAS等跨域一体等跨域一体化化对对外部客外部客户户和和应应用的一体化用的一体化片区化、网格化管理片区化、网格化管理长长尾市尾市场场、小众市、小众市场

6、场的支撑的支撑个性化、短周期需求的个性化、短周期需求的满满足足异地客异地客户户、家庭客、家庭客户户、集、集团团客客户户一点接入、全网服一点接入、全网服务务、全网客、全网客户户画像画像全国全国统统一套餐、全网一套餐、全网营销营销、统统一客服一客服实时实时数据数据获获取、取、处处理、分析理、分析智能化主智能化主动动事件触事件触发发智能管道智能管道移移动动互互联联网网对对数据架构的集中化要求数据架构的集中化要求n集中化、大容量、高集中化、大容量、高扩扩展、高可用展、高可用数据数据库库平台：支持全网型数据、跨平台：支持全网型数据、跨域数据的整合，形成集中化管理的域数据的整合，形成集中化管理的的企的企业

7、级业级数据中心数据中心n高性能：支持高性能：支持3G时时代更高的代更高的实时实时性要求、支持性要求、支持n动态资动态资源共享：支持多租源共享：支持多租户户管理、管理、资资源源动态动态按需供按需供应应n可重用、可重用、标标准化准化组组件：形成可重用件：形成可重用组组件，支持一次开件，支持一次开发发、各省共享的、各省共享的模式，形成模式，形成规规模型效益模型效益数据集中化数据集中化趋势趋势使得运使得运营营商面商面临临着海着海量数据的存量数据的存储储及分析及分析问题问题，大数据在，大数据在支撑移支撑移动业务发动业务发展展趋势趋势中，充当重要中，充当重要角色。角色。7业务融合、能力互通带来数据融合IC

8、T融合，核心网络、运营支撑和VAS业务数据的融合催生海量User Profile并集，对大数据的关联分析计算效能带来挑战IT系统集中化和行业数据价值挖掘运营商一体化集中运营和透明管控，催生巨大的经营分析数据仓库，对大数据的存储、性能、开放带来挑战移动互联网流量井喷与客户行为分析DPI和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战提升客户体验要求分析网络服务数据移动互联网和个人消费领域业务扩展和CEM导致海量数据的及时分析带来挑战BSS BI数据：数据：n河南河南17个地市，每天抽取正常用个地市，每天抽取正常用户户数数7000多万，多万，拨备拨备用用户户数数3000多万

9、，多万，DW层层用用户户表表总总量量1亿亿多条多条；语语音清音清单单每天每天2.7亿亿条数据条数据，GPRS清清单单每天每天4.2亿亿条数据条数据；账务账务每天每天4.7亿亿条数据条数据；GPRS文件每个文件每个100M左右，其它文件左右，其它文件25M。n日接口数据量：日接口数据量：2000G，其中，其中话单话单 220G，WAP清清单单 300G，工工单单服服务务 200G，用用户户、帐务帐务 300G，其它，其它980G。每月每月124TB数据量入数据量入库库，历历史数据保留史数据保留1年，年，总总数据量数据量1.45PB。n按照用按照用户户数数简单测简单测算算,6.5亿亿用用户户下，下

10、，总总数据量数据量 10PB!联通总部3G互联网访问记录查询及分析系统：全国每日新增10TB数据，每月近万亿条记录，要存放6个月，约 2PB的上网记录数据。上网记录入库时间小于30分钟，原始上网记录保留6个月。上网查询速度不高于1秒，并发查询数1000请求/秒。集群规模188个数据节点，存储容量2.6 PB传统传统数据数据仓库仓库无法有效存无法有效存储储日益增日益增长长的的业务业务数据存数据存储储需求需求基基础础数据数据（用户资料，产品订购信息）：15G/日*365+40G*12月=5T/年考虑20%的业务增长率后为：6T/年年用户上网数据话单数据：250T/年考虑20%的业务增长率后为：30

11、0T/年年MR数据话单数据：634G/日634G/日*365=227T/年考虑20%的业务增长率后为：272T/年年BSS数据新增新增4035302520452013年下半年用户流量增长趋势日使用流量（TB）6月10月n随着业务发展数据量的增加，随着应用n复杂导致的数据量增加，这些数据量导致了数据存储和处理压力；数据仓库无法线性扩容，管理难度加大，成本高扩容压力大，效率下降等传统数据仓库只保存处理后的汇总数据。在大数据架构下需要对用户原始话单应用层数据存储层数据获取层用户层KR/CB/DM层MK层DW层ODS层现平台的数 大数据的数据保存周期 据保存周期永久保留 至少2年永久保留 至少2年5个

12、月 永久保留37天 永久保留进行长期保存。需要扩容大量存储空间。面面对对海量的数据海量的数据压压力，需要大数据平台提力，需要大数据平台提供可供供可供线线性性扩扩容的存容的存储储能力。能力。短信中心经分DMVACGN话单流媒体客服系统计费中心MC话单彩信中心MR数据BSS用户互联网联系方式（总部研究院）n每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。n个数据加工流程为最终应用服务。为缓解存储压力在数据抽取和清洗阶段会过滤掉与业务无关的数据记录和字段。汇总层（MK）明细数据层（DW）报表数据标签库指标数据客户统一视

13、图DW&MKODS层层操作型数据数据源Oracle数据数据库库应应用用层层精细化营销架构242134n现网数据平台是传统关系型数据库架构。大量的用户上网、用户行为等半结构化和非结构化数据无法保存和处理，缺乏非结构化数据的处理能力。用户上网行为等互联网行为数据以结构化数据方式保存至数据仓库中。由于传统数据仓库的数据处理流程与业务保持紧密关联。整传统传统数据数据仓库仓库无法有效无法有效应对应对大数据分析需求大数据分析需求1n现网每日用户上网HTTP话单达14亿条。每月汇总的记录条数也近30亿条。随着移动互联网正在迅猛增长，传统数据仓库将很难驾驭，无法满足数据处理时限和事务处理需求。3面面对对海量的

14、数据海量的数据压压力，需要大数据平台提供快速的力，需要大数据平台提供快速的处处理能力。理能力。传统传统数据数据仓库组仓库组网将是大数据分析的瓶网将是大数据分析的瓶颈颈n现网精细化营销平台的数据库既存放着所有采集的原始数据，又承担所有的数据加工任务，还承载所有报表和业务应用的数据存储和计算。缺乏对数据分层分级及生命周期的有效管理。n系统核心架构为Oracle数据库+小型机+磁阵。数据存放在磁阵上，计算时由数据库服务器从磁阵读到本地后进行计算结果。随着数据量增长，磁盘I/O、网络带宽、数据库服务器的处理能力将存在瓶颈，处理时延严重。由于传统架构的可扩展性差，无法满足大数据的计算的扩容需求。为应对为

15、应对海量数据海量数据处处理需求，大数据将从集中数据理需求，大数据将从集中数据库库向分布式数据向分布式数据库进库进行行转变转变。计计算和存算和存储资储资源都源都由由x86服服务务器提供。器提供。关系数据关系数据库库引引入入对对XML 的的支持仍然无法支持仍然无法有效有效处处理理ETL传统传统数据数据仓库仓库无法有效无法有效处处理新型的理新型的业务业务数据数据因因为为在移在移动动互互联联网和物网和物联联网上需要有新网上需要有新领领域的突破，不同于域的突破，不同于传统传统通信通信业务业务分析特点，需要分析特点，需要对对内容等非内容等非结结构化、大容量信构化、大容量信息息进进行有效分析，行有效分析，传

16、统传统的架构的架构处处理吃力。理吃力。主要关键技术自然语言理解，文本分词、语义分析，情感分析或者大规模计算技术非结构化数据索引技术，如搜索引擎倒排索引技术多媒体处理，包括图像识别，语音识别，多媒体索引等技术传统传统数据数据仓库仓库无法有效支撑数据合作运无法有效支撑数据合作运营营nnn由于保存原始话单数据周期较短，合作运营无法追溯历史原始数据。现网传统主数据库的设计只适用与向上层提供既定好的数据分析任务结果。对外开放底层数据将大大消耗系统资源，影响主库正常的数据处理流程。同时数据的处理方式及结果也恐难以满足合作运营的需要。大数据平台的架构将数据分层管理。在各层提供数据开放接口，以满足不同数据需求

17、。将更有效支撑数据合作运营。同时历时数据能促使合作在第一时间就开展起来。一、大数据应用发展趋势二、大数据平台整体规划台。数据库和主数据仓库负责存储海量的流量话单数据，分布式数据库分布式数据分布式数据库库（MPP）：）：主数据仓库MPP，基于X86平台存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑DM数据采集（云化ETL，流数据处理、爬虫）批量采集 准实时采集获取层基础分析能力 多维分析能力 数据挖掘能力 实时分析能力 自助分析能力 数据共享能力GN口 互联网半结构化、非结构化数据BSS经分MC话单业务平台VAC结构化数据数据源向主数据仓库输出KPI和高度汇总数据。主数据主数据仓库仓库

18、（与（与MPP合合设设）：）：存储指标数据、KPI数据和高度汇总数据。数据开放接口数据开放接口：向大数据应用方提供大数据平台的能力。数据采集（数据采集（ETL）：）：负责源数据的采集、清洗、转换精细化营销 智能运营 应用商店 物联网应用 客服应用 和加载包括：1、把原始数据加载到Hadoop平指标应用 报表应用 主题分析 专题分析2、把加工后的数据加载分布式Hadoop云平台云平台：数据统一服务和开放SQL、FTP、WS、MDX、API、提供并行的计算和非结构化数据Hadoop平台 基于X86平台 的处理能力，实现低成本的存储和低时延、高并发的查询能力。记录明细数据 记录汇总数据M/R HBa

19、se Hive分布式文件系统 HDFS数据深度分析和数据挖掘能力，应用层能力层数据层lHDFS：分布式文件系：分布式文件系统统有较强的容错性可在x86平台上运行，减少总体成本l 可扩展，能构建大规模的应用HBase：非：非结结构化构化NoSQl分布式数据分布式数据库库基于分布式文件系统HDFS，保证数据安全列式存储，节省存储空间提供大数据量的高速读写操作lHive：分布式关系型数据：分布式关系型数据库库 数据可保存在HDFS，可提供海量的数据存储类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理通过MapReduce实现大规划并行计算lMapReduce：大：大规规划并行划并

20、行计计算引擎算引擎可将任务分布并行运行在一个集群服务器中Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源，Hadoop集群可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据和计算的高可靠保证。HBaseMapReduceHiveHDFS快速的数据读取大数据存储统计复杂计算并行处理代表数据代表数据库库：GreenPlum、Vertica、Teradatal适合大数据量的OLAP应用优优点点缺点缺点线线性性扩扩展：展：X86平台高可用性较低新型MPP数据库主要构建在x86平台上，为无共享架构（Share Not

21、hing），依靠软件架构上的创新和数据多副本机制，实现系统的高可用性和可扩展性。负责深度分析、复杂查询、KPI计算、数据挖掘以及多变的自助分析应用等，支持PB级的数据存储。Shared Nothingl新型新型MPP分布式数据分布式数据库库基于开放平台x86服务器大规模的并发处理能力无单点故障，可线性扩展多副本机制保证数据安全支撑PB级的数据量支持SQL，开放灵活按数据血缘按业务种类按设备物理地址数据分级存储原则 数据生命周期中在线数据对高性能存储的需求，以及随着数据生命周期的变更，逐渐向一般性能存储的迁移，是分级存储管理的一条主线。同时兼顾考虑其他分级原则，共同作用影响数据迁移机制。基于生命

22、周期基于生命周期基于基于访问压访问压力力基于基于业务业务用途用途 按逻辑层次基于物理属性基于物理属性 按设备网络划分分级原则在线、近线、离线 高性能磁盘库按访问频度内存数据库磁带光盘库内存数据库中低性能磁盘库按响应及时性数据融合与分级存储实施 将核心模型（即中度汇总的模型）通过改造融入到现有主数据仓库的核心模型中，减少数据冗余，提升数据质量。将主数据仓库中的历史数据和清单数据迁移到低成本分布式数据库，减轻主数据仓库的计算与存储压力并支撑深度数据分析。数据数据数据1、核心模型融入主数据仓库主数据主数据仓库仓库2、历史数据迁移到分布式数据库分布式数据分布式数据库库1、清单数据入MPP数据库报表标签

23、数据库指标数据主数据主数据仓库仓库信息子信息子层层话单数据非结构化数据ODS层层：数据来源于各生产系统，通过ETL工具对接口文件数据进行编码替换和数据清洗转换，不做关联操作。未来也可用于准实时数据查询。客户统一视图高度汇总层（MK）分布式数据分布式数据库库MPP轻度汇总层（MK）明细数据层（DW）Hadoop平台平台精细化营销其他应用1其他应用2应应用用层层：应用系统的私有数据，应用的业务数据。精细化营销做为大数据平台的一个上层应用，有由大数据平台提供数据支撑信息子信息子层层：报表数据、多维数据、指标库等数据来源于汇总层。汇总层汇总层：主题域之间进行关联、汇总计算。汇总数据服务于信息子层，目的

24、是为了节约信息子层数据计算成本和计算时间。轻轻度度汇总层汇总层：主题域内部基于明细层数据，进行多维度的、用户级的汇总。明明细细数据数据层层：主题域内部进行拆分、关联。是对ODS操作型数据按照主题域划分规则进行的拆分及合并数据数据访问访问SQLHSQLAPIFTPETL数据采集ETLGN口结构化数据BSS经分DMVACMC话单业务平台非结构化数据互联网数据源数据源获获取取层层1应应用用库库2123344报表标签数据库 源数据导入ETL，进行数据的清洗、转换和入库。基础数据加载到主数据仓库，规划保存3年 清洗、转换后的ODS加载到分布式数据库规划保存1+1月，在分布式数据库内完成明细数据和轻度汇总

25、数据加工生成，规划保存2年 ODS数据和非结构化数据，如爬到的网页数据ftp到Hadoop平台做长久保存 非结化数据分析处理在Hadoop平台完成，产生的结果加载到分布式数据库 生成KPI和高度汇总数据加载到主数据仓库。主数据主数据仓库仓库信息子信息子层层客户统一视图非结构化数据明细数据层（DW）数据数据访问访问SQLFTPHSQLAPIETL数据采集E非结构化数据GN口BSS经分DMVACMC话单业务平台结构化数据互联网数据源数据源获获取取层层T 1L234高度汇总层（MK）6分布式数据分布式数据库库MPP轻度汇总层（MK）5Hadoop平台平台话单数据 业务应用通过数据访问接口获取所需求数

26、据。7应应用用库库精细化营销其他应用1其他应用2指标数据消息采集文件采集话单预处理信令预处理Gn话单位置信令DCNBSS炫铃VAC 短彩 物联网 客服平台 平台1*GES9300S9300分布式数据库集群1*10GE2*GE新建ETL、分布式数据库和Hadoop集群内部各自独立组网。分别通过10GE网口接入汇聚交换机。Hadoop集群1*10GEETL集群1*10GE20Pcap数据（DPI）防火墙路由器DPI数据爬取数据爬取数据采集Agentcollector路由器互联网分光镜像日志采集网元设备(GGSNPDSNWAP网关、NET网关)/Apache日志核心设备话单互联网页面数据正向采集用户

27、行为数据WWW网站WAP网站反向采集互联网数据 建设方案p 基于Hadoop构建大数据的用户行为分析系统p 系统提供了核心的分布式云存储、分布式并行计算、分布式数据仓库、分布式列数据库整体解决方案 方案延伸p 基于Hadoop的大数据解决方案提供了基础的云存储和云计算的能力，基于该技术框架可进行应用的扩展和衍生。p 基于用户互联网访问行为分析结果，形成详细的户兴趣爱好列表，可进行即时、精准的广告投放数据存储p 上网记录入库时间：一般小于30分钟，实际约10分钟p 历史5个月+当前月数据查询p 上网记录查询速度：不高于1秒（不含用户访问查询页面的时间）p 并发查询数目：1000请求/秒p 系统主

28、要包含数据采集子系统、数据入库子系统、数据存储子系统、数据查询与分析子系统p 采用Hadoop/HBase作为上网记录存储方案p 采用MapReduce/Hive作用统计分析和数据挖掘工具21 以手机上网详单查询为应用案例关键性指标22n 项目背景p 运营商建设有多套垂直的网管子系统，目前系统数据集中程度不够，还未形成统一的数据标准和数据共享框架，对运营支撑的支撑力度不够，而网络运维分析在面向服务转型的过程中对数据的汇聚和共享要求极为迫切，因此需要建立统一的网管资源池p 网管资源池主要负责各个垂直网管子系统信令数据、日志数据的、告警数据的统一管理，实现跨平台的数据整合、数据应用和数据共享等功能

29、，p 网管统一资源池需提供海量历史数据的查询功能，满足运维人员日常信息查询和信息追溯的需要。p 系统与呼叫中心、工单系统对接，实现快速的数据交付（工单生成、告警触发）n 难点分析p 多个垂直网管系统的数据结构千差万别，抽取后的数据无法关联形成统一的数据集合，传统关系型数据库优势无法体现p 系统需要满足OLAP类应用分析，并面向上层应用提供一致性的数据查询，传统的关系型数据库受限于数据体量和数据种类，无法满足多类型的海量数据的查询和分析要求p 系统需同时从多个数据源实现数据库数据、信令数据和日志数据的采集，传统的ETL工具无法满足流式数据的采集要求，导致进程拥塞。n 建设方案p 基于不同的数据源及应用分析模式采用Flume、Sqoop等系统工具完成结构化和非结构化数据的导入p 基于HDFS实现海量历史数据的存储p Hive组件可通过SQL命令完成大数据的统计分析，并与传统关系型数据库配合完成分析结果数据的存放p HBase主要应用于历史数据的查询，例如：查询1天全网所有隐形故障告警数据