智慧城市烟草行业云大数据平台解决方案课件.ppt

《智慧城市烟草行业云大数据平台解决方案课件.ppt》由会员分享，可在线阅读，更多相关《智慧城市烟草行业云大数据平台解决方案课件.ppt（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Usethistitleslideonlywithanimage烟草行烟草行业云云大数据平大数据平台方案台方案一一、国家局烟草宏、国家局烟草宏观政策政策二二、中国烟草、中国烟草业务价价值三三、烟草行、烟草行业云大数据整云大数据整体体架构架构四四、平台案例、平台案例五五、附附录一一、国家局烟草宏、国家局烟草宏观政策政策4国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”大数据将成为行业市场化取向改革的强大抓手和精益营销的有力工具精益营销精益生产精益物流烟草行业大数据3亿多卷烟消费者，169个卷烟品牌，1325个规格包装500多万零售客户，125亿多条卷烟，每天2亿笔交易数据350个地市

2、级公司，国家局信息中心机房数据17400G每年“一号工程”处理200多亿个数据5市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应用智能化的重要性订单采集货款结算监督管理需求预测货源采购货源投放省级卷烟营销平台6中国烟草在互中国烟草在互联网网+时代的新一代数据中心建代的新一代数据中心建设互互联网网+精准精准营销互互联网网+智能制智能制造造互互联网网+科学决科学决策策大数据+实时计算面向移动互联时代的新一代数据中心大：海量存储-Hadoop快：内存计算-HANA低：资源共享-Cloudq行业“互联网+”的市场化转型升级平台q成为“一号工程”升级版的专卖实时管控平台q打造未来的中国烟草“

3、大众创业，万众创新”的平台二二、中国烟草、中国烟草业务价价值8大数据挖掘为核心实现精益营销消费行为预测数据挖掘货源精准投放数据挖掘产品生命周期数据挖掘客户聚类分析数据挖掘营销策略分析数据挖掘销售潜力分析数据挖掘培养大数据视野挖掘大数据价值推进大数据应用注重大数据引领大数据9*Customer智能物流解决方案和架构Extended WarehouseManagement （扩展仓库管理）Track&Trace（追踪和追溯）TransportationResource Mgmt.（运输资源管理）Hub Logistics（枢纽物流）TransportationManagement （运输管理）仓库

4、智能设备SAP MFS物料流系统SAP NWNetWeaverITSMobile/Gateway（移动/网关）SAP PCOPlantConnectivity（工厂设备连接）互联设备SAP NWNetWeaverProcessIntegration（流程集成平台）地理信息系地理信息系统（GIS）,电信服信服务提供商提供商,互联设备SAP HCPHANACloudPlatform（HANA云平台）电信服信服务提供商提供商10端到端端到端的一的一体化智能物流解决方案流程概体化智能物流解决方案流程概览创建销售订单或交货单(SAPERP)自动创建运输需求(SAPTM)自动创建货运单元(SAPTM)订单

5、处理(ERP)交互式/自动制定运输计划承运人选择承运人招标创建货运订单在ERP中自动生成交货单运输计划(TM)波次创建装箱计划拣货优化，包装，备货和装车管理增值服务提货单打印仓库执行(EWM)装运状态检查装运执行监控及事件追踪运输执行(TM)运费计算创建货运发票请求并传输到ERP货运订单结算(TM/ERP)集成的外向发货流程TMEWM三三、烟草行、烟草行业云大数据整云大数据整体体架构架构12中国烟草云数据中心的未来总体架构BOE平台业务主题层源系统分析主题SAP SLT 实时获取分析应用财务分析原始数据层业务数据层业务数据层企业原始业务层企业业务数据分析整理层企业经营决策支持应用层SAP DS

6、 定时获取SAP IS 元数据管理 平台 SAP HANA 平台SAP BOE 平台 BO图表报表平台KPI管理工具管理驾驶舱门户企业门户项目分析采购分析网点分析成本分析生产分析关键指标分析 用户自主配置工具烟草业务监控系统烟草业务运营/支持类系统EAMHRSRM 外部输入数据主数据管理平台指标数据层指标数据层财务分析主题物资分析主题销售分析主题.SAP BW数据获取数据存储与处理数据分析Hadoop平台13中国烟草云数据中心系统建设建立统一数据采集平台进行数据管控、数据分发、数据质量等的统一管理，建立各业务系统与数据存储层的数据交换渠道采用全新的数据库平台技术，提供实时数据查询能力，帮助用户

7、更方便快速建立数据模型在底层平台建设的基础上，使用专业展现工具进行数据呈现/数据分析/数据挖掘，为企业运用运营数据提供支持企业数据交互层15超超过3000家企家企业客客户选择SYBASE RS搭建搭建关关键业务系系统的的实时复制复制环境，包括：境，包括：异地数据异地数据存存储，提高灾，提高灾备数据保数据保护提供关提供关键应用的用的业务连续性保性保护卓越的复制性能，卓越的复制性能，降低数据从源到目降低数据从源到目标的的时间灵活的定灵活的定义、不受限的、不受限的扩展性，展性，满足足业务扩展需求展需求应用分离方案，用分离方案，备点提供点提供报表、表、查询功能，减少生功能，减少生产点系点系统压力力SA

8、P Sybase Replication Server 企业级数据复制服务器WallStreetPublicServicesRetail&LogisticsLeadershipHeterogeneityAdoption1sttransactionalreplicationtoolinthemarketRecognizedasanindustryleaderbyGartner,Forrester10+PatentedtechnologytoboostperformanceOracle,ASE,IBMDB2andMSSQLassourcesHANA,IQ,Oracle,ASE,IBMDB2,MSS

9、QLandMessageBusastargetsOver3,000enterprisecustomersReplicationstandardinFinancialServicesIndustry16Replication Server(RS)的的功能功能连续，实时改改变数数据的据的抓抓取取基于日志基于日志 Log-based(对生生产系系统影影响响非常小非常小)在在复复制拷制拷贝中中维护完全的事完全的事务完整性完整性支持支持异构异构（异种异种）数数据据库双双向向复复制制(从从源到目源到目标且反之亦然且反之亦然)通通过Sybase实时事件事件触触发，发送改送改变的的数数据到消息据到消息总线 m

10、essage bus可定制的冲突可定制的冲突检测/解解决决计划划具有存具有存储转发的容的容错机制机制管理和管理和监控工具控工具1001010101010101010110101010101010001信息量更大，信息量更大，传输速度更快速度更快17复制服复制服务器的器的优势开放开放!支持Sybase,Oracle,SQL Server,DB2等各种主流的数据库灵活灵活!灵活的数据传输定义和订阅高效高效!最有效的传输内容,降低网络负载,提高传输效率可靠可靠!提供了丰富的数据传输保障机制,如断点续传等,保障传输可靠TCO!TCO!RS可独立运行在一台独立服务器上,不局限于数据库的平台限制18192

11、02122SAP提供最佳EIM解决方案传递完整，准确，容易访问的信息Data Integration&Quality Management:nSAP BusinessObjects Data ServicesnSAP BusinessObjects Data FederatornSAP BusinessObjects Text AnalysisnSAP BusinessObjects Data InsightnSAP Data Migration servicesMaster Data Management:nSAP NetWeaver Master Data Management nSAP

12、Master Data Governance for FinancialsnSAP Data Maintenance by VistexEnterprise Data Warehousing:nSAP NetWeaver Business WarehousenSAP NetWeaver Business Warehouse AcceleratornSAP BusinessObjects Rapid MartsnSAP BusinessObjects Metadata ManagementContent&Information Lifecycle Management:nSAP NetWeave

13、r Information Lifecycle ManagementnSAP Extended ECM by Open TextnSAP Document Access by Open TextnSAP Archiving by Open Text23101101001000010100011011101010101010100101011001101010001001010110100100110010101001001010100110010100110100101010110101整合改善洞察治理CustomerProductSupplierMaterialEmployee业务用户界面(

14、信息管理)IT 用户界面(数据服务)SAP BusinessObjects Data Services 4.0运行时间架构和服务统一的元数据抽取、转换、加载数据质量数据剖析文本分析统一的管理环境(作业安排，安全,用户管理)统一的源/目标数据连接第一个、也是唯一的数据整合、数据质量、数据治理和文本数据分析的集成平台SAP BusinessObjects Data Services 数据整合、数据质量、和文本分析24数据整合(Data Integrator)客户关系管理关系型数据库ExcelEmails普通文件，Excel和XML)Web大型主机ERP原始未经处理的数据以合适的格式或者结构装载到目

15、标商务智能多维分析ERP客户关系管理数据集市数据仓库数据抽取&数据转换Data Services异构数据源一个或者多个目标25内建企业级数据和应用访问接口HANAOracleDB2(LUW,z-series,i-series)Sybase ASESybase IQSQL ServerInformixMySQLTeradataODBCHP NeoViewNetezzaSAP Bus SuiteExtractorsABAPBAPIIdocSAP NW BWJD EdwardsOracle AppsPeopleSoftSiebelSText delimitedText fixed widthEBCD

16、ICXMLCobolExcelHTTPJMSSOAP(Web Services)HADOOPADABASISAMVSAMEnscribeIMS/DBRMS包括直接的和变化的数据任何来自六种语言的文本文件类型扩展到31种语言扩展到docs,pdfs,ppts等等(4.1 SP1)数据库应用程序文件/传输大型机(合作伙伴)非结构化内容SAP Data Services 在向数据库，应用程序，遗留系统，文件格式等提供广泛连接方面具有悠久的历史Reference Data Services PAM for additional details http:/ 26实时物理数据整合语义层批作业评估治理提升

17、数据质量管理(Data Quality)27提高数据质量的流程：n评估（理解数据质量的问题）n分词n清洗（地址或者其他数据）n信息补全n匹配n合并n持续观察典型应用场景n组织和企业在合并过程中，系统间主数据的合并n建立真正干净、完整的重要信息（如客户，供应商，产品等等）资料库n资源、资产管理的必要手段数据质量管理核心流程28SAP BusinessObjects Information Steward 功能概览数据质量记分卡数据质量监控数据剖析数据血统变化影响清洗规则业务术语表29数据质量评分指标最新的数据质量得分数据质量趋势从一个数据属主角度衡量数据质量的记分卡关键质量维度（数据质量KPI）

18、下钻查看记分卡细节数据洞察力：面向数据质量的记分卡方法30SAPBW数据仓库商务智能分析和在E T L源系统同时支持关系型数据仓库以及专业数据仓库产品如SAP BW，提供端到端的元数据解析能力。端对端的元数据生命周期管理31非结构化的文本分析 Text Data Processing一旦数据结构化后 整合查询 分析 可视化 报表结构化数据释放文本信息的力量、获取商业洞察力n处理非结构化的文本数据n从非结构化数据中抽取数据，并建立结构化数据n自动识别和抽取实体数据n自动识别和抽取事件数据n支持用户建立客户化的实体数据字典非结构化的文本信息n理解语义信息32Text Data Processing

19、 架构Data ServicesText Data ProcessingEntity ExtractionData Services Designer建立TDP作业 数据源用于查询和分析的语义层终端用户程序或者仪表盘ETL 设计人员业务用户实体,概念,敏感词DQ Transforms目标33释放信息的力量首创的、并且是唯一的内置了非结构化数据支持的企业级数据整合，数据质量和数据剖析应用通过直观的业务用户界面，使得用户能够掌控数据，定义数据标准唯一一个能够支持非结构化数据源的工具，拓展您的数据视野成就卓越运营降低成本，加速实现产品利润，简化IT基础设施，这一切均可通过一个简单易用的产品来实现，并

20、且实现最低的总拥有成本将用户和开发的效率提至最高，通过转换组件和对象的重用，简化系统的运维对SAP系统和非SAP系统实现最深入的整合，实现最低的成本和最快的价值实现速度访问支撑关键业务流程所需的相关数据，无论这些数据时什么类型、什么来源、属于什么领域提升业务决策和业务流程中的数据信心，从而实现业务的更好运营只需支持和维护一个应用，从而实现更低的总拥有成本提供最值得信赖的信息无论数据来自何种行业，哪个地点，还是不论是关于客户、产品、物料等哪个领域，Data Services 4.0都提供了访问和提高数据质量的最完整方案。通过影响分析和数据血统分析，提供随时可用的数据追踪能力，帮助用户作出信心十足

21、的决策共享数据质量仪表盘，监控并发现数据质量对治理规则和标准的符合程度变化趋势SAP BusinessObjects Data Services 4.0数据存储层35SAP HANA(High-Performance ANalytic Appliance)SAP HANAMDXSQLBICSSQL数据建模实时数据复制数据抽取SAP HANA其他应用SAP BusinessObjectsSybaseMainframe第三方系统内存计算引擎计算及计划引擎行/列存储什么是SAP HANA预置的分析设备基于内存的软件预装在硬件设备中软件-SAPIMCE包含数据建模、数据管理、安全管理及操作的工具数据复

22、制服务器、ETL及SAPBOBJ协同工作支持多种客户端应用预置内容包（抽取器及数据模型）功能对海量数据进行的高速实时分析基于历史以及实时数据，创建灵活的分析模型减少数据重复新一代应用的基础SAP HANA是一项在本地内存中分析海量数据的技术，能够在刹那间获得复杂的分析与交易结果，实时完成业务决策，毫无延迟36增量数据处理+DiscreteSAP内存计算-技术的协同创新硬件 n多核处理器架构(每台刀片8 x 8 核 CPU,Xeon 7650)n64bit 地址空间 单台扩展到2TB,(理论达4EB)n100GB/s 数据传输行+列存储压缩 5-20倍分区：大量数据，复杂计算n多台服务器并行运行

23、n每台服务器的价格低廉动态聚集软件今天 未来n价格迅速下降，性能迅速提升CacheDisk+MemoryIn-MemoryDiskIntegrated37n 秒级处理实时决策RDBMS:行存储，速度取决于磁盘IO 慢HANA:行、列存储，完全存于内存 快n 大规模数据运算RDBMS:索引、优化、有经验的开发人员 难HANA:内存排序，无需考虑优化 易n 并行处理，低成本运行RDBMS:专门的数据库服务器 贵HANA:普通PC服务器 省HANAHANA比传统数据库具有极大的优势比传统数据库具有极大的优势快、易、省快、易、省38HANA 三大特点之一：极速速数据访问-比磁盘快1000000倍“到2

24、012年,70%的全球1000强企业会将明细数据导入内存，以提升商务智能应用的性能。”-Gartner传统数据库磁盘读取5毫秒内存数据库内存读取5纳秒基于主内存的并行处理是绩效改善的关键*“磁带已经死了，磁盘已经落伍，闪存成为存储，内存才是王道”数据库奠基人Jim Gray 2006年12月39HANA三大特点之二：分而治之、并行处理数 据n本地内存、多处理器并行处理，把大数据量和计算量分散到不同处理器n节点间并行处理，不同的服务器之间也共享同一组数据n容灾性，单一的服务器的DOWN机将不影响任何计算40HANA三大特点之三：在内存中思考，在内存中行动 最小化数据传输传统应用将数据密集型操作在

25、应用层执行高性能的应用将数据密集型操作转移到内存中执行内存计算内存计算-将数据密集型操作放到内存中-避免传输细节数据-先计算，而后传输结果41自2010年发布以来，HANA的卓越性能无与伦比提高 1,000 倍：许多分析流程（催款、账龄）提高 10,000 倍：农夫山泉、Essar、SAP IT、康奈尔大学提高 100,000 倍：Yodobashi或者从 24 小时以上减少到 3.8 秒:食品饮料/分销 物流从 15 小时以上减少到 4.8 秒:项目管理/服务 利润,绩效从 30 天减少到 28 秒:制造业 订单到付款从 3 天减少到 2 秒:零售/保险 奖金SAP的HANA架构，结合了云计

26、算和内存计算技术，显示了先进的、具备潜在颠覆性的愿景 高德纳咨询公司 SAP 用HANA引领下一代架构竞争，2011年10月在1.3TB的数据上，每小时运行1万个查询，并在几秒种之内返回结果。由WinterCorp公司独立审计和验证，2011年3月SAP客户实证：分析展现层43SAP BI 产品概品概览一个满足各方需求的统一数据分析平台数据探查数据探查(敏捷分析敏捷分析)仪表盘仪表盘报表报表与分析与分析数据集市数据仓库HADOOP实时数据平面文件交易系统SAP BI 平台语义层系统管理(CMC)发布及共享安全安全审计移移动支持支持内容生命内容生命周期管理周期管理数据数据访问Software D

27、evelopment Kits访问访问:门户门户|办公软件（办公软件（Office）|浏览器浏览器|移动设备移动设备CloudHybrid On Premise支持多种设备接入支持多种部署模式Lumira数据探索（数据探索（Explorer*）分析（分析（Analysis*）Design Studio仪表表盘（Dashboards）即即时查询（Web Intelligence）水晶水晶报表（表（Crystal Reports）44BI 应用用场景景敏捷标准分析并可视化由多处获得的数据在Excel中分析数据并可视化在企业数据中“搜索”与分析最终用户利用预先定义的组件组装自己的交互仪表盘创建高可视

28、化、高交互的面向高层人员定制的高可视化、高交互的分析内容自助的企业数据分析及创建报表在不同范围内共享信息高度格式化报表数据探查数据探查仪表盘仪表盘报表与分析报表与分析Lumira数据探索（数据探索（Explorer*）分析（分析（Analysis*）Design Studio仪表表盘（Dashboards）即即时查询（Web Intelligence）水晶水晶报表（表（Crystal Reports）对应组件对应组件专家家模式模式自助模式自助模式交付方式交付方式对应组件对应组件对应组件对应组件交付方式交付方式应用要求45BI 平台平台HANARDBMSExcel/CSVhadoopBW*Cli

29、pboardBI suite与Lumira的关系报表报表仪表盘仪表盘分析分析水晶报表即席查询DashboardDesignStudio数据探索平台客户端BI工具数据源语义层数据源数据建模数据分析分析共享查看平台Lumira 服服务器器（基于基于 HANA）Lumira 云云（基于（基于HANA）Lumira 桌面版桌面版Excel/CSVLumira 服服务器器（内存数据（内存数据库）46数据准备可视化探索故事构建结果分享数据源多样化内存存储利用现有企业级BI中搭建的模型根据业务分析需求处理数据，例如：企业和个人数据合并、数据计算、数据分组等自由灵活的展现多种视觉冲击强烈的可视化组件持续增强和

30、增加的可视化组件与第三方软件提供商的集成（例如ESRI、VE）根据业务需求，快速构建故事板快速生成业务报告基于故事板的互动查询发布结果到部门服务器、企业级服务器或者云多种设备端查看分析结果，实现随时随地的分析发布故事板到BI平台，与现有企业级BI平台统一管理，包括内容、权限等敏捷可视化的4个步骤47SAP大数据预测分析专为业务用户设计数据挖掘/统计学/概率学 专业知识无业务分析师数据 科学家业务用户低高97%3%1%SAP 大数据预测分析SAP PA 智能建模+Lumira自助探索SAP PA 专家建模R语言SAP HANA 分析函数包48 SAP IQ企业核心业务数据数据展现BO仪表盘Lum

31、ira自助探索其它应用系统SAP ERPSAP大数据预测分析系统架构 敏捷分析+内存数据库+自助探索移动可视化第三方数据SAP CRM 历史数据扩展存储Predictive Analysis Libraries|Business Function Libraries|Data Models&Stored ProceduresSAP Predictive Analytics 数据挖掘自动化大数据内存分析平台数据驱动SAP HANA DataServices数据存储数据建模与分析/Hadoop49数据挖掘和数据挖掘和预测：直直观的可的可视化化应用，丰富的用，丰富的预置置预测模型模型SAP PA大数

32、据大数据预测分析解决方案分析解决方案方案价值：自动数据准备和探索、完整的数据挖掘过程、强大的预测算法库直观地设计复杂的预测模型，可视化分析丰富的建模技术，可扩展的预测模型：关联分析聚类分析决策树分析神经网络分析例外分析回归分析时间序列分析概率分布聚类分析决策树分析神经网络分析例外分析时间序列分析多元回归分析50数据挖掘和数据挖掘和预测：高效的内存：高效的内存预测分析，支持分析，支持外部算法外部算法调用用SAP PA大数据大数据预测分析解决方案分析解决方案方案价值：结合了SAP HANA内存分析的深度、性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘通过集成R语言，在SAP

33、 HANA中访问3,500种以上的开源算法内置于业务应用中，扩展到BI和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和移动终端，使业务相关人员都能灵活获取预测洞察力 与BI平台的一体化设计，通过任何 BI报表或仪表盘均可访问分析结果51数据挖掘和数据挖掘和预测：自：自动数据数据准准备和探索和探索SAP PA大数据大数据预测分析解决方案分析解决方案方案价值：自动数据准备和探索，包括上千个变量并自动找到重要的指标 在几小时内创建和部署模式，而不是数周可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题自动实现选择变量准备数据变量编码缺失值处理奇异值处理匹配模型测试模型模型报

34、告模型部署商业问题选择变量准备数据建模模型测试理解应用选择商业问题最相关的变量，以适合算法需要SAP：自动决定重要变量，多至几千个变量用不同算法进行建模，选择不同的参数SAP：结构风险最小化理论自动选优把数据语言转换成商业描述SAP：独特的专利技术准备数据：缺失值处理，异常值处理，函数变换SAP：自动化预处理52数据挖掘和数据挖掘和预测：精：精简的的预测分析分析应用函数建模工具用函数建模工具(AFM)SAP PA大数据大数据预测分析解决方案分析解决方案方案价值：图形化用户界面，用于创建基于函数和PAL算法的程序模型将存为存储对象，可以在多个应用间重复使用可用函数放置在拖拽列表中简单选取输入/输

35、出表、参数、以及过滤器，并生成程序无需编写SQL语句代码，就可创建基于PAL函数的程序快速开发和部署预测应用简单易学的编辑器，使应用开发过程更高效率、有成效、出成果四四、平台案例、平台案例54Real-Time Infrastructure Meets Real-Time Information 华为IT副总裁任志鹏与SAPCTOBernd在华为深圳总部，2013Q4201220132014l全球领先的ICT提供商l拥有业界最优秀的研发团队 以及研发实力郑叶来(华为IT产品线总裁)与AlexAtzberger(SAPSVP)会面，建立正式合作伙伴关系JimSnabe(SAPCEO)到访华为总部

36、，与任总(华为CEO)及徐直军(华为轮值CEO)会谈，确定了双方合作的方向和目标华为战略与Marketing总裁和SAPco-CEOJimSnabe,华为和SAP共同宣布双方新层次合作伙伴关系,CeBIT2014强强联手合作企业级软件的领导者 商业智能软件的供应商55性能至强性能至强管理至简管理至简优化IO融合管理体验至优体验至优华为华为SAP HANA解决方案解决方案IBM华为5X*5X更快性能，中国石油POC,201402全球最快的全球最快的SAP HANA解决方案解决方案56SAP HANA优势总结唯一有超大规模HANA集群成功实践经验的厂家，华为积累了丰富的实施交付和运维经验。案例：中

37、国石化9节点18T集群，SAP中国研究院15节点30T集群，华为2套*16节点16T集群，中国石油63THANA集群华为有基于本土更强的故障响应、服务保障团队，能深入到操作系统源代码级快速定位问题。其它国外厂家复杂问题需要升级海外处理，响应不及时。高可靠：采用分布式架构，计算和和存储分离，相互不影响，比IBM合一架构，华为方案更可靠；高性能：采用56GbpsInfiniband存储网络和NVDIMM内存缓存，整个方案端到端延时最低，吞吐能力较友商提升数倍。复杂查询较友商性能提升5倍，数据加载和生成性能提升1.5X省空间：HANA内存密度更高，节省机房空间近70%省Opex：采用融合基础设施，集

38、中监控，自动化运维节省Opex30%57BeijingJiaotongUniversityPekingUniversityFutongTechGermanyHeliparkSpanishGAMOCNPCChinaHuanengGroupItalianRetailSINOPECChinaMinmetalsCorporationMircroPortSAPLabsChinaRuianTechSpanishSaptoolsFinlandBilotSpanishONOHuaweiChinaMinshengBankSpanishXanithospitalZimbabweRevenueAuthority教育&零售能源高科技银行&公共部门制造业SAP HANA解决方案全球参考案例