大数据分析存储解决方案toBD39.pptx

《大数据分析存储解决方案toBD39.pptx》由会员分享，可在线阅读，更多相关《大数据分析存储解决方案toBD39.pptx（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、从企业数据向大数据的扩展Traditional ApproachStructured,analytical,logicalSystems of RecordNew ApproachCreative,holistic thought,intuitionSystems Of EngagementMultimediaSystems of Insight Enterprise Integrationand Context AccumulationStructuredRepeatableLinearUnstructuredExploratoryDynamicData WarehouseWeb LogsS

2、ocial DataText Data:emailsSensor data:imagesRFIDInternal App DataTransaction DataMainframe DataOLTP System DataHadoop andStreamsTraditional SourcesNew SourcesERP data具备洞悉能力的系统Systems of Insight培训专用对新式基础架构的需求对新式基础架构的需求对新式基础架构的需求对新式基础架构的需求在可靠和安全可靠和安全的环境中处理关键业务应用存取和处理存取和处理海量数据包括结构化和非结构化数据速度及时响应随时可能出现的商

3、业机会，这就需要灵活、实时性的基础架构The dynamics of SoR and SoE:通过负载及资源部署的优化，来增强灵活性和效益通过采用包括基于开放标准的技术等新技术来改善IT economicsSystemofRecord（SoR）SystemsofEngagement（SoE）对的决策的决策对的地方的地方对的的时间点点BigData&Analytics培训专用大数据分析的新型架构解决方案大数据分析的新型架构解决方案大数据分析的新型架构解决方案大数据分析的新型架构解决方案IBMBigData&AnalyticsInfrastructureData Zone Application

4、Zone 培训专用4SmartMeteringGridOperations电网管理电网管理FieldService外勤现场服务外勤现场服务ResourcePlanning资源规划资源规划CustomerService/CustomerOperations实现真正的有效的法规遵从及时发现能源损耗问题、以及偷电和欺诈行为提高客户满意度电量使用预测更为精确电网运维优化减少停电次数和时间案例案例案例案例:SmartMeteringSmartMetering智慧电力计费智慧电力计费智慧电力计费智慧电力计费 大数据分析应用可以带来大数据分析应用可以带来大数据分析应用可以带来大数据分析应用可以带来真正的业务

5、价值真正的业务价值真正的业务价值真正的业务价值法法规遵从遵从培训专用案例案例案例案例:用大数据分析来加强用大数据分析来加强用大数据分析来加强用大数据分析来加强 SmartMeteringSmartMetering数据分析的高可用性，以确保随时了解用户喜好跨应用的TB级的数据需求 通用虚拟化存储平台实时收集、存储并分析数据，最快可达 50,000 data points/sec历史用电状态数据的复杂查询处理数据在加载到数据仓库前的清洗、验证，这些数据可能来自很多的用户、收费系统或断电保护系统关系掌控构建和维护电网的唯一试图对整个企业的结构化和非结构化数据t做全局导览Navigation，从中发现

6、Discover价值分析用户用电情况，侦测偷电、改表等行为预测哪些用户适合于哪些分时时段电价或需求/响应服务分时时段电价的实时定价 或 提供及时的需求/响应服务培训专用IBMBigData&AnalyticsReferenceArchitectureBig Data Platform CapabilitiesInformation IngestReal-time AnalyticsWarehouse&Data MartsAnalytic AppliancesAll Data SourcesAdvanced Analytics/New InsightsNew/Enhanced Applicati

7、onsCognitive认知知Learn Dynamically?Prescriptive规范范Best Outcomes?Predictive预测What Could Happen?Descriptive描述描述What Has Happened?ExplorationandDiscoveryWhat Do You Have?Streaming DataText DataApplications DataTime SeriesGeo SpatialRelationalSocial NetworkVideo&ImageAutomated ProcessCase ManagementAnalyt

8、ic ApplicationsWatsonCloud ServicesISV SolutionsAlerts培训专用NewInfrastructureLeveragesDataTypesDatainMotionDataatRestDatainManyFormsInformationIngestionandOperationalInformationDecisionManagementBIandPredictiveAnalyticsNavigationandDiscoveryIntelligenceAnalysis Raw Data Structured Data Text Analytics

9、Data Mining Entity Analytics Machine LearningLandingArea,AnalyticsZoneandArchiveVideo/AudioNetwork/SensorEntity AnalyticsPredictiveReal-timeAnalyticsExploration,IntegratedWarehouse,andMartZonesDiscoveryDeep ReflectionOperationalPredictive Stream Processing Data Integration Master Data StreamsInforma

10、tion Governance,Security and Business Continuity BigInsightsStreamsWarehouse培训专用培训专用InfoSphereBigInsightsHadoop-based 低延迟分析，针对多样化的、海量静态数据Data-At-RestNetezzaHighCapacityAppliance基于结构化数据的可查询归档Netezza1000基于结构化数据的BI+定制化分析 DataSmartAnalyticsSystem基于结构化数据的运营分析InformixTimeseriesTime-structured analyticsInf

11、oSphereWarehouse基于结构化数据的大容量数据分析InfoSphereStreams低延迟流数据分析Velocity,Variety&VolumeData-In-MotionMPP Data WarehouseStream ComputingInformation IntegrationHadoopInfoSphereInformationServer海量数据集成和转化ApacheHadoop:跨服务器集群的大数据集分布式处理开放系统框架，采用的是一种简单化编程模型IBMBigDataPlatform大数据平台大数据平台培训专用What:一种开源软件，将数据计算分布到整个集群的常见

12、商用服务器和存储上Why:传统的计算架构是一种沿纵向扩展模式，通过更快的SAN、大容量内存和多级缓存将数据加载到CPU上，成本比较高。What:Hadoop 把大数据集合拆分区划为小数据集合，再把小数据集合分发到多台普通服务器上，是一种横向扩展模式。Why:Scalable,Flexible,Cost Effective,Fault TolerentComponents:Map Reduce,HDFSWhatisHadoop?培训专用NameNode(Metadata store)NodesHDFS ClusterOperating SystemNodesElastic Storage-SNC

13、 ClusterKernel LevelIBMValueforHadoop!HDFS 把数据分散存储在多个存储节点Node上HDFS 设计时就假设存储节点有失效的可能，所以HDFS会把一份数据复制3份以上，分散存储在多个节点上，从而实现系统整体上的可靠性HDFS文件系统是由服务器节点集群组成的，每台服务器依照HDFS的特有block协议支持网络化block 数据HDFS Name Node 有发生单点故障的危险IBM 在改善文件系统的性能同时消除了单点故障 Elastic Storage-SNC(available as beta code)Hadoop说明明,MapReduce,HDFS培训

14、专用HadoopStackHadoopStackWhat does it look like?培训专用典型典型Hadoop存存储的的PainPoints在选择HDFS的组件（如软件、服务器、网络和存储等）时很难选对在从测试环境迁移到生产环境时，需要做的调优和调整工作太繁复了长期持续不断的运维保障过于繁重，比如老要更换失效组件（尤其是硬盘），这使得保证期望的SLA非常难CPU 和存储去耦o本来用户的CPU和内存已经满足计算需求，但为了存储容量需要安装更多的硬盘不得不买更多的、不必要的CPU和内存Storage options available have clear gapso本地存储的利用率低

15、(25%)，每次需要扩容的时候就要添加更多的服务器，而一旦硬盘失效后需要重建，服务器越多，失效的几率越高，性能也就越差培训专用IBMStorageforHadoopIBMStorageforHadoop传统的 Hadoop 集群使用的是服务器内置硬盘存储。如果用作测试或科学研究还好，可作为业务运行的存储就要采用企业存储Hadoop 集群要负责数据保护和复制l重建（就是copy）失效的数据集到不同节点上 严重影响CPU性能，无法实现企业级的RASlReplicate data 问题同上l扩展的时候同时增加处理器/网络/存储，无法做到物尽其用（no way to separate these 3

16、even if excess capacity existing in one(e.g.Needed more storage but had to add Compute and Network)）使用外部存储可以将存储负载和Hadoop计算节点分离，同时还获得了企业存储的好处。lSell the value of XIV,V7000,SVC,etc.用户一般会随Hadoop File System部署；采用Elastic Storage 可以有很多好处14培训专用数据加速数据加速lExperience the instant results that come from IBM Flash

17、SystemlDrive as much as 45X faster analytics results on certain workloads数据负载的多样性和灵活性数据负载的多样性和灵活性lXIV delivers predictable performance that scales linearly without hotspots delivering insights from analytics faster with tuning-free data distributionlScale-out,parallel processing of Elastic Storage s

18、oftware and integration with FlashSystem dramatically accelerates performance of Analytics clusters lVirtual Storage Center with SVC automatically optimizes data warehouse performance and cost across Flash and DiskMainframeDataEnvironmentslIntegration with DB2&specialty analytics“engines”leveraging

19、DS8870 delivers 4x reduction in batch times with new High Performance Flash EnclosureslHigh speed encryption on every drive type secures data数据保护和保留数据保护和保留 lLTFS EE w/tape provides reduced TCO by up to 90%over disk for long term retention of data at rest with a large open format tape repositorylRedu

20、ce the amount of data to be stored by up to 25times with ProtecTIER de-duplication 12x更快更快IBM FlashSystem increased SPLUNK&SAS application efficiency to perform business analytics20 x改善改善 in actionable supply chain analytics,4xreduction in batch times,virtualization for plug&play6x时间节省省“GPFS allows

21、us to move the metadata from the disk to the FlashSystem online.Once we did that,the backups were reduced down to about an hour.”2hrsbecomes2minutes失效切换时间大幅缩短MappingCharacteristicstoIBMStorageProducts培训专用StorageInfrastructure需求需求适用于所有的5种应用场景 OptimizedMulti-TemperatureWarehouse优化的多化的多级存存储库oAll FlashF

22、lashSystemoHybridDS8000 EasyTierXIV+SSD CachingStorwize EasyTierFlashSystem Solution(VSC+FlashSystem)oPureSystemsPureFlex(XIV or Storwize w/EasyTier)PureData for Transactions(Storwize)PureData for Analytics(Netezza)培训专用Midrange&EntryTier 0 AccelerationSmarter StorageSmarter StorageIntegrated Systems

23、Integrated SystemsEnterpriseOfferingsXIVzEnterprise Solutions for Analytics with DS8000PureData System forOperational Analytics with StorwizePureFlex Systemwith StorwizeDS8000Smart Analytics Systems with DS3xxxOpen&ExtensibleOpen&ExtensibleStorwizefamilyFlashSystemfamilyIBMSmarterStorage的的设计就是支持大数据分

24、析就是支持大数据分析高效和高效和优化数据基化数据基础架构架构培训专用IBMFlashSystemIBMFlashSystem：为大数据分析应用设计的，让应用和数据实现极速：为大数据分析应用设计的，让应用和数据实现极速：为大数据分析应用设计的，让应用和数据实现极速：为大数据分析应用设计的，让应用和数据实现极速IBMFlashSystem的的极速性能极速性能让实时业务决策成为可能让实时业务决策成为可能适合于模块化数据存储结构的适合于模块化数据存储结构的Hadoop系统。某些或所有数据可以保存到系统。某些或所有数据可以保存到Flash闪存上，其他可以保存到闪存上，其他可以保存到XIV培训专用IBMX

25、IV:OptimizeddataworkloaddiversityforBigData&AnalyticsIBMXIV:OptimizeddataworkloaddiversityforBigData&AnalyticsIBMXIV的的高性能高性能无须人工干预配置，且适用于各种无须人工干预配置，且适用于各种各样的存储负载各样的存储负载IBMXIV的的效率效率高的异乎寻常，而且简单性业内最高，内置友好界面高的异乎寻常，而且简单性业内最高，内置友好界面IBMXIV的的弹性弹性是企业级的，完全保证了数据的可用性和业务连续性是企业级的，完全保证了数据的可用性和业务连续性培训专用XIV:XIV:为为为为

26、AnalyticsAnalytics而生而生而生而生 无与无与伦伦比的比的性能性能性能性能可扩展的网格存储架构任意时间支持任意读写负载板上的闪存Flash 无与无与伦伦比的比的可靠性可靠性可靠性可靠性精致的数据分布无双的磁盘重建时间企业级的可用性 无与无与伦伦比的比的简简易性易性易性易性简单的规划、供给和灵活性上线后零维护零调优“XIV最吸引我们的地方就是其超强的性能 we正是由于XIV为我们的精细复杂的分析应用提供了一致的高性能，使得我们能够为我们的用户带来更多的价值。”培训专用SASSAS 和和和和 XIVXIV网格架构网格架构网格架构网格架构 完美的结合完美的结合完美的结合完美的结合大规

27、模并行计算 保持持续地最佳性能Balanced Performance性能均衡性能均衡 常年零调整Unprecedented Scalability史无前例的史无前例的扩展性展性 配合添加SAS节点和XIV模块即可培训专用IBMSVC:OptimizeddataworkloadflexibilityforBigData&AnalyticsIBMSVC:OptimizeddataworkloadflexibilityforBigData&AnalyticsIBMSVC通过如下功能在通过如下功能在IBM大数据产品线上增加了大数据产品线上增加了灵灵活性活性：完整和数据虚拟化和数据移动性完整和数据虚拟

28、化和数据移动性高级集群和复制高级集群和复制多路镜像，多路镜像，readpreferredoptionRealTimeCompression实时压缩实时压缩EasyTierHotExtentcachingStorwize V7000/UIBM SVC培训专用设计原则设计原则Real-Time Compression实时压缩是设计来做：l作用于 ActivePrimaryDataActivePrimaryDatal专用的压缩平台Platform handles ALL heavy lifting associated with compressionl不会影响性能We modify a compr

29、essed file in-place efficientlyl不会改变用户应用Users nor admins need to change anythingl处理流程不变压缩是在线完成，不是事后压缩l业界标准压缩算法所采用的压缩算法已经使用了几十年Storwize V7000/UIBM SVC培训专用24流处理计算&IBM Flash Systems培训专用Data:Data:是拥有还是保存是拥有还是保存是拥有还是保存是拥有还是保存?或是是分析和开始行动或是是分析和开始行动或是是分析和开始行动或是是分析和开始行动!Data inData at25培训专用InfoSphereStreams:

30、InfoSphereStreams:大数据流分析大数据流分析大数据流分析大数据流分析为分析动态数据而建l多并发输入数据流l大规模可扩展Massive scalability分析和处理的数据多样化lStructured,unstructured,video,audiolAdvanced analytic operators自适应实时分析lWith Data WarehouseslWith Hadoop Systems培训专用Current fact finding当前数据查询分许流动中的数据在数据落盘前低延迟模式,push model数据驱动真正的数据分析Historical fact find

31、ing历史数据查询查找和分析存储在磁盘上的数据信息批处理模式,pull model查询驱动:submits queries to static data TraditionalComputingStreamComputing流数据计算代表着计算模式的变迁流数据计算代表着计算模式的变迁流数据计算代表着计算模式的变迁流数据计算代表着计算模式的变迁Real-timeAnalytics培训专用RealTimeAnalyticsRealTimeAnalytics实时分析实时分析实时分析实时分析想象一下你如何用防火栓喝水想象一下你如何用防火栓喝水想象一下你如何用防火栓喝水想象一下你如何用防火栓喝水来自多个

32、多样输入源的大量数据直接处理和过滤数据，而不必存储仅保存有价值的数据仅关联对数据最感兴趣的用户随着数据信息的产生采取行动培训专用AdaptiveAnalyticsAdaptiveAnalytics自适应分析自适应分析自适应分析自适应分析DatainMotionandDataatRestDatainMotionandDataatRest的集成的集成的集成的集成1.DataIngest数据集成，数据挖掘，机器学习，统计建模实时和历史数据洞察力的可视化3.AdaptiveAnalyticsModel数据收取，在线分析准备，模式校验Data2.Bootstrap/EnrichControl flowI

33、nfoSphereBigInsights,Database&WarehouseInfoSphereStreams培训专用AdaptiveReal-TimeAnalyticsAdaptiveReal-TimeAnalytics自适应实时分析自适应实时分析自适应实时分析自适应实时分析来自多个多样输入源的大量数据过去、现在和未来全方位综合性视图l实时分析，低延时结果lFull context for deep analysis深度分析的完整的上下文跨data in motion and data at rest的常用数据分析自适应-随机而变l当发现非预期行为时，自适应l当识别出新数据意义时深度分析之

34、l开始没有意识到的数据意义，随后才可能意识到l自适应在开始没有意识到的，随后可以找出数据模式培训专用StockmarketImpact of weather on securities pricesAnalyze market data at ultra-low latenciesMomentum CalculatorFraudpreventionDetecting multi-party fraudReal time fraud preventione-ScienceSpace weather predictionDetection of transient eventsSynchrotro

35、n atomic researchGenomic ResearchTransportationIntelligent traffic managementAutomotive TelematicsEnergy&UtilitiesTransactive controlPhasor Monitoring UnitDown hole sensor monitoringNaturalSystemsWildfire managementWater managementOtherManufacturingText AnalysisERP for CommoditiesReal-time multimoda

36、l surveillanceSituational awarenessCyber security detectionLawEnforcement,Defense&CyberSecurityHealth&LifeSciencesICU monitoringEpidemic early warning systemRemote healthcare monitoringTelephonyCDR processingSocial analysisChurn predictionGeomapping如何使用如何使用如何使用如何使用InfoSphereStreams?InfoSphereStreams

37、?培训专用加快数据流入分析系统的速度加快数据流入分析系统的速度加快数据流入分析系统的速度加快数据流入分析系统的速度向交易方向加速。一个高效和灵活的基一个高效和灵活的基础架构架构显然可以加快流速，然可以加快流速，并平衡不同数据分析的并平衡不同数据分析的需求需求CoresSCMStorageNetworkCoresSCMStorageNetworkCoresSCMStorageNetworkCoresSCMStorageNetwork+预测分析分析数据数据仓库文本分析文本分析Hadoop WorkloadsHadoop Workloads优化化敏感性分析敏感性分析加快流速加快流速价值时间“触触发事

38、件事件”数据完数据完备交易交易Insight预见获取数据获取数据时间时间分析数据分析数据时间时间行动时间行动时间培训专用大数据分析的新式基础架构解决方案大数据分析的新式基础架构解决方案大数据分析的新式基础架构解决方案大数据分析的新式基础架构解决方案IBMBigData&AnalyticsInfrastructureData Zone Application Zone 培训专用Experience real-time analytical insights with up to 50 x better performance than enterprise disk systems using

39、IBM FlashCore technologyPreserve and protect infrastructure continuity while scaling to over 2 petabyte of effective all-flash capacity under a single integrate interfaceDeliver agility and data economics with 4x greater capacity in less rack space than competitive all-flash productsSynchronized and

40、 Complimentary to Overarching Storage Messaging-Accelerate time to insights through data without borders.IBM innovation frees data with agile and simple to use storage solutions delivering superior data economics IBMFlashSystemCoreLaunchMessagingDrive a complete paradigm shift in Enterprise Storage

41、with the all new IBM FlashSystem Family培训专用IBMFlashSystemFamilyIBMFlashSystemFamily2015Theme2015ThemeTime to insight.Time to value.Time to market.IBM FlashSystem,its about time.Flash Realized!培训专用IBMFlashSystemV9000IBMFlashSystemV9000FoundationalPillarsFoundationalPillarsIBM FlashCore Technology is

42、the DNA of the FlashSystem FamilyScalable PerformanceEnduring EconomicsAgile Integration培训专用Introducing the New IBM FlashSystem Family OfferingsIBM FlashSystem 900Extreme Performance:Delivers 100 microsecond response times Macro Efficiency:Lowest latency offering with 40%greater capacity at a lower

43、cost per capacityEnterprise Reliability:IBM enhanced Micron MLC flash technology with Flash Wear GuaranteePowered by IBM FlashCore TechnologyIBM FlashSystem V9000Scalable Performance:Grow capacity and performance with up to 2.2PB scaling capabilityEnduring Economics:Next generation flash media with

44、lower cost per capacity Agile Integration:Fully integrated system management to simplify management and improve workforce productivity under a single name space培训专用FlashSystem900FlashSystem900Introducing IBM FlashSystem 900,the next generation in our lowest latency offering IBM MicroLatency with up

45、to 1.1 million IOPS40%greater capacity at a 10%lower cost per capacityIBM FlashCore technology,our secret sauce Technical collaboration with Micron Technology,our flash chip supplierIBM enhanced flash technologyMLC NAND flash offering with Flash Wear Guarantee VAAI UNMAP and VASA support with IBMSIS

46、 for improved cloud storage performance and efficiencyMinimumlatencyWrite90 sRead155 s MaximumIOPS4KBRead(100%,random)1,100,00Read/write(70%/30%,random)800,000Write(100%,random)600,000Maximumbandwidth256KBRead(100%,sequential)10 GB/s Write(100%,sequential)4.5 GB/s Performanceat-a-glanceIBMMicroLaten

47、cymoduletype1.2TB2.9TB5.7TBModulesquantity46 8 10 12 6 8 10 12 6810 12RAID5capacity(TB)2.44.87.29.6 1211.6 17.423.229.022.834.245.657.0RawCapacity(TB)7.110.714.217.821.426.335.143.952.752.770.387.9105.5培训专用IBMintroducesafullyintegrated,fullymanaged,fullfunctionall-flashstoragesystemFlashSystemV9000F

48、lashSystemV9000Scalable all-flash architecture with full set of advanced data featuresPerforms at up to 2.5M IOPS with IBM MicroLatency,scalable to 19.2 GB/s Scales to 456 TB usable and up to 2.28 PB effective capacity in only 34UUp to 57 TB usable and up to 285 TB effective capacity in only 6UNew l

49、icensing structure to simplify ordering and planning for External Data Virtualization,Flash Copy,Metro Mirror,and Real-time CompressionScalablePerformanceAgileIntegrationEnduringEconomicsPoweredbyFlashCoreTechnology培训专用演讲完毕，谢谢观看！培训专用内容总结从企业数据向大数据的扩展。UnstructuredExploratoryDynamic。速度及时响应随时可能出现的商业机会，这

50、就需要灵活、实时性的基础架构。实现真正的有效的法规遵从。Hadoop-based 低延迟分析，针对多样化的、海量静态数据Data-At-Rest。Data-In-Motion。跨服务器集群的大数据集分布式处理开放系统框架，采用的是一种简单化编程模型。HDFS 把数据分散存储在多个存储节点Node上。HDFS 设计时就假设存储节点有失效的可能，所以HDFS会把一份数据复制3份以上，分散存储在多个节点上，从而实现系统整体上的可靠性。HDFS文件系统是由服务器节点集群组成的，每台服务器依照HDFS的特有block协议支持网络化block 数据。如果用作测试或科学研究还好，可作为业务运行的存储就要采用