IBM存储解决方案—数据分析的存储.ppt

《IBM存储解决方案—数据分析的存储.ppt》由会员分享，可在线阅读，更多相关《IBM存储解决方案—数据分析的存储.ppt（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、IBM存储解决方案存储解决方案数数据分析的存储据分析的存储从企业数据向大数据的扩展Traditional ApproachStructured,analytical,logicalSystems of RecordNew ApproachCreative,holistic thought,intuitionSystems Of EngagementMultimediaSystems of Insight Enterprise Integrationand Context AccumulationStructuredRepeatableLinearUnstructuredExploratoryD

2、ynamicData WarehouseWeb LogsSocial DataText Data:emailsSensor data:imagesRFIDInternal App DataTransaction DataMainframe DataOLTP System DataHadoop andStreamsTraditional SourcesNew SourcesERP data具备洞悉能力的系统Systems of Insight对新式基础架构的需求对新式基础架构的需求在可靠和安全可靠和安全的环境中处理关键业务应用存取和处理存取和处理海量数据包括结构化和非结构化数据速度及时响应随时可

3、能出现的商业机会，这就需要灵活、实时性的基础架构ThedynamicsofSoRandSoE:通过负载及资源部署的优化，来增强灵活性和效益通过采用包括基于开放标准的技术等新技术来改善ITeconomicsSystem of Record（SoR）Systems of Engagement（SoE）对对的决策的决策对对的地方的地方对对的的时间时间点点Big Data&Analytics大数据分析的新型架构解决方案大数据分析的新型架构解决方案IBM Big Data&Analytics InfrastructureDataZoneApplicationZone5Smart MeteringGrid

4、 Operations电网管理电网管理Field Service外勤现场服务外勤现场服务Resource Planning资源规划资源规划Customer Service/Customer Operations实现真正的有效的法规遵从及时发现能源损耗问题、以及偷电和欺诈行为提高客户满意度电量使用预测更为精确电网运维优化减少停电次数和时间案例案例:Smart Metering智慧电力计费智慧电力计费 大数据分析应用可以带来大数据分析应用可以带来真正的业务价值真正的业务价值法法规规遵从遵从案例案例:用大数据分析来加强用大数据分析来加强 Smart Metering数据分析的高可用性，以确保随时了解

5、用户喜好跨应用的TB级的数据需求 通用虚拟化存储平台实时收集、存储并分析数据，最快可达 50,000 data points/sec历史用电状态数据的复杂查询处理数据在加载到数据仓库前的清洗、验证，这些数据可能来自很多的用户、收费系统或断电保护系统关系掌控构建和维护电网的唯一试图对整个企业的结构化和非结构化数据t做全局导览Navigation，从中发现Discover价值分析用户用电情况，侦测偷电、改表等行为预测哪些用户适合于哪些分时时段电价或需求/响应服务分时时段电价的实时定价 或 提供及时的需求/响应服务IBM Big Data&Analytics Reference Architectu

6、reBigDataPlatformCapabilitiesInformationIngestReal-timeAnalyticsWarehouse&DataMartsAnalyticAppliancesAllDataSourcesAdvancedAnalytics/NewInsightsNew/EnhancedApplicationsCognitive认认知知Learn Dynamically?Prescriptive 规规范范Best Outcomes?Predictive预测预测What Could Happen?Descriptive描述描述What Has Happened?Explo

7、ration and DiscoveryWhat Do You Have?StreamingDataTextDataApplicationsDataTimeSeriesGeoSpatialRelationalSocialNetworkVideo&ImageAutomatedProcessCaseManagementAnalyticApplicationsWatsonCloudServicesISVSolutionsAlertsNew Infrastructure Leverages Data TypesData inMotionData atRestData inMany FormsInfor

8、mation Ingestion and Operational Information Decision ManagementBI and Predictive AnalyticsNavigation and DiscoveryIntelligenceAnalysis RawDataStructuredDataTextAnalyticsDataMiningEntityAnalyticsMachineLearningLanding Area,Analytics Zone and ArchiveVideo/AudioNetwork/SensorEntityAnalyticsPredictiveR

9、eal-time AnalyticsExploration,Integrated Warehouse,and Mart ZonesDiscoveryDeepReflectionOperationalPredictiveStreamProcessingDataIntegrationMasterDataStreamsInformationGovernance,SecurityandBusinessContinuityBigInsightsStreamsWarehouseInfoSphere BigInsights Hadoop-based低延迟分析，针对多样化的、海量静态数据Data-At-Res

10、tNetezza High Capacity Appliance基于结构化数据的可查询归档Netezza 1000基于结构化数据的BI+定制化分析DataSmart Analytics System基于结构化数据的运营分析Informix TimeseriesTime-structuredanalyticsInfoSphere Warehouse基于结构化数据的大容量数据分析InfoSphere Streams低延迟流数据分析Velocity,Variety&VolumeData-In-MotionMPPDataWarehouseStreamComputingInformationIntegr

11、ationHadoopInfoSphere Information Server海量数据集成和转化Apache Hadoop:跨服务器集群的大数据集分布式处理开放系统框架，采用的是一种简单化编程模型IBM Big Data Platform大数据平台大数据平台What:一种开源软件，将数据计算分布到整个集群的常见商用服务器和存储上Why:传统的计算架构是一种沿纵向扩展模式，通过更快的SAN、大容量内存和多级缓存将数据加载到CPU上，成本比较高。What:Hadoop把大数据集合拆分区划为小数据集合，再把小数据集合分发到多台普通服务器上，是一种横向扩展模式。Why:Scalable,Flexib

12、le,CostEffective,FaultTolerentComponents:MapReduce,HDFSWhat is Hadoop?NameNode(Metadata store)NodesHDFS ClusterOperating SystemNodesElastic Storage-SNC ClusterKernel LevelIBM Value for Hadoop!HDFS把数据分散存储在多个存储节点Node上HDFS设计时就假设存储节点有失效的可能，所以HDFS会把一份数据复制3份以上，分散存储在多个节点上，从而实现系统整体上的可靠性HDFS文件系统是由服务器节点集群组成的，

13、每台服务器依照HDFS的特有block协议支持网络化block数据HDFSNameNode有发生单点故障的危险IBM在改善文件系统的性能同时消除了单点故障ElasticStorage-SNC(availableasbetacode)Hadoop 说说明明,Map Reduce,HDFS Hadoop StackWhat does it look like?典型典型Hadoop存存储储的的Pain Points在选择HDFS的组件（如软件、服务器、网络和存储等）时很难选对对在从测试环境迁移到生产环境时，需要做的调优和调整工作太繁复了长期持续不断的运维保障过于繁重，比如老要更换失效组件（尤其是硬盘

14、），这使得保证期望的SLA非常难CPU和存储去耦o本来用户的CPU和内存已经满足计算需求，但为了存储容量需要安装更多的硬盘不得不买更多的、不必要的CPU和内存Storageoptionsavailablehavecleargapso本地存储的利用率低(25%)，每次需要扩容的时候就要添加更多的服务器，而一旦硬盘失效后需要重建，服务器越多，失效的几率越高，性能也就越差IBM Storage for Hadoop传统的Hadoop集群使用的是服务器内置硬盘存储。如果用作测试或科学研究还好，可作为业务运行的存储就要采用企业存储Hadoop集群要负责数据保护和复制l重建（就是copy）失效的数据集到不

15、同节点上严重影响CPU性能，无法实现企业级的RASlReplicatedata问题同上l扩展的时候同时增加处理器/网络/存储，无法做到物尽其用（nowaytoseparatethese3evenifexcesscapacityexistinginone(e.g.NeededmorestoragebuthadtoaddComputeandNetwork)）使用外部存储可以将存储负载和Hadoop计算节点分离，同时还获得了企业存储的好处。lSellthevalueofXIV,V7000,SVC,etc.用户一般会随HadoopFileSystem部署；采用ElasticStorage可以有很多好处

16、数据加速数据加速lExperiencetheinstantresultsthatcomefromIBMFlashSystemlDriveasmuchas45Xfasteranalyticsresultsoncertainworkloads数据负载的多样性和灵活性数据负载的多样性和灵活性lXIVdeliverspredictableperformancethatscaleslinearlywithouthotspotsdeliveringinsightsfromanalyticsfasterwithtuning-freedatadistributionlScale-out,parallelpro

17、cessingofElasticStoragesoftwareandintegrationwithFlashSystemdramaticallyacceleratesperformanceofAnalyticsclusterslVirtualStorageCenterwithSVCautomaticallyoptimizesdatawarehouseperformanceandcostacrossFlashandDiskMainframe Data EnvironmentslIntegrationwithDB2&specialtyanalytics“engines”leveragingDS88

18、70delivers4xreductioninbatchtimeswithnewHighPerformanceFlashEnclosureslHighspeedencryptiononeverydrivetypesecuresdata数据保护和保留数据保护和保留 lLTFSEEw/tapeprovidesreducedTCObyupto90%overdiskforlongtermretentionofdataatrestwithalargeopenformattaperepositorylReducetheamountofdatatobestoredbyupto25 timeswithProt

19、ecTIERde-duplication12x 更快更快IBMFlashSystemincreasedSPLUNK&SASapplicationefficiencytoperformbusinessanalytics20 x 改善改善inactionablesupplychainanalytics,4x reductioninbatchtimes,virtualizationforplug&play6x 时间节时间节省省“GPFSallowsustomovethemetadatafromthedisktotheFlashSystemonline.Oncewedidthat,thebackups

20、werereduceddowntoaboutanhour.”2 hrs becomes2 minutes失效切换时间大幅缩短Mapping Characteristics to IBM Storage Products Storage Infrastructure 需求需求适用于所有的5种应用场景 Optimized Multi-TemperatureWarehouse优优化的多化的多级级存存储库储库 oAllFlashFlashSystemoHybridDS8000EasyTierXIV+SSDCachingStorwizeEasyTierFlashSystemSolution(VSC+Fl

21、ashSystem)oPureSystemsPureFlex(XIVorStorwizew/EasyTier)PureDataforTransactions(Storwize)PureDataforAnalytics(Netezza)Midrange&EntryTier0AccelerationSmarter StorageSmarter StorageIntegrated SystemsIntegrated SystemsEnterpriseOfferingsXIVzEnterpriseSolutionsforAnalyticswithDS8000PureDataSystemforOpera

22、tionalAnalyticswithStorwizePureFlexSystemwithStorwizeDS8000SmartAnalyticsSystemswithDS3xxxOpen&ExtensibleOpen&ExtensibleStorwizefamilyFlashSystemfamilyIBM Smarter Storage 的的设计设计就是支持大数据分析就是支持大数据分析高效和高效和优优化数据基化数据基础础架构架构IBM FlashSystem：为大数据分析应用设计的，让应用和数据实现：为大数据分析应用设计的，让应用和数据实现极速极速IBM FlashSystem的的 极速性能

23、极速性能 让实时业务决策成为可能让实时业务决策成为可能适合于模块化数据存储结构的适合于模块化数据存储结构的Hadoop系统。某些或所有数据可系统。某些或所有数据可以保存到以保存到Flash闪存上，其他可以保存到闪存上，其他可以保存到XIVIBM XIV:Optimized data workload diversity for Big Data&AnalyticsIBM XIV 的的高性能高性能无须人工干预配置，且适用于各无须人工干预配置，且适用于各种各样的存储负载种各样的存储负载IBM XIV 的的效率效率 高的异乎寻常，而且简单性业内最高，内高的异乎寻常，而且简单性业内最高，内置友好界面置

24、友好界面IBM XIV 的的弹性弹性是企业级的，完全保证了数据的可用性和是企业级的，完全保证了数据的可用性和业务连续性业务连续性XIV:XIV:为为为为 Analytics Analytics 而生而生而生而生 无与无与伦伦比的比的性能性能性能性能可扩展的网格存储架构任意时间支持任意读写负载板上的闪存Flash 无与无与伦伦比的比的可靠性可靠性可靠性可靠性精致的数据分布无双的磁盘重建时间企业级的可用性 无与无与伦伦比的比的简简简简易性易性易性易性简单的规划、供给和灵活性上线后零维护零调优“XIV最吸引我们的地方就是其超强的性能 we正是由于XIV为我们的精细复杂的分析应用提供了一致的高性能，使

25、得我们能够为我们的用户带来更多的价值。”SAS 和和和和 XIV XIV 网格架构网格架构网格架构网格架构 完美的结合完美的结合完美的结合完美的结合大规模并行计算保持持续地最佳性能Balanced Performance性能均衡性能均衡 常年零调整Unprecedented Scalability史无前例的史无前例的扩扩展性展性 配合添加SAS节点和XIV模块即可IBM SVC:Optimized data workload flexibility for Big Data&AnalyticsIBM SVC 通过如下功能在通过如下功能在IBM 大数据产品线上增加了大数据产品线上增加了灵灵活性活

26、性：完整和数据虚拟化和数据移动性完整和数据虚拟化和数据移动性高级集群和复制高级集群和复制多路镜像，多路镜像，read preferred optionReal Time Compression实时压缩实时压缩Easy Tier Hot Extent cachingStorwizeV7000/UIBMSVC设计原则设计原则Real-TimeCompression实时压缩是设计来做：l作用于Active Primary DataActive Primary Datal专用的压缩平台PlatformhandlesALLheavyliftingassociatedwithcompressionl不会影

27、响性能Wemodifyacompressedfilein-placeefficientlyl不会改变用户应用Usersnoradminsneedtochangeanythingl处理流程不变压缩是在线完成，不是事后压缩l业界标准压缩算法所采用的压缩算法已经使用了几十年StorwizeV7000/UIBMSVC流处理计算&IBMFlashSystemsData:是拥有还是保存是拥有还是保存?或是是分析和开始行动或是是分析和开始行动!DatainDataatInfoSphere Streams:大数据流分析大数据流分析为分析动态数据而建l多并发输入数据流l大规模可扩展Massivescalabil

28、ity分析和处理的数据多样化lStructured,unstructured,video,audiolAdvancedanalyticoperators自适应实时分析lWithDataWarehouseslWithHadoopSystemsCurrentfactfinding当前数据查询分许流动中的数据在数据落盘前低延迟模式,pushmodel数据驱动真正的数据分析Historicalfactfinding历史数据查询查找和分析存储在磁盘上的数据信息批处理模式,pullmodel查询驱动:submitsqueriestostaticdataTraditional ComputingStream

29、 Computing流数据计算代表着计算模式的变迁流数据计算代表着计算模式的变迁Real-time AnalyticsReal Time Analytics实时分析实时分析想象一下你如何用防火栓喝水想象一下你如何用防火栓喝水来自多个多样输入源的大量数据直接处理和过滤数据，而不必存储仅保存有价值的数据仅关联对数据最感兴趣的用户随着数据信息的产生采取行动Adaptive Analytics自适应分析自适应分析Data in Motion and Data at Rest的集成的集成1.Data Ingest数据集成，数据挖掘，机器学习，统计建模实时和历史数据洞察力的可视化3.Adaptive An

30、alytics Model数据收取，在线分析准备，模式校验Data2.Bootstrap/EnrichControlflowInfoSphereBigInsights,Database&WarehouseInfoSphereStreams Adaptive Real-Time Analytics自适应实时分析自适应实时分析来自多个多样输入源的大量数据过去、现在和未来全方位综合性视图l实时分析，低延时结果lFullcontextfordeepanalysis深度分析的完整的上下文跨datainmotionanddataatrest的常用数据分析自适应-随机而变l当发现非预期行为时，自适应l当识别

31、出新数据意义时深度分析之l开始没有意识到的数据意义，随后才可能意识到l自适应在开始没有意识到的，随后可以找出数据模式Stock marketImpactofweatheronsecuritiespricesAnalyzemarketdataatultra-lowlatenciesMomentumCalculatorFraud preventionDetectingmulti-partyfraudRealtimefraudpreventione-ScienceSpaceweatherpredictionDetectionoftransienteventsSynchrotronatomicrese

32、archGenomicResearchTransportationIntelligenttrafficmanagementAutomotiveTelematicsEnergy&UtilitiesTransactivecontrolPhasorMonitoringUnitDownholesensormonitoringNatural SystemsWildfiremanagementWatermanagementOtherManufacturingTextAnalysisERPforCommoditiesReal-timemultimodalsurveillanceSituationalawar

33、enessCybersecuritydetectionLaw Enforcement,Defense&Cyber SecurityHealth&Life SciencesICUmonitoringEpidemicearlywarningsystemRemotehealthcaremonitoringTelephonyCDRprocessingSocialanalysisChurnpredictionGeomapping如何使用如何使用InfoSphere Streams?加快数据流入分析系统的速度加快数据流入分析系统的速度加快数据流入分析系统的速度加快数据流入分析系统的速度向交易方向加速。一个

34、高效和灵活的基一个高效和灵活的基础础架构架构显显然可以加快然可以加快流速，并平衡不同数流速，并平衡不同数据分析的需求据分析的需求CoresSCMStorageNetworkCoresSCMStorageNetworkCoresSCMStorageNetworkCoresSCMStorageNetwork+预测分析预测分析数据仓库数据仓库文本分析文本分析Hadoop WorkloadsHadoop Workloads优化优化敏感性分析敏感性分析加快流速加快流速价值时间“触触发发事件事件”数据完数据完备备交易交易Insight预见预见获取数据获取数据时间时间分析数据分析数据时间时间行动时间行动时间

35、大数据分析的新式基础架构解决方案大数据分析的新式基础架构解决方案IBM Big Data&Analytics InfrastructureDataZoneApplicationZone并行并行处处理理可可扩扩展性展性低延低延时时资资源源数据数据 优优化化Experiencereal-timeanalyticalinsightswithupto50 xbetterperformancethanenterprisedisksystemsusingIBMFlashCoretechnologyPreserveandprotectinfrastructurecontinuitywhilescalingt

36、oover2petabyteofeffectiveall-flashcapacityunderasingleintegrateinterfaceDeliveragilityanddataeconomicswith4xgreatercapacityinlessrackspacethancompetitiveall-flashproductsSynchronized and Complimentary to Overarching Storage Messaging-Accelerate time to insights through data without borders.IBM innov

37、ation frees data with agile and simple to use storage solutions delivering superior data economics IBM FlashSystem Core Launch MessagingDriveacompleteparadigmshiftinEnterpriseStoragewiththeallnewIBMFlashSystemFamilyIBM FlashSystem Family2015 ThemeTimetoinsight.Timetovalue.Timetomarket.IBMFlashSystem

38、,itsabouttime.FlashRealized!IBM FlashSystem V9000Foundational PillarsIBMFlashCoreTechnologyistheDNAoftheFlashSystemFamilyIntroducingtheNewIBMFlashSystemFamilyOfferingsIBMFlashSystem900ExtremePerformance:Delivers100microsecondresponsetimesMacroEfficiency:Lowestlatencyofferingwith40%greatercapacityata

39、lowercostpercapacityEnterpriseReliability:IBMenhancedMicronMLCflashtechnologywithFlashWearGuaranteePoweredbyIBMFlashCoreTechnologyIBMFlashSystemV9000ScalablePerformance:Growcapacityandperformancewithupto2.2PBscalingcapabilityEnduringEconomics:NextgenerationflashmediawithlowercostpercapacityAgileInte

40、gration:FullyintegratedsystemmanagementtosimplifymanagementandimproveworkforceproductivityunderasinglenamespaceFlashSystem 900FlashSystem 900IntroducingIBMFlashSystem900,thenextgenerationinourlowestlatencyofferingIBMMicroLatencywithupto1.1millionIOPS40%greatercapacityata10%lowercostpercapacityIBMFla

41、shCoretechnology,oursecretsauceTechnicalcollaborationwithMicronTechnology,ourflashchipsupplierIBMenhancedflashtechnologyMLCNANDflashofferingwithFlashWearGuaranteeVAAIUNMAPandVASAsupportwithIBMSISforimprovedcloudstorageperformanceandefficiencyMinimumlatencyWrite90sRead155sMaximumIOPS4KBRead(100%,rand

42、om)1,100,00Read/write(70%/30%,random)800,000Write(100%,random)600,000Maximumbandwidth256KBRead(100%,sequential)10GB/sWrite(100%,sequential)4.5GB/sPerformance at-a-glanceIBMMicroLatencymoduletype1.2TB2.9TB5.7TBModules quantity4681012681012681012RAID 5 capacity(TB)2.44.87.29.61211.617.423.229.022.834.

43、245.657.0Raw Capacity(TB)7.110.714.217.821.426.335.143.952.752.770.387.9105.5IBM introduces a fully integrated,fully managed,full function all-flash storage systemFlashSystem V9000FlashSystem V9000Scalableall-flasharchitecturewithfullsetofadvanceddatafeaturesPerformsatupto2.5MIOPSwithIBMMicroLatency

44、,scalableto19.2GB/sScalesto456TBusableandupto2.28PBeffectivecapacityinonly34UUpto57TBusableandupto285TBeffectivecapacityinonly6UNewlicensingstructuretosimplifyorderingandplanningforExternalDataVirtualization,FlashCopy,MetroMirror,andReal-timeCompressionScalablePerformanceAgile IntegrationEnduringEconomicsPowered by FlashCoreTechnology