大数据解决方案及产品.pptx

《大数据解决方案及产品.pptx》由会员分享，可在线阅读，更多相关《大数据解决方案及产品.pptx（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、VoltDB 高频大数据解决方案高频大数据解决方案电信信领域域计费和权限管理，用户数据个性化个性化营销广告优化，观众分组能源与能源与传感器感器领域域智能电网/电表，资产跟踪与管理，实时交通与地理位置证券市券市场风控管理，市场数据管理基础设施基础设施数据管道，批次-实时，流媒体的ETL系统中的高频数据2Smart Meter高度切合领域更快:读/写 负载 延时/吞吐量TPS每秒事物每秒事物处处理量理量Avg.Latency(ms)0500001000001500002000002500003000003500000123456789VoltDB 3.0 Key/ValueVarious read

2、/write workload3 Node,K=1(high available)Cluster10%read/90%write50%read/50%write90%read/10%write电信呼叫数据记录管理网站数据分析、欺诈侦测在线游戏小额交易支付电子广告兑换服务基于位置的无线服务金融贸易监控低频率运行高频率运行数据来源资金市场写/索引所有交易，存储逐笔交易资料显示整合交易者的风险呼叫初始请求实时授权认可欺诈侦测分析入站 HTTP 请求访问者登陆、分析、警告流量图形分析在线游戏等级分数定义的间隔执行玩家“最好成绩”排行榜状态查找实时广告交易系统匹配形式因素，下单规范，竞价/询价报告广告效

3、能无线设备位置感应器位置更新，服务品质，事物处理事物处理上的数据分析VoltDB 应用案例VoltDB应用/方案的高吻合目标行业行业电信和网络金融服务广告科技能源和应用资本市场电子商务/零售业在线游戏以上绝不是仅有的行业！其它行业种类战略性大数据项目早期使用者感应器驱动的环境关键技术特性ACID全事务支持灵活的扩展性错误恢复可持久化到硬盘内嵌OLAP 导出连接器基于网络的异步集群复制6关键特性:线性扩展7增加一个新结点到VoltDB集群可以有限提升集群的最大吞吐量，也可以增加整个集群的内存容量集群的大小对应用来说是透明的关键特性:线性扩展（续）右边表格源自于独立的测试机构Percona，标示出

4、线性扩展到每秒150万次的运算和最高推断值达到30个服务器。这个表也表明VoltDB线性扩展具备K-Safety关键特性:内置异常恢复/HA功能9分区就是复制的单位事务复制操作（不是更改记录）使用Active/Active 同步复制方式应用只有在所有复制节点都提交（或者回滚）后才会收到成功（或者失败）的响应关键特性:基于网络的数据库集群复制10VoltDB包括一个网络复制Agent这个Agent将事物异步从主集群（可读可写）复制到备集群（只读）异步的方式最大限度容忍网络可能出现的问题整合：高性能导出并行导出接近最大线速基于事先建立的连接HadoopCSVJDBC(PostgreSQL,MySQ

5、L,Oracle)NetezzaVerticaVoltDB 建立了一个基于事务的，可持久化的导出框架在VoltDB完成高质量、实时分析、实时响应，并把结果数据通过VoltDB Export导出到OLAPVoltDB管理和监控Nagios 脚本Logs to Log4jJMXVoltDB 企业管理器每一个节点都有一个内置网络服务器特殊的系统程序VoltDB的一个典型架构ERPCRMHROrdersCartRecom-mendationUser Mgt.ClickStreamInvPersonal-izationData warehouseHadoopTraditional OLTPVelocit

6、y OLTPloginssensorsimpressionsordersauthorizationsclickstradesInteractiveReal-time AnalyticsHistorical AnalyticsExploratory AnalyticsAnalytic results enrich decision making使用方案中会包含VoltDB的目标客户理想的销售机会Ideal Prospect Characteristics初期采用者高速率-增长中的交易处理率寻求竞争差异事务处理 需要做出决策创建新的apps 数据吞吐量用尽水平分区Sharding 目前使用手工操作

7、其次寻求削减成本-准备使用云端ACID 不能做到最终一致性就无法生存次要销售机会对风险抱保守的态度使用传统数据库可以解决问题很少使用到高速决策非结构化数据、文件数据库复杂的查询和分析 特别巨大的数据 J2EE,HibernateWindows/Unix/COBOL architecture bias 吸引用户使用VoltDB的原因（条件）公司的战略同大数据相关新的应用部署，而不是在现有应用上转换数据库额外的数据来源于在线数据为了获取性能、分区等使用费自然的技术手段面临来自于创新的竞争压力Oracle 不能满足性能的需求、授权或者对于降低硬件成本的需求公司需要围绕特定技术寻求发展实时数据分析基于

8、内存的数据库Datameer-从桌面到服务器可视化大数据分析平台Datameer 可视化大数据分析平台Datameer开放式结构Datameer可视化操作、分析与展示界面28.io 海量数据的综合信息查询分析平台海量数据的综合信息查询分析平台现代公司的信息量往往大爆炸 种类 容量 速率企业数据被储存在孤立的数据企业数据被储存在孤立的数据 仓库仓库中中28io 海量数据的综合信息查询分析平台解决方案可视化了的查询的查询及处理图层结构化数据/半结构化数据/非结构化数据 JSONiq 查询语言言:非关非关联数据数据库的的结构化构化查询语言言自自动并行运算并行运算REST API实时NoSQL(Mon

9、goDB,CouchDB,.)SQL through JDBCFile Stores(S3,GlusterFS,)JSON,XMLRelationalText,Pdf,HTM.Other data stores.其它数据格式商业应用Web Services(Salesforce,Zendesk,)JSON,XML连接与查询分析28.ioUnified InformationAccess PlatformContent sources storing documents,emails,books,articles,web pages,etc.Relational DatabaseFilesyst

10、emThird-Party Content Feeds(XML,HTML,ZIP,etc.)NoSQL DatabaseQuery across disparate content repositoriesEditors,Content CuratorsSearch,reuse,repurpose contentWeb Sites,Portals,Web AppsMobile AppsDynamically render and deliver content in multiple formatsCustom Content FeedsSeparate Task-Specific Repos

11、itory(e.g.,MongoDB)Optionally import content into a task-specific repositoryContent destinationsCurated content,Master indices,Markup/structure for repurposing,Migrated content from retired sources查询语言 JSONiqHadoop 同28.io 架构对比S3ETLHDFSMap Reduce结果S328.io结果Hadoop28.io运行45分钟35 秒几个小时数据科学家费时2小时开发 Map re

12、duce Code商业用户费时20分钟建立JSONiq 查询让让Web数据成为你的数据库数据成为你的数据库ConnotateConnotate 智能化的Web数据抽取工具 Web Agent（数据抽取的工具）可自动自主的运行。根据您的要求输出结构化数据集（通常是CSV格式或则是XML格式）VoltDB ProprietaryConnotate使网络数据变成了您的数据库在Connotate的帮助下，您可以在网络上获得您需要的结构化有用的数据评价：给用户带来前所未有的商业价值28大数据厂商联盟分销推荐产品大数据厂商联盟分销推荐产品29集群优化性能优化性能优化快速部署安全管理平台优化NOSQL分析平台层数据抽取集成层Hasoop优化层