Greenplum 分布式数据仓库软件特性介绍.docx

1. Greenplum 分布式数据仓库软件特性介绍Greenplum数据仓库软件是业界首创将大规模并行计算技术，应用到了数据库软件领域。该类技术同样应用在Google搜索引擎的中。Greenplum数据仓库软件功能：Ø 无共享/MPP核心架构Greenplum数据库软件将数据平均分布到系统的所有节点服务器上，所以节点存储每张表或表分区的部分行，所有数据加载和查询都是自动在各个节点服务器上并行运行，并且该架构支持扩展到上万个节点。 Ø 混合的存储和执行（按列或按行）Greenplum发明支持混合按列或按行存储数据，每张表或表分区可以由管理员根据应用需要，分别指定存储和压缩方式。基于这个功能，用户可以对任何表或表分区选择按行或按列存储数据和处理方式。这些是在建表或表分区的DDL语句中配置的，只需在建表或表分区时指定。这个功能基于Greenplum的多态维数据存储技术。Ø 多层次的容错能力Greenplum 数据仓库软件自己包含多层次容错和冗余能力，这是云计算架构软件的一个重要特征。该功能保证整个数据仓库系统在遇到硬件、软件的故障的情况下，仍然自动继续运行。Ø 在线系统扩容（永不停机）在系统中增加节点服务器即可增加存储容量，处理性能和加载性能。当系统扩展时，数据仓库保持在线，并且完全可用，扩展进程在后台运行。增加节点服务器，性能和容量线性增加。Ø 负载管理（Workload Management） 具有系统资源管控能力，并且可控制给各个查询分配各自系统资源。允许管理员指派资源队列，从而管理数据仓库的队列进入执行情况。在运行的查询的优先级可以随时调整。Ø PB级的装载能力基于MPP Scatter/Gather 流技术的高性能并行加载功能。加载速度随着节点线性增加，实际超过4TB/小时。Ø 灵活的外部数据访问数据仓库软件可在任意外部数据源上并行运行常规SQL，不论外部数据源的位置，格式或存储介质。Ø 数据库内压缩利用业界领先的压缩技术，进一步提高性能，并极大地节省了数据存储空间。用户可获得3-10倍的空间节省，并且同时获得相应有效I/O性能提升。Ø 多层次表分区能力允许灵活地按照时间、范围、值域划分表分区。表分区由DDL设定，分区层级不限。数据仓库软件的查询优化器自动从查询执行计划中略去不涉及的表分区。Ø 索引功能Greenplum 支持各种数据库索引技术，包括B-Tree，Bitmap等等。按列存储、按行存储数据库表都支持索引。Ø 完全遵从SQL最新标准 遵从SQL-92 ， SQL-99 ，至SQL 2003标准，并包括SQL 2003 OLAP扩展项。所有SQL查询都是在系统上并行执行。Ø 原生MapReduce功能 MapReduce由Google发明，已被证实为一个高扩展性的文本非结构化数据分析的技术。Greenplum的并行数据库软件核心可原生运行MapReduce程序。Ø 支持SQL 2003 OLAP 扩展标准对SQL语言包括其OLAP扩展标准，都是在Greenplum数据仓库软件实现并行执行。全面支持SQL 2003 OLAP标准，包括Window 函数，Rollup，Cube等等。Ø 客户端访问及第三方工具支持完全支持数据库技术接口标准，例如: SQL, ODBC, JDBC, OLEDB等。同时，广泛地支持各个BI和ETL软件工具。Ø Greenplum 性能监控器 一个Web GUI的Greenplum数据仓库系统运行状态监控工具，可以监控操作系统级信息以及数据库软件SQL运行状态细节。它的仪表盘可以查看，在SQL运行时，数据仓库系统资源利用情况。并且，还可以深入显示当前或历史的SQL运行细节，帮助更深入理解某一SQL性能状况。综上所述，Greenplum 数据仓库软件技术构成如下图：2. Greenplum 公司简介Greenplum公司是世界领先的数据仓库基础平台供应商。它的杰出创新数据仓库软件产品技术，引领着数据仓库领域和数据分析领域的发展方向。Greenplum 公司的产品有Greenplum Database，Greenplum Chrous世界首创企业数据云平台(Enterprise Data Cloud platform)。它的这些产品和服务体现了云计算、虚拟化计算、数据间社会关系的技术，使得全球各类组织可以比从前更好地从数据里获取更深的和更有价值的知识。每一天，全球有数亿级的用户在直接、间接用到Greenplum发明的数据仓库平台。Greenplum 是2003年成立的，核心技术团队成员来自各个顶级数据库公司和大规模并行计算公司的资深软件架构师，例如：Oracle, Teradata, Tandem, Microsoft SQL Server, Informix, Netezza, Amazon, eBay, S,Yahoo.Greenplum 创新研发的产品有：Ø Greenplum DatabaseGreenplum数据库软件是业内首创的大规模并行处理（massively parallel processing (MPP)）的数据库软件产品，它包含大规模并行计算技术和数据库技术最新的研发成果：包括无共享/MPP，按列存储数据库，数据库内压缩，MapReduce，永不停机扩容，多级容错等等。该软件产品被业界认可为扩展能力最大的分析型（OLAP）数据库软件。已有100多家世界级重大客户采用该软件，例如：NYSE,NASDAQ,AIG，德意志银行，美国联邦储备委员会，支付宝，淘宝，NTT-DoCoMo,T-Mobile,Skype，WalMart，中国电信等。Ø Greenplum Chorus 该产品是世界首创的企业数据云平台产品。它可以帮助客户构建数据仓库虚拟化计算环境，为各个不同的数据计算模型和任务创建自治的虚拟化数据仓库，把结构化，非结构化，数据量大小各异的各种数据都集中管理起来。同时， Greenplum数据库软件的并行化，为各个虚拟化数据仓库都提供了很高的处理速度，大大提高各个虚拟数据库上各个分析模型、任务的处理效率和分析质量。Greenplum的产品线示意如下图：Greenplum现有客户涵盖：金融，电信，互联网，零售，运输，医药，政府等行业。这些客户中大多数Greenplum数据仓库所管理的数据量都超过100TB，其中，全球最大的有6500TB，中国最大的有400TB。