greenplum数据库经验谈.pptx

《greenplum数据库经验谈.pptx》由会员分享，可在线阅读，更多相关《greenplum数据库经验谈.pptx（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、greenplum数据库经验谈数据库经验谈唐成唐成 Alibaba 2012.05自我介绍姓名：唐成，网名osdba阿里巴巴集团-数据库技术团队职位：数据库专家技术专长lGreenplum、PostgreSQL、OraclelAIX、LinuxlC/C+MSN:QQ:191421283内容Greenplum的架构简介Greenplum与Hadoop的对比Greenplum中的有趣话题讨论日常维护经验谈Greenplum的架构简介Segment HostSegment HostSegment HostSegment Host内部高速以太网交换机Master HostClient HostMast

2、er Standby外部以太网网络Client HostClient HostGreenplum VS Hadoop比较项比较项GreenplumHadoop+Hive软件性质商业软件开源集群规模一般在100台以下可以到上万台。性能在100台以下时，性能比hadoop好。单个SQL可以做到秒级别集群规模越大，总体性能越好。单个SQL最少也有数十秒。SQL的支持程度支持完善，几乎所有PostgreSQL支持的SQL，gp都支持。支持有限的SQL，查询支持子查询，但不支持窗口函数。大部分dml都不支持，只支持append。稳定性有较多的bug。比较稳定。Greenplum中的有趣话题lGreenp

3、lum是如何做到的访问它就象访问单个PostgreSQL数据库一样？Greenplum中的有趣话题分布式执行计划lgather操作lmother操作GreenplumGreenplum最大精华就是分布式执行计划最大精华就是分布式执行计划分布式执行计划分布式执行计划的例子create table t1(id int primary key,cn int,name varchar(40)distributed by(id);create table t2(id int primary key,cn int,name varchar(40)distributed by(id);create tabl

4、e t3(id int primary key,cn int,name varchar(40)distributed by(id);insert into t1 select generate_series(1,1000000),generate_series(1,1000000),generate_series(1,1000000);insert into t2 select generate_series(1,1000000),generate_series(1,1000000),generate_series(1,1000000);insert into t3 select genera

5、te_series(1,100),generate_series(1,100),generate_series(1,100);分布式执行计划的例子tangdb=#explain select count(*)from t1;QUERY PLAN -Aggregate (cost=13884.48.13884.49 rows=1 width=0)-Gather Motion 4:1 (slice1;segments:4)(cost=13884.40.13884.46 rows=1.-Aggregate (cost=13884.40.13884.41 rows=1 width=0)-Seq Sca

6、n on t1 (cost=0.00.11377.12 rows=250728 width=0)tangdb=#explain select id,count(*)from t1 group by id;QUERY PLAN -Gather Motion 4:1 (slice1;segments:4)(cost=16391.68.28928.08 rows=.-HashAggregate (cost=16391.68.28928.08 rows=250728 width=4)Group By:id -Seq Scan on t1 (cost=0.00.11377.12 rows=250728

7、width=4)分布式执行计划的例子tangdb=#explain select name,count(*)from t1 group by name;QUERY PLAN -Gather Motion 4:1 (slice2;segments:4)(cost=51493.60.64030.00.-HashAggregate (cost=51493.60.64030.00 rows=250728 width=6)Group By:t1.name -Redistribute Motion 4:4 (slice1;segments:4)(cost=16391.68.36449.Hash Key:t

8、1.name -HashAggregate (cost=16391.68.16391.68 rows=250728 width=6)Group By:t1.name -Seq Scan on t1 (cost=0.00.11377.12 rows=250728 width=6)如果在单机上的执行计划：osdba=#explain select name,count(*)from t1 group by name;QUERY PLAN -HashAggregate (cost=24346.00.24346.01 rows=1 width=36)-Seq Scan on t1 (cost=0.00

9、.19346.00 rows=1000000 width=36)分布式执行计划的例子tangdb=#explain select t1.id,t1.name,t2.name from t1,t2 where t1.id=;QUERY PLAN -Gather Motion 4:1 (slice2;segments:4)(cost=23913.52.70392.56 rows=250728 width=16)-Hash Join (cost=23913.52.70392.56 rows=250728 width=16)Hash Cond:=t1.id -Redistribute Motion 4

10、:4 (slice1;segments:4)(cost=0.00.31435.36 rows=.Hash Key: -Seq Scan on t2 (cost=0.00.11377.12 rows=250728 width=10)-Hash (cost=11377.12.11377.12 rows=250728 width=10)-Seq Scan on t1 (cost=0.00.11377.12 rows=250728 width=10)Greenplum统计信息收集中有趣的事统计信息的收集在分布式系统中发生了什么变化？Greenplum的解决方案lgp_autostats_mode:none,on_change,on_no_statslgp_autostats_on_change_thresholdGreenplum3.X是analyze 命令直接发到底层Greenplum4.X是直接发送收集统计信息的SQL到底层日常维护经验谈万兆还是千兆每个机器上多少个segment关于扩容关于数据的导入和导出Greenplum3.X与4.X关于Greenplum的高可用关于vacuumQ&A我的网名：osdba我的QQ:191421283我的MSN:谢谢！谢谢！