BigTable分享ppt.ppt

《BigTable分享ppt.ppt》由会员分享，可在线阅读，更多相关《BigTable分享ppt.ppt（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、BigTable学习分享论文的主要内容摘要简介数据模型客户端APIBigTable的底层数据结构实现原理改进策略性能试验设计结论bigTable的支持相关工作结论本次重点讲的几个部分数据模型底层数据结构实现原理改进策略摘要简介数据模型BigTable的数据模型一个例子RowColumn FamilyTimestamps数据模型例子例子RowColumn FamilyTimeStamps客户端API(read的例子)Scanner scanner(T);Scanner*stream;stream=scanner.FetchColumnFamily(anchor);stream-SetReturn

2、AllVersions();scanner.Lookup(n.www);for(;!stream-Done();stream-next()printf(%s%s%lld%sn,scanner.RowName(),stream-ColumnName(),stream-MicorTimestamp(),stream-Value();客户端API（write的例子）/Open the tableTable*T=OpenOrDie(/bigtable/web/webtable);/Write a new anchor and delete an old anchorRowMutation r1(T,n

3、.www);r1.Set(anchor:www.c-span.org,CNN);r1.Delete(anchor:);Operation op;Apply(&op,&r1);底层数据结构上层用MapReduce进行计算下层用GFS分布式文件系统存储日志和文件通常和其他分布式程序部署在同一套集群环境中用SSTable文件格式来存储Bigtable数据依赖于高可用的分布式锁服务Chubby用SSTable文件格式来存储Bigtable数据依赖于高可用的分布式锁服务Chubby来看一个Hbase的大的框架Hbase上的map reduceHbase的详细架构图对比定义MapReduce=Hardoo

4、pGFS=HDFSBigTable=HbaseChubby=ZooKeeperSSTable=Store(再回头对比block=StoreFile，blockIndex=MemStore)Row ColumnFamily Timestamp的概念一样实现原理系统的三个部分Master的功能Tablet server的功能Client与big table的交互问题Tablet locationTablet assignmentTablet servingcompactions系统的三个部分client librarymaster servermany tablet servers(可以动态增加)

5、master的功能assign tablets to table servers(负载均衡)detecting the addition and expiration of table server(table server的动态增减)balancing the tablet-server loadgarbage collection of files in GFS(不知道具体指什么)handle schema changes such as table and column faimily creationstablet server的功能管理一系列tablet,101000个handle

6、read and write requst to the tabletssplits tablets that have grown too largeclient 与 Bitable的交互问题数据读写，并不经过master(定位是在chubby做的)master更多承担维持Bigtable均衡负载的角色master系统资源消耗一般都很少tablet locationTablet location用一个类似于B+树的三层结构，来存储tablet定位信息chubby file=root tablet=meta tablet=user tabletroot tablet 不分裂，因此保持三层结构不

7、会变成四层、五层、六层metadata table 存储的也是key/value对key 是 一个tablet 的table 标石和talet的尾部标记value是tablet的位置信息一个meta 行大概1kb内存数据128MB metadata tablets,is sufficient to address 234 tablets客户端会cache tablet location信息，但具体没看懂看一个Hbase的locationTablet=RegionTablet Server=Region Servertablet assignmenttable servingtable serving对一下Hbase的log部分compactionsHbase的分裂和收缩改进策略Q&A?