Chapter4-厦门大学-林子雨-大数据技术原理与应用-第四章-分布式数据库HBase(2016年3月10日版本).ppt

《Chapter4-厦门大学-林子雨-大数据技术原理与应用-第四章-分布式数据库HBase(2016年3月10日版本).ppt》由会员分享，可在线阅读，更多相关《Chapter4-厦门大学-林子雨-大数据技术原理与应用-第四章-分布式数据库HBase(2016年3月10日版本).ppt（76页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据技术原理与应用厦门大学计算机科学系林子雨厦门大学计算机科学系 2016年版林子雨林子雨厦门大学计算机科学系厦门大学计算机科学系E-mail:主页：主页：http:/ 分布式数据库分布式数据库HBase（PPT版本号：版本号：2016年年3月月10日版本）日版本）大数据技术原理与应用大数据技术原理与应用http:/ 概述概述4.2 HBase访问接口访问接口4.3 HBase数据模型数据模型4.4 HBase的实现原理的实现原理4.5 HBase运行机制运行机制4.6 HBase应用方案应用方案4.7 HBase编程实践编程实践欢迎访问大数据技术原理与应用教材官方网站：http:/ HBa

2、se和BigTable的底层技术对应关系BigTableHBase文件存储系统GFSHDFS海量数据处理MapReduceHadoop MapReduce协同服务管理ChubbyZookeeper大数据技术原理与应用厦门大学计算机科学系林子雨4.1.2HBase简介关系数据库已经流行很多年，并且Hadoop已经有了HDFS和MapReduce，为什么需要HBase?Hadoop可以很好地解决大规模数据的离线批量处理问题，但是，受限于HadoopMapReduce编程框架的高延迟数据处理机制，使得Hadoop无法满足大规模数据实时处理应用的需求HDFS面向批量访问模式，不是随机访问模式传统的通用

3、关系型数据库无法应对在数据规模剧增时导致的系统扩展性和性能问题（分库分表也不能很好解决）传统关系数据库在数据结构变化时一般需要停机维护；空列浪费存储空间因此，业界出现了一类面向半结构化数据存储和处理的高可扩展、低写入/查询延迟的系统，例如，键值数据库、文档数据库和列族数据库（如BigTable和HBase等）HBase已经成功应用于互联网服务领域和传统行业的众多在线式数据分析处理系统中大数据技术原理与应用厦门大学计算机科学系林子雨4.1.3HBase与传统关系数据库的对比分析HBase与传统的关系数据库的区别主要体现在以下几个方面：（1）数据类型：关系数据库采用关系模型，具有丰富的数据类型和存

4、储方式，HBase则采用了更加简单的数据模型，它把数据存储为未经解释的字符串（2）数据操作：关系数据库中包含了丰富的操作，其中会涉及复杂的多表连接。HBase操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等，因为HBase在设计上就避免了复杂的表和表之间的关系（3）存储模式：关系数据库是基于行模式存储的。HBase是基于列存储的，每个列族都由几个文件保存，不同列族的文件是分离的大数据技术原理与应用厦门大学计算机科学系林子雨4.1.3HBase与传统关系数据库的对比分析HBase与传统的关系数据库的区别主要体现在以下几个方面：（4）数据索引：关系数据库通常可以针对不同列构建

5、复杂的多个索引，以提高数据访问性能。HBase只有一个索引行键，通过巧妙的设计，HBase中的所有访问方法，或者通过行键访问，或者通过行键扫描，从而使得整个系统不会慢下来（5）数据维护：在关系数据库中，更新操作会用最新的当前值去替换记录中原来的旧值，旧值被覆盖后就不会存在。而在HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留（6）可伸缩性：关系数据库很难实现横向扩展，纵向扩展的空间也比较有限。相反，HBase和BigTable这些分布式数据库就是为了实现灵活的水平扩展而开发的，能够轻易地通过在集群中增加或者减少硬件数量来实现性能的伸缩大数据技术原理与

6、应用厦门大学计算机科学系林子雨4.2HBase访问接口表4-2 HBase访问接口类型特点场合Native Java API最常规和高效的访问方式适合Hadoop MapReduce作业并行批处理HBase表数据HBase ShellHBase的命令行工具，最简单的接口适合HBase管理使用Thrift Gateway利用Thrift序列化技术，支持C+、PHP、Python等多种语言适合其他异构系统在线访问HBase表数据REST Gateway解除了语言限制支持REST风格的Http API访问HBasePig使用Pig Latin流式编程语言来处理HBase中的数据适合做数据统计Hive

7、简单当需要以类似SQL语言方式来访问HBase的时候大数据技术原理与应用厦门大学计算机科学系林子雨4.3HBase数据模型4.3.1数据模型概述4.3.2数据模型相关概念4.3.3数据坐标4.3.4概念视图4.3.5物理视图4.3.6面向列的存储大数据技术原理与应用厦门大学计算机科学系林子雨4.3.1数据模型概述HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳每个值是一个未经解释的字符串，没有数据类型用户在表中存储数据，每一行都有一个可排序的行键和任意多的列表在水平方向由一个或者多个列族组成，一个列族中可以包含任意多个列，同一个列族里面的数据存储在一起列族

8、支持动态扩展，可以很轻松地添加一个列族或列，无需预先定义列的数量以及类型，所有列均以字符串形式存储，用户需要自行进行数据类型转换HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留（这是和HDFS只允许追加不允许修改的特性相关的）大数据技术原理与应用厦门大学计算机科学系林子雨4.3.2数据模型相关概念表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族行：每个HBase表都由若干行组成，每个行由行键（rowkey）来标识。列族：一个HBase表被分组成许多“列族”（ColumnFamily）的集合，它是基本的访问控制单元列限定符：列族里的数

9、据通过列限定符（或列）来定位单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引大数据技术原理与应用厦门大学计算机科学系林子雨4.3.3数据坐标HBase中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此，可以视为一个“四维坐标”，即行键,列族,列限定符,时间戳键值“201505003”,“Info”,“email”,1174184619081“”“201505003”,“Info”,“email”,1174184620720“

10、”大数据技术原理与应用厦门大学计算机科学系林子雨4.3.4概念视图表4-4 HBase数据的概念视图行行键键时时间间戳戳列族列族contents列族列族n.wwwt5anchor:=”CNN”t4anchor:my.look.ca=CNN.comt3contents:html=.t2contents:html=.t1contents:html=.大数据技术原理与应用厦门大学计算机科学系林子雨4.3.5物理视图表4-5 HBase数据的物理视图列族contents行行键键时间时间戳戳列族列族n.wwwt3contents:html=.t2contents:html=.t1contents:htm

11、l=.列族anchor行行键键时间时间戳戳列族列族n.wwwt5anchor:=”CNN”t4anchor:my.look.ca=CNN.com大数据技术原理与应用厦门大学计算机科学系林子雨4.3.6面向列的存储图4-3 行式数据库和列式数据库示意图大数据技术原理与应用厦门大学计算机科学系林子雨4.3.6面向列的存储图4-4 行式存储结构和列式存储结构大数据技术原理与应用厦门大学计算机科学系林子雨4.4HBase的实现原理4.4.1HBase功能组件4.4.2表和Region4.4.3Region的定位大数据技术原理与应用厦门大学计算机科学系林子雨4.4.1HBase功能组件HBase的实现包

12、括三个主要的功能组件：（1）库函数：链接到每个客户端（2）一个Master主服务器（3）许多个Region服务器主服务器Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求客户端并不是直接从Master主服务器上读取数据，而是在获得Region的存储位置信息后，直接从Region服务器上读取数据客户端并不依赖Master，而是通过Zookeeper来获得Region位置信息，大多数客户端甚至从来不和Master通信，这种设计方式使得Master负载很小大数据技术

13、原理与应用厦门大学计算机科学系林子雨4.4.2表和Region图4-5一个HBase表被划分成多个Region图4-6 一个Region会分裂成多个新的Region开始只有一个Region，后来不断分裂Region拆分操作非常快，接近瞬间，因为拆分之后的Region读取的仍然是原存储文件，直到“合并”过程把存储文件异步地写到独立的文件之后，才会读取新文件大数据技术原理与应用厦门大学计算机科学系林子雨4.4.2表和Region图4-7 不同的Region可以分布在不同的Region服务器上每个Region默认大小是100MB到200MB（2006年以前的硬件配置）每个Region的最佳大小取决于

14、单台服务器的有效处理能力目前每个Region最佳大小建议1GB-2GB（2013年以后的硬件配置）同一个Region不会被分拆到多个Region服务器每个Region服务器存储10-1000个Region大数据技术原理与应用厦门大学计算机科学系林子雨4.4.3Region的定位图4-8 HBase的三层结构元数据表，又名.META.表，存储了Region和Region服务器的映射关系当HBase表很大时，.META.表也会被分裂成多个Region根数据表，又名-ROOT-表，记录所有元数据的具体位置-ROOT-表只有唯一一个Region，名字是在程序中被写死的Zookeeper文件记录了-RO

15、OT-表的位置大数据技术原理与应用厦门大学计算机科学系林子雨4.4.3Region的定位表4-6 HBase的三层结构中各层次的名称和作用层层次次名称名称作用作用第一层Zookeeper文件记录了-ROOT-表的位置信息第二层-ROOT-表记录了.META.表的Region位置信息-ROOT-表只能有一个Region。通过-ROOT-表，就可以访问.META.表中的数据第三层.META.表记录了用户数据表的Region位置信息，.META.表可以有多个Region，保存了HBase中所有用户数据表的Region位置信息大数据技术原理与应用厦门大学计算机科学系林子雨4.4.3Region的定位为

16、了加快访问速度，.META.表的全部Region都会被保存在内存中假设.META.表的每行（一个映射条目）在内存中大约占用1KB，并且每个Region限制为128MB，那么，上面的三层结构可以保存的用户数据表的Region数目的计算方法是：（-ROOT-表能够寻址的.META.表的Region个数）（每个.META.表的Region可以寻址的用户数据表的Region个数）一个-ROOT-表最多只能有一个Region，也就是最多只能有128MB，按照每行（一个映射条目）占用1KB内存计算，128MB空间可以容纳128MB/1KB=217行，也就是说，一个-ROOT-表可以寻址217个.META.

17、表的Region。同理，每个.META.表的Region可以寻址的用户数据表的Region个数是128MB/1KB=217。最终，三层结构可以保存的Region数目是(128MB/1KB)(128MB/1KB)=234个Region大数据技术原理与应用厦门大学计算机科学系林子雨4.4.3Region的定位客户端访问数据时的“三级寻址”为了加速寻址，客户端会缓存位置信息，同时，需要解决缓存失效问题寻址过程客户端只需要询问Zookeeper服务器，不需要连接Master服务器大数据技术原理与应用厦门大学计算机科学系林子雨4.5HBase运行机制4.5.1HBase系统架构4.5.2Region服务

18、器工作原理4.5.3Store工作原理4.5.4HLog工作原理大数据技术原理与应用厦门大学计算机科学系林子雨4.5.1HBase系统架构图4-9 HBase的系统架构大数据技术原理与应用厦门大学计算机科学系林子雨4.5.1HBase系统架构1.客户端客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程2.Zookeeper服务器Zookeeper可以帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master的“单点失效”问题Zookeeper是一个很好的集群管理工具，被大量用于分布式

19、计算，提供配置维护、域名服务、分布式同步、组服务等。大数据技术原理与应用厦门大学计算机科学系林子雨4.5.1HBase系统架构3.Master主服务器Master主要负责表和Region的管理工作：管理用户对表的增加、删除、修改、查询等操作实现不同Region服务器之间的负载均衡在Region分裂或合并后，负责重新调整Region的分布对发生故障失效的Region服务器上的Region进行迁移4.Region服务器Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求大数据技术原理与应用厦门大学计算机科学系林子雨4.5.2Region服务器工作原理

20、图4-10Region服务器向HDFS文件系统中读写数据1.用户读写数据过程用户读写数据过程2.缓存的刷新缓存的刷新3.StoreFile的合并的合并大数据技术原理与应用厦门大学计算机科学系林子雨4.5.2Region服务器工作原理1.用户读写数据过程用户读写数据过程用户写入数据时，被分配到相应Region服务器去执行用户数据首先被写入到MemStore和Hlog中只有当操作写入Hlog之后，commit()调用才会将其返回给客户端当用户读取数据时，Region服务器会首先访问MemStore缓存，如果找不到，再去磁盘上面的StoreFile中寻找大数据技术原理与应用厦门大学计算机科学系林子雨

21、4.5.2Region服务器工作原理2.缓存的刷新缓存的刷新系统会周期性地把MemStore缓存里的内容刷写到磁盘的StoreFile文件中，清空缓存，并在Hlog里面写入一个标记每次刷写都生成一个新的StoreFile文件，因此，每个Store包含多个StoreFile文件每个Region服务器都有一个自己的HLog文件，每次启动都检查该文件，确认最近一次执行缓存刷新操作之后是否发生新的写入操作；如果发现更新，则先写入MemStore，再刷写到StoreFile，最后删除旧的Hlog文件，开始为用户提供服务大数据技术原理与应用厦门大学计算机科学系林子雨4.5.2Region服务器工作原理3.

22、StoreFile的合并的合并每次刷写都生成一个新的StoreFile，数量太多，影响查找速度调用Spact()把多个合并成一个合并操作比较耗费资源，只有数量达到一个阈值才启动合并大数据技术原理与应用厦门大学计算机科学系林子雨4.5.3Store工作原理图4-11StoreFile的合并和分裂过程Store是Region服务器的核心多个StoreFile合并成一个单个StoreFile过大时，又触发分裂操作，1个父Region被分裂成两个子Region大数据技术原理与应用厦门大学计算机科学系林子雨4.5.4HLog工作原理分布式环境必须要考虑系统出错。HBase采用HLog保证系统恢复HBas

23、e系统为每个Region服务器配置了一个HLog文件，它是一种预写式日志（WriteAheadLog）用户更新数据必须首先写入日志后，才能写入MemStore缓存，并且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘大数据技术原理与应用厦门大学计算机科学系林子雨4.5.4HLog工作原理Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知MasterMaster首先会处理该故障Region服务器上面遗留的HLog文件，这个遗留的HLog文件中包含了来自多个Region对象的日志记录系统会根据每条日

24、志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，然后，再将失效的Region重新分配到可用的Region服务器中，并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录以后，会重新做一遍日志记录中的各种操作，把日志记录中的数据写入到MemStore缓存中，然后，刷新到磁盘的StoreFile文件中，完成数据恢复共用日志优点：提高对表的写操作性能；缺点：恢复时需要分拆日志大数据技术原理与应用厦门大学计算机科学系林子雨4.6HBase应用方案4.6.1

25、HBase实际应用中的性能优化方法4.6.2HBase性能监视4.6.3在HBase之上构建SQL引擎4.6.4构建HBase二级索引大数据技术原理与应用厦门大学计算机科学系林子雨4.6.1HBase实际应用中的性能优化方法行键（行键（Row Key）行键是按照字典序字典序存储，因此，设计行键时，要充分利用这个排序特点，将经常一起读取的数据存储到一块，将最近可能会被访问的数据放在一块。举个例子：如果最近写入HBase表中的数据是最可能被访问的，可以考虑将时间戳作为行键的一部分，由于是字典序排序，所以可以使用Long.MAX_VALUE-timestamp作为行键，这样能保证新写入的数据在读取时

26、可以被快速命中。大数据技术原理与应用厦门大学计算机科学系林子雨4.6.1HBase实际应用中的性能优化方法创建表的时候，可以通过HColumnDescriptor.setInMemory(true)将表放到Region服务器的缓存中，保证在读取的时候被cache命中。InMemoryMax Version创建表的时候，可以通过HColumnDescriptor.setMaxVersions(intmaxVersions)设置表中数据的最大版本，如果只需要保存最新版本的数据，那么可以设置setMaxVersions(1)。Time To Live创建表的时候，可以通过HColumnDescrip

27、tor.setTimeToLive(inttimeToLive)设置表中数据的存储生命期，过期数据将自动被删除，例如如果只需要存储最近两天的数据，那么可以设置setTimeToLive(2*24*60*60)。大数据技术原理与应用厦门大学计算机科学系林子雨4.6.2HBase性能监视Master-status(自带)GangliaOpenTSDBAmbari大数据技术原理与应用厦门大学计算机科学系林子雨Master-statusHBaseMaster默认基于Web的UI服务端口为60010，HBaseregion服务器默认基于Web的UI服务端口为60030.如果master运行在名为的主机中

28、，mater的主页地址就是http:/:60010，用户可以通过Web浏览器输入这个地址查看该页面可以查看HBase集群的当前状态大数据技术原理与应用厦门大学计算机科学系林子雨GangliaGanglia是UCBerkeley发起的一个开源集群监视项目，用于监控系统性能大数据技术原理与应用厦门大学计算机科学系林子雨OpenTSDBOpenTSDB可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等大数据技术原理与应用厦门大学计算机科学系林子雨AmbariAmbari的作用就是创建、

29、管理、监视Hadoop的集群大数据技术原理与应用厦门大学计算机科学系林子雨4.6.3在HBase之上构建SQL引擎NoSQL区别于关系型数据库的一点就是NoSQL不使用SQL作为查询语言，至于为何在NoSQL数据存储HBase上提供SQL接口，有如下原因：1.易使用易使用。使用诸如SQL这样易于理解的语言，使人们能够更加轻松地使用HBase。2.减少编码减少编码。使用诸如SQL这样更高层次的语言来编写，减少了编写的代码量。方案：1.Hive整合HBase2.Phoenix大数据技术原理与应用厦门大学计算机科学系林子雨4.6.3在HBase之上构建SQL引擎 1.Hive整合整合HBaseHiv

30、e与HBase的整合功能从Hive0.6.0版本已经开始出现，利用两者对外的API接口互相通信，通信主要依靠hive_hbase-handler.jar工具包(HiveStorageHandlers)。由于HBase有一次比较大的版本变动，所以并不是每个版本的Hive都能和现有的HBase版本进行整合，所以在使用过程中特别注意的就是两者版本的一致性。2.PhoenixPhoenix由S开源，是构建在ApacheHBase之上的一个SQL中间层，可以让开发者在HBase上执行SQL查询。大数据技术原理与应用厦门大学计算机科学系林子雨4.6.4构建HBase二级索引HBase只有一个针对行健的索引

31、访问HBase表中的行，只有三种方式：通过单个行健访问通过一个行健的区间来访问全表扫描使用其他产品为HBase行健提供索引功能：Hindex二级索引HBase+RedisHBase+solr原理：采用HBase0.92版本之后引入的Coprocessor特性大数据技术原理与应用厦门大学计算机科学系林子雨4.6.4构建HBase二级索引Coprocessor提供了两个实现：endpoint和observer，endpoint相当于关系型数据库的存储过程，而observer则相当于触发器observer允许我们在记录put前后做一些处理，因此，而我们可以在插入数据时同步写入索引表Coprocess

32、or构建二级索引缺点：每插入一条数据需要向索引表插入数据，即耗时是双倍的，对HBase的集群的压力也是双倍的优点：非侵入性：引擎构建在HBase之上，既没有对HBase进行任何改动，也不需要上层应用做任何妥协大数据技术原理与应用厦门大学计算机科学系林子雨Hindex二级索引Hindex是华为公司开发的纯Java编写的HBase二级索引，兼容ApacheHBase0.94.8。当前的特性如下：多个表索引多个列索引基于部分列值的索引大数据技术原理与应用厦门大学计算机科学系林子雨HBase+RedisRedis+HBase方案Coprocessor构建二级索引Redis做客户端缓存将索引实时更新到R

33、edis等KV系统中，定时从KV更新索引到HBase的索引表中大数据技术原理与应用厦门大学计算机科学系林子雨Solr+HBaseSolr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。Solr+HBaseSolr保存索引根据RowKey查询大数据技术原理与应用厦门大学计算机科学系林子雨4.7HBase编程实践4.7.1HBase的安装与配置4.7.1HBase常用Shell命令4.7.3HBase常用Ja

34、vaAPI及应用实例HBase上机实践，请参考：大数据原理与应用第四章分布式数据库HBase学习指南http:/ org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;public class Chapter4public static Configurationconfiguration;pu

35、blic static Connectionconnection;public static Adminadmin;public static void main(Stringargs)throws IOExceptioncreateTable(“student”,new String“score”);insertData(“student”,“zhangsan”,“score”,“English”,“69”);insertData(“student”,“zhangsan”,“score”,“Math”,“86”);insertData(“student”,“zhangsan”,“score”

36、,“Computer”,“77”);getData(“student”,“zhangsan”,“score”,“English”);publicstaticvoidinit()/建立连接publicstaticvoidclose()/关闭连接publicstaticvoidcreateTable()/创建表publicstaticvoidinsertData()/插入数据publicstaticvoidgetData/浏览数据大数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例建立建立连连接，关接，关闭连闭连接接/建立连接publicstaticvoi

37、dinit()configuration=HBaseConfiguration.create();configuration.set(hbase.rootdir,hdfs:/localhost:9000/hbase);tryconnection=ConnectionFactory.createConnection(configuration);admin=connection.getAdmin();catch(IOExceptione)e.printStackTrace();hbase-site.xmlhbase.rootdirhdfs:/localhost:9000/hbase 备注：（单机

38、版）file:/DIRECTORY/hbase大数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例/关闭连接publicstaticvoidclose()tryif(admin!=null)admin.close();if(null!=connection)connection.close();catch(IOExceptione)e.printStackTrace();建立建立连连接，关接，关闭连闭连接接大数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例创创建表建表创建一个学生信息表，用来存储学生姓名（姓名

39、作为行键，并且假设姓名不会重复）以及考试成绩，其中，考试成绩是一个列族，分别存储了各个科目的考试成绩。逻辑视图如表4-18所示。namescoreEnglishMathComputer表4-18学生信息表的表结构大数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例/*创建表*/*parammyTableName表名*paramcolFamily列族数组*throwsException*/publicstaticvoidcreateTable(StringmyTableName,StringcolFamily)throwsIOExceptionTable

40、NametableName=TableName.valueOf(myTableName);if(admin.tableExists(tableName)System.out.println(tableexists!);elseHTableDescriptorhTableDescriptor=newHTableDescriptor(tableName);for(Stringstr:colFamily)HColumnDescriptorhColumnDescriptor=newHColumnDescriptor(str);hTableDescriptor.addFamily(hColumnDesc

41、riptor);admin.createTable(hTableDescriptor);在运行程序时，需要指定参数myTableName为“student”，colFamily为“score”程序的运行效果与如下HBaseShell命令等效：createstudent,score大数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例namescoreEnglishMathComputerzhangsan698677lisi5510088添加数据添加数据现在向表student中添加如表4-19所示的数据。表4-19 需要添加的数据表4-19需要添加的数据大

42、数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例/*添加数据添加数据*/*param tableName 表名表名*param rowKey 行行键键*param colFamily 列族列族*param col 列限定符列限定符*param val 数据数据*throws Exception*/public static void insertData(String tableName,String rowKey,String colFamily,String col,String val)throws IOException Table tabl

43、e=connection.getTable(TableName.valueOf(tableName);Put put=new Put(Bytes.toBytes(rowkey);put.addColumn(Bytes.toBytes(colFamily),Bytes.toBytes(col),Bytes.toBytes(val);table.put(put);table.close();大数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例添加数据时，需要分别设置参数myTableName、rowkey、colFamily、col、val的值，然后运行上

44、述代码例如添加表4-19第一行数据时，为insertData()方法指定相应参数，并运行如下3行代码：insertData(student,zhangsan,score,English,69);insertData(student,zhangsan,score,Math,86);insertData(student,zhangsan,score,Computer,77);上述代码与如下HBaseShell命令等效：put student,zhangsan,score:English,69；put student,zhangsan,score:Math,86；put student,zhangs

45、an,score:Computer,77；大数据技术原理与应用厦门大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例浏览浏览数据数据/*获取某单元格数据*/*paramtableName表名*paramrowKey行键*paramcolFamily列族*paramcol列限定符*throwsIOException*/publicstaticvoidgetData(StringtableName,StringrowKey,StringcolFamily,Stringcol)throwsIOExceptionTabletable=connection.getTable(Tabl

46、eName.valueOf(tableName);Getget=newGet(Bytes.toBytes(rowkey);get.addColumn(Bytes.toBytes(colFamily),Bytes.toBytes(col);/获取的result数据是结果集，还需要格式化输出想要的数据才行Resultresult=table.get(get);System.out.println(newString(result.getValue(colFamily.getBytes(),col=null?null:col.getBytes();table.close();大数据技术原理与应用厦门

47、大学计算机科学系林子雨4.7.3HBase常用JavaAPI及应用实例比如，现在要获取姓名为“zhangsan”在“English”上的数据，就可以在运行上述代码时，指定参数tableName为“student”、rowKey为“zhangsan”、colFamily为“score”、col为“English”。getData(student,zhangsan,score,English);上述代码与如下HBaseShell命令等效：getstudent,zhangsan,COLUMN=score:English”大数据技术原理与应用厦门大学计算机科学系林子雨本章小结本章详细介绍了HBase数

48、据库的知识。HBase数据库是BigTable的开源实现，和BigTable一样，支持大规模海量数据，分布式并发数据处理效率极高，易于扩展且支持动态伸缩，适用于廉价设备HBase可以支持NativeJavaAPI、HBaseShell、ThriftGateway、RESTGateway、Pig、Hive等多种访问接口，可以根据具体应用场合选择相应访问方式HBase实际上就是一个稀疏、多维、持久化存储的映射表，它采用行键、列键和时间戳进行索引，每个值都是未经解释的字符串。本章介绍了HBase数据在概念视图和物理视图中的差别HBase采用分区存储，一个大的表会被分拆许多个Region，这些Regi

49、on会被分发到不同的服务器上实现分布式存储HBase的系统架构包括客户端、Zookeeper服务器、Master主服务器、Region服务器。客户端包含访问HBase的接口；Zookeeper服务器负责提供稳定可靠的协同服务；Master主服务器主要负责表和Region的管理工作；Region服务器负责维护分配给自己的Region，并响应用户的读写请求本章最后详细介绍了HBase运行机制和编程实践的知识大数据技术原理与应用厦门大学计算机科学系林子雨附录：主讲教师单位：厦门大学计算机科学系E-mail:个人网页：http:/ of Computer Science,Xiamen University,2016