HBase课件汇总整本书电子教案全套课件完整版ppt最新教学教程.pptx

安装环境搭建1.1任务理解HBase架构1.2任务HBase简介单元11学习目标理解HBase架构。掌握HBase架构中各组件的作用。掌握HBase数据读写流程。1学习情境1HBaseHBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google（谷歌）论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase-Hadoop Database是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。2安装环境搭建知识学习HBase是Apache Hadoop中的一个子项目。HBase依托于Hadoop的HDFS作为最基本存储基础单元。通过使用Hadoop的HDFS工具就可以看到这些这些数据存储文件夹的结构，还可以通过Map/Reduce的框架（算法）对HBase进行操作。本书中的环境部署为：节点操作系统为CentOS 7，防火墙禁用。系统用户root在目录/opt下创建目录/module，用于存放Hadoop、Zookeeper、HBase组件运行包。因为该目录用于安装Hadoop、HBase等组件程序。2任务实施（1）安装前环境配置（2）Java安装（3）Hadoop安装（4）Zookeeper安装（5）HBase安装2任务实施（1）安装前环境配置启动HBase需要先启动Hadoop DFS集群，启动Yarn集群，最好是使用外置的Zookeeper集群。本书中的HBase环境基于Hadoop 2.7.2、Zookeeper 3.4.10，HBase 1.3.3。一共需要搭建3台节点，1个主节点2个从节点。在安装之前需要配置好虚拟机网络静态IP，同步时间，关闭防火墙和使用Linux SSH（安全Shell）。1）配置虚拟机网络模式2）配置虚拟机静态IP3）SSH设置和密钥生成2任务实施（2）Java安装Java是Hadoop和HBase主要先决条件。首先应该使用java verion命令检查Java是否存在在您的系统上。1）下载JDK-X64.tar.gz，可以通过访问以下链接：https:/ Shell命令进入HBase Shell窗口，然后可以使用help命令浏览帮助文档，查看每个具体参数的使用方法。3总结本单元介绍了HBase集群环境的搭建、HBase的架构，以及架构中各组件的作用，最后阐述了HBase数据读写的流程。在任务实施环节介绍了HBase的开发环境搭建和配置。通过本单元的学习，相信学生可以产生对HBase技术的学习兴趣4ThankYOU!使用HBase Shell命令01任务综合案例实训02任务HBase基本操作单元2学习HBase shell命令的语法学习HBase shell的通用操作的语法学习HBase shell的DDL操作的语法学习HBase shell的DML操作的语法学习HBase shell的安全操作的语法1使用HBase Shell命令知识学习任务实施1使用HBase Shell命令generalHbase shellDML12DDL34安全操作分类1使用HBase Shell命令status：提供：提供HBase的状态，例如，服务器的数量。的状态，例如，服务器的数量。version：提供正在使用：提供正在使用HBase版本。版本。whoami：提供有关用户的信息。：提供有关用户的信息。table_help：为表引用命令提供帮助。：为表引用命令提供帮助。通用操作1使用HBase Shell命令create：表示创建一个表。：表示创建一个表。list：表示列出：表示列出HBase的所有表。的所有表。alter：表示改变一个表：表示改变一个表disable：此命令表示禁用表。：此命令表示禁用表。disable_all：表示通过正则表达式来停用多个表。：表示通过正则表达式来停用多个表。is_disabled：表示验证表是否被禁用。：表示验证表是否被禁用。enable：表示启用一个表。：表示启用一个表。enable_all：表示通过正则表达式来启动指定表。：表示通过正则表达式来启动指定表。is_enabled：表示验证表是否已启用。：表示验证表是否已启用。describe：提供了一个表的描述。：提供了一个表的描述。exists：表示验证表是否存在。：表示验证表是否存在。drop：表示从：表示从HBase中删除表。中删除表。DDL操作1使用HBase Shell命令scan:表示扫描并返回表中数据信息。表示扫描并返回表中数据信息。count:表示计数并返回表中的行的数目。表示计数并返回表中的行的数目。put:表示向表中添加数据信息。表示向表中添加数据信息。get:表示获取行或单元格的内容。表示获取行或单元格的内容。append：给某个单元格的值拼接上新的值。给某个单元格的值拼接上新的值。delete:表示删除表中的单元格值。表示删除表中的单元格值。deleteall:表示删除给定行的所有单元格。表示删除给定行的所有单元格。DML操作1使用HBase Shell命令list_security_capabilities：表示列出所有支持的安全特性。：表示列出所有支持的安全特性。grant：表示授予特定的权限，如读、写、执行和管理表给定一个特定：表示授予特定的权限，如读、写、执行和管理表给定一个特定的用户。的用户。revoke：表示撤销用户访问表的权限。：表示撤销用户访问表的权限。user_permission：表示列出特定表的所有权限，或者指定用户针对指：表示列出特定表的所有权限，或者指定用户针对指定表的权限。定表的权限。安全操作2综合案例实训2综合案例实训任务实施 通过一个小案例，通过一个小案例，将任务将任务1中所讲的知识融会贯中所讲的知识融会贯通，掌握通，掌握HBase shell的常用命令。的常用命令。包括创建表、列出表、对表的数据操作、禁用包括创建表、列出表、对表的数据操作、禁用/启用表、表描述、查找表存在与否以及删除表等操启用表、表描述、查找表存在与否以及删除表等操作。作。Thank You!使用HBase的客户端API01任务HBase客户端API单元3操作数据的CRUD 02任务批量操作03任务Scan扫描04任务综合案例实训05任务学习HBase中数据库的初始基本操作（CRUD）语法学习HBase中API调用，实现批量处理操作学习HBase中扫描（Scan）技术1使用HBase的客户端API1使用HBase的客户端APIEclipse安装安装HBase开发环境开发环境Hbase API案例案例（1）数据库连接）数据库连接（2）创建表）创建表核心内容2操作数据的CRUD 2操作数据的CRUD Put方法方法Get方法方法Delete方法方法append方法方法Increment方法方法mutation方法方法核心内容3批量操作3批量操作批量批量put操作操作批量批量get操作操作批量批量delete操作操作核心内容4 Scan扫描4 Scan扫描不进行不进行Scan对象创建的全表扫描对象创建的全表扫描进行初始化的全表扫描进行初始化的全表扫描数据遍历与显示数据遍历与显示ScannerResult核心内容5综合案例实训5综合案例实训增、删、改、查案例增、删、改、查案例批量处理案例批量处理案例Scan扫描案例扫描案例Thank You!介绍HBase Admin API4.1任务HBase的表API操作4.2任务HBase Admin API单元41综合案例实训4.3任务学习HBase Admin类的使用方法学习HBase Admin 的表操作掌握HBase Admin API的方法掌握HBase Admin的表操作的方法和步骤。1介绍HBase Admin APIHBase是Hadoop的数据库，能够对大数据提供随机、实时读写访问。它是开源的、分布式的、多版本的、面向列的、存储模型。HBase Master是服务器负责管理所有的HRegion服务器，HBase Master并不存储HBase服务器的任何数据，HBase逻辑上的表可能会划分为多个HRegion，然后存储在HRegion Server群中，HBase Master Server中存储的是从数据到HRegion Server的映射。1 知识学习2HBase的表API操作2知识学习1）HBaseConfiguration2）addFamily方法3）建表API4）删除表5）查询数据2任务实施基本功能（1）HBase创建表（2）HBase列出表（3）HBase禁用表（4）HBase启用表（5）HBase表描述和修改（6）HBase Exists（7）HBase删除表3 综合案例实训3任务描述HBase采用Java实现，原生客户端也是Java实现，其他语言需要通过Thritf接口服务，间接访问HBase的数据。HBase作为大数据存储数据库，其写能力非常强，加上HBase本身就脱胎于Hadoop，所以和Hadoop的兼容性极好，非常适合于存储半规则数据（灵活、可扩展性强、大数据存储）。基于Hadoop的MapReduce 和Hbase存储，非常适合处理大数据。ThankYOU!探究使用MapReduce的原因5.1任务MapReduce快速入门5.2任务HBase与与MapReduce单元51编写自己的MapReduce5.3任务掌握MapReduce在HBase上的使用方法以及常见类的使用方法掌握MapReduce的内部机制能够在HBase上编写自己的MapReduce示例1探究使用MapReduce的原因1知识学习1.用MapReduce的原因有两点：（1）统计的需要。（2）性能的需要：说白了就是“快”！2.Apache MapReduce概述3.MapReduce核心思想：分久必合1任务实施默认情况下，部署到MapReduce集群的MapReduce作业无权访问$HBASE_CONF_DIR下的HBase配置或HBase类。要为MapReduce作业提供它们所需的访问权限，可以将hbase-site.xml添加到$HADOOP_HOME/conf，然后将HBase jar添加到$HADOOP_HOME/lib目录中。1任务实施1.使用HBase作为数据源 2.使用HBase接收数据2MapReduce快速入门2知识学习1）Hadoop加载HBase的jar包2）TableMapper类3）TableReducer类4）TabMapReduceUtil类3编写自己的MapReduce3知识学习一个MapReduce任务有三个组成部分：（1）Mapper类。（2）Reducer类。（3）驱动类，主要提供main方法以供调用。ThankYOU!搭建小程序开发环境单元61HBase Shell手动指定预分区6.1任务HBase Shell使用算法指定预分区6.2任务Java API创建预分区 6.3任务预分区rowkey设计技巧 6.4任务学习目标了解为什么要预分区掌握如何进行预分区熟悉rowKey预分区的设计1HBase Shell手动指定预分区1知识学习（1）使用HBase Shell create命令创建表，添加SPLITS=参数。创建属于名称空间ns1的表t1，列簇为f1，手动指定预分区：create t1,f1,SPLITS=10,20,30,40（2）分区规则创建于文件中：创建splits.txt文件，文件内容如下create t1,f1,SPLITS_FILE=splits.txt,2HBase Shell使用算法指定预分区2知识学习HBase shell create命令的学习。（1）使用十六进制算法生成预分区create t1,f1,NUMREGIONS=5,SPLITALGO=HexStringSplit该命令的含义是创建属于默认名称空间的表t1，列簇为f1，rowkey按照十六进制字符串将表分为5个分区。（2）使用随机字节生成预分区create t2,f1,NUMREGIONS=4,SPLITALGO=UniformSplit 该命令的含有是创建属于默认名称空间的表t1，列簇为f1，rowkey基于随机字节键创建4个分区。3Java API创建预分区3知识学习相关Java核心代码如下：（1）自定义算法，产生一系列Hash散列值存储在二维数组中。byte splitKeys=某个散列值函数（2）创建HBaseAdmin实例。HBaseAdmin hAdmin=new HBaseAdmin(HBaseConfiguration.create();（3）创建HTableDescriptor实例。HTableDescriptor tableDesc=new HTableDescriptor(tableName);（4）通过HTableDescriptor实例和散列值二维数组，创建带有预分区的HBase表。hAdmin.createTable(tableDesc,splitKeys);4预分区rowkey设计技巧4知识学习1.哈希（hash）哈希取业务id的哈希值作为rowkey，如hash（url）。hash就是rowkey前面由一串随机字符串组成，随机字符串生成方式可以由SHA或者MD5等方式生成，只要Region所管理的start-end keys范围比较随机，那么就可以解决写热点问题。2.分区（partition）分区有点类似于MapReduce中的partitioner，将区域用长整数（Long）作为分区号，每个Region管理着相应的区域数据，在rowKey生成时，将id取模后，然后拼上id整体作为rowKey，splitKey直接是分区号即可。ThankYOU!