Hugetable技术培训教材(共39张).pptx

《Hugetable技术培训教材(共39张).pptx》由会员分享，可在线阅读，更多相关《Hugetable技术培训教材(共39张).pptx（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、技术培训2016年1月2大数据平台技术概述 批处理型大数据技术：批处理型大数据技术： 适合利用大规模集群处理海量规模数据，一般并发度适合利用大规模集群处理海量规模数据，一般并发度较低，任务响应时间为分钟或小时级；较低，任务响应时间为分钟或小时级； 相关技术：、相关技术：、 实时实时/准实时型大数据技术：准实时型大数据技术： 集群规模可大可小，处理交互式或高并发任务，响应集群规模可大可小，处理交互式或高并发任务，响应时间在毫秒或秒级别；时间在毫秒或秒级别； 相关技术：、相关技术：、 混合型：混合型： 设计上试图同时满足上述两种类型数据处理要求，可设计上试图同时满足上述两种类型数据处理要求，可能需

2、要克服一定的技术瓶颈；能需要克服一定的技术瓶颈； 相关技术：、相关技术：、3基础基础HT架构HT组件通用处理模块元数据管理模块DDL & DML处理模块HBase表模块存储引擎模块索引模块智能路由模块HT用户模型HT权限模型4基础基础HT架构HT组件通用处理模块元数据管理模块DDL & DML处理模块HBase表模块存储引擎模块索引模块智能路由模块HT用户模型HT权限模型5架构定义：定义：存储和管理大规模结构化数据的数据仓存储和管理大规模结构化数据的数据仓库系统，实现对应用数据集的模型定义、库系统，实现对应用数据集的模型定义、存储组织、索引、查询和统计分析功能。存储组织、索引、查询和统计分析功

3、能。数据存储和管理：主要使用存储引擎；支持海量结构化、半结构化数据的存储和管理。数据导入导出：采用分布式加载工具，未来集成进实现。功能的一部分。数据统计分析：提供92兼容的查询接口、基本统计能力，并行分析。集成多种开源查询引擎，并支持基于代价查询优化。系统管理：集成的系统监控、数据管理、用户管理、日志和告警等。数据备份恢复：支持高性能的数据库/表备份和恢复。6基础基础HT架构HT组件通用处理模块元数据管理模块DDL & DML处理模块HBase表模块存储引擎模块索引模块智能路由模块HT用户模型HT权限模型7组件自动化部署工具导入导出工具编译打包工具加载工具自动化测试工具开发者工具包一致性检验工

4、具 外围工具 SQL引擎ScanMR关系型数据库分布式文件系统分布式 监控/管理元数据存储索引存储查询能力存储能力数据存储8组件 元数据管理模块 9组件 & 处理模块备份还原建表、建索引 / 权限管理用户管理自定义、处理模块，这部分主要处理自定义的命令，可以灵活添加修改。10模块 引擎表模块索引查询读取：的核心模块，主要工作是表的增、删改、查，导入等。导入： 11组件 存储引擎模块为了满足不同应用领域对数据存储的要求，在提供统一访问接口的前提下，底层支持多种特性不同的数据存储引擎。引擎名称特点适合场景引擎名称特点适合场景()纯文本格式；原始文件可直接入库，支持多种压缩算法。入库效率要求高；数据

5、在多应用间共享，且其他应用要求文本存储。()行-列混合存储方式；支持多种压缩算法。 对数据入库压缩比有较高要求；数据查询针对特定列执行。()对数据局部排序的行存引擎，支持多种压缩方法；支持丰富的索引机制。同时具有精确定位和海量数据分析需求的场景。 数据实时入库，保证行级的数据一致性，具有一定的幵发能力。数据有需求，且幵发用户较多的场景。12组件 索引模块 1 ( , , , , ( , )部分详单类应用要求在短时间内获取对海量数据的精确匹配查询结果，现有开源数据仓库系统系统无法满足。( )134993885232913500000004000110241349938852329,1350000

6、00040001,1024134993885677013500000049000220481349938856770,135000000490002,204813499388543971350000010800015121349938854397,135000001080001,51213499388552751350000012700031281349938855275,135000001270003,12813组件 智能路由模块概述 模块 开发： 以的 作为基础，进行开发 通过、等扩展机制对进行扩展 处理对象： 主要用于高并发索引查询和操作 所有扩展的语法通过 进行处理 结果处理： 返回的

7、结果通过适配，转换成一致的结果14基础基础HT架构HT组件通用处理模块元数据管理模块DDL & DML处理模块HBase表模块存储引擎模块索引模块智能路由模块HT用户模型HT权限模型15用户模型用户管理员用户普通用户数据库Owner普通使用者 M N16用户管理 示例 创建用户/角色 修改密码 修改数据库所有者身份|;|;17用户管理 示例 查看所有用户和角色 ;| | | | | | | | | 2 | | U1 | | | 9 | |2 (0.229 ) ;| | R1 | |2 (0.046 )18基础基础HT架构HT组件通用处理模块元数据管理模块DDL & DML处理模块HBase表模

8、块存储引擎模块索引模块智能路由模块HT用户模型HT权限模型19权限模型 权限结构权限系统权限对象权限DB1DB2DBDB(n)20权限模型 权限授予/回收方式权限直接授权/收回间接授权/收回Role1Role2RoleRoleNUser1UserN21权限模型 系统权限 22权限模型 系统权限语法 语法 示例 赋予系统权限 , . ; ; 收回系统权限 , . ; ; *当用户名为全数字时，请在引用用户名时使用双引号;1;1;2;23权限模型 对象权限 24权限模型 对象权限语法 语法 示例 赋予对象权限 , . , . ; , . ; 收回对象权限 , . , . ; , . ; | | |

9、 | | | .11;11;,T22;T31;25权限管理 查看权限 查看被赋予的系统权限 语法 示例 ; ;| | | | | | | U1 | | () | | | () |3 (0.127 )26权限管理 查看权限 查看被赋予的对象权限 语法 示例 | ; . ; (0.002 ) t1 u1; (0.01 ) ;| | | | | U1 | | 1 | |1 (0.129 )27用户权限说明 是中的一个特殊的角色，所有用户都隐式的拥有角色所拥有的所有权限； 只有数据库管理员（ ）可以将系统权限赋予其他用户或从其他用户收回系统权限。 数据库拥有者（ ）可以赋予或收回其所拥有的数据库内的数

10、据库对象的对象权限。 管理员默认拥有所有系统权限和对象权限；数据库所有者默认拥有其下数据库内的所有数据库对象上的所有对象权限。28 1. 2. 3. 29 负责创建和管理连接，对于每次连接请求， 根据找到相应的进行连接。 是运行在客户端用来转换 和下层数据库协议的适配器()。用户的程序可以通过标准的 访问中的数据。30 认证数据库对象管理获取列表创建删除获取的列表获取的写操作服务状态管理获取服务状态更改服务状态统计信息查询获取系统级别统计信息获取服务级别统计信息配置信息管理获取服务器配置设置服务器配置31 认证认证在消息头中必须有以下的消息头：发起操作的时间，按照“, d z”的格式发送数据。

11、：用于认证。客户端在发送请求前，使用“用户名/密码”计算出头部的值。值的格式为“ ”。为认证方法，目前支持的为“”。为用户名；为5(密码)当一个消息到达 的时候，会首先判断字段值是否合法，如果格式合法，并且与系统当前时间的时间差在300s之内，则认为该消息有效，之后需要根据消息头中的信息，取得该用户对应的密码重新计算一遍，如果计算得到的与消息头中的一致，则认为通过认证，否则认为认证失败。: , 23 2011 09:13:07 32 示例1服务状态管理 - 例获取系统所有服务，以及服务的状态内容： 1.1: : , 23 2011 09:13:07 : : 33 示例1服务状态管理 - 例返回

12、系统所有服务，以及服务的状态内容：1.1 200 : .34 是的系统组件之一，实现系统的告警信息采集和上报功能。 所做的工作有定义定义消息标识、消息内容将定制化的和内容集成进服务端代码35数据库访问方式 - 使用 连接完整的格式（ 表示可选） 的主要参数：参数参数值值说明说明 名称。在中将由此区分不同的 。或地址启动 的服务器地址。缺省为9092启动 的监听端口。依赖于 的监听端口号配置。缺省为中的名。36数据库访问方式 - 使用 连接示例()=;=10.133.5.74:9092;=;=123123;();=(,);=();=(*10);=();(e)();(!,e);(!,e);(1);37其他功能 数据库备份/恢复 数据表备份/恢复 元数据备份/恢复 分类的日志系统 基于的管理页面 基于的安全防护 基于的配置管理和监控谢谢 谢谢！演讲完毕，谢谢观看！