江苏省软件工程技术研究开发中心云计算平台方案建议书.pdf

《江苏省软件工程技术研究开发中心云计算平台方案建议书.pdf》由会员分享，可在线阅读，更多相关《江苏省软件工程技术研究开发中心云计算平台方案建议书.pdf（96页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、云计算平台云计算平台技术方案建议书技术方案建议书、目目录录1.1（一）专家评价与修改意见表.错误！未定义书签。错误！未定义书签。1.2（二）科研机构基本信息.错误！未定义书签。错误！未定义书签。2系统总体概述.32.1系统基本功能.42.2系统建设的主要设计思想和设计目标、设计原则.52.3系统的主要技术特点.52.4系统总体构架.62.5cProc 云处理平台简介.82.6cStor 云存储系统简介.102.7OpenStack 简介.122.8系统设计性能.132.8.1数据流量处理能力.132.8.2数据存储读取能力.132.9系统功能.153系统设计实施与关键技术方法.173.1cPr

2、oc 云处理平台.173.1.1数据立方(DataCube).173.1.2任务监控器（JobKeeper）.203.1.3cProc 数据处理.223.1.4数据压缩.243.1.5适应应用需求的混合存储策略.253.1.6HBase 数据存储.263.1.7数据库存储.273.2cProc 云处理平台可靠性设计.293.2.1可靠性概述.303.2.2HDFS 可靠性设计.313.2.3HBase 可靠性设计.333.2.4MapReduce 可靠性设计.353.2.5Zookeeper 可靠性设计.373.2.6数据存储的可靠性设计.393.2.7处理与存储集群 Master 单点失效容

3、错处理.413.2.8处理与存储集群的负载均衡处理.473.3cStor 云存储系统.503.3.1技术架构.503.3.2工作原理.523.3.3管理机制.533.3.4关键技术.543.4OpenStack 介绍.563.4.1OpenStack 是什么.563.4.2云服务提供商的概念架构.583.4.3OpenStack Compute 架构.593.4.4OpenStack Image Service.673.4.5OpenStack Object Storage.683.4.6OpenStack 界面图.753.5平台安全.753.5.1云处理平台信任保护.753.5.2基于多级信

4、任保护的访问控制.793.5.3云处理平台安全审计.823.5.4云处理平台安全网关.853.6软硬件设施清单.884项目管理和实施.934.1项目开发周期.934.2项目计划进度.934.3项目实施.944.4客户受益.951 系统总体概述系统总体概述1.1 系统需求分析系统需求分析系统需要广泛应用于移动互联网、金融证券、电子政务、教育科研等需要海量数据存储和处理的领域。同时，能为中小企业提供基于 SaaS 的低成本的信息化服务、虚拟化服务，降低企业信息化的门槛。云计算平台的建设能增强苏州市云计算与智能信息处理领域的自主开发能力，从而有力的推动该产业长期稳定的发展，进一步提升苏州市信息技术产

5、业的竞争力和影响力；能为苏州市中小企业提供信息化、虚拟化服务平台，对目前企业信息集成中存在的主要问题，如基础数据缺失、计划和安排生产的盲目性、流程不规范、现场采集数据困难等提供解决方案，推动苏州信息基础设施建设和中小企业信息化进程。1.2系统基本功能系统基本功能本项目在充分研究云计算现有成果的基础上，面向中小企业智能信息服务、新一代智能信息处理、移动互联网等重点领域的云计算需求，开展云计算关键技术研究。首先研究绿色环保节能云计算中心构建方案，基于先进的海量数据云存储技术构建一个高度可靠、可在线弹性伸缩、能够支持高并发大吞吐量的快速存取访问的云存储系统平台，用于海量的教学信息资源的存储和共享，并

6、为上层云计算数据处理和应用服务提供基础的数据存储平台；然后研究建立适合于中小企业智能信息服务、移动互联网应用服务等的云计算应用模式；最后针对云服务中的用户数据安全与隐私保护等核心问题开展研究，形成支撑具体云服务应用的关键技术体系。最终为后续具体应用服务构建一个安全、稳定、可靠的基础云平台。系统基本功能和组成如下：海量信息智能搜索与数据挖掘技术海量信息智能搜索与数据挖掘技术能够支撑 Deep Web 深度挖掘、自然语言处理、图形图像处理与理解和大规模知识库自动构建等需要复杂信息处理基于云计算的新型移动服务基于云计算的新型移动服务基于云计算的移动图像搜索与挖掘系统和基于云计算的移动位置地理信息服务

7、系统，为移动互联网用户提供新颖的拍照购物搜索服务和基于位置的地理信息服务基于智能生成模型的云计算信息技术支撑服务基于智能生成模型的云计算信息技术支撑服务建立动态工作流的智能生成模型，该模型能依据业务类型智能生成动态工作流，并能依据过程信息反馈调整生成类型基于云计算的海量数据存储平台基于云计算的海量数据存储平台搭建高度可靠、可在线弹性伸缩、能够支持高并发大吞吐量的快速存取访问，用于海量的教学信息资源的存储和共享，并为上层云计算数据处理和应用服务提供基础的数据存储平台企业虚拟化服、网站托管企业虚拟化服、网站托管为企业提供资源虚拟化、资源共享等服务，最大利用硬件资源，节约成本的同时，降低企业对资源的

8、管理难度1.3 系统建设的主要设计思想和设计目标、设计原则系统建设的主要设计思想和设计目标、设计原则设计思想设计思想：在充分研究移动互联网、云计算理论的基础上，研究基于云计算的移动互联网应用服务，通过云计算提供的高性能计算和海量数据存储能力，突破移动终端在计算能力和存储空间上的限制、扩展移动应用软件的类型、提高移动软件的服务质量和降低服务成本。设计目标设计目标：采用云计算、物联网和信息网格技术，构建一个绿色环保、安全、稳定、可靠的云基础平台；基于云计算技术实现 Deep Web、自然语言处理、图形图像处理与理解和大规模知识库自动构建等海量信息的高效处理；建立基于云计算的企业信息化应用软件模式，

9、开发出涵盖企业产品全生命周期的集成应用支撑软件系统和中小企业智能信息服务平台；建立基于云计算的移动互联网软件服务的应用模式，实现基于云计算的移动图像搜索与挖掘系统和基于云计算的移动位置地理信息服务系统。设计原则：设计原则：（1）技术领先，性能优异系统将采用国际先进的云存储和云计算技术，并在此基础上提供高效的查询和分析处理、资源虚拟化服务、网站托管等功能。（2）数据安全可靠系统将采用多种容错技术保证存储的数据安全和故障的自动恢复。1.4 系统的主要技术特点系统的主要技术特点海量数据存储及处理：海量数据存储及处理：基于先进的海量数据云存储技术构建一个高度可靠、可在线弹性伸缩、能够支持高并发大吞吐量

10、的快速存取访问的云存储系统平台，用于海量的教学信息资源的存储和共享，并为上层云计算数据处理和应用服务提供基础的数据存储平台高效处理能力和实时性高效处理能力和实时性：平台在高效率并行分布式软件的支撑下，可以实时完成数据入库、分析和管理工作。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。高可靠性高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。可伸缩性可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减

11、。这样，可以做到与云计算平台的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。高性价比高性价比：采用 X86 架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省 10 倍左右的成本。全业务支持全业务支持：采用分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。1.5 系统总体构架系统总体构架构建一个绿色环保、安全、稳定、可靠的云基础平台；

12、基于云计算技术实现Deep Web、自然语言处理、图形图像处理与理解和大规模知识库自动构建等海量信息的高效处理；建立基于云计算的企业信息化应用软件模式，开发出涵盖企业产品全生命周期的集成应用支撑软件系统和中小企业智能信息服务平台；建立基于云计算的移动互联网软件服务的应用模式，实现基于云计算的移动图像搜索与挖掘系统和基于云计算的移动位置地理信息服务系统；图表 1 系统示意图云存储系统层：在普通 x86 服务器上搭建高性价比的云存储系统，提供海量数据云存储能力，具有高度可靠、可在线弹性伸缩、能够支持高并发大吞吐量的快速存取访问等特性，能够支撑海量教学信息资源的存储和共享，并为上层云处理平台和应用服

13、务提供基础的数据存储平台。云处理平台层：云处理平台包含公司自主研发的数据立方（DataCube）和任务监控器（JobKeeper），数据立方提供所有数据的管理能力，而 JobKeeper 管理所有的请求任务，通过其具有的负载均衡能力，让所有处理几点并发的处理请求，采用智能搜索技术、数据挖掘技术、不确定处理技术、分布式并行处理技术，为上层提供高性能处理服务。虚拟化管理层：通过开源系统 OpenStack，管理用户、证书、镜像等，可以将硬件资源虚拟化成多个节点机器，用户可以租用自己的虚拟服务，互不干扰，而且任意节点宕机，不会影响整个虚拟化管理系统的运行，还能支持网站托管等功能。应用层：通过云处理平

14、台可以为应用层提供 Deep Web 深度挖掘、自然语言处理、图形图像处理与理解、大规模知识库自动构建、拍照购物搜索服务、基于位置的地理信息服务、移动图像搜索与挖掘系统等服务；其中所有的数据都存储在云存储系统上，而通过 OpenStack 虚拟化管理系统可以为用户企业提供资源虚拟化服务。1.6 cProc 云处理平台简介云处理平台简介云存储层包括公司自主研发的云储存系统 cStor 和 apache 开源云储存系统HDFS；而在数据管理层中，包含数据立方、Hbase；数据处理层包含 JobKeeper和 MapReduce；最后的监控协调层则包括 zookeeper 和 Chukwa 来实现对

15、整个系统的实时监控和数据管理。下图为 cProc 云处理平台架构：通过数据立方，可以对元数据进行数据分析、清理、分割。对结构化数据任意关键字索引，形成一个多维数据模型，数据立方的命名也由此而来。数据立方是独立于 cProc 云处理平台的技术架构，用户可以选择性采用数据立方，也可以单独采用 Hbase、Hive 等技术框架，通过数据立方或 Hbase，可以将结构化数据看成一张无限大的表，操作这张表跟操作传统关系型数据库一样，上层应用无需修改，完全符合用户原来操作习惯。对于非结构化数据，cProc 云处理平台采用公司自主研发的超安存算法，对这些数据块进行分割，散乱存储到云储存系统上，然后采用分布式

16、并行处理，对数据进行实时处理，cProc 云处理平台的处理性能随着节点的增多而成倍数增长。cProc 云处理平台拥有以下特点：1 1.对任意多关键字实时索引对任意多关键字实时索引2.2.支持类支持类 SQLSQL 复杂并行组合查询复杂并行组合查询3.3.分布式分布式万兆实时数据流秒级处理万兆实时数据流秒级处理4.4.高可靠性，系统无单点，确保意外情况下，系统的正常运行高可靠性，系统无单点，确保意外情况下，系统的正常运行以上特点由云创公司自主研发的下面几大功能来提供保证，分别是数据立方，分布式数据处理,调度均衡器、数据传输接口等。数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数据

17、结构，该结构成功解决了海量数据的快速索引和查询问题，使得百亿条记录级的数据能够秒级处理。分布式数据处理是云创公司研发的处理海量数据的处理框架，用于对大规模数据集的并行处理。处理能力可以通过增加或减少机器达到动态调整。采用先进的容错技术，确保处理任务的可靠性，即使在异常情况下，如机器宕机、断网的情况下，确保处理任务的实时性和准确性。调度均衡器是云创公司研发的解决单点故障的一项技术，用于解决系统内的单点问题，确保某机器的应用程序状态在宕机或断网时，可将状态从异常机器转移到其他机器上，中间无数据丢失。数据传输接口是云创公司经过多年积累，专门针对地面数据传输研究出高性能可靠文件传输协议，采用并行流水线

18、方式、将传输与存储作联合优化，并支持多点中继高效传输。经过多项实地远程传输试验，结果表明该技术的传输效率在1Gb/s 光纤线路上达到了带宽的 80%左右，处于国际最高水平。几大功能相辅相成，高效且可靠地处理海量数据，确保响应迅速，传输速度快，处理结果准确。1.7 cStor 云存储系统简介云存储系统简介cStor 云存储系统是南京云创存储科技有限公司自主研发的、具有自主知识产权的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包括软件与硬件，是一个海量的云存储平台。图 2 C1000 系列云存储产品存储机柜与传统的大规模存储系统相比，cStor 针对绝大多数数据密集型应用的特点从多个

19、方面进行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。cStor 凭着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、在线自动伸缩、易用通用等诸多压倒性优势，获得了广电、安防、刑侦、政务、交通、动漫等各行业用户青睐，产品代理和销售商已发展到数十家。目前，cStor 云存储系统已成熟应用于安防视频监控、刑侦、广电、交通、电信、医疗、政务等诸多领域，性能卓越，表现出色，从未出现故障，得到用户一致称赞。图 3 部署在南京政务云数据中心云创机器下图 4 为一简单的 cStor 云存储系统部署示意图。图 4 cStor 云存储系统部署示意图cStor 云存储系统采用了分布式的存储架构，

20、元数据服务器采用主备双机容错的方式管理各个存储节点，文件分散存储在各存储节点上。客户端与元数据服务器间只有控制流，数据流直接在各存储节点间交互。因此，系统的整体吞吐率随着存储的规模的增大是线性增加，直到达到带宽的饱和利用。1.8 OpenStack 简介简介OpenStack是一个与Amazon EC2兼容的IaaS系统。OpenStack包括OpenStackCompute 和 OpenStack Object Storage 两个部分。OpenStack Compute 又包含 Web 前端、计算服务、存储服务、身份认证服务、存储块设备(卷)服务、网络服务、任务调度等多个模块。OpenSt

21、ack Compute 的不同模块之间不共享任何信息，通过消息传递进行通讯。因此，不同的模块可以运行在不同的服务器上，也可以运行在同一台服务器上。OpenStack Object Store 可以利用通用服务器搭建可扩展的海量数据仓库，并且通过冗余来保证数据的安全性。同一份数据的在多台服务器上都有副本，将出现故障的服务器从集群中撤除不会影响数据的完整性，加入新的服务器后系统会自动地在新的服务器上为相应的文件创建新的副本。从功能上讲，OpenStackObject Store 同时具备 Eucalyptus 中的 Walrus 服务和弹性块设备(SC)服务。不过 OpenStack Object

22、 Store 不是一个文件系统，不能够保证数据的实时性。从这个方面来考虑，OpenStack Object Store 更适合用于存储需要长期保存的静态数据，例如操作系统映像文件和多媒体数据。OpenStack 通过 Agent 的方式来管理计算资源。在每一个计算节点上，都需要运行 nova-network 服务和 nova-compute 服务。这些服务启动之后，就可以通过消息队列来与云控制器进行交互。1.9 系统设计性能系统设计性能1.9.1数据流量处理能力数据流量处理能力以下是各部分处理能力统计：数据存储查询数据存储查询系统器系统器配置：8 核 CPU2，主频 2GHz 以上,内存 32

23、G，硬盘 82T SATA处理能力：折合数据入库流量 80Mb/s应用分析系统器应用分析系统器配置：8 核 CPU2，主频 2GHz 以上,内存 32G，硬盘 82T SATA处理能力：折合处理并发访问量 1000 次/s1.9.2数据存储读取能力数据存储读取能力原始数据存储采用云存储平台，分布式文件系统存储系统。性能指标：性能指标：存储量指标单系统应支持 PB 级存储容量。吞吐量指标Infiniband 网络上文件读、写性能:(1)写文件性能1 个客户端写 250G 文件，文件平均写性能为 932MB/s，峰值为 1.9GB/秒。(2)读文件性能1 个客户端读 250G 文件，文件平均读性能

24、为 852MB/s，读文件峰值为 1.2GB/s上述性能测试数据是 1 个客户端、8 个存储节点的测试结果，由于本次测试受测试资源影响，没能完全测出 Infiniband 最优性能。但在 8 个存储节点上，文件写性能达到 932MB/s，写峰值为 1.9GB/s，读性能达到 852MB/s，读峰值为1.2GB/s。吞吐量是指在没有帧丢失的情况下，设备能够接受的最大速率。吞吐量根据应用系统读写方式和应用系统读取存储内容大小分成四个指标。分布式文件存储系统按照 32 个节点并发 500 个用户计算，单节点 8 块 2T 大小的硬盘情况下，每个节点指标具体内容如下表所示：表 8 分布式文件存储系统吞

25、吐量指标编号读写方式存储内容大小总 吞 吐 量 指 标(MBps)平 均 吞 吐 量 指 标(MBps)1100%读250GB24000482100%写250GB20000403100%读100KB23000464100%写100KB1900038图表分布式文件存储系统吞吐量指标系统响应时间指标千兆网络环境下，局域网客户端从分布式文件存储系统中读取 4096 字节存储内容的响应时间应不高于 20ms。1.10 系统功能系统功能数据存储：通过云存储平台存储海量数据，教学信息资源存储和共享智能信息处理：基于云计算框架研究海量信息的智能搜索、数据挖掘、不确定性处理等技术，将云计算中的分布式并行计算技

26、术应用到 Deep Web 深度挖掘、自然语言处理、图形图像处理与理解和大规模知识库自动构建等需要复杂信息处理领域，采用云计算并行计算模型，大大提升信息处理的性能中小企业智能信息服务平台：以工作流为特征的企业信息化应用软件系统平台、面向企业的智能信息处理和企业信息化项目云构建等开展研究，建成针对中小企业的智能信息服务平台。资源虚拟化：在搭建的云存储平台上，采用虚拟化管理软件，为中小企业提供资源虚拟化、资源共享等服务，最大利用硬件资源，节约成本的同时，降低企业对资源的管理难度。移动服务技术：研发基于云计算的移动图像搜索与挖掘系统和基于云计算的移动位置地理信息服务系统，为移动互联网用户提供新颖的拍

27、照购物搜索服务和基于位置的地理信息服务2 系统设计实施与关键技术方法系统设计实施与关键技术方法2.1 cProc 云处理平台云处理平台数据处理是对数据的采集、存储、检索、加工、变换和传输。数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据的形式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后，便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影

28、响着人类社会发展的进程。2.1.1 数据立方数据立方(DataCube)我们以 B+树的结构建立了字段的索引，每个 B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCube)”。如下图所示：数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。数据立方的原理：由一个或多个管理节点，一个或多个处理及存储节点（数据节点）组成，系统在数据建

29、立与查询时，分布式建立与应用数据立方索引结构，在数据建立及存储时，对规范化的数据设定 1 个或多个关键字字段，将不同的关键字字段分别建立索引，每张不同的索引生成一张独立的 B+树结构，多个 B+树结构垛叠在一起，与全局数据表形成一个完整的数据立方结构。利用数据立方存储索引结构，可方便快捷的在海量数据云处理系统中准确检索定位数据。B+树的插入仅在叶结点上进行。每插入一个(关键码-指针)索引项后都要判断结点中的子树棵数是否超出范围。当插入后结点中的子树棵数大于 m 时,需要将叶结点分裂为两个结点。它们的双亲结点中应同时包含这两个结点的最大关键码和结点地址。此后,问题归于在非叶结点中的插入了。在非叶

30、结点中关键码的插入与叶结点的插入类似,非叶结点中的子树棵数的上限为 m,超出这个范围也要进行结点分裂。在做根结点分裂时,因为没有双亲结点,就必须创建新的双亲结点,作为树的新根。这样树的高度就增加一层了。当有新的记录到来时，我们要将新的数据记录对应的一条索引记录插入到所有的字段索引中，这时要采取一定的写入策略。当新的记录积累到 n1 条或经过一定时间 t1 时，对于存储在 MemCache 中的字段索引，可以将这些数据记录对应的索引记录一次性批量写入；当新的记录积累到 n2 条或经过一定时间 t2 时，可以将这些数据记录对应的索引记录一次性批量写入 HDFS（固态磁盘）上的索引文件。对 B+树的

31、查找类似于二分查找，对于 m 阶，叶子节点中记录个数为 n 的 B+树来说，其查找的时间复杂度为 O(log m+(n+1)/2)。因此对于值匹配和范围查找来说，有很快的速度。此外，由于对值按照大小顺序进行了指针链接，因此 m 阶 B+树还可以进行对值进行顺序查找。我们对重要字段建立索引，存储在 HDFS（固态磁盘）上。将最近常用的字段索引加载到 MemCache 中，同时删除最不常用的字段索引以节省空间。详细来说，对于每次查询，系统统计每个字段索引被调用的次数，对于被调用次数最多的那些字段索引就被加载到MemCache 中，而在 MemCache 中被调用次数最少的某些字段将被删除。数据立方

32、是凌驾于数据存储层和数据库系统之上的，通过数据立方解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。2.1.2任务监控器（任务监控器（JobKeeper）JobKeeper 调度平台是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。JobKeeper 云调度技术架构图应用层是一组用于管理和结果反馈的显示组件。用于显示任务的处理情况以及集群中机器

33、的活动情况，同时其也是一个上层应用和底层服务的对接平台。是整个系统面向用户和开发人员的基础承载。业务层是对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。数据处理层是独立的数据处理程序，是对不同需求数据的统一处理方案，他的运行与监控的工作将由 JobKeeper 调度平台进行统一的配置管理。存储层是用来存储数据存储层的处理结果集或者其他中间结果集的单元。虚拟化资源层是将实体的机器进行虚拟化，形成更大范围的服务集群。JobKeeper 调度平台是由一组管理节点（Master Node）和一组处理节点（Task Node）组成，管理节点组是一组基

34、于 Webserver 的 RPC(RPC 采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。)服务器，负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存，对应的信息镜像存储在基于 cStor 或者 NFS 服务的存储系统上，保证每个管理节点中的镜像信息的实时同步。同时架设

35、在管理节点上的 ZooKeeper 服务(ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，包含一个简单的原语集。分布式应用可以使用它来实现诸如：统一命名服务、配置管理、分布式锁服务、集群管理等功能。)用于对整个管理节点组进行统一的配置化管理。处理节点组通过 RPC 的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行对比，控制程序的执行和结束。（注：这里的程序，可以是任何语言任何形式的独立程序，但是必须提供执行脚本，和运行参数选项）处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活状态。如果在若干个心跳间隔后管理节点组仍然没

36、有获取到处理节点心跳报告，那么该处理节点将会被踢出处理节点组，同时该节点处理的所有处理任务也会被重新调度。随着集群处理数据量的不断增大，处理节点组提供了简单高效的自动化部署方案，当新机器加入处理集群后，会主动的与管理节点组同步心跳信息，从同一配置服务器 ZooKeeper 上获取相关配置信息，通过 WebServer 服务获取任务列表，开始执行数据处理工作。JobKeeper 调度平台提供了一套基于 Web 的管理化界面，可以实时的观察各个处理节点的任务运行状态，以及任务列表的分配情况，机器的负载情况等。用户在管理系统界面上可以完成所有的工作，如新任务的添加，任务的手动调度以及集群日志的查看与

37、分析等。任务处理节点和管理节点之间维护一个心跳时间，实时向管理节点汇报任务处理信息，同时，任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表，并和本机正在处理的任务列表进行比对，完成相关的任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系，那么管理节点将会根据各机器的负载情况，将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。2.1.3 cProc 数据处理数据处理cProc 云处理是云创公司研发的处理海量数据的处理框架，特点是实时性高。主从式的管理节点监控着所有处理节点（slave），并接受任务，分配子任务，监控任务以及处理各类异常情况。处理节点

38、（slave），接受子任务，监控子任务，向主节点汇报任务。结构如下图所示：cProc 云处理是 cProc 云处理平台分布式的核心。该架构内部避免了大多数分布式系统内部存在的单点问题。里面的两个管理员节点(主节点和备节点)对整个集群进行着管理，通过先进的调度监控器解决了管理节点的单点问题和数据同步问题，确保在主节点异常情况下，主从节点的切换不丢失管理数据。cProc 云处理内部采用高效的数据结构 cProcJob,维护每个任务以及子任务的状态，并严格按照任务状态转移表进行任务状态切换。在 cProc 分布式数据处理的过程中，系统采用以下三个原则：1.1.数据尽可能的本地性原则数据尽可能的本地性

39、原则在任务提交后，管理节点根据数据所在位置分配处理，这样在每个处理节点上要处理的存储介质上的数据块就在本地，直接操作本地文件，避免了数据的移动，极大地减少了网络 IO 负载，缩短了处理时间。2.2.数据分布的平衡性原则数据分布的平衡性原则cProc 并行处理架构能够周期性地对存储介质上的数据进行维护，保持存储节点上所存储的数据量的平衡，减少因数据负载的不平衡而导致的处理负载的不平衡。3.3.调度任务公平的原则调度任务公平的原则公平调度是一种多用户的赋予作业（job）资源的策略，它的目的是让所有的作业随着时间的推移，都能获取与权值相应的共享资源。当单独一个作业在运行时，它将使用整个集群。当有其它

40、作业被提交上来时，系统会将任务空闲处理单元赋给这些新的作业，以使得每一个作业都大概获取到与权值相应的处理时间。这个特性让短作业在合理的时间内完成的同时又保证了长作业的服务质量。公平调度器按资源池（pool）来组织作业，默认情况下，每一个用户拥有一个独立的资源池。在 Slave 处理节点上设置有同时运行的任务个数上限，若未达到上限，则就产生了空闲处理单元。当集群上出现空闲处理单元时，调度按两步进行，首先空闲处理单元在作业池之间分配，其次在作业池内的作业间分配。2.1.4 数据压缩数据压缩HDFSHDFS 数据压缩与组织方法数据压缩与组织方法任何一种数据资源都具有生命周期，不同的时期有其存在的不同

41、意义。在数据刚生成的数日内，访问频率最高，带来的使用价值也最高。随着时间推移，访问频率会逐渐降低，数据的价值也随之下降，低访问频率的数据量远远超过高访问频率的数据量。不同生命周期的数据是提供给不同使用对象的，这就为以最低的成本获得最高的使用价值提供了可能。通常情况下，某段时间内访问量比较大的数据只有不到 20%，80%的数据是不经常被访问的，虽然这些数据访问量低，但这些数据仍然很重要，必须完好的保存。同时考虑到方便数据压缩，这里采用了分级存储策略，这样不仅可以方便为访问量大的数据项设置缓存，而且为数据压缩提供了方便，显著提高了效率。分级存储就是以信息生命周期管理理论为依据，根据数据所能提供的使

42、用价值来决定存储成本、存储设备。文件依据用户需求有选择地对某些数据进行迁移，如进行远端备份等。数据分级存储之所以重要，是因为它既能最大限度地满足变化的需求，又能方便文件的组织和压缩。数据分级存储的优点有减少总体存储成本、性能优化、改善数据可用性、数据迁移对应用透明。借助云平台，分级存储满足以下要求：数据的安全性、数据的高可用性、容量可扩展性、设备的兼容性、管理的高效性、经济效益性。数据将被组织成两级，一级称为 chuck，一级称为 block。chuck 被分为多个 block，文件将以 block 的形式存储在数据服务器上。block 的优点是方便文件压缩和文件的传输，适合多种备份方式，在很

43、大程度上提高了存储效率和可扩展性。下图给出了基于分级存储的数据块级压缩方式。图表 31 HDFS 数据压缩与组织处理流程如下：1）将一个 chunk 划分成为多个 block。2）读取一个 block，对该 block 进行数据压缩并写入到临时缓存中。3）将临时缓存的压缩数据拷贝到缓冲池中。4）重复 2-3 步直到一个 chunk 中的 block 都被压缩拷贝完成。5）将缓冲池中的内容按顺序回写到存储区域。2.1.5 适应应用需求的混合存储策略适应应用需求的混合存储策略混合存储策略可以简述为 HDFS 分布式文件系统用来存储海量数据，可以根据存储的数据类型建立索引，HBase 也可用来存储海

44、量数据，其由查询条件建立索引表，数据库对小型数据的存储处理。分布式文件系统 HDFS 是一个开源云处理平台 Hadoop 框架的底层实现部分，适合运行在通用硬件上的分布式文件系统，具有高容错性，能提高吞吐量的数据访问，非常适合于大规模数据集上的应用。MapReduce 在 HDFS 的基础上实现的并行框架，为用户提供容易使用的并行编程模式，MapReduce 处理包括两个阶段，Map（映射）阶段和 Reduce（规范）阶段。首先，Map 函数把一组(Key,Value)输入，映射为一组中间结果(Key,Value)，然后通过Reduce 函数把具有相同 Key 值的中间结果，进行合并化简。Ma

45、pReduce 将处理作业分成许多小的单元，同时数据也会被 HDFS 分为多个 Block，并且每个数据块被复制多份，保证系统系统的可靠性的可靠性，HDFS 按照一定的规则将数据块放置在集群中的不同机器上，以便 MapReduce 在数据宿主机器上进行处理。HBase 类似 Bigtable 的分布式数据库，是一个稀疏的，长期存储的，多维的，排序的映射表.这张表的索引是行关键字，列关键字和时间戳。所有数据库的更新都是一个时间戳标记，每个更新都是一个新的版本，而 HBase 会保留一定数量的版本，这个值是可以设定的。客户端可以获取距离某个时间最近的版本，或者一次获取所有版本。2.1.6 HBas

46、e 数据存储数据存储HBase Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。其目的是处理庞大的表，可以用普通的处理机处理 10 亿行数据，并且有数百万列元素组成的数据表这张表的索引是行关键字。Hbase 可以直接使用本地的文件系统和 Hadoop 作为数据存储方式，不过为了提高数据的可靠性和系统的健壮性，发挥 Hbase 处理大数据量等功能，需要使用Hadoop 作为文件系统。1、数据模式HBase 类似 Bigtable 的分布式数据库，是一个稀疏的，长期存储的，多维

47、的，排序的映射表.这张表的索引是行关键字，列关键字和时间戳。每个值是一个不解释的字符数组，数据都是字符串，没类型。用户在表格中存储数据，每一行都是一个可排序的主键和任意多的列。由于是稀疏存储的，所以同一张表里面的每一行数据都可以有截然不同的列。列名字的格式是:,都是由字符串组成，每一张表有一个 family 集合，这个集合是固定不变的，相当于表的结构，只能通过改变表的结构来改变。但是 lable 值相对于每一行来说都是可以改变的。HBase 把同一个 family 里面的数据存储在同一个目录底下，而 HBase 的写操作时锁行的，每一个都是一个原子元素都可以加锁。所有数据库的更新都是一个时间戳

48、标记，每个更新都是一个新的版本，而 HBase 会保留一定数量的版本，这个值是可以设定的。客户端可以获取距离某个时间最近的版本，或者一次获取所有版本。2、概念视图一个表可以想象成一个大的映射关系，通过主键，或者主键+时间戳，可以定位一行数据，由于是稀疏数据，所以某些列可以是空白的，下面就是数据的概念视图：RowKeyTimeColumnColumn anchorColumnSn.wwwt9anchor:CNNt8anchor:my.look.caCNN.comt6.t5.text/htmlt3.3、物理视图从概念视图看每个表格是有很多行组成，但是在物理存储上，它是按照列来保存的。RowKeyT

49、imeStampColumn n.wwwt6.t5.t3.Row KeyTime StampCn.wwwt9anchor:CNNt8anchor:my.look.caCNN.comRow KeyTime StampColumn n.wwwt6text/html在概念视图上面有些列是空白的，这样的列实际上并不会被存储，当请求这些空白的单元格的时候，会返回 null 值。如果在查询的时候不提供时间戳，那么会返回距离现在最近的那个版本数据。因为在存储的时候，数据会按照时间戳排序。2.1.7 数据库存储数据库存储数据库（Database）是存储在一起的相关数据的集合，这些数据是结构化的，无有害的或不必

50、要的冗余，并为多种应用服务；数据的存储独立于使用它的程序；对数据库插入新数据，修改和检索原有数据均能按一种公用的和可控制的方式进行。当某个系统中存在结构上完全分开的若干个数据库时，则该系统包含一个“数据库集合”。数据库中的数据有两种性质：1、数据整体性数据库是一个单位或是一个应用领域的通用数据处理系统。数据库中的数据是从全局观点出发建立的，他按一定的数据模型进行组织、描述和存储。其结构基于数据间的自然联系，从而可提供一切必要的存取路径，且数据不再针对某一应用，而是面向全组织，具有整体的结构化特征。2、数据共享性数据库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同