南京云创-环保项目解决方案书.docx

《南京云创-环保项目解决方案书.docx》由会员分享，可在线阅读，更多相关《南京云创-环保项目解决方案书.docx（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、南京云创-环保项目解决方案书 环保 数据汇聚处理项目解决方案 书目 目录 1 系统总体设计 . 1 1.1 云计算系统设计方案概述 . 1 1.1.1 系统基本需求及功能 . 1 1.1.2 主要建设目标和建设原则 . 2 1.1.3 系统的主要技术特点 . 2 1.1.4 系统的主要性能指标 . 3 1.2 系统总体构架 . 5 1.2.1 系统基本组成与构架 . 5 1.2.2 系统功能构架 . 5 1.2.3 系统总体构架与功能模块 . 10 1.3 系统基本功能与处理方案 . 11 1.3.1 交管数据入库功能与处理方案 . 11 1.3.2 数据存储功能与处理方案 . 13 1.3.

2、3 查询分析功能与处理方案 . 14 1.4 系统牢靠性与扩展性 . 15 1.4.1 系统牢靠性. 15 1.4.2 系统扩展性. 17 1.5 系统设计性能 . 18 1.5.1 交管数据流量处理实力 . 18 1.5.2 数据存储实力 . 18 1.5.3 查询分析计算性能 . 19 1.6 定制开发方案 . 19 2 硬件云平台建设方案 . 22 2.1 交换机具体指标. 22 2.2 云存储集成套件具体指标 . 22 2.3 云计算/存储主限制服务器节点具体指标 . 23 2.4 云计算/存储从服务器节点具体指标 . 23 2.5 数据采集服务器具体指标 . 24 2.6 应用服务器

3、具体指标 . 24 2.7 数据库服务器具体指标 . 25 2.8 管理限制台服务器具体指标 . 25 3 软件系统设计与关键技术方法 . 27 3.1 系统软件平台 . 273.2 历史数据汇聚上报处理流程 . 27 3.3 实时数据入库流程 . 28 3.4 数据存储子系统. 29 3.4.1 海量数据分布式数据存储构架 . 29 3.4.2 适应应用需求的混合存储策略 . 31 3.4.3 HDFS 数据存储 . 31 3.4.4 HBase 数据存储 . 34 3.4.5 Database 数据存储 . 36 3.4.6 数据存储的牢靠性 . 38 3.4.7 数据压缩 . 39 3.

4、5 数据查询与统计分析子系统 . 41 3.5.1 数据查询与统计分析系统基本构架 . 41 3.5.2 交管数据查询功能与用户界面 . 41 3.5.3 实时报警功能与用户界面 . 42 3.5.4 车辆轨迹回放功能与用户界面 . 43 3.6 基于云方案的交管数据查询索引与查询优化技术. 43 3.6.1 基于分布式数据库的交管数据查询索引处理方案 . 43 3.7 交管数据处理集群的牢靠性与负载均衡设计 . 44 3.7.1 负载均衡处理机的单点失效容错处理 . 44 3.7.2 查询处理机的单点失效容错处理 . 48 3.8 计算与存储集群的牢靠性与负载均衡设计 . 49 3.8.1

5、计算与存储集群 Master 单点失效容错处理 . 49 3.8.2 计算与存储集群的负载均衡处理 . 55 3.8.3 HDFS 的牢靠性设计 . 58 3.8.4 HBase 牢靠性设计 . 60 3.8.5 MapReduce 计算牢靠性设计 . 62 3.9 查询统计计算牢靠性与负载均衡设计 . 64 3.9.1 基于 Zookeeper 的单点失效和负载均衡设计. 64 3.10 系统平安性设计. 66 3.10.1 平安保障体系框架 . 66 3.10.2 云计算平台的多级信任爱护 . 68 3.10.3 基于多级信任爱护的访问限制 . 72 3.10.4 云平台平安审计 . 74

6、 3.10.5 云计算综合平安网关 . 77 4 实施方案. 814.1 时间进度 . 81 4.2 测试和验收 . 81 4.3 技术支持服务 . 81 4.4 培训服务 . 82图表 1 3.20道路图像监控数据汇聚处理云平台的基本组成与构架. 5 图表 2 3.20道路图像监控数据汇聚处理云平台总体构架与功能模块图 . 10 图表 3 3.20道路图像监控数据汇聚处理云平台架构 . 12 图表 4 数据存储处理架构 . 13 图表 5 交管数据接入 . 14 图表 6 分布式文件存储系统吞吐量指标 . 19 图表 7 系统软件结构 . 27 图表 8 数据汇聚上报处理流程 . 28 图表

7、 9 实时数据入库流程 . 28 图表 10 分布式计算流程 . 29 图表 11 Hadoop 结构 . 30 图表 12 HDFS 结构 . 33 图表 13 HDFS Namenode、DataNode 和客户端们之间的交互 . 34 图表 14 HDFS 数据压缩与组织 . 40 图表 15 数据查询子系统构架 . 41 图表 16 用户界面图 . 42 图表 17 实时报警功能 . 42 图表 18 车辆轨迹回放 . 43 图表 19 负载均衡机分布图 . 45 图表 20 负载均衡机宕机预案 . 46 图表 21 Master 节点宕机预案 . 47 图表 22 查询处理单点失效容

8、错处理 . 48 图表 23 Master 单点失效容错处理 . 49 图表 24 AvatarNode0 以 Pimary 启动过程 . 51 图表 25 AvatarNode1 以 Standby 启动过程. 52 图表 26 DataNode 启动过程. 52 图表 27 AvatarNode0 宕机后的状态 . 53 图表 28 AvatarNode1 切换为 Primary 过程 . 53 图表 29 AvatarNode0 重启过程 . 54 图表 30 AvatarNode 启动切换流程图 . 55 图表 31 Avatar 体系架构图 . 58 图表 32 HBase 系统架构

9、 . 60 图表 33 作业提交 . 63 图表 34 JobTracker0 宕机 . 63 图表 35 作业注销 . 64 图表 36 Zookeeper 基本工作结构图 . 64 图表 37 基于 Zookeeper 的查询分析计算单点失效和 . 66 图表 38 基于深度防护战略的 IATF 模型 . 66图表 39 云部署模型的实现 . 67 图表 40 多级信任爱护 . 68 图表 41 基于可信第三方的平台认证 . 69 图表 42 主要因素平台证书 . 69 图表 43 云存储平安子系统接口关系图 . 72 图表 44 基于多级信任爱护的多级访问限制流程 . 73 图表 45

10、数据平安交换平台 . 73 图表 46 云存储平安审计体系结构 . 75 图表 47 平安日志审计系统结构图 . 76 图表 48 Cloud-USG 三种部署模式 . 79系统总体设计 云计算解决方案书 第 1 页 1 系统总体设计 1.1 云计算系统设计方案概述 1.1.1 系统 基本 需求及 功能 根据全省公安机关320工程建设的要求，须要对全市 500 多个车辆监控点实时抓拍的车辆轨迹数据进行刚好汇聚、管理和分析服务。目前，全市已经建成江宁、浦口、六合、高淳、溧水及市政府信息中心等六个数据分中心数据库。经初步测算，仅集中存储全市320文字数据、图片的位置索引，以及车牌小图片片段数据（图

11、像数据在须要时可以根据索引自动到相应的分中心图片系统进行分布调用），根据数据存储 3 年要求，总记录数近 200 亿条，原始数据总存储容量约 120TB，高峰时段每秒产生的数据将超过 1 万条记录（每条记录 5K 数据量，包括文字数据、图片索引和号牌特征图片）。加上要为原始数据记录创建查询索引以及保存从原始数据统计分析出的中间结果数据，需供应总量为 150TB的原始数据存储量。如此浩大的数据量使得现有的关系式数据库已经难以供应相应的数据存储管理和处理实力。为此，须要考虑基于云平台的分布式海量数据存储和处理解决方案。本项目的基本建设要求是：在市局集中建设一套适应海量数据处理的高性能道路图像监控数

12、据存储和计算平台，该平台将从现有的六个数据分中心获得和汇聚道路监控数据，以便供应集中式的道路监控数据管理功能，为开展各种车辆监控数据应用供应海量数据存储管理和计算服务实力。系统的基本功能和性能如下：海量历史 交通监控数据汇总能够对百亿级的海量历史交通监控数据进行汇总处理。海量原始 交通监控数据上报能够对百亿级的海量上报交通监控数据进行上报处理。海量原始数据实时入库、生成索引能够对流量超过 10000 条/m 的全量原始交通监控数据流进行实时处理。系统总体设计 云计算解决方案书 第 2 页 海量 数据 存储、计算能够存储百亿级别的数据， 并完成各种困难业务应用计算。百 亿级数据秒级 查询实力高效

13、索引算法，智能化调度任务系统，满意秒级查询速度。秒级实时业务响应高效实时数据通道，对于像实时监控、告警等实时业务，供应秒级响应时间。1.1.2 主要 建设目标和建设 原则 建设 目标：利用大量一般的性价比高的商用服务器，构建一个高性能的云计算平台，对峰值流量超过 10000 条/秒、3 年高达 150TB 的总数据量进行存储处理，以便为实时监控、报警监控、车辆轨迹回放、电子地图、报警管理、布控管理、设备管理、事务检测报警、流量统计和分析等多种应用业务供应海量数据存储管理支撑和计算服务实力。建设 原则：（1）前瞻性技术与实际应用环境相结合 在技术方案上，本系统必需充分利用目前先进的云计算和海量数

14、据处理相关技术，保证系统技术的前瞻性和先进性。（2）高牢靠性、高扩展性、高可获得性、实时性和高性价比的云平台 与此同时，通过利用业界成熟的云计算和海量数据并行计算平台和技术，供应切实可行的海量数据存储处理解决方案，并保证所设计实现的系统具有高牢靠性、高扩展性和高可获得性；同时，通过云平台的海量数据并行处理，保证数据查询响应的实时性；此外，系统将利用比传统方案更为低廉的价格，供应更高的处理实力，达到较之传统方案至少一个数量级的性价比提升。（3）遵循公安 320 工程相关标准规范 在项目设计和工程实施上，本项目全部的数据格式、接口等要遵循公安 320工程相关标准规范。1.1.3 系统的主要 技术特

15、点 实时性：系统在分布式海量数据存储和并行处理实力的支撑下，须要实时完系统总体设计 云计算解决方案书 第 3 页 成交管数据获得、入库、以及数据汇总、上报、查询、分析计算和管理等工作，保证海量数据的获得和入库不会出现数据积累现象，各类基本的数据查询操作基本都在秒级完成，大规模或困难的分析计算在分钟级完成，实现传统数据库所难以达到的处理实力和处理效率。高牢靠性：系统应采纳目前业界成熟牢靠的海量数据处理平台和技术，须要考虑数据存储和计算时的系统牢靠性，避开系统主节点的单点失效，并具有存储和计算节点失效检测和复原的容错处理实力，保证不出现系统瘫痪和数据出错现象。高可扩展性：系统构架和方案必需具有高可

16、扩展性，保证在将来应用系统规模扩大时能依据须要随时增加节点以扩大系统的数据存储实力和计算实力；并能在不停机的状况下增加节点，以保证应用服务的连续性。高 可获得性：项目运用市场上标准的一般商用服务器，采纳标准的网络构建云计算平台，云计算平台通用性强，且任何节点损坏都易于更换和维护；云计算系统软件尽可能采纳业界广为运用的开源系统，既节约软件费用，也易于获得。高性价比：替代运用价格昂贵的高端专用存储和计算设备，采纳价格不高的一般服务器，大大节约系统的构建和维护成本，同时通过云计算平台的并行化计算实力可供应比传统方案更高的计算性能，获得很高的性价比。全业务支持：海量数据分布存储，少量数据关系困难或实时

17、性要求很高的数据存放于关系数据库，采纳这种分布式海量数据存储为主、关系数据库为辅的混合式数据存储模式，可存储各种不同规模和不同媒体和类型的数据，满意各种不同的数据处理和应用业务需求。1.1.4 系统的主要性能指 标 数据存储和处理指标系统总体设计 云计算解决方案书 第 4 页 3 年的原始道路监控数据量为 120TB，加上要为原始数据记录创建查询索引以及保存从原始数据统计分析出的中间结果数据，需供应总量为 150TB 的数据存储量；为了保证数据存储的牢靠性防止数据丢失，系统要求采纳 3 倍副本方式保存数据，因此，云平台须要供应 150 x 3=450TB 的总存储量。同时，系统必需能实时接收和

18、处理峰值流量高达 1 万条/秒的实时入库数据，包括实时接收保存和创建索引处理。硬件系统指标为了保证计算集群的存储和计算性能，每个服务器节点配置为不低于 2 颗Intel 至强 5645 六核处理器，内存 24G，6×2T(RAID0) SAS 热插拔硬盘；而集群计算和存储主控节点配置为不低于2颗Intel至强5660六核处理器，内存32G，5×2T(RAID1) SAS 热插拔硬盘；关系数据库服务器配置为不低于 2 颗 Intel 至强 5660 六核处理器，内存 24G，3×2T(RAID1) SAS 热插拔硬盘；应用分析服务器和数据采集服务器配置均为不低于2颗Intel至强5645六核处理器，内存16G，应用服务器采纳 600GB15000 转 SAS 热插拔硬盘，数据采集服务器采纳2T