智慧气象大数据平台整体解决方案气象局大数据平台整体解决方案.docx

智慧气象大数据平台整体解决方案 气象局大数据平台整体解决方案 气象大数据平台 建 设 方 案 目录 第一章引言 (1) 第二章大数据平台的基本构成 (3) 2.1概述 (3) 2.2数据基础决定平台框架 (4) 2.2.1 从分类大数据到选择大数据解决方案 (4) 2.2.2 依据大数据类型对业务问题进行分类 (7) 2.2.3 使用大数据类型对大数据特征进行分类 (9) 2.3数据分类决定应用方案 (12) 2.4大数据平台的逻辑层次 (13) 2.4.1 大数据集成层 (14) 2.4.2 大数据存储层 (15) 2.4.3 大数据分析层 (15) 2.4.4 大数据应用层 (16) 第三章大数据平台的功能架构 (16) 3.1组件构成 (16) 3.1.1 横向层 (16) 3.1.1.1 大数据集成层 (16) 3.1.1.2 大数据存储层 (19) 3.1.1.3 分析层 (20) 3.1.1.4 使用层 (21) 3.1.2 垂直层 (23) 3.1.2.1 信息集成 (24) 3.1.2.2 大数据治理 (24) 3.1.2.3 服务质量层 (25) 3.1.2.4 系统管理 (27) 3.2功能应用 (28) 3.3原子模式 (28) 3.3.1 数据使用组件 (29) 3.3.1.1 可视化组件 (29) 3.3.1.2 即席发现组件 (30) 3.3.1.3 数据转储组件 (31) 3.3.1.4 信息推送/通知组件 (31) 3.3.1.5 自动响应组件 (32) 3.3.2 数据处理组件 (32) 3.3.2.1 历史数据分析组件 (32) 3.3.2.2 高级分析组件 (33) 3.3.2.3 预处理原始数据组件 (34) 3.3.2.4 即席分析组件 (35) 3.3.3 数据访问组件 (36) 3.3.3.1 web和社交媒体访问组件 (36) 3.3.3.2 物联网设备数据的访问组件 (39) 3.3.3.3 基础数据(观测数据和生产数据)的访问模式 (40) 3.3.4 数据存储组件 (41) 3.3.4.1 分布式非结构化数据存储组件 (41) 3.3.4.2 分布式结构化数据存储组件 (42) 3.3.4.3 传统数据存储组件 (42) 3.3.4.4 云存储组件 (42) 3.4复合模式 (43) 3.4.1 存储和探索复合组件 (43) 3.4.2 专业分析和预测分析组件 (44) 3.4.3 OLAP在线分析 (45) 3.4.4 原子模式和符合模式的映射 (46) 3.4.4.1.1 图 10. 将原子模式映射到架构层 (48) 3.5解决方案模式（模拟应用场景） (48) 第四章技术架构实现方案 (49) 4.1概述 (49) 4.2技术架构的关键问题 (49) 4.2.1 hadoop (49) 4.2.2 数据库 (49) 4.2.3 流计算 (50) 4.3数据库功能支持 (50) 4.3.1 开发及应用接口 (50) 4.3.2 SQL语法兼容性 (52) 4.3.3 生命周期管理功能 (55) 4.3.4 热数据 (56) 4.3.5 冷数据 (56) 4.3.6 表分区功能 (57) 4.3.7 表压缩功能 (58) 4.3.8 大表索引管理 (58) 4.3.9 数据导入与导出 (59) 4.3.10 多级数据存储 (60) 4.3.11 半结构化与非结构化数据支持 (61) 4.3.12 全文数据处理 (61) 4.3.12.1 安全可靠与运维能力 (62) 4.3.12.2 资源管理 (62) 4.3.12.3 系统容错性 (65) 4.3.13 单点故障消除 (66) 4.3.14 容灾与备份 (68) 4.3.15 在线扩容 (69) 第五章大数据创新平台设计 (70) 5.1质控治理服务（云平台） (70) 5.1.1 质量规则 (72) 5.1.3 数据比对 (73) 5.1.4 数据检测 (74) 5.1.5 数据质量评分 (74) 5.2数据资源服务（云平台和智慧城市） (75) 5.2.1 架构设计 (75) 5.2.2 服务总线 (76) 5.2.2.1 服务总线架构 (76) 5.2.2.2 服务生命周期管理 (77) 5.2.2.3 服务目录 (78) 5.2.2.4 服务授权 (79) 5.2.2.5 服务网关 (79) 5.2.2.6 服务监控 (80) 5.2.2.7 服务SDK (80) 5.2.3 数据超市 (81) 5.2.3.1 数据多维展示 (81) 5.2.3.2 数据检索 (82) 5.2.3.3 数据订阅 (82) 5.2.3.4 数据评分、评论 (82) 5.2.3.5 数据可视化 (83) 5.2.3.6 数据气象局 (83) 5.2.3.7 数据反馈 (84) 5.3数据资源服务 (84) 5.3.1 数据目录创建 (84) 5.3.1.1 数据目录申请 (84) 5.3.1.2 数据集目录完善 (85) 5.3.1.3 数据目录初始化 (86) 5.3.2 标签生成 (86) 5.3.3 目录审批管理 (86) 5.4.1 数据挖掘 (87) 5.4.2 数据可视化 (91) 5.4.2.1 地图 (92) 5.4.2.2 图表 (93) 5.5数据开放服务 (103) 5.5.1 数据开放目录管理 (103) 5.5.1.1 目录设计 (103) 5.5.1.2 数据开放目录的梳理 (104) 5.5.2 数据开放加工机制 (104) 5.5.2.1 数据再整理 (104) 5.5.2.2 数据失真 (105) 5.5.3 数据开放方式管理 (107) 5.5.4 数据开放生命周期管理 (107) 5.5.4.1 数据规划设计 (107) 5.5.4.2 数据运行维护 (108) 5.5.4.2.1 待发布数据集 (108) 5.5.4.2.2 数据集目录查询 (108) 5.5.4.2.3 数据集更新 (108) 5.5.4.2.4 数据集目录修改 (109) 5.5.4.2.5 数据集目录下线 (110) 5.5.4.2.6 数据集目录删除 (110) 5.5.4.2.7 数据绩效评价 (110) 5.5.5 数据开放授权管理 (110) 5.5.6 开放服务管理机制 (111) 5.5.6.1 数据目录申请流程 (111) 5.5.6.2 数据集目录完善 (112) 第六章基础资源平台设计 (113) 6.1网络设计 (113) 6.1.1 系统现状 (113) 6.1.1.1 网络结构现状 (113) 6.1.1.2 系统资源现状 (113) 6.1.1.3 网络带宽现状 (115) 6.1.1.4 路由协议现状 (115) 6.1.2 需求分析 (115) 6.1.2.1 网络结构需求 (115) 6.1.2.2 网络分区需求 (116) 6.1.2.3 网络带宽需求 (117) 6.1.2.4 网络高性能需求 (119) 6.1.2.5 网络负载均衡需求 (119) 6.1.3 数据中心网络系统设计 (119) 6.1.3.1 系统设计原则 (119) 6.1.3.2 网络结构规划 (121) 6.1.3.2.1 网络层次规划 (121) 6.1.3.2.2 网络分区规划 (123) 6.1.3.3 网络总体结构设计 (126) 6.1.3.4 数据中心核心层设计 (128) 6.1.3.5 数据中心接入层设计 (133) 6.1.3.6 lP地址规划 (137) 6.1.3.7 数据中心路由设计 (139) 6.1.3.7.1 路由协议选择 (139) 6.1.3.7.2 数据中心内部路由设计 (140) 6.1.3.7.3 数据中心与外部网络路由设计 (141) 6.1.3.8 负载均衡系统设计 (142) 6.1.3.8.1 全局负载均衡系统设计 (142) 6.1.3.8.2 应用负载均衡系统设计 (144) 6.1.3.9 可靠性设计 (144) 6.1.3.9.1 网络总体结构可靠性设计 (144) 6.1.3.9.2 数据中心设备冗余设计 (146) 6.1.3.9.3 链路冗余设计 (147) 6.1.3.10 带外管理网络设计 (149) 6.1.3.10.1 带外管理简介 (149) 6.1.3.10.2 带外管理的必要性 (150) 6.1.3.10.3 数据中心带外管理网络设计 (150) 6.1.3.11 NTP（网络时间同步）系统设计 (150) 6.1.3.11.1 NTP概述 (151) 6.1.3.11.2 NTP的工作原理 (151) 6.1.3.11.3 NTP系统设计 (152) 6.1.4 同城DWDM系统设计 (153) 6.1.4.1 传输网的需求 (153) 6.1.4.2 传输技术的选择 (154) 6.1.4.3 同城数据中心DWDM传输网络设计 (155) 6.1.4.4 可靠性设计 (157) 6.2气象局云大数据平台基础设施建设需求分析 (157) 6.2.1 建设需求分析 (157) 6.2.1.1 系统现状 (157) 6.2.1.1.1 关键业务系统 (157) 6.2.1.1.2 数据系统 (158) 6.2.1.1.3 备份系统 (158) 6.2.1.2 容灾建设考虑因素 (159) 6.2.2 气象局云大数据平台基础设施建设技术方案建议 (162) 6.2.2.1 总体架构平台概述 (162) 6.2.2.2 气象局云计算平台设计 (163) 6.2.2.2.1 气象局云平台基础架构 (163) 6.2.2.2.2 气象局云计算管理平台 (164) 6.2.2.2.3 气象局云计算安全 (169) 6.2.2.3 计算资源池建设方案建议 (170) 6.2.2.3.2 虚拟化资源池建设 (172) 6.2.2.3.3 数据库平台建设 (174) 6.2.2.3.4 资源管理平台 (175) 6.2.2.4 存储资源池建设方案建议 (175) 6.2.2.4.1 存储资源池建设原则 (175) 6.2.2.4.2 存储数据类型 (176) 6.2.2.4.3 数据存储模式 (179) 6.2.2.4.4 存储资源池建设方案 (180) 6.2.2.5 备份系统建设方案建议 (182) 6.2.2.5.1 数据备份系统建设方案 (182) 6.2.2.6 系统资源管理平台建设方案建议 (186) 6.2.3 气象局云大数据平台基础设施平台两地三中心建设方案建议 (188) 6.2.3.1 两地三中心建设依据 (188) 6.2.3.2 两地三中心建设目标 (189) 6.2.3.3 容灾技术的选择 (190) 6.2.3.4 两地三中心总体架构设计建议 (191) 6.2.3.4.1 总体架构描述 (192) 6.2.3.4.2 资源池功能描述 (193) 6.2.3.4.3 总体架构设计 (193) 第七章大数据支撑平台设计 (199) 7.1设计思路 (199) 7.1.1 轻量服务化架构 (199) 7.1.2 弹性可扩展 (200) 7.1.3 开放共享 (200) 7.1.4 安全可靠 (200) 7.1.5 自主可控 (200) 7.2设计内容 (201) 7.2.1 数据存储 (203) 7.2.1.2 分布式数据库 (206) 7.2.1.2.1 基于MySQL的关系数据库集群 (206) 7.2.1.2.2 基于HBase的NoSQL数据库集群 (207) 7.2.1.3 分布式缓存 (210) 7.2.1.3.1 基于Memcached的缓存 (210) 7.2.1.3.2 基于Redis的缓存 (212) 7.2.1.3.3 缓存分片路由控制器 (213) 7.2.2 计算能力 (213) 7.2.2.1 离线计算Map/Reduce (215) 7.2.2.2 离线计算Hive (216) 7.2.2.3 流式计算Storm (217) 7.2.2.4 内存计算Impala (217) 7.2.2.5 图计算 (218) 7.2.3 高速服务框架 (218) 7.2.3.1 服务注册中心 (219) 7.2.3.2 服务监控中心 (220) 7.2.3.3 服务引擎 (220) 7.2.4 垂直搜索引擎 (221) 7.2.5 开放服务 (223) 7.2.5.1 云服务器 (223) 7.2.5.2 云存储 (223) 7.2.5.3 关系数据库 (223) 7.2.5.4 海量结构化存储 (224) 7.2.5.5 云搜索 (224) 7.2.5.6 消息推送 (224) 7.2.5.7 负载均衡 (225) 7.2.5.8 云监控 (225) 7.2.6 分布式应用服务器 (225) 第八章大数据创新平台设计 (226) 8.1采集整合服务 (226) 8.1.1 现状分析 (226) 8.1.2 设计思路 (226) 8.1.2.1 爬取方式 (227) 8.1.2.2 购买方式 (227) 8.1.2.3 合作方式 (227) 8.1.2.4 数据整合 (228) 8.1.3 设计内容 (228) 8.1.3.1 互联网原始数据采集 (228) 8.1.3.2 互联网合作伙伴数据采集 (230) 8.1.3.3 其他部门数据采集 (230) 8.1.3.4 社会机构和商业组织数据采集 (231) 8.1.3.5 数据整合 (231) 8.1.4 分步建设 (231) 8.1.4.1 互联网原始数据 (232) 8.1.4.2 互联网合作伙伴数据 (232) 8.1.4.3 国家其他部门数据 (232) 8.1.4.4 社会机构和商业组织数据 (232) 8.1.5 运营方式 (233) 8.2质控治理服务（云平台） (234) 8.2.1 质量规则 (235) 8.2.2 自动化监控数据流转 (236) 8.2.3 数据比对 (237) 8.2.4 数据检测 (238) 8.2.5 数据质量评分 (238) 8.3数据资源服务（云平台和智慧城市） (238) 8.3.1 架构设计 (238) 8.3.2 服务总线 (240)