慧警务大数据云平台方案建议书 警务云解决方案.docx

慧警务大数据云平台方案建议书 警务云解决方案 智慧警务大数据云平台 方案建议书 目录 1 大数据平台技术方案 (2) 1.1 项目概述 (2) 1.2 项目需求 (4) 1.3 项目架构设计 (9) 1.4 计算资源池设计方案 (11) 1.5 大数据处理设备设计方案 (57) 1.6 存储资源池设计方案 (60) 1.7 业务系统搬迁方案 (68) 1.8 数据迁移技术方案 (72) 1.9 数据资源优化调整方案 (96) 1.10 机房优化调整方案 (102) 2 项目实施方案 (104) 2.1 实施范围及内容 (104) 2.2 项目管理 (106) 2.3 质量控制 (123) 2.4 组织机构与人员安排 (126) 2.5 实施准备 (134) 2.6 实施流程 (135) 2.7 项目实施计划 (137) 2.8 培训 (143) 1 大数据平台技术方案 1.1项目概述 1.1.1建设目标 根据我厅“警务大数据”工程建设保障要求，依托云计算和大数据技术，通过对我厅现有存储容量和计算能力资源的优化建设，实现以下支撑保障目标： （1）构建扁平化云计算资源池。按照基础设施即服务（IAAS）的技术架构，建设面向资源服务应用平台的基于云计算技术的计算资源池，按照“老系统老办法，新系统新办法”的原则，通过公安信息网为新建分布式业务应用系统提供计算资源，实现基础设施资源共享应用、快速保障、冗余可靠的服务保障目标。 （2）提升云保障环境基础设施资源监管服务水平。根据基础设施资源虚拟化后运行维护的特点，按照“资源全面注册、运行动态测控、应用有效监管、数据安全备份”的要 求，建设“跨平台、模块化、可扩展”的云保障环境服务管理系统。提供面向用户的业务流程管理、面向应用的服务质量管理功能，提供资源配置主动优化调整、异构虚拟化资源注册管理、服务性能自动检测和主动修复等功能，实现对全省“警务大数据”工程云保障环境基础设施资源动态监控、按需分配、综合利用、快速部署、统一管理的运维保障目标。 1.1.2建设原则 （1）可扩展性原则。为了保护已有投资以及不断增长的业务需求，新建云计算资源保障环境必须具有灵活的结构并留有合理的扩充余地，以便根据需要进行调整和扩充。（2）合理性原则。要立足现有技术条件，建设性能价格比高、功能完善的云计算资源保障环境；系统软硬件选型和配置要兼顾与已有设备的互联互通以及与现有操作系统和应用系统的兼容性。 （3）可靠性原则。云计算资源要具有高可靠性及强大的容错能力，必须保证7*24全天候不间断工作。核心设备要具有全容错结构，并支持热插拔功能，可带电修复有关故障而不影响整个环境的正常工作。 （4）安全性原则。要严格按照国家关于信息安全的规定和要求，规划和部署云计算资源中的各类业务系统。 1.1.3技术架构 围绕支撑“警务大数据”工程分布式存储、扁平化计算的系统运行保障要求，采用云计算技术，建设满足资源服务应用平台高效、稳定、安全运行的基础设施保障环境。基础设施保障环境资源池由计算资源、存储资源、网络资源（包2）、灾备服务等几部分组成。 计算资源由物理服务器和资源虚拟化软件组成，通过公安信息网提供按需创建、快速交付、弹性扩展的虚拟机服务，形成集中统一、综合利用的计算资源池，从而消除物理边界，提升资源利用率。存储资源由物理存储设备和存储虚拟化引擎组成，通过光纤存储网络为数据资源提供存储空间，形成数据中心内异构存储设备整合应用和统一管理的局面。同时，利用存储虚拟化引擎数据分层、数据迁移、数据压缩等技术，实现对存储空间的科学合理使用。网络资源由公安信息网、心跳网络等组成，通过采用网络虚拟 化和冗余配置技术，实现网络设备的高可用。同时，在我厅集中式计算机机房和灾备机房之间搭建无环“大二层”网络（包二），为虚拟机跨机房自动迁移提供基础保障。灾备服务利用存储数据实时数据镜像技术和基于SAN网络的数据分裂技术，实现同城双活数据中心建设以及核心数据资源异地灾备目标。 云保障环境管理平台由云资源综合管理、虚拟化资源管理、云服务流程管理等几部分组成。云资源综合管理由资源管理、用户管理、告警管理、报表管理等功能模块组成，系统部署在省厅，通过虚拟资源联网接口实现对全省各级公安数据中心异构资源池的联网管理功能。虚拟化资源管理由资源动态调度、虚拟资源迁移、虚拟机HA等功能模块组成，部署在各级虚拟化环境保障平台中，提供虚拟资源联网接口与上级公安数据中心云资源服务管理平台联网运行；同时，承担对本级虚拟化环境中物理设备和资源池的监控管理功能。云资源服务流程管理由资源申请、资源审批、资源交付、资源回收等功能模块组成，为云保障资源的使用者提供资源申请与交付通道，并承担云保障资源全生命周期的管理任务。此外，云保障环境管理平台还应具备提供二次开发的能力，以便开发相应API接口，实现与公安信息网运行服务管理平台资源共享应用目标。 1.2项目需求 1.2.1计算资源池建设需求 采用当前主流、成熟、稳定的虚拟化软件技术，搭建我厅警务大数据中心计算资源动态分配、综合利用、统一管理的运行保障环境，具体建设需求如下： 1)计算资源池硬件建设。 购买高性能PC服务器24台，分别配置4路12核以上（含12核）CPU，购买云环境管理服务器10台，配套提供相应的操作系统软件；以上设备按照双活数据中心搭建要求，分别部署在备份节点机房和厅机关系统机房内。 2)计算资源虚拟化软件建设。 购买虚拟化软件1套，配置服务器虚拟化以及云计算服务与管理等功能模块，提供系统集成与维保服务，实现新购计算机设备与我厅现有部分计算机设备的虚拟化改造目标。 3)云服务平台综合管理系统建设。 建议采用成熟产品，并提供二次开发服务，建设我厅云保障环境综合服务管理系统，整合计算、存储和网络资源，构建“警务大数据”工程云数据中心资源监控和交付管理的服务体系，实现对全省云保障资源联网监控管理目标，确保基础设施保障环境安全、高效、稳定运行。 1.2.2大数据处理设备建设需求 按照大数据挖掘分析技术架构，购买大数据处理节点设备42台(其中，12台分别配置2路8核以上CPU，30台分别配置2路6核以上CPU)或大数据处理节点设备1套（其中，分布式数据存储设备不少于5台，存储总容量不小于680TB,分布式数据处理设备1组，CUP总核数不少于480个）；购买UNIX数据库服务器2台，分别配置不少于8核CPU，用于汇聚存储和挖掘处理各类反恐信息数据资源，初步构建大数据分析处理的运行支撑环境。 1.2.3存储资源池建设需求 采用当前先进的存储虚拟化技术，搭建支撑云计算、大数据中心高效运行的存储保障环境。 1)搭建存储虚拟化环境。 购买存储虚拟化硬件设备2组，每组配置2个以上控制器，72G以上高速缓存，并提供相应的存储资源虚拟化管理软件，分别部署在我厅新租用机房与现有集中式计算机机房内，实现对新购存储以及我厅现有部分存储资源的虚拟化改造目标，初步构建分布式存储资源池保障环境。 2)扩充存储设备空间。 购买高性能光纤存储设备2台，每台配置不少于110TB裸容量，128GB以上高速缓存，按照建设双活数据中心的规划要求，分别部署在我厅新租用机房与现有集中式计算机机房内，满足新增警务大数据资源存储与云计算环境建设保障需要。 3)建设高速SAN存储网。 购买高速SAN光纤交换机4台，其中每台配置不少于140个8GB FC光纤接口、配置138个8G FC多模模块、2个20公里8G单模FC模块的SAN光纤交换机共2台、每台配置不少于42个光纤接口、配置40个8G FC多模模块、2个20公里8G单模FC模块的 SAN光纤交换机共2台。)分别部署在我厅新租用机房与现有集中式计算机机房内，构建新租用机房与省厅现有集中式计算机机房之间一体化运行的高速SAN存储网络，实现警务大数据资源跨机房存储、调用的应用保障目标。 1.2.4系统集成与辅助设备需求 完成上述设备的安装、调试任务，提供项目施工过程中所需的仪器、仪表和辅助材料；实现资源虚拟化平台与我厅现有服务器、存储设备的整合、共享目标；提供配套维护终端以及KVM、内存条、硬盘消磁机等辅助设备，提供硬件设备不少于5年的原厂维保服务和现场培训服务等。项目通过验收后的第1年，中标单位需提供不少于1名专业技术人员的7*24小时派驻服务，第2年提供不少于1名专业技术人员的5*8小时派驻服务。 1.2.5集成服务要求 （1）业务系统搬迁。备份节点机房网络基础设施建设到位后，将我厅刑侦楼系统机房、交管楼负一层集中式计算机机房内部分业务系统搬迁到新机房内运行，搬迁业务系统数不少于30个，搬迁计算机、网络、存储等硬件设备数量不少于150台，提供老机房内系统停机与设备断电、拆除、打包等服务工作，提供计算机设备专业搬迁服务并承担设备搬迁过程中引起故障的修复任务，提供搬迁到新机房后系统设备的上架安装、加电测试、网络割接和业务恢复等工作。搬迁过程中需针对不同的业务系统，分别制定搬迁方案和应急保障措施，确保搬迁过程中，一般业务系统的停机时间小于6个小时，核心业务系统的停机时间小于2个小时。 （2）机房优化调整。业务系统搬迁后，对我厅刑侦楼系统机房、交管楼负一层集中式计算机机房内的计算机设备以及相关的公安信息网、SAN光纤网络进行优化调整。优化调整后，形成警务大数据基础设施保障环境建设区域，空机柜数量不少于10个，并完成机房内线路、标签的重新张贴和设备资料的梳理核对工作，完成机房环境监控系统的测试、修复工作，完成机房内电源、空调、消防等环境保障隐患的排查、登记工作。 （3）建设服务模式。本项目需要新建的计算与存储资源池、大数据支撑平台以及相关的业务系统搬迁、机房优化调整等内容，通过招标采购的方式，选择一家技术实力雄厚的集成公司，按照项目总承包的建设模式，承担全部设备与系统建设以及后续网络、存储等基础设备保障环境的运行维护任务，初始免费运维服务期限5年。项目通过验收后的第1年，中标单位需提供不少于1名专业技术人员的7*24小时派驻服务，第2年提供不少于1名专业技术人员的5*8小时派驻服务。本项目为交钥匙工程，凡项目建设所必需的辅助设备、材料，在设备清单中未考虑未提及的，也由投标人自行增补承担。我厅承担一次性建设资金投入和相关资源的分配、使用、管理等工作。 1.2.6售后维修服务及技术支持需求 （1）投标人所提供的所有软硬件设备需完全满足上述规格。除特定外接设备外，所有需要的接口设备、缆线、软件、控制器、设备I/O槽等需配齐，以构成实用系统。 （2）投标人所提供的所有软硬件设备必须是新产品，并且同类设备已经有实际应用，在性能及质量方面能提供可靠证明（包括用户姓名、地址、电话和设备安装时间等）。 （3）所有新购网络设备需要实现与现有相关系统网络设备之间的互联互通，并符合有关国际工业标准和国家标准。所有新购虚拟化软件和计算机设备需要实现与现有相关系统网络设备之间的互联互通，并符合有关国际工业标准和国家标准。 （4）如果投标设备要求使用特别接头、插座等，由投标人提供；所投设备的用电保护超过一般线路保护，保护设备也由投标方提供；投标人应将与此有关的费用计入设备价格中。 （5）投标人需要根据我厅新、老机房环境现状，完成相关设备的供货、上架、安装等任务；完成现有机房虚拟机及业务应用系统的更新改造和在线迁移割接任务。完成大二层网络构建，实现现有机房虚拟机在线迁移割接任务。 （6）中标人必须积极主动与现有系统网络设备相关单位合作，并服从用户方的协调、管理。 （7）中标人须在不迟于合同签订后的40个工作日内完成所有招标设备到指定地点的供货；合同签订后的60个工作日内完成所有管理软件的研发部署任务。投标人应确保其技术建议以及所提供的软硬件设备的完整性、实用性，保证全部系统及时投入正常运行。若出现因投标人提供的软硬件设备不满足要求、不合理，或者其所提供的技术支持和服务不全面，而导致系统无法实现或不能完全实现的状况，投标人负全部责任。 （8）中标单位应在施工前提供详细的施工方案，并提交采购人认可；设备安装、调试所需的工具、仪表及安装材料应由投标人自行解决；施工过程应严格执行相关的强弱电施工规范，并保证施工安全；投标人应向招标方提交测试内容和方法，测试计划和技术内容由投标人拟定，经招标方确认；施工过程中应科学、合理地掌握与其他工程界面的协调、交叉；中标单位应提供设备原厂商工程师现场安装服务。 （9）设备到货后，用户单位与中标单位共同配合有关部门对所有设备进行开箱检查，出现损坏、数量不全或产品不对等问题时，由中标单位负责解决；设备安装完成，由中标单位制定测试方案并经用户确认后，对产品的性能和配臵进行测试检查，并形成测试报告；测试过程中出现设备产品性能指标或功能上不符合标书要求时，用户有权拒收并保留索赔权利。 （10）中标人必须在对设备进行安装、测试、验收、诊断和维修过程中提供相应的技术文档，所有设备必须提供中文版的技术文档资料。 （11）保修期自双方代表在验收单上签字之日起计算。保修期内，投标人负责产品厂家对其提供的设备、软件进行现场维修，不收取额外费用。设备在质保期内发生软、硬件故障，投标人应及时予以响应，免费上门服务，否则招标方将自行采取必要的措施，由此产生风险和费用应由投标人承担。保修期内出现设备故障，如在8小时内不能解决问题，应免费在7天内用同样的品牌、规格或更高的部件更换到位。 （12）保修服务由原厂提供，所有计算设备需提供7*24小时原厂商五年免费保修期（硬盘不返还）。 （13）投标人必须承诺7*24小时全天候半小时现场响应，6小时提供相应的备件。 免费维保期内按照用户需要提供随时到场的专人现场服务，及时发现并排除系统设备运行故障，定期向用户提供系统运行性能以及查询访问应用情况报告。 （14）投标人须承诺中标后在签订合同前必须提供所投设备原厂商针对本项目的按招标文件要求的质保服务承诺函原件。投标人中标后15天内未能提供原厂商关于本项目质保服务承诺函原件，视为提供虚假承诺，取消中标资格，并承担违约责任（没收投 标保证金，且在三年内不得参加采购人的招标活动）。 （15）中标方应向业主免费提供硬件设备管理维护的现场技术培训，包括相关设备性能、系统软件部署、运行维护流程等；免费提供相关软件环境使用维护的现场技术培训，包括相关系统软件、应用软件的操作培训课程。 1.3项目架构设计 随着省厅公安信息化工作的全面推进和信息基础设施水平的整体提高，数据规模和业务量快速增长，应用需求呈现多样化，对业务功能、系统关联、信息利用、数据质量、信息服务水平、信息化工作机制等，提出更高要求和更深入的需求。通过云计算、大数据处理技术，将为公安信息化工作提供高服务质量、低成本的科学管理决策和解决方案。云计算能降低IT环境复杂性，将按需提供服务的自助管理基础架构汇集成高效资源池。 1.3.1逻辑架构设计 通过对底层服务器、存储资源虚拟化聚合部署，利用海量数据存储系统，配合云计算管理平台，实现云计算基础架构即服务，为云计算中心提供云计算服务和良好的基础平台，具有很高的自适应性和扩展性。警务云计算硬件基础逻辑架构如下： 图硬件基础环境设计架构 1.3.2物理架构设计 本方案利用虚拟化技术将服务器、存储、网络构建为虚拟资源池，实现在单一物理服务器上运行多个虚拟服务器（虚拟机），把应用程序对底层的系统和硬件的依赖抽象出来，从而解除应用与操作系统和硬件的耦合关系，使得物理设备的差异性、兼容性对上层应用透明，使不同的虚拟机之间相互隔离、互不影响，从而实现同时运行不同的操作系统，并提供不同的应用服务。 本方案利用分布式技术构建大数据处理集群，将大量服务器计算存储节点整合成统一的计算存储集群，为海量业务信息、音视频信息、图像信息等大数据的处理提供超强的计算能力和超大的存储空间，突破传统模式带来的发展瓶颈。 物理架构总体示意图如下： 图基础环境总体架构 1.3.3基础环境分区 由于云计算硬件基础是作为整体环境进行部署，并采用多种云计算技术形成软件定义的计算、存储与网络环境，在基础环境的部署上进行分布设计和综合部署，应包括应用服务器区、数据库服务器区、存储虚拟化区、平台管理区、大数据分布式集群区、核心接入区、安全防护区和外联接入区。 1.4计算资源池设计方案 计算资源池建设针对省厅的警务大数据建设需求，主要采用服务器虚拟化技术，开展计算资源池硬件、虚拟化软件、云计算资源管理平台等内容的建设。 1.4.1计算资源池总体设计 云计算环境通过使用主机虚拟化技术，形成云计算资源池，结合市局的实际情况，建设X86机器虚拟化集群和小型机集群，达到依靠虚拟化技术、提高资源利用率、降低成本、增强系统和应用的可用性、提高系统的灵活性和快速响应能力的目的。同时，通过虚拟化管理中心软件，对所有物理服务器及其上的虚拟服务器进行统一的管理。 虚拟化作为实现云计算最基础的技术，通过对IT硬件资源整合、优化、共享，有效提高管理的灵活性和效率，并降低成本，以其先进性、高可用、灵活扩展以及开放性等，可满足当前和未来几年警务云计算信息系统的发展需求。