云计算与大数据平台建设方案.docx
《云计算与大数据平台建设方案.docx》由会员分享,可在线阅读,更多相关《云计算与大数据平台建设方案.docx(81页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、云计算与大数据平台建设方案建设单位:X年X月X日开展需求,本方案将采用现代最新的和成熟的技术,将机房主体局部与缓冲局部 建设成一个高效、美观、实用的环境系统。我们在进行设计时,遵循以下设计原 那么:实用性和先进性采用先进成熟的技术和设备,满足当前的需求,兼顾未来的业务需求,尽可 能采用最先进的技术、设备和材料,以适应高速的数据传输需要,使整个系统在 一段时期内保持技术的先进性,并具有良好的开展潜力,以适应未来信息产业业 务的开展和技术升级的需要。灵活性与可扩展性数据中心机房必须具有良好的灵活性与可扩展性,在满足现有需求的基础上, 又能够根据今后业务不断深入开展的需要,扩大设备容量和提高用户数量
2、和质量 的功能。具备支持多种网络传输、多种物理接口的能力,提供技术升级、设备更 新的灵活性。安全可靠性为保证各项业务应用,网络必须具有高可靠性,决不能出现单点故障。要对 机房布局、结构设计、设备选型、日常维护等各方面进行高可靠性的设计和建设。 采用相关的软件技术提供较强的管理机制、控制手段和事故监控与安全保密等技 术措施提高机房的安全可靠性。标准化在云计算数据中心机房系统结构设计上,我们基于国际标准和国家公布的有 关标准,包括各种建筑、机房设计标准,电力电气保障标准以及计算机局域网、 广域网标准,坚持统一规范的原那么,从而为未来的业务开展,设备增容奠定基础。工程的可分期性数据中心机房的工程和设
3、备都为模块化结构,而每一个模块具有可扩充功能, 每一个模块均为该系统量身定制,这相当于将该工程分期实施,而各期工程可以 无缝结合,不造成重复施工和浪费。经济性/投资保护以较高的性能价格比构建机房,使资金的产出投入比到达最大值。能以较低 的本钱、较少的人员投入来维持系统运转,提供高效能与高效益。尽可能保存并 延长已有系统的投资,充分利用以往在资金与技术方面的投入。超前性与智能性由于数据中心机房具有一定复杂性,随着业务的不断开展,管理的任务必定 会日益繁重。所以在计算机机房的设计中,必须建立一套全面、完善的机房管理 和监控系统。所选用的设备具有智能化,可管理的功能,同时采用先进的管理监 控系统设备
4、及软件,实现先进的集中管理监控,实时监控、监测整个机房的运行 状况,实时灯光、语音报警,实时事件记录,这样可以迅速确定故障,提高的运 行性能、可靠性,简化机房管理人员的维护工作,从而为数据中心机房安全、可 靠的运行提供最有力的保障。机房人性化设计计算机机房建设,除了保证其安全稳定运行外,还要考虑其平面功能布局、 色彩合理搭配、空间装饰元素的呼应等共同营造一种良好的办公室气氛。给从事 计算机操作的工作人员创造良好的工作环境。充分表达以人为本的人本主义设计。云计算及大数据中心硬件基础平台作为区县智慧城市的核心和承载基础。本 平台的具体建设内容包括:云计算基础环境、基础设施即服务层(laaS)、云安
5、 全体系、管理规范体系、运营运维体系。云中心基础环境:提供机房、机柜、供配电、安防等基础环境,为上层的托 管设备、laaS设备提供基础支撑。基础设施即服务层(laaS):基于城市云操作系统提供基础的计算、存储、 网络服务;服务于只希望共享计算、存储、网络的工程,这个服务主要针对原有 已建成系统的迁移,在这个层次上,除了可享受基础资源的虚拟化服务外,还通 过资源的池化,实现资源的动态分配、再分配和回收。基础设施层资源池主要包 括计算资源池、存储资源池和网络资源池,为上层的软件和数据等服务提供支撑。云安全体系:在城市云中心,计算资源、信息资源的集中和共享造成了传统 安全边界的消失,为安全保障提出了
6、新的挑战。任何单一的安全技术都无法有效 保证城市云中心内部各项资源以及对外提供服务的安全性,必须综合利用多种安 全防范技术以及完善的安全管理制度构建完善的云安全防范体系。管理规范体系:城市云中心的良好运营需要管理规范和技术标准体系进行保 障。城市云中心的管理规范涉及到对云中心基础设施的维护、对数据的管理、对 应用系统开发的监管、对运维体系的管理、对SaaS服务应用效果的评价等方面; 而技术标准体系包括了城市云中心基础设施、数据和应用的标准规范。运营运维体系:为保障城市云中心的正常运行,提供资源管理、调度管理、 监控管理等运维功能,以及业务管理、流程管理、订单管理等运营功能以及相应 的组织制度保
7、障措施。门户Portal包括运维管理门户和运营管理门户,是城市 云中心对外提供服务的界面。具体建设内容包括:实现包括:200个虚拟化服务器计算能力、200TB的存 储能力以及相应网络、安全设施平台,建设完成后满足业务支撑需求,完成管理 规范体系和运维体系的建设,为这些委、办、局的业务应用提供统一、集约化的 基础设施支撑和运维服务。今后,随着区县智慧城市集约化建设进程的加快,可以基于以上平台,不断 扩展各类资源(包括:网络、安全、计算和存储资源等),以快速满足业务应用 集约化、政务资源整合共享、商业应用的需求需求。1. 2.1.网络建设方案2.1.1.安全域划分安全域是由在同一工作环境中、具有相
8、同或相似的安全保护需求和保护策略、 相互信任、相互关联或相互作用的IT要素的集合。安全域服务的根本目的是为 了更好的保障业务信息系统的安全,保障业务的稳健运行,保障信息系统业务使 命的顺利达成。因此安全域的设计必须以信息系统提供的业务服务为中心,以业 务安全需求为根本出发点,以抵御威胁、减少漏洞、控制信息安全风险及符合相 关标准规范为根本立足点。在按照安全域设计指导思想和安全域的设计原理进行 安全域划分时,为了保证安全域划分的简单、实用、实效,应遵循以下原那么: 基于并优化系统结构原那么安全域的划分应基于系统结构,与系统的系统架构、应用结构、网络结构相 适应、相匹配,但又不局限于系统结构,是在
9、系统结构现状的基础上对系统架构、 应用结构、网络结构的简化、优化和规范。 保障性能和有效隔离原那么安全域划分应以不影响或损害业务信息系统业务功能、性能为首要原那么,在 保证业务性能的基础上对系统进行安全域划分、进行有效隔离和安全防护。 简洁规范原那么安全域划分的简洁主要包括三个方面:一个安全域功能和边界通信的简洁, 二是安全域之间关系(相连互通或隔离)的简洁,三是系统安全域整体结构的简 洁。这就要求安全域不可分的太细,也不可分的太粗,要适度,要保持整体上的 简洁。 最小影响原那么在安全域设计和划分时,应做到业务、性能、安全兼顾,要基于系统的现状, 在保障系统稳定、正常运行的前提下选择最优的安全
10、域划分方法,防止对系统的 网络、应用进行大量、突兀的改动,最小化对系统的影响。 系统性和整体性原那么对于安全域划分,不仅要关注系统自身,而且要关注系统的外部环境,采用 系统性、整体性的观点看待系统及其外部环境。既关注本系统内部的数据流和数 据处理活动的安全,又关注系统的外部用户、公共用户及跨越系统边界的数据流 和数据处理活动的安全;既关注本系统提供给外部用户、公共用户的功能,又关 注本系统使用的外部环境提供的功能。安全域的划分结果应是结构化的,应是有机联系的一个整体,易于构成纵深 的安全防护技术体系,保障系统整体业务的安全。 与系统开展相适应的原那么安全域的划分应考虑到业务未来开展需要,在保持
11、系统安全域模型相对稳定 的前提下,能够顺利地进行调整、扩展和提升。遵循上述安全域设计理念,业务层面将区县云计算及大数据中心云平台分为 互联网+政务、互联网+民生、互联网+旅游云、城市运行管理平台、综合管理平 台和灾备云(未来扩展)六大安全域。每个大安全域内从系统层面又分为云资源 管理区、安全管理区、托管区、业务区四个子安全域。这样划分安全域的好处在 于确保了整个业务平台的可扩展性。随着后期业务的开展,可以较为平滑地进行 新的安全域扩展或者在安全域内部进行新的安全子域扩展。每个大安全域内子安 全域的划分结果如下所示:互联网统一出口业务专网区域北务专网 出口边界互联区热密交换平台互联网区域防火墙图
12、6:安全域内子安全域划分示意图1)云资源管理区:包括虚拟主机及分布式存储的管理平台,主要部署设备为 服务器,实现虚机创立/删除/迁移等配置操作,用于业务管理/维护用途的区域。 对于此域的安全需求,要求以加强认证和审计、限制权限,以及严格遵守配置标 准的技术手段为主,同时采取安全防护工具,对于用户操作进行记录,日志保 存。2)安全管理区:包括所有安全产品:安全运维中心(SOC)、终端安全管理、 病毒防护,入侵检测IDS,云安全管理支撑平台,运维堡垒机等设备,作为提供 各种安全支撑服务的区域。3)业务区:包括云计算资源池、存储资源池和数据备份等相关系统和设备, 提供动态、灵活的计算及存储资源分配,
13、实现应用计算和数据存储等相关功能。 主要安全需求包括:主机防病毒、终端安全管理、数据库审计、入侵检测等。4)托管区:提供客户应用或服务托管需求的区域。由于每个安全域有不同的安全需求,不同的安全策略,针对每个安全域制定 路由策略。限制各个区域信息交互,进行策略修改,可以保证每个安全域逻辑上 相互独立,互不干涉。1. 2.1. 2.网络拓扑设计网络设计原那么如下:1、高性能的网络处理平台:满足业务应用和网络增值应用对网络带宽和网 络设备的性能需求。2、高可靠、高安全的网络,满足国家重要信息系统的要求;业务系统(实 时)的要求;数据大集中的要求。3、完善的服务质量保证体系:满足各类应用需求。4、结构
14、化、易扩展的网络:充分适应业务处理需求的区域性差异和阶段性 建设需要,及时满足业务的快速增长对网络的新增需求。Internet数抠湿冲区安全篇务区安全服务区物理机虚拟机物理机虚拟机虚拟机SSL W5公网托管区 公网业务区i ktMil内网托管区内网业务区灾备托管区灾备业务区运维首现区安全蹶务区飞匚怎一b丑侬一.一绅3灾备云政务云图7:区县云计算及大数据中心总体网络拓扑图说明:云平台总体分为互联网+政务、互联网+民生、互联网+旅游云、城市运行管 理平台、综合管理平台和灾备云(未来扩展)六个区域,各区域间通过数据缓冲 区实现业务数据的安全交互。政务云电子政务外网业务区通过两台对外互联交换机接入电子
15、政务外网区 统一出口,互联网+政务、互联网+民生、互联网+旅游云、城市运行管理平台、 综合管理平台和灾备云(未来扩展)分别通过两台对外互联交换机接入互联网区 统一出口。各区域分别通过两台出口防火墙接入对外互联交换机。区域内核心交换机通过2条40G链路互联,再分别通过1条10G链路接入 防火墙。区域内安全管理交换机、业务网接入交换机、管理接入交换机分别采用双链 路接入核心交换机。各区域的安全防护设备通过1台安全管理交换机,分别与区 域内的核心交换机互联,实现数据的安全防护。以上总体拓扑图为大数据中心总体的拓扑结构,其中本工程未包括图中灾备 云的建设,只考虑本地备份系统建设。1. 2. 2.云计算
16、平台建设方案在laaS层面构建较为完整的区县云计算及大数据中心,完成基本组成要素 (云管理平台、云计算资源池、云存储资源池、云网络资源池等)的建设,部署 云安全保障体系,使区县云计算及大数据中心初步具备云平台资源的管理和运营 能力,满足当前区县市市级政府部门现有业务和未来3-5年内集约化迁移应用以 及新上线业务对云平台硬件资源的需求。以下针对大数据中心云平台各组成要素建设方案分别进行具体阐述。1.2. 2. 1.云管理平台云资源管理平台建设方案云管理平台包括云资源管理平台、云运营管理平台、网络管理平台。云资源 管理平台包括IT基础架构中的物理资源和虚拟资源的管理,其中虚拟计算资源 的管理集成厂
17、商的云平台;云运营管理平台含业务管理模块和运营管理模块。云计算管理平台总体架构如下:laaS应用SaaS应用大数据中心云计算管理平台玄运宫 管理平 台业务管理客户管理目录管理流程管理计费管理统计报表账务管理服务门户云资源管理平台虚拟化 管理平 A计算虚拟化存储虚拟化网络虚拟化路由器交换机更备管理 府清理 邈鳄 故障管理图8:云管理平台架构图整个复杂的云平台架构中,必须通过一个强大的管理平台来实现对硬件资源 的整合和虚拟化,对功能服务器的模板制作与部署,对云计算资源进行启动、停 止、删除、回收等,对整个云平台运行性能进行实时监控和日志报告等功能,同 时还应实现用户交换接口,用户可以方便地登录到云
18、计算平台,申请各种硬件资 源和中间件资源,实现启动、停止自己服务器的功能。这样就打破了业务应用对 资源的独占,实现硬件资源和软件资源的统一管理、统一分配、统一部署、统一 监控和统一备份。1.3. 2. 2.云网络资源池服务器虚拟化技术的出现使得计算服务提供不再以主机为基础,而是以云主 机为单位来提供,同时为了满足同一物理服务器内云主机之间的数据交换需求, 服务器内部引入了网络功能部件虚拟交换机vSwitch (Virtual Switch),如下 图所示,虚拟交换机提供了云主机之间、云主机与外部网络之间的通讯能力。虚拟化的网络网络虚拟化通过提供全新的网络运营方式,解决了传统硬件网络的众多管理
19、和运维难题,并且帮助云中心操作员将敏捷性和经济性提高假设干数量级。通过和 服务器虚拟化相结合,在虚拟机和物理网络之间,提供了一整套完整的逻辑网络 设备、连接和服务,包括:分布式虚拟交换机、虚拟路由器、虚拟防火墙、虚拟vSSL VPN等虚拟网络、 安全设备;支持VXLAN等增强网络协议,实现和物理网络的无缝对接,简化网络 的配置管理;通过虚拟化管理平台,实现网络拓扑部署、网络故障探测等网络管理功能。基于上述功能,虚拟网络可以快速完成不同应用系统的网络部署,网络配置 的自动化调整,网络故障排查等工作,提升网络的管理运维效率,提升网络就绪、 扩展速度,降低数据中心物理网络的建设本钱。1、简化网络结构
20、,节省硬件网络投资在部署了网络虚拟化之后,过去传统的接入交换、路由器、负载均衡、防火 墙等传统网络、安全硬件设备,通通变成虚拟化的方式运行在服务器里。以前, 串糖葫芦式的网络结构也会变得非常的扁平,服务器全部接入到一个大二层的网 络,极大的简化物理连线。目录1 .云计算及大数据中心-3-机房环境建设方案-3-1.1.1. 布局设计分析-4-机房主要技术参数-5-1. 1. 3.机房工程设计方案-6-4.总体选择思路-8-1.1. 基础云平台建设方案-11-1.网络建设方案-12-1.2.2. 云计算平台建设方案173.信息安全建设方案321.2. 大数据中心建设51大数据资源目录体系521.2
21、.1, 资源目录梳理531. 3. 3.信息资源可视化分析大屏展示系统571.3.4.五大库建设571. 3. 5.数据共享交换781.3. 6.数据服务集成管理83复杂、串糖葫芦式的网络结构简化、扁平的网络结构2、简化网络配置,实现业务自动化调整部署了虚拟网络后,对于物理交换机来说虚拟化环境中的虚拟机网络流量将 会变得透明,物理交换机不再需要配置复杂的网络策略,提供简单的大二层转发 即可。而vSwitch将会自动根据每台虚拟机迁移、删除等过程,实现网络策略的 自动跟随,实现网络配置的自动化调整,极大的简化了虚拟机迁移所带来复杂的 网络运维工作。简化网络配置,实现自动化部署虚拟化的网络3、高可
22、靠&高性能首先通过应用层协议栈技术,把数据转发放到了应用层,能够让设备永不宕 机;其次,通过分布式设计的虚拟路由和虚拟交换机,实现出现故障的能够秒级 切换,从而防止虚拟设备的单点故障;最后,通过集群部署和链路聚合,能够避 免物理环境的单点故障。这样,就实现了整个虚拟网络环境的高可靠保障,任意 环节出现故障,都能被自动检测出来,并快速恢复业务。1. 2. 2. 3.云计算资源池服务器是云计算平台的核心,其承当着云平台的“计算”功能。对于云计算 平台上的服务器,通常都是将相同或者相似类型的服务器组合在一起,作为资源 分配的母体,即所谓的计算资源池。在这个计算资源池上,再通过利用服务器虚 拟化技术,
23、使得其计算资源(CPU、内存、I/O)能以一种虚拟服务器的方式被不 同的应用所使用。服务器虚拟化技术很好地解决了传统服务器系统建设的问题,通过提高物理 服务器利用率大幅度消减物理服务器购置需求、数量和运营本钱;通过利用服务 器虚拟化中CPU、内存、I/O资源的动态调整能力实现对业务应用资源需求的动 态响应,提升业务应用服务质量;通过在线虚拟机迁移实现更高的可用性和可靠 性以及各种基于资源优化或节能减排策略的跨物理服务器的调度等。因此,服务 器虚拟化技术是建设区县云计算及大数据中心计算资源池最理想的解决方案。计算资源池的构建可以采用以下四个步骤完成:计算资源池分类设计、集群 设计、主机池设计、云
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 数据 平台 建设 方案
限制150内