城市大脑和城市运行“一网统管”平台建设方案.docx
《城市大脑和城市运行“一网统管”平台建设方案.docx》由会员分享,可在线阅读,更多相关《城市大脑和城市运行“一网统管”平台建设方案.docx(59页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、城市大脑和城市运行“一网统管”平台建设方案a、数据源管理:支持连接现有及主流常用数据库,不少于10种;b、元数据开发:支持对数据中台的分层进行管理,内置开发层、 主题层和服务层三个分层,且支持编辑修改;c、治理工作流:支持工作流创立和编辑时,使用内置的可视化 治理模组;d、数据共享:支持将专题数据推送到指定的业务数据库,可以 设置推送的目标库和目标表,数据推送策略和推送任务调度方式;e、实时同步:基于CDC方式从关系型数据库实时同步,能够实 现大量数据的实时捕捉、变换和投递,实现源数据库与目标数据库的 数据同步,保持亚秒级的数据延迟;f、流处理:分布式、高可用、保证Exactly Once语义
2、的针对流 数据和批数据的处理引擎;g、元数据采集网关:通过JDBC协议等通用协议,采集不同数据 源的元数据信息;h、消息列队:提供可扩展、高吞吐、低延迟、高可靠的消息分 发服务;2. 1. 4系统功能要求(1)标准规范体系城市大脑和城市运行“一网统管”平台-数据资源管理平台应按 照国家信息化开展战略纲要、关于促进大数据开展行动纲要、 安徽省政务数据资源管理方法等政策文件对标准化工作的要求, 本工程标准框架包括总体标准、应用功能规范、数据规范(基本数据 规范、数据传输规范)、服务类标准规范、应用支撑规范、信息基础 设施规范、安全规范、管理规范8个组成局部。a、总体标准规范总体标准功能要保障系统建
3、设的总体性、框架性、基础性的统一 性。总体标准包括总体框架和术语标准,其中总体框架标准包括总体 技术、总体架构标准的制定。总体标准中将明确城市大脑和城市运行“一网统管”平台工程- 数据资源管理平台的技术参考模型,其意义在于保证系统的当前建设 及未来的建设具有一致性、开放性和稳定性。本工程的建设是一个长 期的过程,在这个长期的建设过程中新的业务模块将需要被集成到项 目中,本工程技术参考模型建立在一个开放的技术体系上,才能够使 新的系统方便的集成到工程整体架构中,并且保持与整个系统的一致 性。总体标准除总体框架外,还包括术语标准、中文信息处理标准及 其他综合性标准。b、应用功能标准规范应用功能规范
4、的主要目的是确定业务的基本规范。对于业务基本规范确实立,通常包含的内容有:业务的数据项、业务代码、业务信息分类、业务信息的内容结构、业务服务及业务流程。C、数据标准规范数据类的标准确定了信息系统中有关数据的业务规范。数据涵盖 的范围包括:数据元目录、代码目录、分类目录和数据类资源目录。d、服务类标准规范服务类标准包括基本的服务类资源目录标准和复杂的服务类资 源标准。服务类资源目录规范了本工程中各类可用的服务的相关信 息,明确服务的提供部门、服务的使用条件等基本信息,形成一个面 向业务人员的服务的黄页。e、应用支撑标准规范应用支撑标准一方面为解决系统间信息资源整合,另一方面为业 务标准中的业务知
5、识表示提供支撑技术。因此,从标准的体系框架角 度分为资源数据类标准和资源整合标准。3信息基础设施标准规范信息基础设施相关的标准化主要的目的是为基础设施在选择时 提供规范的约束和指导。对于在本工程中已经确定的技术路线在基础 设施局部必须彻底贯彻执行,对于可能有选择余地的地方例如:中间 件、前置机,可以提供技术选择指南。g、安全规范信息安全标准需具有为本工程信息系统提供安全服务所需的各 类标准,直接采用信息安全总体标准、防信息泄露标准、信息安全评 估标准等现有国家标准,同时需制定认证、授权和访问控制标准以及 信息安全管理标准。认证、授权和访问控制标准包括本工程信息系统 认证、授权和访问控制规范。h
6、、管理规范须具有确保本工程信息系统建设质量、共享服务和系统运行维护 所需的有关标准,主要有工程信息系统数据管理与维护标准、共享服 务管理标准和系统运行与维护标准。2. 2基础支撑能力云资源设计结合淮北的实际情况,在遵循国家相关的指导意见之下,本着统 一建设运维、减少重复投资、提升信息化能力的初衷,城市大脑和城 市运行“一网统管”平台工程政务云资源采用政府按需购买服务方式, 本标段云资源用作城市大脑和城市运行“一网统管”平台工程等关键 业务系统数据库备份使用。具体服务要求如下:a、云计算服务:政务云平台(政务外网区)具备不少于168核 vCPU, 537GB 内存,9TBSATA 存储;b、云平
7、台安全服务:云平台投入试运行前通过等保2.0三级测评,且分数不低于80分;c、云计算平台租户安全服务:提供云数据审计、云下一代防火 墙、云Web应用防火墙、云日志审计、云堡垒机等产品。2. 2.1基础设施资源要求1、云主机(1)要求云主机软件为国产品牌,支持基于主流x86服务器和 国产芯片(ARM或其它)服务器进行部署。(2)支持云服务器的个性化初始配置,用户申请弹性云服务器 时支持增加数据盘以及网卡,可以分别设置每块数据盘的容量以及每 块网卡的网络。(3)支持用户申请虚拟机时为虚拟机配置亲和性和反亲和性。 在同一个反亲和性组中的虚拟机将尽可能分布在不同主机上,满足虚 拟机的可靠性保障要求;在
8、同一个亲和性组中的虚拟机会将虚拟机尽 可能放在相同主机上,满足虚拟机启动相关性要求。支持用户查看每 个亲和/反亲和性组中的虚拟机。(4)支持申请多网卡,可至少申请24块网卡。(5)支持申请云服务器时绑定弹性IP,为特定虚拟机提供可访 问外网环境的能力。(6)支持用户配置自动脚本执行策略,用户可以通过管理界面管理常见格式的脚本文件,并配置脚本定期自动在指定云服务器中执 行。(7)支持用户对弹性云服务器的生命周期管理,包括1)开机、关机、重启、删除、远程登录等。2)磁盘快照、主机快照、重置虚拟机密码、在线/离线克隆 等。3)挂载光驱、在线扩容CPU/内存等。(8)支持查看虚拟机信息,包括虚拟机名称
9、、状态、所在位置、 网络、虚拟机规格、网卡、创立时间等基本信息。(9)支持用户快速定位虚拟机能力,支持按照虚拟机名称、IP、 ID、运行状态、自定义标签等多种方式快速定位虚拟机。(10)支持租户删除云主机后放入回收站,支持从回收站恢复云 主机。为了防止误删除,运行状态云主机不能直接彻底删除只能放入 回收站,冷冻期后再做彻底删除操作。2、云管软件(1)为保障云平台的兼容性,云平台软件提供商或云服务商要 求兼容开源生态,如Openstack CNCF。云平台软件提供商或云服务 商要求为OpenStack的OpenStack白金会员。(2)提供1套云管理软件,提供运维管理和运营管理能力。(3)支持X
10、86资源池、国产化资源池(ARM或其它)的统一管理,包括申请、开通等操作。(4)云管平台的服务组件须采用集群或者高可靠方式部署。支 持针对关键管理数据进行定期备份,防止重要数据丧失,并可用备份 数据快速恢复业务。支持对管理系统进行平滑扩容。(5)支持向租户提供自服务Portal,租户登录时支持双因素认 证保证安全性,租户可通过自服务Portal申请所需要的云服务。支 持向管理员提供云运营管理和云运维能力。运营管理实现对云服务的 管理功能;运维管理实现对云服务的监控功能。(6)提供虚拟数据中心(VDC)管理能力,支持在VDC下再划分 多级子VDC,以匹配用户的组织架构。每个VDC可分配多个数据中
11、心 /地域的资源。(7)支持对VDC使用的资源做配额限制,包括但不限于虚拟机、 裸金属、镜像、云硬盘、对象存储、VPC、弹性IP、虚拟防火墙、VPN、 虚拟负载均衡等服务。(8)支持用户的创立、删除、修改、查询、禁用、重置密码等 操作,并可限定每个用户操作的资源范围;用户忘记密码后,可以通 过邮箱、手机找回密码。(9)支持用户自助查看资源性能统计情况、资源性能TOP分析报表。用户可针对组织设置配额阈值和性能阈值规那么。(10)支持统一管理系统中物理设备(服务器、存储、网络设备) 和虚拟资源的告警信息,支持告警清除、指派、调整级别、设置告警 提示音等功能。支持告警转发能力,系统可按照管理员指定的
12、规那么, 将不同类型告警通过短邮件发送给不同用户、用户组进行处理。(11)管理员可按照不同维度(数据中心/区域、不同资源池、 不同的可用分区、不同主机组/集群)查看计算、存储、网络资源的 使用情况和分配情况。支持提供容量趋势预测,评估已有资源消耗进 度和时间。(12)支持自定义多种不同的大屏展示内容,自定义内容包括容 量、性能、资源统计、告警等对象。可定义每个内容的不同呈现形式, 包括柱状图、饼图、仪表盘等。(13)支持运维场景管理能力,可将不同运维任务分类管理。3、云存储(1)提供1套块存储软件。要求支持采用X86、ARM架构部署。(2)支持通过云平台申请块存储空间,可配置需要申请的磁盘 名
13、称、创立磁盘数量、磁盘类型等信息。支持将申请的云硬盘挂载到 虚拟化云主机、裸金属云主机。(3)支持重删压缩服务化能力,支持对存储池重删压缩功能进行关闭、开启设置。(4)采用EC技术实现数据可靠性。(5)支持共享盘功能,单个云硬盘可以挂载给多台云云主机或 裸金属服务器。(6)支持自助为云硬盘创立快照,并通过硬盘回滚云硬盘数据, 支持用户自助删除无需使用的磁盘快照。(7)支持云硬盘扩容,支持在OS支持的情况下,在线/离线扩 容云硬盘。(8)用户可以通过管理平台为虚拟机/虚拟机磁盘/物理机磁盘 创立快照,并支持自助完成快照恢复。4、女网络本工程云资源外部网络互联需满足电子政务外网互联、提供数据 或业
14、务系统相关单位专网等安全接入等,内部网络应采用分区、分层、 分平面的网络架构,实现业务平面、管理平面、存储平面的别离。基 于VxLAN确保用户资源隔离性,采用软SDN技术保障网络扩展性、网 络可靠性、硬件解耦性。(1)政务外网区与市电子政务外网骨干网互联,实现省、市、 县、乡镇政务网络互通,并通过统一建设的电子政务外网安全接入平(2)本次所使用的关键硬件网络设备必须为国产品牌,同时支持基于国产芯片的物理服务器部署;(3)支持用户自助创立私有、隔离的虚拟网络环境,每个虚拟 网络环境包含一套虚拟出口路由器、假设干虚拟防火墙以及子网网络 等。用户可以独立配置自己的网络环境,包括自助创立子网、指定子
15、网网段/掩码、子网使用的DNS等参数。支持配置出口路由器的路由 规那么、与防火墙的绑定关系等,支持多VDC共享一个虚拟网络环境, 满足不同场景灵活定义网络资源和业务映射的需求。(4) VPC支持组播能力,支持通过图形化界面配置组播开启、 关闭操作。2. 3数据资源支撑能力3.1数据采集平台城市大脑所需数据由市政府部门、驻淮单位、事业单位和公共服 务单位按照业务需求按时提供。按照各单位业务系统的实际情况建立 数据归集机制,按照业务数据产生的时效性制定相应的更新频次。1、采集源管理采集源管理功能应支持常见的数据库类型的链接和管理,支持常 见的国产数据库链接和管理,支持数据源的动态信息感知。2、数据
16、采集范围数据采集范围应包含:基础信息资源、部门信息资源、专题信息一、工程概况4二、服务需求4(一)城市大脑和城市运行“一网统管”平台工程数据资源管理平台.4.服务范围41 .服务要求5系统性能及架构要求51.1 基础支撑能力13数据资源支撑能力192 .技术路线要求35系统实施要求352.1 工程调研要求36标准规范要求364、实施要求36工程工期要求364.1 工程人员要求36工程培训要求374.2 工程维保要求375、采购一览表38(二)城市大脑和城市运行“一网统管”平台工程一网统管平台42.服务范围421 .服务要求42系统性能及架构要求421.1 基础支撑能力48安全保障体系49 资源
17、,根据不同的资源类型定制对应的采集方式。3、数据采集管理数据采集管理应支持灵活的数据采集策略,支持全量采集和增量 采集,支持按不同的时间归集策略进行不同应用系统的采集设置,对 于数据采集支持函覆盖和递增的方式进行动态入库。数据采集活动可基于可视化采集工具,支持结构化数据、半结构 化数据等各类数据采集功能,在线采集(数据总线、数据访问服务等)、 结构化数据抽取、流方式、批量导入、外部数据文件导入、异构数据 库导入、主动数据抽取、增量追加方式等多种采集方式。4、数据采集模式数据采集应支持多种模式:比方按周期采集和实时采集、任务优 先级别o数据采集以业务需求为导向的数据采集策略,通过对结构化、 半结
18、构化等相关数据做采集工作整合到数据融合管理系统,优先完成 内部数据的采集工作。5、数据采集方案基于淮北全市现有的数据应用现状,制定数据采集接口规范,确 定各系统数据采集与共享内容,逐步将各专业领域的数据资源进行归 集处理,支持兼容不同系统设备产生数据源采集类型。支持第三方数 据库方式采集、前置机方式采集、数据门户方式采集、API接口方式 采集。实现“所归皆编,所编皆归”,对采集流程进行全链路监控, 厘清责任边界。6、数据源监控应提供数据源状态监控功能,能够对城市大脑和城市运行“一网 统管,平台中的数据源进行监控,在状态异常时,及时向管理员发出 预警。应提供数据源变更标记功能,对监控到的发生变化
19、的数据源数据 或元数据进行自动标记,方便采集入库的识别。应提供数据源监控功能,通过监控门户,方便用户进行数据监控 的操作与管理。7、采集任务监控对城市大脑和城市运行“一网统管”平台的归集任务按作业周期 进行实时监控,对于归集信息进行收集和结构化存储,面对海量数据 归集任务实现智能自动化的运维和管理机制。1.2 3. 2数据湖建设数据共享枢纽和市级数据资源池,将政务、社会各类数据汇 聚到数据湖中,为各单位应用提供共性支撑,以数盘活业务、以数促 进云化。1、异步数据库间数据同步快速扩展。支持市面主流数据库的数据读写功能,支持写入目标数据库数据 支持正那么表达式过滤等功能;支持基于CDC方式的实时同
20、步功能。2、先进的混合计算架构。采用Hadoop和MPP融合技术架构,对半结构化和非结构化数据 支持并行计算和低本钱存储,提供低时延、高并发的查询和分析功能; 对结构化数据采用MPP分布式列存储,支持分布式计算、智能索引等 功能,实现高性能结构化数据分析处理。集成MapReduce Spark Storm. Tez等多种计算框架,利用YARN资源管理做统一管理,可在 同一份数据集上运行多种计算。离线计算、内存计算和流式计算并存, 能满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要 求。3、安全性。提供多租户支持,不同租户之间相互隔离。底层使用Kerberos 认证,实现了数据的安全性和
21、隔离性。除了认证系统,利用Ranger 实现了细粒度权限控制,保证了各个租户只能查看授权访问的库、表 或字段。止匕外,平台提供审计功能,通过对用户平台行为的记录、分 析和汇报,用来帮助事后生成合规报告、事故追根溯源,提高平台安 全性。4、完整的SQL支持。支持完整的SQL2003,支持运行TPC-DS标准测试集中的全部99个测试项;同时支持完整的HiveQL语法和SparkSQL语法,并对这些SQL语法进行了扩展,对执行计划进行了大量优化。通过UDF函数方式更加快速的运行。2. 3. 3数据治理平台需基于统一的数据标准和规范,对各单位归集至市数据中心的数 据进行体系化、合规化、标准化地治理,基
22、于完整性、唯一性、及时 性、有效性、准确性、一致性六个维度对数据进行加工处理,提升数 据质量,保证数据可控、可用、可信。1、数据标准化治理。数据标准化治理应对采集的数据进行字段名称标准化、代码值标 准化、添加备注信息等处理。数据质量维度应包括:一致性、准确性、完整性、合理性、完整 性、唯一性。质量管理通过对数据的规那么配置,然后对数据执行相应 的规那么,检测数据是否合格,将数据的检查结果以图表的方式直观的 显示出来,方便了解数据的组成。将不合格的数据标注出来,便于后 期对不合格数据进行整理和修改。针对数据探查的问题数据和问题原因可进行存储管理,便于后续 探查报告的生成。2、数据清洗融合。应提供
23、数据清洗融合功能,利用有关技术将脏数据转化为满足数 据质量要求的数据。经常用到的清洗如去重、去空及偏业务化的清洗 规那么。遵循“一数一源”原那么,将问题数据利用主数据的逻辑进行补 正,服务上层的数据分析和应用。3、数据安全治理。应对数据进行安全合规化治理,提供数据脱敏治理组件、数据水 印治理组件、敏感数据信息智能识别能力。4、数据质量模型管理。应提供数据质量模型管理功能,对于数据治理所有功能和组件进 行模型化管理,支持自定义加工治理组件的导入,保证提供面向各种 场景数据治理的需求。2. 3. 4数据资产管理平台应提供数据资产管理功能,包括开发、执行和监督有关数据的计 划、政策、方案、工程、流程
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 城市 大脑 运行 一网 统管 平台 建设 方案
限制150内