社会治理大数据治理平台建设方案.docx

《社会治理大数据治理平台建设方案.docx》由会员分享，可在线阅读，更多相关《社会治理大数据治理平台建设方案.docx（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、社会治理大数据治理平台建设方案支持指向具体功能菜单页面；持清洗融合规则，清洗融合规则包含标准代码集 管理、源系统代码集管理、代码映射管理、函数 管理、算法包管理；其中标准代码集管理、源系 统代码集管理、代码映射管理、函数管理、算法 包管理包括新增、修改、删除、筛选功能；提供系统初始化功能，支持快速初始化数据清洗 融合所用到的元数据、清洗规则和数据模型和一 键式部署数据集成环境。支持数据融合策略，数据融合策略支持一数一源、 来源优先级、数据新鲜度、最大值、最小值数据 融合策略；提供标准列功能，支持添加标准列，已新增标准 列支持修改、上移、下移，已新增标准列支持规 则配置（代码映射、算法包管理、混

2、合规则）；支持表关联其他表关联设置功能（添加、删除、 筛选），关联后支持对每个关联源表进行字段映 射、SQL配置、业务时间配置。提供数据集成监控功能，包含任务调度配置、任 务调度监控、任务告警查询、告警接收管理、任 务数据分析和任务数据API等功能实现查询各层 数据集成任务执行状态、任务节点日志以及执行 详情日志，通过日志快速找到任务异常原因支持字段映射，映射支持手动匹配、自动匹配、 列映射导入、排列等；系统包含总览、结构化资源管理、非结构化资源 管理、结构化数据上报、非结构化数据上报五部 分；结构化资源管理包含资源管理、表单管理、模板 管理、上报授权等；结构化数据上报包含数据上 报、数据审核

3、、数据查看、上报记录等。结构化资源管支持表单管理功能，表单管理包含 新增、编辑、删除、校验规则设置、数据选项配 置、创建模板等子功能；数据 填报结构化资源管理的查询服务功能支持查询单位授 权的目录资源数据。结构化资源的模板管理功能支持模板管理支持模 板列表展示、筛选、删除等子功能，也支持模板 下载按照表单目录结构生成模板，各业务单位可 以通过下载EXCEL模板，通过录入模板数据，进 行数据上报。结构化数据上报支持数据上报管理，数据上报分 为数据填报、数据导入；数据填报：以表单录入的方式，进行数据填报， 支持选择上报部门、期别、业务数据标识（增量、 全量）、上报说明；页面支持根据模板新增行、 删

4、除行；数据上报支持上报数据校验，校验通过 进行页面提示。数据导入：支持选择目标资源，将Excel文档数 据导入目标资源，并记录导入日志。结构化数据上报支持上报记录功能，上报记录展 示已上报数据源据资源，展示资源名称、所属部 门、上报条数、上报状态、审核状态、提交时间、 数据校验等字段，支持提交审核；产品需提供数据填报相关字样的计算机软件著作 权登记证书非结构化资源管理包含资源管理、上报授权等； 非结构化数据上报包含数据上报、数据审核、数 据查看、上报记录；数据 可视 化编 排组 件数据可视化编排调度组件通过可视化编排界面， 将各个任务的依赖关系呈现出来，并提供基于大 数据集群的调度能力，最大程

5、度的增强可靠性， 同时对各个调度任务提供监控与执行日志，帮助 大数据开发人员进行问题定位于分析。支持工作 流配置、流程调度配置。产品需提供数据治理可视化相关字样的计算机软 件著作权登记证书3数据 基础 治理 平台数据 质量 管理支持质量治理总览功能，包含数据质量治理指引， 数据质量评估统计、质量工单统计、部门数据质 量排名；支持数据智能探查功能，数据智能探查包基础质 量探查、对比分析、智能分期、规则识别；基础质量探查包含基础分析、频率分析、结构分析；对比分析支持选择源表与目标表进行对比连线；规则识别支持函数依赖、字典规则、值域分析 三种类型识别任务进行数据表规则自动发掘，通 过执行功能进行执行

6、识别任务，支持规则报告查 看。支持质量稽查管理，质量稽查管理包含规则管理、 规则报告、质量稽查等功能模块规则管理包含质量规则管理、质量规则分类两类数据质量规则管理支持SQL规则、正则规则、值 域规则、算法包、完整规则等新增、修改、删除、 导入、导出功能；质量规则分类支持重复性、关联性、正确性、完 全性、一致性、规范性等规则的新增、修改、删 除功能；规则报告支持展示规则数据量、规则分类统计、 规则变化趋势、规则覆盖率展示。数据质量稽查支持关联规则对库表进行重复性、 关联性、正确性、完全性、一致性、规范性检测 进行数据质量评估，并生成质量稽查报告（数据 质量报告），在数据质量稽查报告页面支持查看

7、数据质量评估、质量问题详情、质量问题血缘追 溯、质量问题影响分析。支持质量问题管理、质量问题问题分析，质量问题管理实现自动生成工单，将有质量问题的数据 通过以工单返回给业务部门进行处理，支持工单 全程跟踪。产品需提供数据质量管理相关字样的计算机软件 著作权登记证书产品需提供数据治理相关字样的计算机软件著作权登记证书数据 标准 管理支持通过标准规则制定、标准映射管理进行标准 符合性检测对数据规范性进行检查，并出具标准 测试报告。标准规则支持结构标准、代码标准、编码标准制 定，标准规则支持正则规则、算法包、值域规则。标准映射支持新增、编辑、删除、筛选、导出， 标准映射新增支持对字段手动选择参照标准

8、、智 能推荐选择参照标准；标准符合性检测支持新增、编辑、删除、筛选、 执行、暂停；支持查看标准检测报告，标准符合性测试报告包 含测试任务概况、测试任务详细分析；数据标准系统支持数据元标准管理、标准版本管 理、数据标准地图、标准检索管理、标准术语管 理、标准代码管理、标准目录管理、标准变更管 理等功能实现数据标准规范化管理。产品需提供数据标准管理相关字样的计算机软件 著作权登记证书支持数据标准总览，包含数据标准治理指引、数 据标准变更统计、标准符合率、数据元标准统计。数据 治理 全景 图通过数据治理可视化指标呈现，全局掌控数据治 理态势。需从数据源接入、治理准备、数据治理、 治理服务进行可视化展

9、示。数据 治理 工作 台数据治理工作台支持按库、按部门、按模型进行 数据资源分类，按库分类提供基本信息查看、标准测试、质量稽 查、标准比对、安全探查，元数据采集、业务全 景等功能。按模型分类提供分层展示，每层提供对数据表进 行业务信息、数据字典、血缘分析、列分析、符 合性测试、质量稽查、对比分析等功能。4数据 服务 平台服务 管理服务管理提供封装申请、注册管理、消费管理、 消费IP管理、服务实例等功能产品需提供数据服务管理相关字样的计算机软件 著作权登记证书服务 监控服务监控提供访问监控、服务频率统计、服务状 况、服务监控等功能服务 审批服务审批提供含注册审批、封装审批、消费审批 等功能。5标

10、准 地址 数据标准地址数据地址加工及标准化处理是为提升地址的数据质量 而采用的相关系列操作集，具体流程包括：地名 切分、地名标注、地名实体识别、地址补全和标管理平台处理系统准化、地址验证和地址匹配，产品需提供地址管理相关字样的计算机软件著作 权登记证书标准 地址 数据 服务 系统根据地址搜索出与之对应的标准详细地址，并在 GIS系统上展示。根据用户在地址输入框里提供的地址关键字，系 统根据关键字给出地址建议信息。建议的地址顺 序根据匹配精度来排序的。提供地址和对应编码之间相互转化的服务。根据 用户输入地址系统根据用户输入简化地址系统进 行自动补全。可以实现各类地址及编码规范之间 的转换对同一实

11、体对应的多种地址描述进行归一 化处理。支持地址服务API,及相应使用文档，提供地址填 选插件，供各类应用使用，进行地址调用，实现 让用户选地址。供各全市各级政府业务系统和民 生便民应用调用。产品需提供服务支撑相关字样的计算机软件著作 权登记证书标准 地址 维护 管理 系统标准地址管理维护支持标准地址管理功能，包括新增、修改、删除 标准地。社区管理维护支持社区管理功能，包括新增、修 改、删除社区。小区管理维护支持小区管理功能，包括新增、修 改、删除小区。支持通过社区方式，查看社区下 面的小区。也支持通过点击小区名称，查看该小 区所有的楼栋。道路管理维护支持道路管理功能，包括新增、修改、删除道路。

12、楼栋管理维护支持对楼栋数据的管理，包括新增、修改、删除 楼栋。支持以社区的方式查看楼栋数据。也支持 通过点击楼栋名称，来级联查看楼栋下面所有的 房屋数据。地址更新支持有新大厦、小区出现，旧的地址也会有更改， 相应的就会出现新地址。同义词识别维护系统能识别同一地址的别名（如市政府和政府）， 在后期的地址维护系统中加入对同义词的管理功 能。一、建设目标3（1）数据存储与分析计算平台3（2）数据采集汇聚平台4（3）数据基础治理平台4（4）数据服务平台4（5）标准地址数据管理平台5二、建设清单5三、建设内容5、建设目标随着全社会信息量爆炸式增长，数量巨大、来源分散、格式多样 的大数据对社会治理能力提出

13、了新的挑战，社会治理在大数据汇聚、 使用面临着诸多问题，首先，全社会信息量爆炸式增长，城市发展积 累了很多数据，但没有深入应用；其次，数据虽多，但大都分散在各 个政府部门，没有完全整合共享、存在数据不标准、不规范、数据质 量差、数据不能直接使用等问题。与此同时，大数据为社会治理能力 的提升也带来了发展机遇，通过数据中台建设让海量、动态、多样的 数据进行有效治理、开发、融合成为有价值的社会治理数据资产，通 过数据赋能推动转变管理理念和治理模式，进而加快治理体系和治理 能力现代化，进一步提高市域社会治理系统化、社会化、精细化、法 治化、智能化水平建设人人有责、人人尽责、人人享有的社会治理共 同体，

14、支撑打造“用数据对话、用数据决策、用数据服务、用数据创 新”的现代化治理模式。为持续提升市域社会治理能力现代化水平，完善社会治理体系， 支撑“用数据对话、用数据决策、用数据服务、用数据创新”的现代 化社会治理模式，实现“一网整合社会治理数据、网格社会治理基础 数据规范”的目标，基于云计算、大数据等新一代信息技术手段，通 过数据汇聚、数据标准、数据质量、数据集成、数据清洗、数据转换、 数据服务等，建设域社会治理大数据平台，夯实市域社会治理数字底 座，打造基层社会治理新格局。市域社会治理大数据平台包含数据存储与分析计算平台、数据采 集汇聚平台、数据基础治理平台、数据服务平台、标准地址数据管理 平台

15、。(1)数据存储与分析计算平台数据存储与分析平台由大数据基础平台和数据仓库组成，其中大 数据基础平台通过运行Hadoop、Spark HBase、Kafka、Storm等大 数据组件，提供海量的数据信息存储与分析处理能力；数据仓库采用 大规模并行处理(MPP)架构，支持行存储和列存储，提供PB级别数 据量的处理能力，为数据治理和数据库建设提供MPP数据存储分析能 力。(2)数据采集汇聚平台数据采集汇聚平台将社会治理等各类不同来源的结构化数据和 非结构化数据资源汇聚并存储到统一的大数据平台中，通过数据提 取、数据清洗、数据转换、数据关联、数据集成等功能支撑数据开发 过程更规范、更高效，数据采集汇

16、聚平台规范建库流程，缩短建库周 期，提升数据开发效率；并通过多种融合策略，获得高质量的融合数 据，提升市社会治理相关对内治理和对外服务能力.(3)数据基础治理平台数据基础治理平台从数据产生、采集、存储、处理、应用、开放 等的整个生命周期，每个阶段都全程管理和安全保障，从而可以有效 监控和管理跨层级、跨地域、跨部门的业务数据在各个生命周期阶段 的流转情况，保证特定的数据只能被特定用户访问和应用于特定的业 务场景，并为客观准确地评价数据的价值提供依据，保障数据质量和 数据安全，确保数据资源在授权范围内”可见、可得、可用、可溯源、 可审计”从而提高数据的应用效率。(4)数据服务平台按照应用场景需求进

17、行相关数据服务接口的封装、注册、发布， 将数据转化为可调用的服务能力，支撑各类应用场景的数据需求。实 现对外提供数据的统一管理、统一授权、统一共享。通过服务接口方式将不同技术架构的、不同结构的服务高效地集成起来，以统一的数 据服务能力推动社会治理数据共享和开放。(5)标准地址数据管理平台标准地址数据管理实现对全市房屋、楼栋、社区等地址来源的地 址数据进行汇聚接入，然后通过对这些地址数据进行地址切分、地址 标注、地名实体识别、地址补全、地址标准化、地址验证、地址匹配 一系列规范化处理，形成全市标准地址库。二、建设清单序号名称数量单位规格要求软件部分1数据存储与分 析计算平台1套提供数据的存储及分

18、析计算能力。2数据采集汇聚 平台1套提供数据采集管理、数据集成管理、 可视化编排调度组件、数据填报。3数据基础治理 平台1套提供数据治理全景图、数据治理工作 台、数据标准管理、数据质量管理。4数据服务平台1套提供服务管理、服务监控、服务审批、 服务开发。5标准地址数据 管理平台1套提供标准地址数据处理、标准地址数 据服务、标准地址维护管理。三、建设内容序号模块名称功能名称功能要求1数据 存储 与分 析计 算平 台大数 据基 础分 析平 台所提供的大数据软件需拥有国内自主知识产权， 须附相关发明专利证明；具有自主研发能力，对 产品代码自主可控，保障后续产品的连续性；支持异构集群部署，在集群中存在

19、不同规格的虚 机，允许在CPU类型，硬盘容量，硬盘类型，内 存大小灵活组合。在集群中支持多种虚机规格混 合使用。大数据平台的流处理组件支持与多种外部数据源 集成，至少包括：Kafka、HDFS、HBase 或 JDBC/RDBMS 服务，便于实现涉及多种数据源的业务。支持Hive兀数据存储降压,突破兀数据量级瓶颈， 管理亿级分区和百万级表的能力；支持HBase组件的二级索引，支持为列值添加索 弓1,提供使用原生的Hbase接口的高性能基于列 过滤查询的能力。提供图形化的集群健康巡检工具，能够检查集群 相关节点、服务的健康状态，提前发现集群中潜 在的问题，并生成健康检查报告，方便快速了解系 统的

20、健康状况。支持基于时间的服务资源动态调整，即为了保障 业务的SLA,同时充分利用系统资源，需要配置不 同服务在不同时间段内使用资源的不同比例，来 动态自动调整各服务在不同时间段可用系统资 源。100%兼容开源组件接口，支持与开源生态对接，支持普通版本的大数据迁移场景，可支撑对接测 试。支持HDFS Warpper特性，存算分离场景下，兼容 HDFS接口访问方式。支持所有组件管理节点具备HA高可靠能力。大数据平台的组件进程故障后支持自动重启恢 复，无需手动干预。支持数据的快速备份和恢复，可以将元数据存储 到其他服务器，支持多种备份目的地；支持系统级安全加固，支持Kerberos认证，支持 认证鉴

21、权，支持表和列加密以及数据加密，支持 全系统的审计能力。支持标准加密算法AES、国密算法SM4,并支持自 定义加密算法。支持在线扩容，扩容过程中数据持续可查询（包 括正在数据重分布的表）；数据重分布阶段支持 主流 DDL （Drop/Truncate/Alter table）。支持多租户管理：租户间CPU、内存、10等资源 隔离，相互不干扰。支持负载均衡：主节点/协调节点为多活设计，具 有负载均衡能力或者通过第三方软硬件（如LVS、 F5等）可实现负载均衡。支持 ANSI/ISO 标准的 SQL92、SQL99 和 SQL2003 语法；兼容MySQL、Teradata、Oracle常用语法，

22、 可以在创建库表时指定兼容模式。提供Teradata、Oracle Mysql语法转换工具， 减少业务迁移代价。支持一套集群按服务器为单位划分为多个逻辑子 集群，实现逻辑子集群间物理资源隔离，计算弹 性共享，数据授权访问，逻辑子集群内支持资源 水平切分的多租户机制。具备自适应压缩算法，支持3种及以上压缩级别， 根据压缩级别不同，压缩比可达20倍，压缩数 据对用户透明，无需用户解压直接访问。支持集群级物理备份，支持全量、增量的备份与 恢复，支持Schema级细粒度备份和表级恢复。支持服务端和客户端之间通过SSL连接进行数据 传输；应用进行JDBC、ODBC接口连接时，可通过 配置启用SSL,使数

23、据加密传输。支持用户设置私有表，私有表数据只有所属用户 可见，管理员及其他用户均不可见；内置数据脱敏，支持自定义脱敏规则。2数据 采集 汇聚 平台数据采集数据源分类支持 Oracle、Mysql MPPDB redis ElasticSearch、KingbaseES、KingbaseAnaiyticsDB Postgresql SQLServer GBase、GaussDBlOO、MppDB (GaussDB200)、 HiveKerberosJdbc 、 HWHBaseKerberosJdbc 、 HWHBaseKerberosJdbc FTP；数据采集支持与大数据平台对接，大数据平台包

24、含华为MRS、华为DWS、华为LIBRA、阿里EMR、GREENPLUM 腾讯 TBASE 等；产品需提供数据接入采集相关字样的计算机软件 著作权登记证书产品需提供数据汇聚平台相关字样的计算机软件 著作权登记证书数据源管理支持新增、删除、修改、连接测试以 及启用/禁用的功能。数据源查询支持分页展示，展示内容包含数据源 名称、数据源分类、用户名、IP、端口、可见范 围、所属部门、应用场景、状态等。支持API数据源配置。配置包含新增API数据源、 配置清求参数两步，其中新增API数据源包含数 据源名称、URL、格式类型、入参项导入方式（包 含手动新增、json文件两个），配置清求参数， 配置清求参数支持设置是否分页、返回字段信息。系统通过支持批（全）量采集、增量采集、API数 据采集、数据实时采集实现对人口数据采集、企 业法人数据采集、城市部件数据采集、事件数据 采集功能的支持。数据 集成提供融合流程指引，支持提供图形化流程导引方 式引导实施人员依流程步骤简单、快捷完成数据 接入、归集、清洗、融合、建库全流程，流程导 引节点包含环境配置、系统初始化、模型&规则配 置、数据集成管理、流程调度监控等5步骤，每 个步骤又包含子步骤，处环境配置外每个子步骤