智慧城市运行管理平台数据治理服务项目方案.docx

《智慧城市运行管理平台数据治理服务项目方案.docx》由会员分享，可在线阅读，更多相关《智慧城市运行管理平台数据治理服务项目方案.docx（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、XX市智慧城市运行管理平台数据治理服务项目方案6、应用部署：模型部署上线。(8) 可视化展现服务为了借助图形化的手段和工具，以便更好的传递信息，让数据产生持久效应。因此 需要通过大屏可视化建设将数据中的信息以最直观易懂的方式展现出来。可视化展现服务 是根据业务需求，通过探索调研、原型设计、数据及接口开发、大屏前端开发等步骤，达 到数据可视化展现的要求。应用建模服务的具体工作内容应包含：表10可视化展示服务工作描述服务项服务描述可视化展示服 务1、需求调研：沟通展示需求或迭代确认需求，形成需求文档，并根 据业务场景提供展示方案；2、原型设计：明确风格需求，确认动态/静态效果设计需求，根据需求文档

2、，出具点线图设计，根据确认的点线图设计，给出页 面级高保真效果图；3、数据及接口开发；完成数据项梳理、数据库表开发、数据指标开 发(从清单级至汇总级)、数据接口开发、特殊接口或数据落地形 式开发；4、大屏前端开发：包括展现终端标准化触点开发、展现终端非标触 点开发、前端展示组件开发、动态/动效开发、特殊动态交互、测试 上线和联调交付；5、后期维护：包括基础报障，工作日常规报障和按需重点时刻保障 (按次)。(9) 数据共享服务数据共享服务是根据不同用户的需求，按不同服务等级协议以及要求完成数据共享 需求。数据共享服务的具体工作内容应包含：表11数据共享服务工作描述服务项服务描述数据共享服务描述1

3、、需求确认：确认服务业务场景、服务类型、服务查询条件、服 务返回结果等需求内容；2、接口设计：需求清单梳理，并编写接口设计文档；3、编码开发：按照服务资源开发需求，完成服务编码开发；4、接口测试：技术人员需要针对开发接口进行内部测试；5、资源发布：将测试通过的接口注册到资源交换平台发布至资源 目录；6、联调测试：完成共享服务联调测试，提交测试记录。4.数据开放服务(1)数据开放服务数据开放服务是根据不同用户的需求，根据不同的服务等级协议以及需求，完成数据开放的接口开放工作。数据开放服务的具体工作内容应包含：表12数据开放服务工作描述服务项服务描述数据开放服务描述1、需求确认：确认服务业务场景、

4、服务类型、服务查询条件、服 务返回结果等需求内容；2、接口设计：需求清单梳理，并编写接口设计文档；3、编码开发：按照服务资源开发需求，完成服务编码开发；4、接口测试：技术人员需要针对开发接口进行内部测试；5、资源发布：将测试通过的接口注册到开放平台发布至开放目录；6、联调测试：完成开放服务联调测试，提交测试记录。(2)数据开放运维服务数据开放运维服务主要针对热线，邮箱，新媒体，本站留言等全媒体服务开展咨询、 报障受理、并对问题进行解答和处理，并对数据开放门户网站内容编辑和维护，编写门户 完整活动策划及运营的方案，定期收集和分析门户运营数据。表13数据开放运维服务工作描述服务项服务描述数据开放运

5、维服务1、网站管理：当有对数据开放平台门户网站的内容维护，运营策 划，运营统计有需求时，内容服务人员执行该项需求对应的工作， 对网站整体进行内容运营工作；2、问题咨询：数据利用主体对开放平台有疑问提出咨询是，咨询 服务人员进行解答，并且将解答内容反馈至数据利用主体。5.数据资产服务(1)作业调度运维在大数据应用场景中，一方面数据需要按照适用的场景应用将数据归集至不同的数 据存储类型中；另一方面，数据也需要按照相适应的存储类型进行数据转化，以提高其访 问效率，例如OLTP数据需要以链式存储，OLAP数据则需要以维度模型存储。这些数据融合加工的作业是需要进行统一调度管理，避免错序、乱序导致数据质量

6、问题的产生。作业调度运维服务的具体工作内容应包含：表14作业调度运维工作描述服务项服务描述作业调度运维1、作业调度监控：对日常数据加工、数据开放作业、分发作业的 调度进行管理监控，并输出相关报告；2、问题分析处理：对中断，失败，卡死，执行时间过长的作业进 行问题分析、定位、处理和记录。并通过事后的分析，明确问题缘 由，及时修复；3、调度任务优化：根据分析报告及问题处理情况，对调度任务进 行优化。(2)数据质量检查及异常处置数据质量检查是通过制定数据质量标准以及数据质量检测规则，对湖内的数据进行 数据质量检查、校验，对检查出的异常数据根据规则进行反馈及处置，并跟踪处理成效。 完成各单位的数据质量

7、报告，对数据质量存在的问题进行点评，制定数据质量提升方案, 协同保障入湖数据高质量。数据质量检查及异常处置服务工作量除与数据量有关外，也与 数据需求明确程度，变更频繁度，数据结构清晰度，数据格式复杂度等业务和数据复杂度 强相关。基于上述情况进行抽象提取，数据质量检查及异常处置服务的具体工作内容应包 含：表15数据质量检查及异常处置工作描述服务项服务描述数据质量检查及异常 处置1、标准规则设计：依照数据稽核需求，设计稽核规则，确保日常 数据质量的规范性，合理性，完整性，准确性；2、问题分析处理：对质量不合规的数据进行处理、检查、定位、 修复和记录，并通过事后的分析，明确问题缘由，及时修复；3、质

8、量报告：整理并记录分析数据质量报告并提供数据质量 检查日志；4、质量提升：通过数据质量问题分析及相关报告，制定质量提升 方案，保证数据高质量入湖。(3)数据资产盘点服务定期对数据资产进行盘点，检查已有数据资产的状态，发现数据资产目录与数据资 产不一致的问题，更新数据资产目录信息，确保数据资产信息一致性和完整性。表16数据资产盘点服务工作描述服务项服务描述数据资产盘点服务描 述1、资产检查：检查已有数据资产状态2、资产发现：发现数据资产目录与资产不一致3、资产更新：更新数据资产目录信息，确保数据资产信息一致性 和完整性。(4)数据资产评估服务对数据资产的数据血缘、数据权属、成本因素、价值因素等影

9、响因子进行分析，整 理出支撑数据资产价值评估技术的评估指标及权重。基于梳理的评估指标，选择合适的评 估模型，完成评估模型的测试、训练及调整，形成可信度较高的评估结果。表17数据资产评估服务工作描述服务项服务描述数据资产评估服务描 述1、评估分析：对数据资产的数据血缘、数据权属、成本因素、价 值因素等影响因子进行分析。2、指标设计：整理出支撑数据资产价值评估技术的评估指标及权 重。3、资产评估：基于梳理的评估指标，选择合适的评估模型，完成 评估模型的测试、训练及调整，形成可信度较高的评估结果。6 .培训服务(1)培训服务为数据运营管理控制过程有关的人员提供培训服务，以提高相关人员业务知识和技 能

10、水平，使其适应日常管理工作的需要，从而使整个服务过程和质量得到有效保证。培训 服务具体内容包括：表18培训服务工作描述服务项服务描述培训服务1、培训方案：专业人员接到培训主管的培训计划后，根据培训的 要求、方式和时间制定本次培训的具体培训方案。2、开展培训：根据培训的具体的时间发出培训通知，正式开始培 训。3、培训评估：培训完结后对本次的培训整体、讲师分别进行评估， 方便后期培训流程及方式的优化。4、培训归档：培训评估后，将培训过程中的培训记录、结果、评估进行整理规定，为后面的大数据分析和个人培训档案的建立提供 数据支撑。7 .其他服务由于数据需求的不确定性，对部分时间紧迫且无法分解为上述服务

11、目录的需求采用 人月模式提供现场技术服务，该部分服务内容可能包括方案设计、事件处置、服务管理等 工作。服务过程中要严格按照需求方要求开展工作，在服务一定阶段后，对于具有通用性 的服务，后续随着服务目录的优化更新进行补充完善。一、项目概况1 .项目背景当前，XX市正加快推进“智慧XX市”建设，推进公共安全、公共服务、公共管理智 慧化和数字经济发展，全力推动超大城市治理体系和治理能力现代化。从全市层面进行统 筹顶层设计，统一规划、数据、标准，加快构建智慧XX市建设框架体系，推进数据 跨部门、跨层级、跨地区汇聚融合和深度利用，为实现超大城市数字化治理夯实基础支撑。 因此亟需加快实现数据全面贯通。对各

12、级各类平台进行数据质量评价及规范，为全市公共 数据汇聚奠定基础。同时，加强与民政、公安等部门系统的对接，实现市级信息资源的充 分融合。政务数据治理服务需同步开展规划、建设和运营，既要能够要支撑后续“一网通办”、 “一网统管”等城市级信息化项目建设以及全市数千个单位公共数据的管理运营工作。又 要应对由于规划、建设和运营的迭代周期非常短，且市场上没有成熟适用的产品支撑等问 题，因此需要在建设中集成改进、在运营中优化需求、在规划中完善设计，不断迭代和更 新。而技术平台迭代和更新带来更长项目周期和更多集成风险。目前传统信息化项目建设模式需要提供明确的需求范围、业务部门、建设周期和管 理制度。而目前政务

13、数据项目的建设周期出现持续性、突发性和周期性并存等新情况，并 且城市级大数据项目需要为全市各市级部门、各区（市）县及事业单位提供服务。在这种 体量下，目前政府的信息化项目建设模式和管理制度与城市级大数据项目的建设和管理需 求适应匹配度不高。另外，数据作为信息的载体，其所含的价值具有及时性，到项目验收时可能已不能 应用。同时，数据服务也缺乏业界公认的计量标准、服务管理机制和绩效评估体系。随着 “疫情防控”、“复工复产”等突发场景驱动的数据需求越来越频繁，大量的数据需求都 采用了先建设运行，后规划改进，再申报立项的方式，这就导致政府数据项目的价值时效 性和工作标准性难以衡量。按照XX市政务云总体规

14、划，目前已初步形成了全市统一的政务数据资源体系整体架构，将原来分散建设的数据资源目录管理系统、数据交换共享系统、大数据平台、公共数 据开放平台等系统整合集成，新增开发数据供需管理系统，使用数据治理工具开展数据治 理工作，平台具备数据资源编目、资源上传挂接、资源申请订阅、资源获取应用以及公共 数据脱敏开放的全流程处理的能力。向上完成与省级共享平台的单相级联，向下延伸到区 县，面向区县提供管理和应用能力。同时通过推进智慧XX市运行管理平台建设，进一步 提升我市数据资源管控能力。智慧XX市运行管理平台数据资源体系相关系统简介如下:序号名称功能简介1XX市公共数据开放平台为全市各级部门开放数据提供服务

15、2XX市公民信息管理系统建设以公民身份号码为唯一标识，集居住、婚育、就业、 纳税、信用、社会保险等信息于一体的公民信息管理系统， 实现数据权威、应用广泛、运行安全并覆盖全域XX市户籍 人口。公民信息管理系统定位于全市大数据领域信息基础 设施，构建了覆盖全市户籍人口、跨部门维度叠加的公民 信息数据库，前期主要服务于政府单位之间的公民信息共 享，已经成为我市发展政务大数据和大数据产业的重要支 撑平台。3XX市市民融合服务平台XX市城市融合服务平台依托现有政府部门资源和成果，汇 聚整合各部门提供的服务，将政务服务资源进行规范化共 享、开放；分析、叠加组合服务资源，创新融合服务，为 政府或部门应用系统

16、拓宽服务渠道，提供更多专业化、多 元化、个性化的服务。截止目前，平台承载服务接口 4000 多个：其中接入服务接口 3700多个，开发管道接口 93个， 开发融合服务接口 143个；交付服务接口 3000多个，服务 访问量达16亿余次。4XX市政务数据资源 交换共享平台作为XX市跨部门互联互通、信息共享的桥梁和纽带，该平 台利用中间件等技术在不同的应用和信息资源之间建立交 换通道，实现数据资源共享5XX市政务信息资源目录系统政务信息资源目录梳理、管理、数据的服务封装6XX市政务大数据平台对汇集数据的政务数据的采集、处理及共享7XX市数据开发平台提供数据融合、加工、处理等完整的数据业务解决系统，

17、提 供全链路、一站式、智能化的数据构建与管理平台。8XX市数据治理服务平台主要负责数据运营中对服务提供方、服务人员、治理任务、 费用结算等治理服务的管理。2 .总体思路治理运营服务一方面要求所建立的管理制度应当具备较好的可拓展性、可迭代性等 特点，另一方面，要求治理运营服务能够与社会发展相适应、快速迭代，能够建立长效的 治理运营服务的机制，防止管理制度的老化僵化，束缚治理运营服务的发展，以此应对政 务服务涵盖的范围非常广的特点，最终能够解决如下问题：以何种方式运营，运营服务的 对象包括哪些，全生命周期的管理流程和规范有哪些内容，如何衡量治理运营服务绩效, 如何培育和管理服务供应商等。治理运营服

18、务的应当将“集中治理，降本增效”作为总体原则，以绩效管理作为总 体核心，通过快速迭代的方式来细化目标，全面规范治理运营服务中涉及的服务范围、服 务内容、服务标准、服务考核，增强团队的核心能力，严控安全风险，最终形成可量化的 绩效管理体系。3 .服务内容利用智慧XX市运行管理平台数据资源体系相关系统和工具开展以下服务。1 .数据规划和专题分析服务。对数据资源体系的战略、标准、制度进行规划和评估。 结合需求及数据情况开展调研，编制专题分析报告。2 .需求对接服务。对各级各部门提出的数据需求进行沟通调研，需求梳理和分析整理。3 .数据治理服务。包括结构化数据采集接入、非结构化数据采集接入、数据抽取运

19、维、 数据标注服务、数据图谱服务、数据融合加工、应用建模服务、可视化展现服务、数据共 享服务。4 .数据开放服务。包括数据开放服务和数据开放运维。5 .数据资产服务。包括作业调度运维、数据质量检查及异常处置、数据资产盘点服务、 数据资产评估服务。6 .培训服务。包括平台操作培训、数据使用培训、行业知识培训等。7 .其他服务。由于数据需求的不确定性，对部分时间紧迫且无法分解为上述服务目 录的需求采用人月计费方式提供现场技术服务。二、服务方案1 .数据规划和专题分析服务对数据资源体系的战略、标准、制度进行规划和评估。结合需求及数据情况开展调研, 编制专题分析报告。表1数据规划和专题分析服务工作描述

20、服务项服务描述数据规划和专题分析服务1、战略、标准、制度规划：根据相关政策、国内外最佳实践和XX 市实际情况进行数据资源战略、标准和制度的制定。2、专题分析服务：明确分析主题，针对确定的主题开展需求调研， 梳理详细业务需求，结合数据情况编制专题分析报告。2 .需求对接服务（1） 供需对接服务根据各级各部门的应用场景智能化提升需要，协调对接市区两级部门，并完成数据需求梳理。表2供需对接服务工作描述服务项服务描述供需对接服务1、需求新增：数据需求方明确数据需求，并提供数据需求资源清 单；2、需求沟通：数据需求方操作员提交需求后，项目经理对数据需 求进行复核，查看需求基本信息、信息项，并与需求方进行

21、沟通， 对具体业务进行理解；3、需求受理:根据需求沟通结果，决定需求是否进行受理4、需求分析：对需求进行分析形成需求分析报告。3.数据治理服务数据治理服务通过数据资产构建、元数据管理、数据质量管理等，将部门提供的原 始数据变为统一、有序的数据资源，是后期的数据挖掘、数据分析的前提，是治理运营服 务的基础。数据治理服务包含数据接入、数据治理、数据分析及数据共享与开发服务，贯穿于 数据从采集、归集、整合、共享到的全生命周期，通过数据分析应用服务，以“用”促“治” 构造数据驱动、应用导向的数据价值挖掘体系，不断创新数据智能应用场景，实现公共数 据资产化管理，开展多维数据融合，形成数据集产品的服务能力

22、，支撑跨部门、跨层级的 数据共享与开放，实现公共数据开放和社会数据融合应用，形成公共数据的良性运营生态。(1) 结构化数据采集接入结构化数据采集接入工作是各单位根据履职需要或从业务系统中或手工采集业务数 据，其中包括业务分析、资源目录编制、数据协议适配(数据格式定义)、资源挂载等内 容。并且数据采集接入服务工作量与数据需求明确程度，需求变更频繁度，数据结构清晰 度，数据格式复杂度等业务强相关。基于上述情况进行抽象提取，具体工作内容如下：表3结构化数据采集接入工作描述服务项服务描述结构化数据采集接入1、业务理解：根据新的数据接入需求，理解数据的业务含义；2、数据理解：根据业务含义理解，设计数据格

23、式，如字段名称， 字段长度，字段类型等；3、目录编制；依据数据格式，编制和更新数据目录；4、责任清单、需求清单、负面清单、开放清单编制协调：根据数 据情况，确认是否需要协调更新责任清单、需求清单、负面清单或开放清单；5、数据协议适配:根据目录情况，确认数据接入方式，开发接入接 口；6、资源挂载：将开发后的接口与目录进行挂载，并进行初步清洗 后入湖。（2） 非结构化数据采集接入非结构化数据采集接入工作是各单位根据履职需要或从业务系统中或手工采集图 片、文件等数据，其中包括业务分析、资源目录编制、数据协议适配（数据格式定义）、 资源挂载等内容。并且与数据需求明确程度，需求变更频繁度，数据结构清晰度

24、，数据格 式复杂度等业务强相关。基于上述情况进行抽象提取，具体工作内容如下：表4结构化数据采集接入工作描述服务项服务描述非结构化数据采集接 入1、业务理解：根据新的数据接入需求，理解数据的业务含义；2、数据理解：根据业务含义理解，设计数据格式，如数据内容， 数据类型等；3、目录编制；依据数据格式，编制和更新数据目录；4、责任清单、需求清单、负面清单、开放清单编制协调：根据数 据情况，确认是否需要协调更新责任清单、需求清单、负面清单或 开放清单；5、数据协议适配:根据目录情况，确认数据接入方式，开发接入接 口；6、资源挂载：将开发后的接口与目录进行挂载，并进行初步清洗 后入湖。（3）数据抽取运维

25、数据抽取运维是为后续基础数据库、主题数据库应用，数据共享交换及开放服务等 提供保障，通过将挂载的数据资源不间断地抽取入湖，保障各信息系统数据及时准确地归 集、汇聚，并对问题抽取数据的进行处置调整。数据抽取运维的具体工作内容应包含：表5数据抽取运维工作描述服务项服务描述数据抽取运维1、抽取规则设计：针对抽取运维过程中需求发生变化的情况，需 要进行数据清洗抽取规则设计；2、日常运营维护日志分析：抽取运维工作任务进行日常运维及日 志分析（如平台支撑能力分析，运营服务能力分析）；3、问题排查：针对抽取运维任务的问题排查，重大问题修复，缺 陷代码的修改；4、流程优化：根据抽取运维任务运行情况及用户反馈，

26、对调度任 务进行流程优化。(4) 数据标注服务在后续的图像内容识别、自然语言学习、OCR识别(图片文本识别)、语音转译等 AI数据服务进行应用，数据标注服务是将结构化数据、文本数据、音频数据、视频数据、 流媒体等格式开展数据条目的内容释义，并开展分级分类工作。数据标注服务工作量除与 数据量有关外，也与数据需求明确度，变更频繁度，数据结构清晰度，数据格式复杂度等 业务和数据强相关。基于上述情况进行抽象提取，数据标注服务的具体工作内容应包含:表6数据标注服务工作描述服务项服务描述数据标注服务1、需求确认：确认数据标注需求(包含分级分类标准、数据范围、 需求场景等)；2、标注规则设计：根据标注需求，

27、设计数据标注业务规则，并对 评审不合格的规则进行整改；3、代码编写测试：按照确认的标注规则，依托大数据资源平台完 成编码和脚本开发，对指定范围内的数据执行标注操作，记录标注 日志；4、标注结果确认：确认标注结果，并对验收不合格的标注结果进 行整改。(5) 数据图谱服务数据图谱服务是为了将智慧XX市项目中跨类别的数据间关联关系以图谱形式进行 呈现，方便各级各部门业务人员以图形方式对关系进行检索和查询。通过对智慧XX市项 目的海量数据进行整理、分析和加工，挖掘XX市数据资源，可为行政监督、基层、市场 主体提供大数据服务；对智慧XX市活动提供动态监测分析，对市场主体异常行的预警研 判，对重点人群进行

28、关注，提示可能存在的问题和风险进行技术上的支撑。基于上述情况 进行抽象提取，数据图谱服务的具体工作内容应包含：表7数据图谱服务工作描述服务项服务描述数据图谱服务1、数据图谱分析进行需求明确，形成设计方案；2、数据图谱实施开发人员根据方案进行设计开发3、数据图谱测试对开发人员进行图谱功能测试、压力测试4、数据图谱上线数据图谱以接口或者展示层面提供对应服务(6) 数据融合加工数据融合加工主要工作是对数据开展标准化、转译、合并、指标计算等工作，以此 实现对跨层级、跨区域、跨部门、跨领域的公共数据的融合加工。数据融合加工的具体工 作内容应包含：表8数据融合加工工作描述服务项服务描述数据融合加工1、业务

29、理解：所面临的业务问题进行分析，并定义取值数据目录范 围；2、数据理解：对所取值的数据目录范围进行分析，涉及的数据格式、 数据内容进行解读；3、数据模型设计；根据数据源的存储格式以及目标数据的访问性质 进行E-R设计；4、数据模型开发：数据融合处理；5、配置上线：应用上线。(7)应用建模服务应用建模服务目的是利用已有数据对优化现有业务流程，开展数据预测以及发现之 前未发现的盲点，以此发现新的业务机会、新的服务模式，主要工作是指需要使用数据模 型来进行预测分析、分类分析需求；根据不同的业务问题进行数学模型的建立；涉及到的 主要步骤包括业务理解、数据理解、数据准备、建立模型、应用部署等步骤。应用建

30、模服 务的具体工作内容应包含：表9应用建模服务工作描述服务项服务描述应用建模服务1、业务理解：了解项目的要求和最终目的是什么并将这些目的与 数据挖掘的定义以及结果结合起来；2、数据理解：启动数据的收集工作，开展数据梳理分析；收集原 始数据，对数据进行装载，描绘数据，并且探索数据特征，进行简 单的特征统计，检验数据的质量；3、数据准备；涵盖了从原始粗糙数据中构建最终数据集(将作为 建模工具的分析对象)的全部工作；4、建立模型：选择和使用各类建模方法，通过建造，评估模型将 其参数将被校准为最为理想的值；5、模型评估:针对建立的模型。在进行最终的部署之前，开展评估 工作。确保模型达到目标。并对有关数据挖掘结果的使用达成一致 的决定；