城市大数据中心数据汇聚和公共服务日常维护项目服务方案.docx

《城市大数据中心数据汇聚和公共服务日常维护项目服务方案.docx》由会员分享，可在线阅读，更多相关《城市大数据中心数据汇聚和公共服务日常维护项目服务方案.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、城市大数据中心数据汇聚和公共服务日常维护项目服务方案(6)统计部门的前置机数据库对外服务数据量以及通 过接口对外提供的服务次数和数据量；(7)统计目录的增减清单及工单派送处理情况，对工 单进行安排执行并反馈进展。1.1 项目概况XX市城市大数据中心目前已经汇聚39个市级政府部门 的数据资源、对外服务于37个政府部门，未来数据汇聚、 数据治理、数据服务和数据开发利用工作的宽度和深度将不 断加大。本次XX市城市大数据中心数据汇聚和公共服务日 常维护项目主要服务内容包括：标准维护和贯标服务、数据 治理服务、数据共享开放和应用服务、基础运维服务、综合 报告服务等。1.2 服务方案1.2.1 标准维护和

2、贯标服务根据国家、省、市发布和城市大数据中心的的标准，在 日常运维工作进行维护和贯标，推动数据管理走向科学化、 规范化。需要维护和宣贯执行的标准包括且不限于以下标准:1、全省政务信息资源共享交换相关标准规范2、江苏省五大基础库实施指引3、XX市市数据分级分类实施指南4、XX市市数据共享工作规范5、城市大数据中心数据采集、更新、应用管理制度及 流程6、城市大数据中心数据库数据结构体系规范7、城市大数据中心数据库基础数据规范8、城市大数据中心数据库基础元数据规范9、城市大数据中心数据库数据分类规范10、城市大数据中心数据库接口开发与管理规范11、城市大数据中心信息资源安全管理制度12、XX市市政府

3、数据资源库建设规范13、XX市市政府数据资源数据格式规范14、XX市市政府数据资源数据应用规范15、XX市市政府数据资源数据对接规范深入了解城市大数据中心现有标准规范，诊断出当前标 准规范执行存在的问题，形成诊断分析结果。结合工作实际, 开展标准规范贯彻落实工作。对工作中发现需要维护和修订 的标准进行修订，完善补充全程跟踪标准执行过程，并提出 改进建议，对贯标诊断结果进行督查整改，为数据规范化管 理提供基础支撑。1. 2. 2数据治理服务1.1.1.1 数据接入服务数据接入是将数据从数据源通过ETL工具汇聚到城市大 数据中心，通过明确数据标准、数据来源等必要步骤，完成 数据接入工作的需求分析，

4、保障接入数据的规范性、完整性。根据市级各部门数据需求和上级数据归集要求，汇聚各 类数据资源、编制数据标准，在数据仓库建库建表，将数据 汇聚到城市大数据中心。针对数据的汇聚清单、频率、方式 及数据源情况，制定数据接入实施方案。1.1.1.2 数据调度服务数据调度服务根据不同用户、不同使用场景满足不同的 数据交换需求，其服务内容包括但不限于：调度任务设计、 任务部署、作业调度运维服务等。数据调度服务使用ETL工具进行调度任务设计，并部署 到生产环境，同时为了能够满足城市大数据中心及各委办局 对数据及时性及稳定性的要求，通过作业调度工具对调度任 务进行监控，对中断、失败、卡死、执行时间过长的调度作

5、业进行问题分析、定位、处理和记录，明确问题缘由，及时 修复，以便后续能够避免同类问题发生。1.1.1.3 数据质量服务数据质量服务是指为了能够满足城市大数据中心及各 委办局对数据正确性和合理性的要求，结合数据运营工作实 际需求，依照数据核检需求，设计符合数据标准和公共数据 模型设计规范的核检规则。通过核检规则对日常数据的规范 性、完整性、及时性等进行检查、校验，生成数据质量记录， 并对异常数据进行反馈及处置，以便业务部门能够正确、高 效的应用数据。针对数据清洗过程中出现的数据异常问题进行汇总，将 错误数据统一放到系统委办局账户下，反馈给部门整改。1.1.1.4 数据资源管理服务将大数据中心所有

6、数据资源进行数据资产化管理，实现 全生命周期管理。数据资源管理服务包含元数据管理服务、 数据标注服务。元数据管理服务使用具备元数据模型设计、元数据采集、 元数据分析、数据地图展现等核心功能的元数据管理工具， 对元数据进一步抽象描述，方便通过全自动的方式采集到所 需要的元数据。同时根据元数据模型，对元数据进行录入和 管理，同步维护元数据信息。数据标注服务包括对结构化数据、文本数据、音频数据、 视频数据、流媒体等格式进行内容释义，并对内容进行分级 分类管理。根据分级分类标准、数据标识的需求场景、需要 标识的数据业务分类、需要标识的数据安全分类、需标注的 数据范围，提升数据资产复用性和数据管理精细化

7、程度。1. 2. 3数据共享开放和应用服务1.1.1.1 据共享开放服务数据共享开放服务是指为促进公共数据共享和开放，完 成各机关企事业单位之间信息共享，包含民生紧密相关、社 会迫切需要、商业增值潜力显著的数据共享。数据共享开放 工作需要支撑不同的数据业务场景、服务类型等。需求方通 过接口能够及时进行数据查询，提升数据利用效率和能力。数据共享开放服务包括接口运营服务和接口监控服务。接口运营服务根据需求完成数据服务接口的配置，接口 分为三类，国家接口、省厅接口、市本级接口，国家和省厅 接口是通过封装接口对市本级委办局提供数据查询、单条核验等服务。市本级接口封装城市大数据中心数据，对委办局 提供查

8、询、单条核验、批量核验等服务。接口监控服务是指为保障接口运行的安全性和可靠性 采用技术和管理方法，对接口的运行环境、运行状态进行综 合管理和故障处理。接口监控服务主要工作包括针对接口群 进行监测分析等，具体工作内容如下：监控状态：通过监控界面发现异常接口；通过日志发现 数据服务是否有异常。故障处理：针对日常运营维护发现的问题，第一时间进 行故障处理和系统恢复。基础库和主题库实施服务基础库建设内容包括数据编目、数据建模、元数据管理、 数据整合、数据关联、数据应用等过程。按照省大数据中心 五大基础库建设要求，深化基础和主题库的建设和应用，配 合业务部门建立分析应用场景，形成基础库和主题库的服务 能

9、力。进一步提升人口综合库、法人综合库、信用信息库、 电子证照库等建设水平，更好支撑各项应用。按照2021年 大数据中心工作要求，实施基础库和主题库建设服务，服务 各相关应用部门。1.2.3.3 数据查询分析服务根据城市大数据中心日常要求，不定期进行各维度数据 的统计，并出具数据的比对结果，对特定数据集形成分析结果。根据日常要求生成需求文档、数据分析报告。L2.4基础运维服务1.2.4.1 数据库运维服务对目前已有的70套ORACLE、6套MySQL、1套mpp数 据库软件进行日常维护。数据库系统运维服务包括软件更新 及维护、检查并分析系统日志以排除数据库系统故障隐患、 检查数据库空间的使用情况

10、、检查数据库备份的完整性、监 控数据库性能、评价应用对系统的使用情况并提出建议、实 施数据库的性能调整。1.2.4.2 中间件运维服务对目前已有的Apache Tomcat、MQ等40套中间件进行 日常维护管理，提高对中间件事件的分析解决能力，确保中 间件平台持续稳定运行。主要工作如下：1、执行线程：监控Apache Tomcat配置执行线程的空 闲数量。2、JVM内存：JVM内存曲线正常，能够及时的进行内存 空间回收。3、JDBC连接池：连接池的初始容量和最大容量应该设 置为相等，并且至少等于执行线程的数量，以避免在运行过程中创建数据库连接所带来的性能消耗。4、检查日志文件是否有异常报错。5

11、、需要检查集群的配置是否正常。1.2.4.3 操作系统运维服务操作系统运维服务包括：故障修复：定期对操作系统运行状态进行检查和分析; 对客户申报的操作系统故障提供远程支持，尽快修复故障。优化建议：针对客户当前操作系统运行情况，给出优化 建议并实施，提升性能；根据客户业务发展趋势，评估操作 系统当前及应有性能，提出性能建议。日常维护：操作系统用户管理、操作系统用户权限管理; 系统账号检查；操作系统漏洞检查；操作系统日志清理。故障处理：故障的排除、恢复；确认故障排除、恢复的 结果；日志分析、跟踪处理。操作系统监控：CPU检查；JOB运行检查；RAM使用率检 查；性能分析；监控记录。操作系统升级：补

12、丁测试；补丁安装等。1. 2. 4. 4数据迁移和硬件存储升级服务对所有系统提供数据迁移技术支持，当需要迁移业务系 统或设备时，提供必要的技术支持，并保证迁移后业务系统 的正常运行。对硬件存储升级提供技术支持，保证因存储升级涉及的数据服务正常运行和平稳切换。综合报告服务按规定时间节点要求，编制以下综合报告，提交至市大 数据中心：1、每月出具一份城市大数据中心月度数据质量报告， 其中包括每月各委办局上传数据的质量情况，从数据交换量、 完整性、规范性、时效性等方面对汇聚的数据进行监测检查， “人口库”、“法人库”等作为重点监测对象。“月度数据质 量报告”，针对部门上传的数据进行细项分析，以图表方式 展示每月数据质量情况，同时对每个委办局出具细分的部门 数据质量报告。2、不定期或按需对专题数据进行数据核检出具数据质 量分析报告。3、运维报告服务分为周报，月份，季报，半年报，年 报，每份报告编制包含以下工作：(1)统计、汇总数据汇聚情况；(2)统计、汇总数据服务情况；(3)统计、汇总目录和门户增减情况；(4)统计、汇总工单派送及完成情况；(5)统计大数据仓库的ODS库、部门库，主题库中的 人口库、法人库，电子证照库的累计数据量、周新增数据量、 周实有数据量，对各委办局的周数据汇聚进行分部门统计；