DB5120_T 19.2-2023 数据资源体系技术指南 第2部分：数据采集汇聚规范.docx

《DB5120_T 19.2-2023 数据资源体系技术指南 第2部分：数据采集汇聚规范.docx》由会员分享，可在线阅读，更多相关《DB5120_T 19.2-2023 数据资源体系技术指南 第2部分：数据采集汇聚规范.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、ICS35.040CCSL71DB5120四川省（资阳市）地方标准DB5120/T19.22023数据资源体系技术指南第2部分：数据采集汇聚规范2023-12-22发布2023-12-29实施资阳市市场监督管理局发布DB5120/T19.22023目次前言.II1范围.12规范性引用文件.13术语和定义.14缩略语.25数据采集原则.26数据采集.3附录A（规范性）数据资源提供方名称规范表.7参考文献.8IDB5120/T19.22023前言本文件按照GB/T1.12020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识

2、别这些专利的责任。本文件由资阳市政务服务和大数据管理局提出并归口。本文件由资阳市市场监督管理局批准并发布。本文件起草单位：资阳市大数据服务中心、资阳数智科技有限公司。本文件主要起草人：刘桄序、戢培全、邵柏华、袁嘉、刘光乾、杨建康、张亚琴、李爱民、刘西北、郑雪梅、邓森林、彭国林、陈杜宇、杨通、李强、夏荣、张润泽、任良华、冷耀、陈熙。本文件为首次发布。IIDB5120/T19.22023数据资源体系技术指南第2部分：数据采集汇聚规范1范围本文件规定了资阳市域数据采集汇聚相关术语和定义、缩略语、采集原则、采集等工作规范。本文件适用于资阳市域政务组织、非政务组织和个人信息资源数据采集、汇聚、更新的管理

3、和使用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T5271.1信息技术词汇第1部份：基本术语GB/T11457信息技术软件工程术语GB/T18492信息技术系统及软件完整性级别GB/T22032系统工程系统生存周期过程GB/T25000系统与软件工程（所有部分）GB/T29264信息技术服务分类与代码GB/T35295信息技术大数据术语GB/T36625.3智慧城市数据融合第3部分：数据采集规范GB/T38667信息技术大数据数据

4、分类指南GB/T40094.2电子商务数据交易第2部分：数据描述规范GB/T40094.3电子商务数据交易第3部分：数据接口规范行GB/T42450信息技术大数据数据资源规划DB51/T3056政务数据数据分类分级指南3术语和定义GB/T5271.1、GB/T11457、GB/T18492、GB/T25000、GB/T29264、GB/T35295、GB/T36625.3、GB/T38667、GB/T40094.2、GB/T40094.3、GB/T42450、DB51/T3056界定的以及下列术语和定义适用于本文件。3.1数据采集dataacquisition从数据源中得到原始数据，通过标准化

5、处理并转化为满足未来数据共享与利用需求的过程。3.2数据分类datacategorization把具有某种共同属性或特征的数据归并在一起，按照一定的原则和方法进行归类。3.31DB5120/T19.22023数据分级dataclassification根据数据的敏感程度，按照一定的原则对数据进行定级，从而为数据的开放和共享安全策略制定提供支撑的过程。3.4从数据库compliancedatabase从数据库是主数据库的备份，当主数据库变化时从数据库要更新，数据库软件可以设计更新周期。3.5文件服务器fileserver文件服务器，是指在计算机网络环境中，所有用户都可访问的文件存储设备，是一种专

6、供其他电脑检索文件和存储的特殊电脑。3.6数据归集库datacollectiondatabase数据归集库指数据资源中心集中存储来自不同来源数据的位置。4缩略语下列缩略语适用于本文件。XML：可扩展标记语言（eXtensibleMarkupLanguage）JSON：对象标记（JavaScriptObjectNotation）ACID：数据库事务特征原子性、一致性、隔离型和持久性（AtomicityConsistencyIsolationDurability）5数据采集原则5.1统一性数据的分类、编码、描述应选择通用性好、规范性强的方式进行编制，使其具有一定的统一性和兼容性，有利于数据的交换和

7、共享。5.2真实性所采集的数据应与信息源对象的实际情况完全吻合，不应进行随意修改、删除或增加，要求能够准确地反映信息源对象的真实情况，不能弄虚作假。5.3完整性应明确数据采集的范围、内容及目标，采集的数据应能够完成采集项目规定内容，不应发生数据丢失或增加。5.4及时性应关注数据采集信息主体的现实状况，当主体信息发生变化时，应对发生变化的信息数据重新采集，并对原有数据做更新处理。5.5选择性应在保证数据完整性的前提下，兼顾与己有数据的交换和共享，选择项目采集的数据内容，避免数据重复或范围扩大。5.6保密性2DB5120/T19.22023对采集的各类信息应确定保密级别，采取相应的管理措施或技术手

8、段，保证信息数据在采集、保持及交换传输过程中的数据安全。6数据采集6.1管理职责6.1.1数据资源提供方a）负责本单位的数据治理，保证推送到从数据库的数据符合质量规范要求和安全要求，并满足应用需求。b）负责从数据库的部署、配置和运维，保证数据主从一致。c）负责接收本单位的数据质量报告，并修正问题数据。d）负责按要求挂载数据资源。6.1.2政务数据管理机构a）负责数据的采集和清洗加工，保证经过清洗和转换后的数据符合相关质量规范和安全要求。b）负责提供从数据库服务器资源，并审核资源申请。c）负责出具数据质量报告，并推送给对应的数据资源提供方。d）负责从数据库巡查管理6.2数据采集框架根据数据的产生

9、单位、存储状态、数据应用方法、数据类型等，结合资阳市数据资源中心建设规划以及业务场景需求，定义整体数据采集框架如图1所示。各数据提供方将结构化数据实时同步至从数据库，将非结构化数据同步至文件服务器，将对外接口开放给数据资源中心。图1数据采集总体框图6.3数据采集方式6.3.1数据采集分类原则根据数据的类型、共享服务方式、存储状态等，定义三种数据采集方式：库表交换、文件交换和接口交换。6.3.2库表交换对于结构化数据，政务数据管理机构通过访问从数据库的方式实现数据共享。各数据资源提供方负责将本单位的数据库表和对应数据字典实时同步至从数据库，交换流程如图2所示。3DB5120/T19.22023图

10、2库表交换流程6.3.3文件交换对于非结构化的文件数据，数据资源提供方通过将文件传输至政务数据管理机构的文件服务器的方式实现数据共享，文件传输可采用FTP、SFTP等协议，交换流程如图3所示。图3文件交换流程6.3.4接口交换政务数据管理机构可通过数据接口采集数据资源提供方的方式实现数据共享，接口传输可采用restful、webservice等协议，交换流程如图4所示。图4接口交换流程6.4数据接入规范6.4.1从数据库要求6.4.1.1从数据库命名规范a）有业务系统的名称为数据资源提供方简称的拼音首字母_业务系统拼音首字母。b）无业务系统的名称为数据资源提供方简称的拼音首字母_qt（qt指“

11、其他”）。c）如若出现名称重复时，采用在名称后追加阿拉伯数字的方式保证命名的唯一性。4DB5120/T19.22023示例：资阳市应急管理局（简称“市应急局”）的业务系统“应急指挥平台”，从数据库名称为“syjj_yjzhpt”；资阳市应急管理局（简称“市应急局”）无业务系统的数据资源，从数据库名称为“syjj_qt”。6.4.1.2从数据库建表要求从数据库的数据与原数据资源提供方保持一致，数据结构增加操作标识和时间戳字段。其中，操作标识指增、删、改、NA（无操作）。6.4.1.3从数据库的表命名规范表名称原则上与原数据资源提供方提供的表名称保持一致。如若出现名称重复时，采用在名称后追加阿拉伯

12、数字的方式保证命名的唯一性。6.4.2文件服务器要求每个数据资源提供方建立单独的文件服务器，依据文件服务器的IP地址命名。文件名称原则上与原数据资源提供方提供的名称保持一致。如果文件有更新，直接覆盖当前文件，无需新建目录。6.5数据采集流程数据采集流程如下：a）各数据资源提供方同步数据：1）向政务数据管理机构提供可供采集数据的详细数据字典或文件格式。2）申请文件服务器或从数据库资源，经政务数据管理机构审核批准后，向数据资源提供方提供文件服务器或从数据库资源访问方式。3）指定数据专员，按照共享数据的更新频率，实时同步数据。b）分析数据：分析数据来源、数据结构、数据内容、数据之间存在的依赖关系（主

13、外键关系等）、数据字典等。c）抽取数据：1）从文件服务器或从数据库抽取数据。2）海量数据采用并行方式分批或增量抽取数据。d）存储数据：存储数据与抽取数据应保持一致，具备异常回滚机制。1）存储结构：根据抽取数据选择合适的类型、长度、精度存储数据。2）存储类型：结构化数据以数据库方式存储；非结构化数据以文件方式存储。3）存储介质：按数据的访问频率选择读写性能不同的存储介质。4）存储策略：根据数据读写频次和实时性要求制定不同的存储策略。访问频率较低的数据，宜将数据压缩后存储。6.6数据采集方法数据采集方法分为人工采集和自动采集，以自动采集为主。a）人工采集：通过手动录入、存储介质拷贝、电子表格导入等

14、人工方式采集数据。b）自动采集：通过从文件服务器或从数据库自动抽取数据的方式采集数据。6.7数据校验审核采用校验、审核的手段审查所采集数据的一致性、完整性和及时性。经校验、审核合格的数据才能被采集使用，不合格的数据采取必要的改正措施后重新采集。6.8采集安全要求在数据采集的各个环节，应建立数据安全管理制度、应急事件处理机制、审查监督机制。5DB5120/T19.22023在数据采集的各个环节，应使用数据安全相关技术，包括但不限于数据安全监测、安全审计、数字签名、数据加密等技术或手段。6政府机构全称政府机构简称政府机构简拼资阳市人民政府办公室市政府办公室szfbgs资阳市发展和改革委员会市发展改

15、革委sfzggw资阳市经济和信息化局市经济和信息化局sjjhxxhj资阳市教育和体育局市教育和体育局sjyhtyj资阳市科学技术局市科学技术局skxjsj资阳市公安局市公安局sgaj资阳市民政局市民政局smzj资阳市司法局市司法局ssfj资阳市财政局市财政局sczj资阳市人力资源和社会保障局市人力资源社会保障局srlzyshbzj资阳市自然资源和规划局市自然资源规划局szrzyghj资阳市生态环境局市生态环境局ssthjj资阳市住房和城乡建设局市住房城乡建设局szfcxjsj资阳市交通运输局市交通运输局sjtysj资阳市水务局市水务局sswj资阳市农业农村局市农业农村局snyncj资阳市商务局

16、市商务局sswj资阳市文化广播电视和旅游局市文化广电旅游局swhgdlyj资阳市卫生健康委员会市卫生健康委swsjkw资阳市退役军人事务局市退役军人事务局styjrswj资阳市应急管理局市应急管理局syjglj资阳市审计局市审计局ssjj资阳市政府国有资产监督管理委员会市国资委sgzw资阳市市场监督管理局市市场监管局sscjgj资阳市统计局市统计局stjj资阳市城市管理行政执法局市城市管理行政执法局scsglxzzfj资阳市乡村振兴局市乡村振兴局sxczxj资阳市信访局市信访局sxfj资阳市金融工作局市金融工作局sjrgzj资阳市经济合作和外事局市经济合作和外事局sjjhzhwsj资阳市医疗保障局市医疗保障局sylbzj资阳市同城化发展工作局市同城化发展工作局stchfzgzj资阳市市政务服务大数据管理局市市政务服务大数据管理局szwfwhdsjglj资阳市政府研究室市政府研究室szfyjsDB5120/T19.22023AA附录A（规范性）数据资源提供方名称规范表7DB5120/T19.22023参考文献1资阳市人民政府办公室关于印发资阳市人民政府机构简称的通知2资阳市政务信息化项目管理办法(试行)（资府办发202225号）8