DB23∕T 3157—2022 政务信息共享交换平台数据汇聚(黑龙江省).pdf

《DB23∕T 3157—2022 政务信息共享交换平台数据汇聚(黑龙江省).pdf》由会员分享，可在线阅读，更多相关《DB23∕T 3157—2022 政务信息共享交换平台数据汇聚(黑龙江省).pdf（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、ICS 35.240.01CCS L 67DB23黑龙江省地方标准DB23/T XXXX-XXXX政务信息共享交换平台数据汇聚XXXX-XX-XX 发布XXXX-XX-XX 实施黑龙江省市场监督管理局发 布DB23/T XXXX-XXXXI前言本文件依据GB/T 1.1-2020标准化工作导则 第1部分：标准化文件的结构和起草规则 的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由黑龙江省营商环境建设监督局提出并归口。本文件起草单位：黑龙江省营商环境建设监督局、黑龙江省标准化研究院、浪潮软件集团有限公司。本文件主要起草人：张建峰、江中阳、蒋毅、谭

2、嘉宁、王磊、于运来、董鹏飞、张桐瑗、陈要武、杨大志、吕猛、李严。DB23/T XXXX-XXXX1政务信息共享交换平台数据汇聚1范围本文件规定了黑龙江省政务信息资源数据汇聚的总体架构，以及数据汇聚的基本要求。本文件适用于黑龙江省政务信息资源数据汇聚的规划、设计、建设和应用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 22239信息安全技术网络安全等级保护基本要求3术语和定义下列术语和定义适用于本文件。3.1政务信息资源政务部门在履

3、行职责过程中制作或获取的，以一定形式记录、保存的文件、资料、图表和数据等各类信息资源，包括政务部门直接或通过第三方依法采集的、依法授权管理的和因履行职责需要依托政务信息系统形成的信息资源等。3.2数据汇聚采集各政务部门可提供的政务信息资源，按照一定的数据更新频率及共享条件，将政务数据汇聚至省共享交换平台。3.3资源提供方对外提供政务信息资源共享的政务部门。3.4库表资源库表资源是指资源提供方以数据库的形式提供的数据。3.5文件资源文件资源是指资源提供方以文件形式提供的数据，一般使用的文件类型是Excel、CSV、TXT等。4缩略语DB23/T XXXX-XXXX2下列缩略语适用于本文件。UTF

4、-8：Unicode的可变长度字符编码（8-bit Unicode Transformation Format）5数据汇聚总体框架5.1政务信息资源数据汇聚由信息资源、信息资源目录、数据交换、数据共享交换平台组成，标准规范和安全保障贯穿于各部分，为各部分提供指导和支撑保障。政务信息资源数据汇聚总体架构见图 1。图 1数据汇聚总体框架5.2信息资源目录是信息资源共享交换工作的基础，用于快速检索、定位、发现相应的信息资源。通过汇聚基础信息资源、主题信息资源、政务部门信息资源和其他信息资源以数据交换服务为工具，为数据共享交换平台提供数据应用支撑。6数据汇聚总体要求6.1汇聚方式6.1.1库表模式汇聚

5、6.1.1.1库表模式汇聚流程库表模式汇聚流程见图2。DB23/T XXXX-XXXX3图 2库表模式汇聚流程图6.1.1.2汇聚流程汇聚流程包括：a)完成数据提供方与电子政务外网的联通，并能成功访问省共享交换平台提供的部门前置库，要求资源提供方通过安全设备保证资源提供方业务数据中心的安全；b)通过数据共享中心数据处理工具把需要推送的库表数据推送至共省共享交换平台部门前置库中（增量推送）；c)省共享交换平台数据交换系统把部门前置库的数据采集至中心前置库中。6.1.1.3数据要求数据要求包括以下方面，需提供字段见表1：a)提供数据表的主键，这是表中的某一条记录的唯一标识，为必须提供项；b)数据更

6、新时间戳，要求默认为业务生成时间或者变更时间；如果无法提供则修改成进入前置库时间，修改业务时也为进入前置库时间，可采用数据库默认时间和触发器相结合的方式解决此问题，格式为 yyyy-MM-dd hh:mm:ss；c)新增数据类型，数据新增时为“I”，修改时为“U”，删除时为“D”；d)来源部门，该字段填入各部门的监管编码，省级厅局为 23+“#”+“三位机构代码”（三位机构编码参考附录 A.1），地市为 6 位行政区划编码；e)批次号：规则为日期+次数，例如 2019 年 8 月 11 日第二次提交数据，批次为“2019081100002”；f)要求对数据按照时间戳进行增量更新，不可以进行每次

7、全量覆盖式更新。DB23/T XXXX-XXXX4表 1库表模式需提供字段字段名称字段类型字段意义cd_idC100数据主键idcd_timetimestamp数据更新时间戳cd_operationC50数据新增时为“I”，修改时为“U”，删除时为“D”cd_sourceC50来源部门cd_batchC50批次号6.1.2文件模式汇聚6.1.2.1基于 FTP 服务数据汇聚流程基于FTP服务数据汇聚流程见图3。图 3基于 FTP 服务数据汇聚流程图DB23/T XXXX-XXXX56.1.2.2汇聚流程汇聚流程如下：a)根据自身实际情况选择人工导出并上传至数据中心 FTP 服务器或者选择机器自

8、动生成文件并上传至 FTP 服务器；b)按照选择的网络图谱配置前置机及网络安全设备并打通网络链路；c)人工导出模式为省共享交换平台为资源提供方提供 FTP 上传的用户名和密码，资源提供方通过人工导入至 FTP 服务器中，共享平台交换工具自动将上传的数据采集至前置库；d)机器自动上传至资源提供方自建 FTP 服务器，共享平台交换工具通过资源提供方提供的用户名和密码自动下载新增文件，并把数据采集至前置库中；e)交换系统把前置库中的数据采集至中心前置库。6.1.2.3数据要求数据要求包括：a)明确每个文件每行数据的主键数据项，且不能为空，如同一条数据记录多次传输必须保证主键值不变；b)每个文件每行数

9、据中需增加一个时间戳字段，以方便系统根据时间戳识别增量数据（时间格式为 yyyy-MM-dd hh:mm:ss）；c)每个文件每行数据中存在无效或者删除数据需提供数据有效性标示字段；d)按照目录的汇聚频率，更新备份库中的数据；e)如果导出文件为 Excel 文件，第一行需为列名称，最后一行必须为数据行，不能出现总计等汇总型数据；f)如果导出文件为 XML 文件则必须为标准的 XML 文件，必须有成对的标识符。注：一个Excel文件中只能有一个sheet。Excel内不能有合并过的单元格，单元格不能有单元格格式。6.1.3接口模式汇聚6.1.3.1服务接口数据落地模式汇聚数据流程图基于服务接口数

10、据落地模式汇聚数据流程图见图4。DB23/T XXXX-XXXX6图 4基于服务接口数据落地模式汇聚数据流程图6.1.3.2汇聚流程汇聚流程如下：a)资源提供方提供 service 接口，实现通过接口调取业务应用数据库中的数据；b)按照选择的网络图谱配置前置机及网络安全设备并打通网络链路；c)数据共享平台交换工具通过资源提供方提供的 service 地址、用户名密码、传入参数进行服务调用获取数据，并把数据采集至前置库中；d)数据交换系统把前置库中的数据采集至中心前置库中。6.1.3.3数据要求数据要求包括：a)明确每条记录中数据的主键数据项，且不能为空；b)每条记录中的数据需增加一个时间戳字段

11、，以方便系统根据时间戳识别增量数据（时间格式为yyyy-MM-dd hh:mm:ss）；c)按照目录的汇聚频率来更新数据；d)服务调用必须根据时间段进行数据的采集，输入参数中必须包含起始时间参数和截止时间参数。6.2汇聚频率各单位应以增量更新的方式按规定的频率进行数据交换。更新频率应为资源提供方根据业务产生的实际频率进行定义。6.3命名要求6.3.1库表模式DB23/T XXXX-XXXX7资源提供方以库表模式提供数据，需注意库表的命名格式，库表的命名应以提供方部门首字母_数据资源目录名称首字母小写来命名，如省税务局的管理员以库表模式提供的一项数据资源目录名称为“纳税人信用等级信息”的库表，那

12、么该库表文件的命名应为：swj_nsrxydjxx。6.3.2文件模式资源提供方以文件模式上传的数据，其命名规则是数据资源目录名称_上传该数据的日期+顺序号，如省税务局的管理员在2020年3月20日以文件方式提供一项数据资源目录名称为“纳税人信用等级信息”的Excel文件，那么该文件的命名应为：纳税人信用等级信息_2020032001。注：这里的顺序号是由两位数字组成，指的是当日上传此文件的顺序。6.4安全保障资源系统方业务系统与省数据共享交换平台应参照GB/T 22239的规定执行，宜采用信息安全等级保护为三级及以上。7数据汇聚流程7.1数据汇聚流程数据汇聚流程见图5。图 5数据汇聚流程7.

13、2汇聚准备阶段DB23/T XXXX-XXXX87.2.1创建数据库及文件、接口开发7.2.1.1创建数据库a)创建数据库。数据库要求字符编码为 UTF-8，最大连接数不少于 300；b)创建数据表；c)创建表索引。为了满足数据交换的性能要求，所有汇聚表的主键都应创建索引，索引命名规则为“表名_主键”。7.2.1.2创建文件创建文件夹，准备数据文件。7.2.1.3接口开发资源提供方需准备好接口地址及可返回参数的测试用例，并提供接口说明文档。7.2.2存量数据处理资源提供方将存量数据按本文件的数据汇聚标准及代码集标准进行转换处理。7.2.3资源确认省数据共享交换平台作为资源需求方确认待汇聚的数据

14、资源，完成数据汇聚准备。7.2.4资源注册、审核、发布省数据共享交换平台，将待汇聚数据资源进行注册、审核、发布。7.3汇聚运行阶段7.3.1数据更新资源提供方在数据库表创建成功后，按时间增量的方式进行数据更新。a)增量数据应满足本文件要求的数据汇聚标准；b)更新频率按照业务产生频率进行更新。7.3.2数据汇聚省数据共享交换平台负责将资源提供方提供的数据进行数据汇聚、处理、加载入库。7.3.3数据对账数据对账用来对资源提供方提供的更新数据与省数据共享交换平台接收的数据进行比对，保证数据一致性。a)省数据共享交换平台在每次数据更新时，按批次将更新量写入数据对账表，数据对账表数据标准见附录 B；b)

15、省数据共享交换平台数据对账表，数据对账表示例见表 2；c)省数据共享交换平台依据资源提供方上报的数据对账单，比对数据量差异，生成数据比对报告；d)若存在数据差异，启动异常处理流程。DB23/T XXXX-XXXX9表 2数据对账表IDTableNameCd_batchCd_countCd_time1up_lic_data201807150000132018-05-10 17:20:537.3.4异常处理省数据共享交换平台进行数据处理后，将发现的异常数据反馈给资源提供方，接收到异常数据，将异常数据核对修改后重新进行提交。8特殊情况处理发生如下情况，需要通知省数据共享交换平台，并重新组织全量数据更

16、新：a)资源提供方软件系统升级，业务数据表的唯一标识字段（主键）发生变化；b)汇聚数据内容不符合数据汇聚标准；c)增量汇聚机制出现故障，无法继续识别增量数据。ADB23/T XXXX-XXXX10附录A（资料性）单位代码说明单位代码说明见表A.1。表 A.1 单位代码说明单位编码中共黑龙江省委网络安全和信息化委员会办公室008中共黑龙江省委机构编制委员会办公室009中共黑龙江省委军民融合发展委员会办公室010黑龙江省信访局012中共黑龙江省委保密委员会办公室（黑龙江省国家保密局）015中共黑龙江省委机要局（黑龙江省国家密码管理局）016黑龙江省档案局028黑龙江省新闻出版局029黑龙江省残疾人

17、联合会099黑龙江省发展改革委员会102黑龙江省教育厅103黑龙江省科学技术厅104黑龙江省工业和信息化厅105黑龙江省民族宗教委员会106黑龙江省公安厅107黑龙江省民政厅108黑龙江省司法厅109黑龙江省财政厅110黑龙江省人力资源和社会保障厅111黑龙江省自然资源厅112黑龙江省生态环境厅113黑龙江省住房和城乡建设厅114黑龙江省交通运输厅115黑龙江省水利厅116黑龙江省农业农村厅117黑龙江省商务厅118黑龙江省文化和旅游厅119DB23/T XXXX-XXXX11表 A.1 代码说明（续）单位编码黑龙江省卫生健康委员会120黑龙江省退役军人事务厅121黑龙江省应急管理厅122黑龙

18、江省审计厅123黑龙江省市场监督管理局126黑龙江省广播电视局127黑龙江省体育局128黑龙江省统计局129黑龙江省医疗保障局130黑龙江省地方金融监管局131黑龙江省营商环境建设监督局132黑龙江省林业和草原局133黑龙江省机关事务管理局134黑龙江省人民政府扶贫开发领导小组办公室136黑龙江省粮食局138黑龙江省煤炭生产安全管理局141黑龙江省药品监督管理局142黑龙江省知识产权局143黑龙江省国家安全厅199国家税务总局黑龙江省税务局201黑龙江省通信管理局202黑龙江省邮政管理局203黑龙江省气象局204黑龙江省烟草专卖局205中华人民共和国哈尔滨海关206中华人民共和国黑龙江海事局2

19、07国家统计局黑龙江调查总队208黑龙江地震局209黑龙江煤矿安全监察局210黑龙江测绘地理信息局211中国证券监督管理委员会黑龙江监管局212黑龙江省银保监局213DB23/T XXXX-XXXX12表 A.1 代码说明（续）单位编码中国人民银行哈尔滨中心支行214黑龙江省消防救援总队215中国民用航空黑龙江安全监督管理局216中国铁路哈尔滨局集团有限公司297国网黑龙江省电力有限公司298中国联通黑龙江分公司299DB23/T XXXX-XXXX13AB C附录B（资料性）市地代码说明市地代码说明见表B.1。表 B.1市地代码说明地市编码哈尔滨市230100齐齐哈尔市230200鸡西市23

20、0300鹤岗市230400双鸭山市230500大庆市230600伊春市230700佳木斯市230800七台河市230900牡丹江市231000黑河市231100绥化市231200大兴安岭地区232700DB23/T XXXX-XXXX14BD附录C（资料性）数据对账表数据对账表字段名称和数据格式见表C.1。表 C.1数据对账表(汇聚)序号名称字段名称数据格式必填项备注1主键IDN20是2表名TableNameC128是业务表名3批次号Cd_batchC32是每次交换应唯一，用于数据对账4数据量Cd_countN11是该批次的数据量5同步时间Cd_timeYYYYMMDDhhmmss是DB23/T XXXX-XXXX15参考文献1政务信息资源共享管理暂行办法（国发201651号）2政务信息系统整合共享实施方案（国办发201739号）3国家发展改革委关于印发“十三五”国家政务信息化工程建设规划的通知（发改高技20171449号）4国务院关于加快推进全国一体化在线政务服务平台建设的指导意见（国发201827号）5全国一体化在线政务服务平台数据共享服务管理暂行办法（国办电政函2019235号）6国务院办公厅关于建立健全政务数据共享协调机制加快推进数据有序共享的意见（国办发20216号）_