公共文化资源采集规范管理制度.docx

《公共文化资源采集规范管理制度.docx》由会员分享，可在线阅读，更多相关《公共文化资源采集规范管理制度.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、标准草案文化馆数字资源采集规范（草案稿）对存在问题的采集接口及时上报，遇到故障需及时上报并尽快恢复数据采集服务。目 次 1前 言 2文化馆数字资源采集规范3范围 31 规范性引用文件33术语和定义31.1 数字资源3数字资源采集技术要求34.1 梳理采集数据34.2 清洗采集数据54.3 转换数据格式54.4 传输数据文件64.5 设置调度计划6数字资源采集运维要求6-XX.刖B本文件根据GB/T 1.1-2009给出的规那么起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承当识别这些专利的责任。本 文件由中华人民共和国文化部提出。本文件由全国文化馆标准化技术委员会(SAC/TC3

2、90 )归口。本文件起草单位：文化部全国公共文化开展中心本文件主要起草人：课题组文化馆数字资源采集规范1范围本文件规定了文化馆数字资源采集规范，包括文化馆数字资源采集技术要求以及运维要求。本文件既可在全国文化馆数字资源信息采集工作中使用，同时也可供其他从事公共文化 服务相关业务的机构参考使用。2规范性引用文件以下文件对于本文件的应用是必不可少的。但凡注日期的引用文件，仅注日期的版本适 用于本文件。但凡不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。本文引用：基层公共文化数据采集及文化馆基础数据分析研究课题报告3术语和定义以下术语和定义适用于本文件。3.1 数字资源数字资源是文献

3、信息的表现形式之一，是将计算机技术、通信技术及多媒体技术相互融合 而形成的以数字形式发布、存取、利用的信息资源总和。4数字资源采集技术要求文化馆数字资源信息采集工作包括梳理、清洗、转换、传输、调度多个步骤，最后实现数 字资源信息的汇聚存储。3.2 梳理采集数据文化馆数字资源信息采集内容包括数字资源的建设情况、用户检索、用户访问、用户评 价以及访问用户等信息，随着文化馆数字资源采集与分析的深入，采集数据的类型和内容也会 越来越多。基础的采集字段包括如下内容：资源建设信息序号字段备注1.资源ID资源编码，资源在系统内的唯一标识 例如:404861e5-baf8-4e9d-bddb-8f0dddb2

4、fe632.资源类型（文本、音频、视频、图片）,例如：视频3.资源题名例如：北京曲剧艺术赏析4.系列题名例如：中华戏曲荟萃5.分集总数例如：996.分集次数例如：837.资源URL资源访问的URL8.广电分类例如:J8戏剧艺术9.中图分类例如:J22戏曲10.关键词例如：戏曲|地方戏曲|北京曲剧11.节目类型例如：中国戏剧12.节目形态例如：专题13.时长时长，单位：分钟14.文件格式文件名后缀，例如：MP415.文件大小文件大小，单位:兆16.受众受众，例如：戏曲爱好者17.资源获得方式资源获得方式18.资源提供者资源制作人或单位等19.资源发布时间资源发布的时间,格式：2016-09-01

5、 18:23:19用户检索信息序号字段备注20.访问终端类型参见终端设备类型编码表，例如：PC21.用户ID用户ID22.访问地址访问地址23.检索时间用户执行检索的时间，格式： 2016-09-01 18:23:1924.检索条件用户检索时输入的检索条件25.检索用时用户检索用时，单位：毫秒26.检索结果数量用户执行检索操作后，系统返回结果的数量27.用户IP用户访问来源IP ,例如：28.浏览器类型参见浏览器类型编码表，例如：IE用户访问信息序号字段备注29.访问终端类型参见终端设备类型编码表，例如：PC30.用户ID用户ID31.资源ID用户访问的资源ID32.资源访问地址资源访问地址3

6、3.用户浏览资源时间用户浏览资源的时间，格式： 2016-09-01 18:23:1934.用户IP用户访问来源IP ,例如:35.浏览器类型参见浏览器类型编码表，例如：IE用户评价信息序号字段备注36.访问终端类型参见终端设备类型编码表，例如：PC37.用户ID用户ID38.资源ID资源唯一ID39.访问地址访问地址40.评价用户打分41.评价时间评价操作时间,格式:2016-09-01 18:23:1942.用户IP用户访问来源IP ,例如:43.浏览器类型参见浏览器类型编码表，例如：IE访问用户信息序号字段备注44.用户ID用户ID45.用户姓名用户的姓名46.用户学历用户的学历，例如：

7、本科47.用户出生日期用户出生日期48.用户性别用户的性别，例如:男49.用户民族用户的民族，例如：汉族50.用户职业用户的职业，例如：教师51.政治面貌用户的政治面貌，例如：党员52.用户职称用户的职称，例如：教授53.注册时间用户的注册时间,格式:2016-09-01 18:23:193.3 清洗采集数据清洗采集数据是指对需要采集的文化馆数字资源数据进行审查和校验，纠正存在的错误， 包括不完整的数据、错误的数据、重复的数据等。过滤那些不符合要求的数据，将过滤的结果交 给文化馆业务部门，确认是否由人工修正之后再进行抽取采集。对于过滤掉的数据，记录到工作 日志，作为数据的清洗记录。3.4 转换

8、数据格式为了实现采集数据的汇聚与共享，采集的数据格式需要统一，遵守如下规那么：1 )内容编码格式内容编码统一设置为UTF-8 ;2)日期类型日期类型统一采用YYYY-MM-DD格式，不允许出现空值，且YYYY-MM-DD必须为有意义的日 期：2 1 ) YYYY为四位数字，必须是有效的年份3 2) MM为两位数字，必须是有效的月份(01-12)4 3） DD为两位数字，必须是有效的日期（01-31 ）对于不符合日期约束规那么的日期值，处理方式存在以下两种情况：（1 ）无值的日期或者无意义的日期，这时在接口中一律以“1970-01-01”填充；（2 ）接口中的“失效日期”在表示“未失效”含义时，

9、一律以“2999-12-31”填充。3）时间类型统一采用HH:MM:SS格式：（1 ） HH为两位数字，必须是有效的小时（00-23 ） , 24小时制;（2 ） MM为两位数字，必须是有效的分钟（00-59 ）;（3 ） SS为两位数字，必须是有效的秒（00-59 ） o4）日期时间类型统一采用YYYY-MM-DD HH:MM:SS格式，格式要求见日期类型和时间类型。注意，日期与 时间中间有一个半角空格符。5）内容字段内容字段中不可以包含回车换行符（OxODOA ）,如果包含，需要替换成半角空格符号。3.5 传输数据文件为了保证数据传输过程平安，使用SFTP （ Secure File Tr

10、ansfer Protocol ）协议传输采 集的数据。将文化馆数字资源数据通过接口文件进行传输，定时传输数据文件，确保文化馆数 字资源数据有序、平安的传输并存储。接口文件中数据分隔符要求如下：1 ）记录间分隔符：回车换行符（OxODOA ）;2 ）字段间分隔符：ASCII码0x01（不可见字符），每行数据最后一个字段后也带“0x0123）为了保证数据的准确性以及接口文件中的记录各值域在有效的取值范围内，数据中 均不能包含OxODOA （回车换行符）、OxOD （回车符）、0x0A （换行符）和字段间分隔符。4）字段数量及顺序应该绝对固定，接口数据中不可省略，无值就留空。3.6 设置调度计划根

11、据采集调度要求设置不同的采集调度计划，包括准实时，每小时、每天、每月等调度方 式：1 ）准实时方式：将产生的数据在5分钟延迟内完成传输；2 ）每小时方式：每个小时整点的30分钟前需要传输完成前一个小时的数据；3 ）每天方式：每日6点前传输完前一天的增量或全量数据；4）每月方式：每月1日6点前需要传输完成前一个月的增量或全量数据。5数字资源采集运维要求负责维护和监控数据采集服务，包括：维护数据采集调度计划，每天检查采集接口运行状 态，初步分析采集接口运行失败原因，每天填写巡检报告。巡检报告包括：1）系统运行状况：指采集系统运行：良好、正常、隐患、故障。2）版本信息：指采集系统当前的版本号以及系统升级成该版本的具体时间。3 ）系统故障：对采集系统故障情况的统计。其中，“故障总量指该系统累计的故障 数 量；“已解决故障”是指针对出现的故障，已经查找到原因和解决方法并确认已解决；4）遗留问题：指尚未找到故障原因或故障是否解决尚待运行观察。