人工智能数据标注通用工作规程(DB14-T 2465—2022).pdf

《人工智能数据标注通用工作规程(DB14-T 2465—2022).pdf》由会员分享，可在线阅读，更多相关《人工智能数据标注通用工作规程(DB14-T 2465—2022).pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、山西省地方标准DB14/T 24652022人工智能 数据标注通用工作规程2022-06-14 发布2022-09-15 实施山西省市场监督管理局发 布ICS 33.160.40CCS A 9114DB14/T 24652022I目次前言.II1范围.12规范性引用文件.13术语和定义.14原则.15工作流程.16规划要求.27实施要求.38监控要求.39交付要求.310归档.4参考文献.5DB14/T 24652022II前言本文件按照 GB/T 1.12020标准化工作导则第 1 部分：标准化文件的结构和起草规则的规定起草。本文件由山西省工业和信息化厅提出、组织实施和监督检查。山西省市场监

2、督管理局对标准的组织实施情况进行监督检查。本文件由山西省物联网和人工智能标准化技术委员会归口。本文件起草单位：百度云计算技术（山西）有限公司、山西省大众科技评估中心、山西灵波微步科技有限公司、山西物联网行业技术中心（有限公司）、山西集智数据服务有限公司、山西省科技评估学会。本文件主要起草人：司文、施佳樑、王洋、闵楠、胡驰、尉赤、张辰妹、吴泽衔、查晓丹、郭瑞鹏、李先军、赵波、李鹏、李鹏飞。DB14/T 246520221人工智能 数据标注通用工作规程1范围本文件规定了人工智能机器学习中数据标注生产所需要的通用工作要求，包括原则、流程、规划、实施、监控与交付。本文件适用于人工智能机器学习中数据标注

3、的企业、高校、研究机构、政府机关。其他行业和机构可参照执行。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。DB14/T 2463人工智能 数据标注总体框架3术语和定义DB14/T 2463界定的以及下列术语和定义适用于本文件。3.1数据标注合格率 qualified rate of data annotation一个标注任务中，符合标注规则要求的已标注数据总量与已标注数据总量的比值。3.2数据标注质量控制员 data annotation q

4、uality controller数据标注工作中，按照标注规则从事数据审核等质量控制工作的人员。3.3数据标注任务 data annotation task数据标注机构按照需方要求或合同约定，在特定的时间、成本、质量要求下完成指定数据标注的工作。4原则4.1数据标注机构对待标注数据应遵循数据安全、保密的原则。4.2制定数据标注计划制定时应遵循合理性、可量化性、及时性和可调整性的原则。4.3数据标注生产过程应遵循全过程质量控制原则，确保生产过程质量可控。5工作流程数据标注工作流程见图 1。DB14/T 246520222图 1数据标注工作流程图6规划要求6.1明确需求数据标注生产开始前，数据标注

5、项目负责人应及时获取数据需求方数据标注的需求说明书，并应包括以下内容：a)明确数据标注需求完成的时间节点；b)明确数据标注的内容；c)明确数据标注的方法；d)明确数据验收规则；e)其他要求。6.2获取数据数据标注项目负责人应及时从数据需求方处获取待标注数据，数据获取方式包括：a)平台接口对接的方式；b)存储介质复制的方式。6.3规则验证与细化数据标注项目负责人应按照标注规划进行标注规则验证与细化，并完成以下内容：a)确定数据试标数量：应遵循数据标注内容覆盖全面性及数据标注成本最小化要求，抽取需求方指定数量作为试标数量；b)进行试标：应选择中等以上技能的数据标注员，按照标注规则对抽样数据进行标注

6、，以验证标注规则的合理性；c)细化数据标注规则：应遵循易理解、易操作的原则，且与数据需求方要求一致的原则，对数据试标中发现的不合理规则进行修改细化。6.4明确计划数据标注项目负责人应根据标注需求、数据试标效率确定标注计划。计划内容包括：进度计划、人员计划、资金计划、工具计划、质量控制计划、验收计划。6.5专项培训DB14/T 246520223数据标注培训师应按照标注计划和标注规则，在数据标注生产过程中对数据标注员进行有针对性的培训，确保标注质量。7实施要求7.1任务创建数据标注任务负责人应利用标注工具创建数据标注项目相关内容。7.2任务分发数据标注任务负责人应利用标注工具将数据标注任务分派给

7、数据标注员或数据标注团队。7.3任务实施数据标注员或数据标注团队应使用数据标注工具完成指派的数据标注任务。8监控要求8.1任务检验8.1.1任务质量检验数据标注质量控制员在任务进行过程中按照标注规则进行质量检验和质量纠偏。8.1.2任务进度检验数据标注项目负责人在任务进行中应使用数据标注工具，对数据标注日产能和数据标注计划的数值偏差情况进行检验，并及时调整资源和日工作量要求。8.2任务数据回收数据标注项目负责人应对标注不合格数据进行收回，并重新分派进行标注。9交付要求9.1验收数据标注项目负责人应将审核结果达到数据标注合格率要求的数据，交付需求方验收。9.2总结数据标注项目负责人应组织各工作角

8、色参与项目的总结工作，编制总结报告，内容包括：a)数据标注项目基本信息：描述本次数据标注项目的合作背景、数据标注内容及类型；b)数据标注过程控制措施：描述本次数据标注项目在执行过程中采取的执行方法，还原标注过程；c)数据标注方法总结：描述本次数据标注项目遇到的困难及采取的有效措施，总结可行的方法做经验复用；DB14/T 246520224d)数据标注措施改进：描述本次数据标注项目控制过程的不足，总结可以改进的方法和措施，应对下次同类项目；e)其他需要总结的内容。9.3售后数据需求方确认数据标注结果验收通过后，数据标注机构应跟进整个项目的售后工作。包括项目终期审计、项目综合评价、数据检查改进和服务监督处理。10归档数据标注机构的项目管理部门应在项目完成后或定期对生产过程文档进行分类、整理、归档，并根据生产文档对生产过程进行核验，验证生产过程与合同要求符合性。DB14/T 246520225参考文献1项目管理知识体系指南第 5 版2信息技术 人工智能 面向机器学习的数据标注规范中国电子工业标准化技术协会