CCKS2021技术评测任务书.docx

《CCKS2021技术评测任务书.docx》由会员分享，可在线阅读，更多相关《CCKS2021技术评测任务书.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、CCKS 2021技术评测任务书通用百科知识图谱实体类型推断1.任务描述本评测任务围绕通用百科知识图谱构建中的实体类型推断展开，评测从实体百科（包 括百度百科、搜狗百科等来源）页面出发，从给定的数据中推断相关实体的类型。实体类型 推断在知识库中具有非常重要的价值，因此该任务也一直是研究的热点。在CCKS 2020新 冠知识图谱构建与问答任务中，其第一个子任务就属于实体类型推断任务，该任务主要围绕 着医学领域，构建了 7个实体类型的推断任务。而这次，我们对实体类型推断任务做了一定 的拓展和改进，主要包括以下几个方面：1）任务涉及的领域更加广泛和通用，涉及到包括组织机构、人物、作品等多个领域。2）

2、实体类型更加丰富，不同领域下包括多个具体的实体类型，整体任务包括几十个实 体类型。3）实体类型之间具有层级关系，所有实体类型构成了一棵分类树，并且具有subclassof 关系。一个具体的实体需要尽可能的推断到最细粒度的实体类型才算正确。各参赛队伍可以 考虑是否把这种层级关系加入到模型当中进行训练。4）某些实体可能只属于一个实体类型，某些实体可能属于多个实体类型，因此更加增 添了任务的难度。比如“刘德华”既属于“歌手”类型，又属于“演员”类型；“知识图谱 概念与技术”就只属于“书籍”类型。1.1 实体类型该任务共包括组织机构、人物、作品等几个领域的实体类型。不同领域包括多个具体的 实体类型，具

3、体如下： 组织机构：政府机构、运动队、公司、政党、学校、乐队、 人物：文艺工作者、商人、教师、虚拟人物、科学家、运动员、政治家文艺工作者：画家、导演、演员、舞蹈家、歌手、编剧、作家 运动员：足球运动员、篮球运动员、跳水运动员、田径运动员、游泳运动员、 体操运动员、 作品：音乐作品、影视作品、书籍、软件程序书籍：小说、漫画、诗歌 软件程序：游戏、应用程序对于某个实体,基于百度百科或者搜狗百科提供的页面数据,根据上面的实体类型定义, 需要将实体尽可能预测到最细粒度的实体类型。比如：“林丹”应该预测为“运动员”、“姚 明”应该预测为“篮球运动员”、“白岩松”应该预测为“人物:如果实体属于多个实体类

4、型，预测结果需要包含所有的实体类型。比如“特朗普”，应该预测为“商人”和“政治家” 两个类型。实体类型的层级关系如下图所示，具体的实体类型种类和层级关系以后续发布的为准:广学校U 运动队uAm府机回A乐队L7厂管乐作 1(政治订) ! r运土3拟人巴 llu用程严)游戏VB诗歌匚 NU1的操运动回 泳运动国 IMS I的水运球运动回 I旬球运动 pXZ作家U歌手 10 W 只 画家目前所有的领域种类和各领域下具体的实体类型数量还没有完全确定，后续会和数据 集一起发布关于实体类型种类及层级关系等更详尽的说明。1.2输入输出 输入：包括、和:需要进行类型预测的所有实体，其中包含相关实体和噪音实体。

5、每个实体由实体id 和实体名构成。:百度百科、搜狗百科等来源的实体页面内容。实体页面文件中包含类型推断可能会用 到的名称、标签、简介等信息。包含的字段信息如下：输入表格entity.csv字段数据类型字段说明idint实体IDnamestring实体名称urlstring数据源URLcontentsstring完整JSON内容sourcestring数据来源：:包含所有实体类型，类型之间的层级关系如上所描述。 输出：entity_entity_：实体id、实体名及预测的实体类型，每行一个“实体idt实体名t类型”对。注 意不要包含类型不在给定的实体类型当中的实体。若一个实体属于多个类型，则类型

6、之间用 英文逗号分隔，表示为“实体idt实体名t类型1,类型2”对。类型1、类型2的书写顺 序没有影响。 输入样例：晶茂电影传媒昆明育萃学校细胞的旅程崔志成尿TH糖蛋白陈国绪梅尔吉卜森：组织机构、政府机构、运动队、公司、政党、学校、乐队、人物、文艺工作者、商人、教 师、虚拟人物、科学家、运动员、政治家、画家、导演、演员、舞蹈家、歌手、编剧、作家、 足球运动员、篮球运动员、跳水运动员、田径运动员、游泳运动员、体操运动员、作品、音 乐作品、影视作品、书籍、软件程序、小说、漫画、诗歌、游戏、应用程序表格中一个具体的实体数据例子:idnameurlcontentssource2110758崔志成htt

7、DS：/baike. ba idu. com/item/崔 志成 /10056618url: https:baike. baidu. com/item/崔志成/10056618, key: 10056618, name: name:崔志成 “, title：崔志成(韩国三星电子公司社长)abstract：崔志成，男,韩国三星电子公司社长。2020 年6月9日，韩国首尔中央地方法院驳回检方对崔志成的批捕申请，决定不予批捕。”content：崔志成(韩 国三星电子公司社长)崔志成，力，韩国三星电子公司社长。2020年6月9日，韩国首尔中央地方法院驳回检方对崔志成的批捕申请，决定不予批捕。中文名 崔

8、志成 外文名Choi Gee-Sung 目录1人物经历2获得荣誉 3人物事件崔志成人物经历崔志成1980年，任三星电子首席执行官。曾任三星数码媒体部的主管。2009年12月14”,任:星半导体、电视以及手机制造部门的首席执行官。2012年6月711,韩国三星电宣布崔志成继续担任三星电广副董事长及前事会成员职务，并出任三 星集团公E战略办公室主管。崔志成获得荣誉三星电广社K崔志成被选为了美国经济专刊财富(Fortune)评选的“木年度企业人物50人”。崔社长排在第39位，并成为韩国企业人士中唯一的上榜者 财富就此解释称“在智能手机领域,三星电子正在同诺基亚(Nokia)的竞争中不断提高着市场占有

9、率，同 时旗下的平板电脑Galaxy Tab也开始向苹果iPad发起挑战”。崔志成人物事件 2017年2月24日，三星集团两名高管已提出辞职，为该集团卷入朴悔惠亲传干政事件承担责任，其中包括三星副会长崔志成。2020 年6月4日，韩国检方向法院提请批捕崔忐成，指控其涉嫌进行资本市场法规定的不正当交易、操纵市.场、违反 上市公司外部审计相关法律规定。2020年6月9日，韩国首尔中央地方法院驳回检方对崔志成的批捕申请，决 定不予批捕。baike. baidu. com, picture:https:bkimg. cdn. bcebos. com/pic/9345d688d43f8794a4c223

10、2a8b5219f41bd5ad6e8cd4, mod ified_time*2020-06-13 20:30:47, keywords:崔志成，崔志成人物经历,”崔志成获得荣誉，”崔志成 人物事件中文名：name:崔志成卜文名：name:Choi Gee-Sung, urls: 三星电广 ： https ：/baike. baidu. com/item/三星电/177278”其中，的contents字段为该实体的完整json描述内容，json解析完如下图所示:JSON数据复制格式化删除空格删除空格并转义去除转义url: https : ba ike. baidu. com/item/崔志成/

11、10056618”, key: 10056618”,name : L(name : 隹志版“title:崔志成(韩国三星电子公司社长)“，“abstract”: 崔志成，男，韩国三星电子公司社长。2020年6月9日，韩国首尔中央地方法院驳回检方对崔志成的批捕申请，决定不予批捕。、content:崔志成(韩国三星电子公司社长)崔志成，男，韩国三星电子公司社长。2020年6月9日，韩国首尔中央J地方法院驳回检方对“title:崔志成(韩国三星电子公司社长)“，“abstract”: 崔志成，男，韩国三星电子公司社长。2020年6月9日，韩国首尔中央地方法院驳回检方对崔志成的批捕申请，决定不予批捕。

12、、content:崔志成(韩国三星电子公司社长)崔志成，男，韩国三星电子公司社长。2020年6月9日，韩国首尔中央J地方法院驳回检方对崔志成的批捕申请,决定不予批捕。巾文名 崔志成 外文名Choi Gee-Sung 目录崔志成人物经历 崔志成1980年，任三星电子首席执行官。冒任三星数码媒体部的主管。1人物经历2获得荣誉 3人物事件2009年12月14日，任三星半导体、电视以及手机制造部门的首席执行官。2012年6月7日，韩国三星电子宣布崔志成继续担任三星电子副董事长及董事会成员职务，并出任三星集团公司战略办公室主管。崔志成获得荣誉三星电子社长崔志成被选为了美国经济专刊财富(Fortune)评

13、选的“本年度企业人物50人”。崔社长排在了第39位，并成为了韩国企业人土中唯一的上榜者。财富就此解释称“在智能手机领域，三星电子正在同诺基亚(Nokia)的竞争中不断提高着市场占有率，同时旗下的平板电脑Galaxy Tab也开始向苹果iPad发起挑战“。崔志成人物事件 2017年2月24日，三星集团两名高管已提出辞职，为该集团卷入朴槿惠亲信干政事件承担责任，其巾包括三星副会长崔志成。2020年6月4日，韩国检方向法院提请批捕崔志成，指控其涉嫌进行资本市场法规定的不正 当交易、操纵市场、违反上市公司外部审计相关法律规定。2020年6月9日，韩国首尔中央地方法院驳回检方对崔志成的批捕申请，决定不予

14、批捕。“picture”: z，. cdn. bcebos. Com/pic/9345d688d43f8794a4c2232a8b5219f41bd5ad6e8cd4，/,/modified方time: keywords”:”崔志成，“崔志成人物经历”, ”崔志成获得荣誉, “崔志成人物事件”2020-06-13 20:30:47”,中文名“：name:崔志成”),外文名：(name: Choi Gee-Sung”urlsz/: 三星电子：https:/baike. baidu. com/item/三星电子/177278”输出样例晶茂电影传媒 公司昆明育萃学校 学校细胞的旅程游戏崔志成商人陈国

15、绪老师梅尔吉卜森演员，导演说明实体“尿TH糖蛋白”不在给定的实体类型当中，因此输出样例中不包含该实体。1.3评价指标本任务采用精确率(Precision, P)、召回率(Recall, R)本值(Fl-measure, Fl)来评估效果。设4为参赛队伍输出文件中的所有实体-类型对的集合，G为评测方标注文件中的所 有实体-类型对的集合，相关计算公式如下：AQGMlAQGFl =2PRP + R2 .数据描述我们分别从收集的儿千万百科类实体页面中，抽取了部分实体页面作为这次任务的数据 来源。任务本身不限定方法类型，可以是无监督、半监督、有监督方法，因此不提供任务相 关训练集，参赛选手如有需耍，可以

16、自行对训练数据进行标注。测试集是通过自动化实体类型推测和人工检验进行标注的。测试集上不允许参赛选手进 行任何人工标注。3 .任务提交本次任务将采取刷榜的方式，将会发布A榜和B榜两个测试集，A榜测试集用于日常刷 榜和模型迭代，不计入最终比赛成绩，测试集A发布后，允许参赛队伍每天至多提交一次 结果，文件命名为“*.tx俨，格式与任务描述中的示例输出相同。测试集B为最终评估比赛成绩的有效评测集，待测试集B发布后，允许参赛队伍每天至 多提交一次。所有获奖团队需额外提交相关材料以供资格审查，要求如下：1 .测试集B结果文件，用命名（UTF-8格式）2 .相关代码及说明3 .方法描述文档（非评测论文，评测

17、论文撰写要求见CCKS 2021官网）将以上三个文件在任务提交截止日期前发送至邮箱。邮件的标题为：CCKS2021-ETI- 参赛队名称”,例如“CCKS2021-ETI-FindX队”。代码及其文档需打包成一个文件（tar, zip, gzip, rar等均可），用“参赛队名命名， 要求提交所有的程序代码及相关的配置说明，程序应当可以运行且所得结果与相符。如果 方法使用了额外资源，要求说明并提供资源文件或地址。本次评测将依托Biendata平台，请有意向的参赛队伍关注平台上的比赛列表。4 .评测规则.参赛选手需要提交“参赛队名，队长信息（姓名，邮箱，联系电话），参赛单位名称” 等信息，报名方

18、式稍后在评测网站发布。1 .报名截止到测试数据集发布，在测试数据集发布之后，未报名的选手八队伍不能再报 名或提交。2 .每支队伍需指定一名队长，队伍名称不超过15个字符，队伍成员不超过4人。3 .每名选手只能参加一支队伍，一旦发现某选手以注册多个账号的方式参加多支队伍, 将取消所有相关队伍的参赛资格。4 .允许使用开源代码或工具，但不允许使用任何未公开发布或需要授权的代码或工具。 允许使用外部数据，但该数据必须是公开的，并在提交最终结果时一并提交（如数 据过大，需提供下载地址）。5 .参赛选手最终需要提交可运行的代码和方法描述文档，若在排行榜上的结果无法复 现，将取消参赛资格。6 .欢迎国内外在校生及社会在职人士参加。比赛组织方成员不可参赛。7 .关于比赛的所有解释权归比赛组织方所有。5 .评测奖励第一名：10000第二名：8000第三名:6000技术创新奖：6000.组织者任务组织者：李洪宇（OPPO）荚济民（OPPO） 任务联系人:李洪宇:荚济民: