现代汉语词义标注语料库的研究与开发.ppt

《现代汉语词义标注语料库的研究与开发.ppt》由会员分享，可在线阅读，更多相关《现代汉语词义标注语料库的研究与开发.ppt（19页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、现代汉语词义标注语料库现代汉语词义标注语料库的研究与开发的研究与开发 吴云芳北京大学计算语言学研究所2005-08-15报告提纲报告提纲q 目标q 总体思路q 辅助软件q 成果展示q 难点分析目标目标建成建成23个具有国际先进水平（或规模最大）的数据资个具有国际先进水平（或规模最大）的数据资源库并制定相应的规范或标准。源库并制定相应的规范或标准。973项目“数字内容理解的理论与方法”预期目标之一我们的目标：建设成为规模最大、质量上乘的具有国际建设成为规模最大、质量上乘的具有国际先进水平的现代汉语词义标注语料库。先进水平的现代汉语词义标注语料库。具体运用意义：是词义自动消歧（是词义自动消歧（WS

2、D）的数据基础的数据基础,进而提升信息检索、机器翻译等系统的应用水平。是现进而提升信息检索、机器翻译等系统的应用水平。是现代汉语词汇语义研究的资源库。代汉语词汇语义研究的资源库。总体思路总体思路粗粒度到细粒度的两步走策略粗粒度到细粒度的两步走策略1.粗粒度标注基于现代汉语语法信息词典中的“同形”信息填补现代汉语语法信息词典和语料库的缝隙2.细粒度标注在“同形”基础上进行更适应于语言信息处理的义项区分 现代汉语语义词典（含现代汉语语义词典（含6 6万实词万实词）现代汉语语法信息词典现代汉语语法信息词典的扩充，面向机器翻译。的扩充，面向机器翻译。动词库部分信息样例动词库部分信息样例（增加了增加了“

3、义项义项”等字段等字段）词词语语词词类类同同形形义义项项语义语义类类释义释义英译英译配配价价主主体体客客体体与与事事冲冲v vA A1 1创造创造冲茶冲茶make(tea)2 2人人固固饮饮冲冲v vA A2 2促变促变冲胶卷冲胶卷develop(a film)2 2人人材材料料冲冲v vA A3 3促变促变冲盘子冲盘子rinse(a plate)2 2人人器器皿皿冲冲v vB B位移位移冲锋冲锋charge1 1动动物物总体思路总体思路语义词典和词义标注语料的互动构建语义词典和词义标注语料的互动构建语义词典语义词典词义标注语料库词义标注语料库词语多义区分词语多义区分词义自动消歧词义自动消歧1

4、.词语义项的区分词语义项的区分 一个词可以分割为几个义项？一个词可以分割为几个义项？2.真实文本中词语义项的确定真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义在一定上下文中这个词语表示什么意义？总体思路总体思路语义词典和词义标注语料的互动构建语义词典和词义标注语料的互动构建 语义词典语义词典词义标注语料词义标注语料词义标注词义标注义项区分义项区分面向大规模真实文本的面向大规模真实文本的词语义项标注规范词语义项标注规范一方面依据语义词典中的义项信息对语料中的多义词进行词义标注，一方面依据词语在语料中的句法表现（syntactic behavior）对词典中的义项区分作出调整，词典和

5、语料形成一个互动良性的发展。总体思路总体思路词义标注语料的滚雪球似增长词义标注语料的滚雪球似增长 基本标注语料基本标注语料（词语切分、（词语切分、词性标注）词性标注）人工词义标注人工词义标注小规模小规模词义标注语料库词义标注语料库机器学习机器学习词义自动消歧词义自动消歧人工校对人工校对大规模大规模词义标注语料库词义标注语料库词义标注校对辅助软件词义标注校对辅助软件体现了总体思路，提高了工作效率。成果展示成果展示词义标注语料库词义标注语料库从从/p /p 科学科学/a /a 的的/u /u 苍穹苍穹/n /n 上上shang5/f!B$shang5/f!B$，/wd /wd 采采/v /v 来来

6、/v!4-4/v!4-4 日辉日辉/n /n 、/w /w 月华月华/n /n 、/w /w 星星/n /n 芒芒/Ng /Ng ，/wd /wd 每天每天/r /r 为为wei4/p!B1$wei4/p!B1$我我/r /r 的的/u /u 祖国祖国/n /n ，/wd /wd 深情深情/d /d 献献/v /v 一一/m /m 掬掬/q /q 科技科技/n /n 之之/u /u 光光/n /n 。/wj wj ”/w /w 这这/r /r 是是/v!B1$/v!B1$大家大家/r /r 的的/u /u 座右座右铭铭/n /n 。/wj wj 有人有人/r /r 对对/p /p /wkz w

7、kz 科技科技/n /n 之之/u /u 光光/n /n /w /w 做做/v!2$/v!2$过过/u /u 这样这样/r /r 的的/u /u 评价评价/v /v ：/w /w “/w /w 长城长城/n!0-2/n!0-2 上上shang5/f!B$shang5/f!B$的的/u /u 每每/r /r 一一/m /m 块块/q!1$/q!1$砖砖/n /n 拆拆/v /v 下来下来/v /v 单独单独/d /d 看看kan4/v!B2-1kan4/v!B2-1 ，/wd /wd 是是/v!B1$/v!B1$普通普通/a /a 甚至甚至/c /c 粗糙粗糙/a /a 的的/u /u ，/w

8、/w 但但/c /c 垒垒/v /v 在在/p /p 一起一起/s /s 却却/d /d 变变/v!1$/v!1$得得/u /u 蔚为蔚为/v /v 壮观壮观/a /a ，/w /w 令令/v /v 人人/n /n 惊叹惊叹/v /v 。/w /w ”/w /w 今天今天/t /t /w /w 科技科技/n /n 之之/u /u 光光/n /n /w /w 已经已经/d /d 成成/v /v 了了/u /u 在在/p /p 国内外国内外/s /s 有有/v!1/v!1$一定一定/b /b 知名度知名度/n /n 的的/u/u 电视电视/n /n 品牌品牌/n /n 。/w/w成果汇总成果汇总在

9、在人民日报人民日报基本标注语料的基础上：基本标注语料的基础上：1.完成了完成了 270 万语料的同形标注；万语料的同形标注；2.完成了完成了 46 个动词的义项区分，个动词的义项区分，并标注并标注 8639 义项；义项；3.完成了完成了 150 个名词的义项区分，个名词的义项区分，并标注并标注 6000 多义项；多义项；4.正在进行形容词义项区分和标注。正在进行形容词义项区分和标注。难点分析难点分析语义词典语义词典词义标注语料库词义标注语料库词语多义区分词语多义区分词义自动消歧词义自动消歧1.词语义项的区分词语义项的区分 一个词可以分割为几个义项？一个词可以分割为几个义项？2.真实文本中词语义

10、项的确定真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义在一定上下文中这个词语表示什么意义？面向大规模面向大规模真实文本的真实文本的语言处理语言处理难点分析难点分析示例示例【电话电话】利用电流使两地的人互相交谈的装置利用电流使两地的人互相交谈的装置 （现汉现汉）用电话装置传递的话用电话装置传递的话 a.24/m 小时小时/n 值班值班/v 守守/v 电话电话/n？b.公布公布/v 3/m 部部/q 征求征求/v 意见意见/n 电话电话/n？a.If 电话，Then 守守+电话电话 不符合语用。b.If 电话，Then 守守+电话电话 Fail.c.b.If 电话，Then 公布公布

11、+电话电话 Fail.d.If 电话，Then 3部部+电话电话 Fail.难点分析难点分析示例示例关于词语意义的一点认识：内容和载体是一个事物不可内容和载体是一个事物不可 分割的两方面意义，存在着句法结构混合运用的情形，分割的两方面意义，存在着句法结构混合运用的情形，即可能存在着意义和结构搭配错位的情形。即可能存在着意义和结构搭配错位的情形。扩展法消歧：a.24小时值班守电话小时值班守电话 结果电话丢了。结果电话丢了。（?）结果一个电话也没人打来。结果一个电话也没人打来。!b.公布公布3部征求意见电话部征求意见电话 欢迎随时安装。欢迎随时安装。（*）欢迎随时拨打。欢迎随时拨打。!难点之解决难点之解决系列文章：系列文章：信息处理用词语义项区分的原则和方法信息处理用词语义项区分的原则和方法 信息处理用动词义项的区分信息处理用动词义项的区分v 信息处理用名词义项的区分信息处理用名词义项的区分q 信息处理用形容词义项的区分信息处理用形容词义项的区分q 信息处理用虚词义项的区分信息处理用虚词义项的区分请您批评，谢谢！请您批评，谢谢！