一种领域合成词的抽取方法.pdf

《一种领域合成词的抽取方法.pdf》由会员分享，可在线阅读，更多相关《一种领域合成词的抽取方法.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 12 卷第 6 期太赫兹科学与电子信息学报Vo1 12， No 6， 20142014 年 12 月Journal of Terahertz Science and Electronic InformationTechnologyDec文章编号： 2095-4980(2014)06-0870-05一种领域合成词的抽取方法刘剑1,2(1.中国科学院计算技术研究所，北京 100190 ；2.解放军外国语学院，河南洛阳 471003)摘要：构建领域本体的首要任务是获取领域相关的概念，这些概念很多是由常用词典库中没有收录的领域合成词组成，因此抽取领域合成词对于领域本体的构建至关重要。本文基于语言规

2、则和统计技术，提出一种结合改进互信息和语言模板的领域合成词抽取方法。首先利用改进的互信息算法抽取由多字词单位构成的高频次候选领域合成词，在此基础上，利用语言模板匹配抽取低频次候选领域合成词，最后由专家进行检验，得到领域合成词集。实验结果表明，该算法的领域合成词提取准确率达到88.22 %，适用于从大规模网页文本中自动高效地抽取领域合成词。关键词： 领域本体；互信息；语言模板；领域合成词10.11805/TKYDA201406.0870中图分类号 ： TN911.7 ； TP391.1文献标识码 ： Adoidoi：A method of domain compound words extrac

3、tionA method of domain compound words extractionLIU Jian(1.The Institute of Computing Technology，Chinese Academy of Sciences，Beijing 100190，China；2.PLA University of Foreign Languages，Luoyang Henan 471003，China)1,2Abstract：Abstract：The primary task of constructing domain ontology is to obtain the re

4、levant domain concepts.Many of these concepts are composed of domain compound words which are not included in the commondictionaries. So it is essential to extract domain compound words for the construction of domain ontology.Based on linguisticrules and statisticaltechniques,a hybrid extractionmeth

5、od combining the improvedmutual informationand languagetemplatesis proposed.Firstly,it extractshigh frequencycandidatedomain compound words formed by a multi -word units using improved mutual informationalgorithm.Onthis basis, it extracts low frequencycandidatedomain compound words by language templ

6、ates.Finally,domain compoundwords can be obtainedthroughexpertscheck. Experimentalresultsshow that thealgorithmachievesa precisionof 88.22 %, which indicatesthis techniqueis fit for automaticallyandeffectually extracting domain compound words from large corpora.Key words：Key words： domain ontology；m

7、utual information；language templates；domain compound words近年来，在大数据背景下将实验科学、理论科学与计算科学统一起来而形成的数据密集型科学范式(Data-Intensive Science Paradigm，亦称第四范式 )，注重采用语义本体技术对数据、信息和知识进行处理与管理，建立知识本体、知识图式和受控词表，从而将领域内知识结构化1。领域本体通过形式化描述领域内知识，使得领域内的概念、概念之间的关系直观呈现，并将其结构化地表示-出来，从而可以方便地获得和使用知识2 3。因此，领域本体构建的首要任务是获得与该领域相关的领域概念4。领

8、域概念主要由领域合成词构成，这些合成词很多没有收录在常用的领域词典中，而且很多时候以多字词组合的形式出现。在互联网的大数据背景下，特定领域新的概念层出不穷，在获取大量领域文本语料的基础上，迫切需要一种适应性较强的领域合成词抽取方法，以便快速、准确地抽取与领域相关的领域合成词。1现有工作目前国内外对于领域合成词抽取的方法主要有：语言模板法、统计分析法以及混合法5。其中语言模板法6收稿日期：2013-12-11；修回日期：2014-03-17基金项目：国家 973 计划资助项目(2012CB316303)；国家自然科学基金资助项目(60933005)第 6 期刘剑：一种领域合成词的抽取方法871也

9、称作语言规则法，该方法通过对领域概念的词法结构进行分析，获得领域概念的构词规则，然后依据这些规则构建抽取领域合成词的匹配语言模板。在领域文本语料的处理过程中，使用语言模板进行匹配，抽取符合模板要求的领域合成词。语言模板法抽取的合成词准确率高，能够抽取低频次的领域合成词，但是对语言本身和模板有很强的依赖性。统计分析法的基本思路是通过对大量领域文本领域的统计分析，找出领域合成词的使用规律，又可以细分为基于统计度量的方法7和基于机器学习的方法8。基于统计度量的方法核心思想认为词在领域内出现的频率代表了该词在领域内的相关程度，可以根据设定阈值对领域术语进行抽取。基于机器学习的方法根据某种机器学习算法对

10、训练语料学习生成模型，采用模型对测试语料进行术语抽取实验。统计分析法对语言本身没有很强的依赖性，对于低频次和多字词组合的领域合成词抽取效果很差。语言模板法或统计分析法各自有优势和不足，因此在实际抽取领域合成词时还可以将以上2种方法结合起来-使用9 11。混合法可以更加准确和高效地抽取领域合成词，本文提出的领域合成词抽取方法，就是将统计分析法和语言模板法相结合的混合抽取方法。2领域合成词的抽取本文提出一种结合改进互信息方法和语言模板法的混合抽取方法。该方法主要由2个抽取模块组成：一是统计分析法中的改进互信息法，主要针对高频次、多字词组合的领域合成词；二是语言模板法的模板匹配，主要针对低频次的领域

11、合成词。领域合成词的抽取过程如图1所示。extraction of domain compound wordswith delimiterimproved mutual information(statistical analysis)domaincorpusChinese wordsegmentationstringcollectiontemplate matching(language template)expertscorrectioncollection of domain(compound words)Fig.1 Extraction process of domain compou

12、nd words图 1 领域合成词的抽取流程该方法在中文分词的基础上，针对分词后的字符串集合，首先利用改进的互信息算法，计算多个相邻字符串之间的互信息，抽取出高频次候选领域合成词，在此基础上，对于低频次相邻字符串，利用语言模板进行模板匹配，抽取出低频次候选领域合成词，最后，领域专家进行校验，得到最终的领域合成词集。2.1 文本预处理本文研究非结构化网页文本数据的中文领域合成词抽取，抽取过程的第1步是中文文本的预处理工作。文本预处理主要包括分词、词性标注和分隔符切分等，为后续的合成词抽取做准备。1) 中文文本分词和词性标注不同于英语或其他语言，汉语的词和词之间没有明显的区分标记。因此，中文文本分

13、词是提取领域合成词的基础步骤和关键环节。 本文采用自主开发的机械分词系统对文本语料进行中文分词和词性标注，分词系统带有一个8万词左右的基础词典。另外，也可以将已有领域词典添加到基础词典中，以提高中文分词效果。2) 分隔符切割领域文本语料中通常含有一些与该领域不相关的高频词语，比如连词和副词：并且、不过、果然等等，还有符号、习惯用语、成语、时间等，这些词语和标点符号与领域知识无关，通过它们将文本切割成较小的字符串集，合成词抽取运算只需要计算那些被分隔符切割开的字符串集合，在一定程度上减少了合成词抽取的运算量，也有利于提高合成词抽取的准确性。本文通过将中文停用词、符号、习惯用语、成语等约2万个词条

14、作为分隔符放入分隔符表，在分词的同时将中文文本切割成小段的字符串集合，用于接下来的合成词抽取。2.2 抽取方法文本语料通过中文分词预处理，文本中由多个词语构成的领域合成词可能被切分为多个词，如“国际货币基872太赫兹科学与电子信息学报第 12 卷金组织”，被切成“国际”、 “货币”、 “基金”和“组织” 4个词。本文针对分词后的小段字符串集，首先利用改进的互信息算法，抽取高频次候选领域合成词，然后使用语言模板进行匹配，抽取低频次候选领域合成词。1) 基于改进互信息的计算在统计语言模型中，可以用互信息来量化2个字符串关联的紧密程度。如果一个字符串集是一个完整的合成词，那么这个合成词的各个组成成分

15、之间具有较高的关联系数，这个系数就是计算的互信息值。设字符串集S=t1,t2,ti，其中 S是被切割后的某一段字符串集，ti为字符串集 S中经过词典机械分词后的一个词串，用MIS表示S中各个词串之间的互信息值，互信息有多种计算表达式，本文采用简化的互信息计算表达式：f (t1t2ti)P(t1t2ti)f (t1t2ti)LMIS=(1)P(ti) P(t1t2ti)f(ti)f (ti) f (t1t2ti)f(t t t )iii1 2iLL式中：P()表示概率；f()表示频率；L为词串总数。MIS越大，则t1,t2,ti之间的关联程度越紧密，S越有可能是一个完整的合成词。对于给定的阈值r

16、，若MISr则可以将S作为候选合成词。实验表明，传统的互信息计算方法比较适合计算2-gram之间的紧密程度，对于大于2-gram的计算，上式计算结果并不好，因为多词组合的合成词，互信息计算值被其中某单个词的出现频率弱化掉了，因此需要适当地补偿多词术语的计算值。本文提出在原有MIS的计算基础上，增加补偿值Ni(i为S中的组合词个数)。改进后的多词组合的合成词互信息计算公式如下：MISf (t1t2ti)Ni(2)f (ti) f (t1t2ti)iNi是与组合词中词串个数有关的参数，在实验验证基础上，本文设置补偿值Ni=ilog2i。结果表明，增加补偿值的方法可以大幅度提高多词组合的中文领域合成

17、词的召回率。由于计算时使用词串的频次替代了概率，当字符串组合出现的频次很小时，计算的互信息值可能较大。为了解决这个问题，本文设置频次的阈值，如果字符串集出现的频次小于该阈值，则该字符串集不参与互信息计算，转为进行语言模板法的匹配。2)语言模板的构建领域文本语料中满足频次阈值要求的字符串集经过改进的互信息计算，剩下的低频次字符串集可以通过语言模板进行匹配，从而抽取低频次领域合成词。根据词性组合构建语言模板，在抽取合成词时，利用这些语言模板对字符串集中的相邻词串进行规则匹配，抽取满足模板要求的候选领域合成词。比如n+表示多个名词的连接组合，an+表示形容词与多个名词的连接组合。2.3抽取算法领域合

18、成词抽取算法的主要思想是通过给定的频次阈值，首先计算满足阈值的字符串集中词串组合之间的互信息，判定高频词串组合是否是候选合成词，在此基础上，通过语言模板的匹配规则，判定低频词串组合是否是候选合成词，最后由专家对候选领域合成词集进行校验。抽取领域合成词算法描述如下。输入：预处理后的领域文本语料集CorpD1,D2,Dn，Dn是单篇预处理后的文本，被分隔符切割成若干个字符串集Dn=S1/S2/S3/Sj，其中Sj=t1,t2,ti是任意一个字符串集，由分词后的若干个带词性标注的词语组成。互信息阈值r，最低词频f；输出：中文候选领域合成词集合CC；Step1：任取Corp中文档Dn，Corp=Cor

19、p-Dn，若Corp为空，转至Step3；Step2：Dn=S1/S2/S3/Sj，将Di中组成Sj的词串集按照2-gram, 3-gram, 4-gram, 5-gram进行组合，组合结果与临时词串组合列表CClist中的值进行比较，如果该组合已经存在，则组合频次加1，否则将该组合存入CClist，同时组合频次记为1，转至Step1；Step3：取临时词串组合列表CClist中的任一组合terms，如果CClist为空，转至Step6，CClist=CClist-terms，若其频次大于f，转至Step4，否则，转至Step5；Step4：计算terms的互信息MIterms，若MIterm

20、sr，terms是候选合成词，加入候选合成词集合CC=CCterms，转到Step3，否则丢弃terms，不计算其互信息值，直接转到Step3；Step5：将词串组合terms与语言模板进行匹配，若匹配上，terms是候选合成词，加入候选合成词集合CC=CCterms，跳转到Step3，若匹配不上，直接跳转到Step3；第 6 期刘剑：一种领域合成词的抽取方法873Step6：输出候选术语集合CC，结束。2.4抽取的实验结果为验证本文方法对领域合成词抽取的实际效果，本文对单纯基于互信息、语言模板的方法和混合方法进行了实验对比。实验选用互联网上采集的关于金砖峰会的400篇新闻报道语料作为领域文档

21、集输入，最低词频f设为5。实验结果如表1所示，表明传统的统计方法或者语表 1 实验结果言规则方法，抽取合成词的准确率在70%85%之间，Table1 Experimental result本文提出的改进互信息与语言模板相结合的方法在准experimental methodsprecisionrecallf-valuelanguage template0.8310.6530.731确率和召回率方面都有较大提升，具有很好的实用性，mutual information0.7550.7680.761能够弥补单纯统计方法或语言学方法抽取领域合成词proposed method0.8820.9210.90

22、1的不足，特别是对于多词组合领域合成词的抽取效果较好。3结论快速而准确地识别领域合成词是文本信息处理的一项基础性工作。本文提出一种基于改进互信息方法与语言模板法相结合的领域合成词抽取方法，该方法克服了传统统计方法对领域训练语料的依赖以及难以抽取多词组合领域合成词的不足，结合语言模板法对于低频领域合成词抽取的优势，可以快速、准确地抽取多词组合的领域合成词，为文本信息的深度处理奠定了一定的基础。参考文献： 1 Tony Hey,StewartTansley,KristinTolle. The forth paradigm:data -intensivescientificdiscoveryM.Re

23、dmond:MicrosoftResearch, 2009:11-22. 2 Stuber B,Benjamins V R,Fensel D. Knowledge engineering,principles and methodsJ. Data and Knowledge Engineering,1998,25(1 2):161 197. 3 王英伦 ,李磊民,黄玉清,等.基于本体的认 知无线 电知识 表示与 推理J.太赫 兹科学 与电子 信息学 报, 2010,6(8):747751. (WANG Ying-lun,LI Lei-min,HUANG Yu-qing,et al. Ontol

24、ogy -based knowledge representationand reasoningfor cognitive radioJ. Journal of Terahertz Science and Electronic Information Technology, 2010,6(8):747751.) 4 Guarino N. Semantic matching:formalontologicaldistinctionsfor informationorganization,extraction,andintegrationJ.Lecture Notes in Computer Sc

25、ience, 1997,1299:139170. 5 季培培,鄢小燕,岑咏华.面向领域中文文本信息处理的术语识别与抽取研究综述J.图书情报工作,2010,16(54):124129. (JI Pei-pei,YAN Xiao-yan,CEN Yong-hua. A survey of term recognitionand extractionfor domain -specificChinese text information processingJ. Library and Information Service, 2010,16(54):124129.) 6 Shamsfard M,B

26、arforoush A A. Learning ontologies from natural language textsJ. Intl Journal Human -Computer Studies,2004,60(1):1763. 7 刘兴林,郑启伦,马千里.中文合成词识别及分词修正J.计算机应用研究,2011,8(54):2905 2908. (LIU Xing-lin,ZHENG Qi-lun,MA Qian-li. Chinesecompound -word recognitionand word segmentationmodificationJ.ApplicationResea

27、rch of Computers, 2011,8(54):29052908.) 8 陈飞,刘弈群,魏超,等.基于条件随机场的开放领域新词发现J.软件学报,2013,24(5):1051 1060. (CHEN Fei,LIUYi-qun,WEI Chao,et al. Open domain new word detectionusing conditionrandom field methodJ.Journal of Software,2013,24(5):1051 1060.) 9 Andreas H,SchutterB,HellendoornH. Model predictivecont

28、rol for optimal coordinationof ramp metering and variablespeed limitsJ. Transportation Research Part C: Emerging Technologies, 2005,13(3):185-209.10贾自艳,史忠植.基于概 率统计技 术和规则方法 的新词发现 J. 计算机工程,2004,30(20):19 21. (JIA Zi-yan,SHIZhong -zhi. Probabilistictechniquesand rule methods for new word discoveryJ.Com

29、puter Engineering,2004,30(20):1921.)11周蕾,朱 巧明. 基于统 计和 规则的未登录词 识别方法研究J. 计算机工程, 2007,33(8):196 198. (ZHOULei,ZHUQiao-ming. Research on recognitionmethod of unknown Chinese words based on statisticand regulationJ.ComputerEngineering, 2007,33(8):196198.)(下转第878页)878太赫兹科学与电子信息学报第 12 卷 2 张冰尘,戴博伟.一种基于随机滤波的

30、神经动作电位信号压缩感知采样方法J.电子与信息学报,2013,35(9):2283-2286. (ZHANG Bing-chen,DAI Bo-wei. Compressed sampling for neural action potentials based on random convolutionJ.Journal of Electronics & Information Technology, 2013,35(9):2283-2286.) 3 Christoph Buulach,UlrichBihr,MauritsOrtmanns. Evaluation study of compr

31、essed sensing for neural spike recordingC/34th Annual International Conference of the IEEE EMBS. San Diego,California,USA:IEEE, 2012:3507-3511. 4 Quiroga R Q,NadasdyZ,Ben -Shaul Y. Unsupervisedspike detectionand sorting with waveletsand superparamagneticclusteringJ. Neural Computation, 2004,16(8):16

32、61-1687. 5 Baraniuk R G. A lecture on compressive samplingJ. IEEE Signal Processing Magazine, 2007,24(4):118-121. 6 Charbiwala Z,Karkare V,Gibson S,et al. Compressive sensing of neural action potentials using a learned union of supportsC/Proceedings of 2011 International Conference on Body Sensor Ne

33、tworks. Dallas,Texas,USA:IEEE, 2011:5358. 7 Chen Fred,Anantha,Chandrakassan P. A signal-agnostic compressed sensing acquisition system for wireless and implantablesensorsC/ IEEE Custom Integrated Circuits Conference(CICC). San Jose,CA:IEEE, 2010:1-4.作者简介：张玉玺(1985 -)，河南省驻马店市人，博士，讲师，主要从事雷达信号处理等相关方面研究. .email: . .樊文贵 (1989 -)，男，内蒙古自治区呼和浩特市人，在读硕士研究生，主要从事信号与信息处理等方面研究 . .王俊(1972 -)，男，陕西省渭南市人，博士生导师，教授，研究领域包括实时信号处理结构域实现、 FPGA 嵌入式系统、雷达信号处理、目标跟踪与识别等. .(上接第873页)作者简介：刘剑(1979-)，男，安徽省桐城市人，博士，讲师，主要研究方向为自然语言处理、数据挖掘、知识工程等 . .email:liujian_. .