2022年多特征融合的相似度计算 .pdf

《2022年多特征融合的相似度计算 .pdf》由会员分享，可在线阅读，更多相关《2022年多特征融合的相似度计算 .pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于多特征融合的句子相似度计算1赵妍妍1,2秦兵1,2刘挺1,2张俐2,3苏中2,3（1哈尔滨工业大学计算机学院信息检索研究室哈尔滨 150001；2哈尔滨工业大学-IBM 中国研究实验室哈尔滨 150001；3 IBM 中国研究中心北京 100085）摘要：句子相似度计算在中文自然语言处理领域有着非常广泛的应用背景。本文通过对句子的深入分析，在分别对基于句子的词特征，词义特征以及句法特征的句子相似度计算的基础上，提出一种基于多特征融合的句子相似度的计算方法。该方法通过对不同的特征加不同的权值来调节各个特征对相似度计算的贡献，从而使计算结果达到最优。该方法与其他方法相比，描述句子的信息更加全面

2、，从而使句子相似度计算更加准确。关键词：句子相似度计算；多特征融合；权值Sentence Similarity Computing Based on Multi-Features Combination Yanyan Zhao1,2 Bing Qin1,2 Ting Liu1,2 Li Zhang2,3 Zhong Su2,3(1.Information Retrieval Laboratory School of Computer Science and Technology Harbin Institute of Technology Harbin 150001;2.Harbin Inst

3、itute of Technology IBM China Research Laboratory Harbin 150001;3.IBM China Research Lab Beijing 100085)Abstract:Sentence similarity computing has been widely used in the field of natural language processing.Through the in-depth analysis of sentence and the sentence similarity computing method based

4、 on the keywords feature,the semantic feature and the syntactic feature,we propose a new method based on the multi-features combination.Using the weight to describe the contribution of each feature of the sentence,then we can get a better experiment result.Comparing to other sentence similarity comp

5、uting methods,our method can fully describe the features of the sentence,and then we can get the more accurate result.KeyWords:sentence similarity computing;multi-features combination;weight 1基金资助：本文得到国家自然科学基金重点项目（60435020）资助。作者简介：赵妍妍（1983），女，本科四年级学生，研究方向为多文档自动文摘。秦兵（1968），女，副教授，硕士生导师。刘挺（1972），男，教授，硕

6、士生导师。名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 8 页 -0 引言在自然语言处理研究领域，句子相似度计算是一项应用非常广泛的技术，并且发挥着重要的作用。例如：在信息检索中通过句子相似度计算找到与用户需求相似的句子；在基于实例机器翻译中通过句子相似度计算匹配相似的句子，得到需要的译文；在问答系统中通过句子相似度计算找到与问题相匹配的答案；在自动文摘系统中通过句子相似度计算去处冗余信息，抽取文摘句等等。随着这些领域的迅速发展，句子相似度的计算也诞生了许多方法。不同方法很大程度上依赖于汉语句子的不同表示形式1。目前研究句子相似度的方法有基于关键词的方法，使用语义词典的方法2,

7、3，使用语义依存的方法4,11，计算编辑距离的方法5,6，基于语境框架的方法7，基于属性论的方法8以及基于统计的方法9等等。但归结起来可概括为三类方法：基于词特征的句子相似度计算，基于词义特征的句子相似度计算以及基于句法分析特征的句子相似度计算。同时，这三类方法也反映出了句子的三个重要特征：词特征、词义特征、以及句法特征。但是，这三类方法也都存在着自身的缺点，比如：基于词特征的方法没有考虑词的深层含义；词义特征的方法由于词典的不全面和一些未登录词的语义代码的缺失，也给计算带来了一定的误差；而句法分析的方法由于没有考虑全面所有的句法特征而带来了一些误差，因此我们考虑到将其特征信息进行融合，可以扬

8、长避短，更加全面、准确地衡量句子之间的相似度。本文提出的多特征融合的方法进行句子相似度计算，使这三种特征在表达句子信息时各有侧重，互为补充，取得了较好的实验结果。本文的第一部分分析并提出句子的描述模型，第二部分具体介绍基于各个特征的相似度计算方法，第三部分提出多特征融合的具体算法思想，第四部分给出评价方法和测试结果，第五部分给出结论。1 句子的描述模型完整的表达一个句子的信息，不但依赖于组成句子的词汇的信息，而且还包含词汇之间的关系。本论文将从句子结构信息和组成句子的词汇信息进行研究，力求将句子的内部信息尽可能准确的刻画出来，以便更精确的进行句子相似度计算。一个对象可以从线性，平面和立体三个角

9、度来描述，对应于空间描述即为一维，二维，三维。当然维数越高，对象的描述信息越全面准确。如果按照词序列表示句子，是一维线性空间；如果句子中的每个向量按照义元来表达，相当于二维空间；如果再加上句法分析的过程，就已不是单纯看物理位置，而是从空间位置考虑，相当于三维空间。三种形式相比较，从三维的角度描述句子类似于全息照片，可以使句子包含的信息更准确，更全面的表示出来。如图 1 所示：Y（词义信息特征）句子Z（句法信息特征）X(词特征)名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 8 页 -其中，X 轴表示词序列，Y 轴表示每个词的词义信息（即用有限的义元表示每个词的深层信息），Z 轴表

10、示每个词句法上的依存关系。2 基于句子不同特征的相似度计算通过对句子的深入分析，本文将句子的特征概括为三个侧面：词特征向量、词义特征信息和句法特征信息。下面我们分别对基于这三个特征的句子相似度的计算方法进行具体描述。2.1 基于关键词特征的句子相似度计算基于关键词特征的句子相似度计算，就是通过利用两个句子中所有有效词(去掉停用词)来构成向量空间，然后计算两个句子的向量，利用这两个向量夹角的余弦值作为句子相似度。任给两个句子S1和 S2，它们的所有有效词构成的向量空间为V=X1,X2,X3,Xn，其中Xi为有效词。句子S1的向量 V1=1,2,3,，n,其中 i为有效词Xi在句子 S1中出现的次

11、数。句子S2的向量 V2=1,2,3,n,其中 i为有效词Xi在句子 S2中出现的次数。则两个句子的相似度为：=?=?=?=niiniiniiiVVSSSimilarity1212121)2,1(?10（1）这种方法只是简单的利用了词表面信息，对于一些内容相关性较小的语料效果较好。但是这种方法没有考虑词本身的词义信息以及句子的句法信息。比如：“我爱吃土豆”和“我喜欢吃马铃薯”，就不能被识别为相同的句义，因此具有一定的局限性。2.2 基于词义距离的句子相似度计算基于词义距离的句子相似度计算，需要一定的词义知识资源作为基础。本文采用了哈尔滨工业大学信息检索实验室的同义词词林扩展版作为系统的词义知识

12、资源。计算句子之间的词义相似度，要确定句子中的词在这个句子中所表达的词义。本文中把词义距离定义为两个词对应的义元在义元树中的最短距离。因此首先采用了词义消歧，然后进行词义距离的计算。具体方法如下：设 2 个句子 A 和 B，A 包含的词为1A、2A、mA，B包含的词为1B、2B、nB，则词()miAi1和()njBj1之间的相似度可用()jiBAs,来表示，这样就得到两个句子中任意 2 个词的相似度，A，B 句子之间的语义相似度),(BAs为 图 1 句子的全信息分析图名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 8 页 -=),(BAs2/)(11nbmaniimii=+（2

13、）式中：),(),.,(),(max(21niiiiBAsBAsBAsa=),(),.,(),(max(21niiiiABsABsABsb=在相似度计算时，该种方法充分考虑了句子中每个词的深层信息，使表面不同，深层意义相同的词被挖掘出来。例如：在问答系统中，对问题“西红柿是什么颜色的？”的答案查找过程中，有一个句子为“番茄是红色的。”，就可以根据词义信息匹配上，而基于关键词特征的相似度计算就不可识别。但由于词典的不全面和一些未登录词的词义代码的缺失，也给计算带来了一定的误差。2.3 基于依存对的句子相似度计算一个完整的汉语句子是由句子的主干成分和修饰成分所构成，而人们往往从主干成分就可以了解一

14、个句子的大概意思，所以我们在利用依存结构进行相似度计算时，只考虑那些有效搭配对之间的相似程度。所谓有效搭配对是指全句核心词和直接依存于它的有效词组成的搭配对，这里有效词定义为动词、名词以及形容词，它是由分词后的词性标注决定的。全句核心词即为依存树的根结点。例如以下两个句子间的比较：例句 1 事发后，伤员被及时送往就近医院救治。例句 2 晚上 7 时左右，所有伤员被送到了医院。从上图可以看出，图 2 和图 3 中标记为斜体的词就可以代表各自句子的主要意思，所以句子 1 的有效搭配对为：送往 _伤员、送往 _医院、送往 _救治。句子2 的有效搭配对为：送到_伤员、送到 _医院。我们只要比较它们之间

15、的相似程度即可，计算方法如下：，21MaxSen2)SIM(Sen1,1PairCountPairCountWini=11（3）图 3 例句 2 的依存树送到伤员医院左右时7 被所有了晚上被图 2 例句 1 的依存树送往伤员医院后发事及时救治就近名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 8 页 -其中，=niWi1为句子 1 和句子 2 有效搭配对匹配的总权重，PairCount1 为句子 1 的有效搭配对数，PairCount2 为句子 2 的有效搭配对数。这样一来算法的复杂度就大大降低，而准确率也会得到一定程度的提高。这种方法从句法深度进行考虑，考虑到了词与词之间的依存

16、关系，对句子的理解更加充分，从而更准确的得到句子相似度的值。但是，现有的句法分析技术还不够成熟，还无法将所有的句法信息特征全部考虑进来，所以就产生了一定的误差。3 多特征融合的相似度计算由第二部分的分析可知：基于关键词特征的方法体现了句子表面的信息；基于词义距离的相似度方法体现了组成句子的每个词深层的语义信息；而基于句法的相似度计算方法体现了词与词之间的依存关系。我们的目标是，将句子的关键词特征、词义特征，句法特征组合起来，扬长避短，互为补充，共同描述一个句子，从而根据这些特征计算句子和句子之间的相似度，获得较高的准确率。这里就涉及到如何确定这些特征的权重问题，在自然语言处理中，许多问题根据经

17、验值来确定，但我们这里将根据问题建立数学模型，引入遗传算法进行简单的求解，从而使目标函数在一定范围内达到最优。通过以上论述，我们从三个侧面对句子所包含的信息进行刻画，即：词特征（KW），词义特征（SE），句法特征（SY），并将这些特征融合起来进行句子相似度的计算，从而得到一个较准确的相似度计算方法。如图4 所示：图 4 句子多特征融合示意图本文提出的相似度计算公式如下：其中：Sim1 表示 S1，S2两个句子基于词特征KW 的相似度值，Sim2 表示 S1，S2两个句子基于词义特征SE的相似度值，Sim3表示 S1，S2两个句子基于句法特征SY的相似度值。我们的目标函数是寻找一组可能的参数组合

18、a,b,c，使相似度的计算更加准确，继而在随后的相似度计算评价函数中，准确率和召回率的综合指标F 值达到最大。为了准确的求出各个特征的权重，我们引入了遗传算法，通过对句子相似度计算公式中的参数优化获得在一定范围（或一定精度下）参数的最佳组合。具体方法为首先限定a、b、c 三个参数的取值范围为（0，1），根据经验取适当的代数，经过迭代选优，找出参数的最佳组合。采用遗传算法求权重，避免了通过经验值确定参数的不可靠性以及主观性，通过数学模型的描述和求解以及训练数据使参数组合（a、b、c）自适应调整达到最优。实验结果证明，该种求权重的方法使得我们的结果达到了最优。Sim(S1,S2)=a*Sim1+b

19、*Sim2+c*Sim3（4）句法特征 SY 词特征 KW 词义特征 SE 基于加权法的特征融合Sim(S1,S2)=a*Sim1+b*Sim2+c*Sim3 名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 8 页 -4 评价方法与实验结果对比分析本文评价语料有两部分组成：标准训练集和测试集。标准训练集是由多文档集合中的文本进行人工聚类后的标准类。测试集合中的语料有两种：同一个文档集合中不同类别的句子作为噪音句；不同文档集合中不同领域的句子作为噪音句。我们经过筛选，选出 7 组经过人工聚类的文档，共63 个类别、276 个句子，每个类中有3 到 5 个句子不等。也就是说，在这 2

20、76 个句子中，每个句子都存在2 到 4 个相似的句子。在本文中我们使用了其中的一组人工聚类结果共13 作为训练集，并分别使用了以上所述的两种测试语料，语料一：相关领域50 类 220 句；语料二：非相关领域50 类 224 句，外加 100 句非领域噪音句。我们的评价方法具体如下：(1)拿出训练集中的任意一类，抽出任意一句作为基句，把该类中剩余的句子，记为N句，和噪音句混杂在一起作为该基句的噪音句，记噪音句的数量为。(2)按照本文的相似度计算方法，计算基句与各噪音句相似度值，并按照顺序对噪音句进行排序，记录相似度最大的前个，判断其中正确的个数即与基句属于同一类的句子个数 CorrectSen

21、，计算召回率R。(3)同时我们还可以考察另一个指标，如果将该类中的句子全部找回，需要包含多少噪声句，计为 Sen，作为准确率或者称为查准率P。(4)评价函数公式：)(2iiiiiRPRPAvgAvgFF+=（5）其中，i 100%CorrectSenRNiP100%SenN在评价函数中，我们利用公式（4）中各特征的权重（a、b、c）来调节综合指标F 的大小。在本文中，我们用遗传算法针对标准训练集求各特征的权重，分别为：a=0.699378 b=0.397034 c=0.961774，并进行对比实验。下面我们分别用基于词特征的方法，基于词义特征的方法，基于句法特征的方法，以及多特征融合的方法做了

22、试验，并把试验结果作了对比。实验结果如下：表 1 句子相似度计算方法对比（相关领域，50 类 220 句）（参数分别为a=0.699378 b=0.397034 c=0.961774）方法 精确率（Avg）召回率（Avg）F 值（Avg）关键词 0.5595180.631088 0.552357 词义 0.569948 0.623676 0.560038 句法 0.519328 0.535012 0.478318 特征融合 0.5896890.65806 0.585333 名师资料总结-精品资料欢迎下载-名师精心整理-第 6 页，共 8 页 -表 2 句子相似度计算方法对比（非相关领域，50

23、类 224 句，外加 100 句非领域噪音句）（参数分别为a=0.699378 b=0.397034 c=0.961774）方法 精确率 召回率 F值 关键词 0.9293720.9630.939821词义 0.8450750.8870.855507句法 0.7260270.7626670.719726特征融合 0.935858 0.959667 0.94197 通过以上两组数据的对比，我们看到多特征融合的方法取得了较好的实验效果，并可以得到以下结论：1、通过分析语料对比这三种方法，我们发现，在相关领域，词义特征起到了很大的作用（见表），因为在相同的主题下，同义词出现的较多，基于词义特征的方法

24、正好可以解决这种问题。而在非相关领域，关键词计算相似度的方法是最好的（见表2），一方面，本身同义词的出现概率不高，另一方面，不相关领域歧义情况出现的较少，并且有时由于分类较粗，会将不同词义的句子视为相似，带来误差。因此，针对不同性质的语料，对于各种特征各有不同侧重，这就要求我们把这些特征融合起来，在实际运用时通过调整权重来处理更为广泛的语料。2、第一组参数（a、b、c）是通过遗传算法对一组同一主题领域训练的，将其直接应用于其它同主题领域（测试语料一），取得了较好的结果（见表），特征融合F 值比词义F值（相比最好的相似度计算方法）提高了近3 个百分点，说明该方法训练的参数对同主题开放域的测试都是

25、适合的，也说明，在同主题开放域内，特征的分布情况是非常相似的。3、将第一组参数直接应用于第二组测试语料（非相关领域），运算结果虽有一定的改进（表中使用测试语料的参数值从 0.939821 提高到0.94197），但不一定得到最好的结果。如果我们单独对第二组语料进行参数训练，得到第二组参数（0.907015，0.442133，0.0283549），则返回的F 值为 0.959617，将比使用第一组参数再提高2 个百分点。这说明，针对不同性质噪音的语料，要想得到最优的结果，遗传算法的参数需重新训练，因为，此时各特征对句子相似度的贡献发生了变化，各特征的分布情况自然也应发生改变。4、此外，目前的依存

26、分析中我们只利用了依存对之间的关系，在该方法成熟之后，可以利用更多的信息。例如：依存对的关系信息，依存关系的多元组等等。5 结论本文讨论了一种基于句子多特征融合的句子相似度计算方法。由于不同特征对句子相似度的贡献不同，因此该方法对句子各特征：词特征（KW），词义特征（SE），句法特征（SY）加不同的权值，从而使相似度计算达到最优。其中权值是针对不同的语料通过遗传算法进行迭代求解的。实验结果证明，基于多特征融合的句子相似度方法使运算结果达到最优。由上可知，我们的实验取得了较好的效果，但是由于一些方法是建立在句法分析等一系列不太成熟的技术之上的，所以也为我们的相似度计算引入了一些误差，随着这些技术

27、的不断改进，我们将对其进行更深入的研究。名师资料总结-精品资料欢迎下载-名师精心整理-第 7 页，共 8 页 -参考文献1 K.Chidananda Gowda and E.Diday.Symbolic Clustering Using a New Similarity Measure J.IEEE Transactions on Systems,Man,and Cybernetic,1992,22(2).2 秦兵,刘挺等.哈尔滨工业大学学报.2003,35(10):1179.3 Li S,Zhang J,et al.Journal of Computer Science and Tech 2

28、nology,2002,17(6):9334 穗志方,俞士汶.基于骨架依存树的语句相似度计算模型C1.中文信息处理国际会议.(ICCIP 98),19981.5 车万翔等.基于改进编辑距离的中文相似句子检索.高技术通讯.2004年 7月.6Ristad E S,Yianilos P N.IEEE PAMI,1998,20(5):5227 晋耀红等.基于语境框架的文本相似度计算.算机工程与应用.2004年16期.8 潘谦红,史忠植等.基于属性论的文本相似度计算J.计算机学报.1999；22(6).9 Chatterjee N.A Statistical approach for similarity measurement between sentences for EBMT.1999 10秦兵,刘挺等.基于常问问题集的中文问答系统研究.哈尔滨工业大学学报.2003年10月 第10期.11 李彬等.基于语义依存的汉语句子相似度计算.计算机应用研究.2003年第 12期.名师资料总结-精品资料欢迎下载-名师精心整理-第 8 页，共 8 页 -