统计机器翻译综述_刘群.pdf

《统计机器翻译综述_刘群.pdf》由会员分享，可在线阅读，更多相关《统计机器翻译综述_刘群.pdf（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、中 文 信 息 学 报第 17 卷 第 4 期 JOURNAL OF CHINESE INFORMATION PROCESSINGVol117 No14文章编号:1003-0077-(2003)04-0001-12统计机器翻译综述刘 群(北京大学 计算语言学研究所,北京 100871;中国科学院 计算技术研究所,北京 100080)摘要:本文综述了基于信源信道思想和基于最大熵思想的统计机器翻译方法并介绍了统计机器翻译的评测方法。基于信源信道的方法将翻译概率表示为一个语言模型和一个翻译模型。而基于最大熵的方法则是利用一系列实数值特征函数的线性组合来求解最优的译文。基于最大熵的统计机器翻译方法比基

2、于信源信道的方法更具有一般性,后者可以看做前者的一个特例。关键词:人工智能;机器翻译;综述;统计机器翻译;信源信道模型;最大熵方法中图分类号:TP391.2 文献标识码:ASurvey on Statistical Machine TranslationLIU Qun(Institute of Computational Linguistics,Peking University,Beijing 100871,China;Institute of Computing T echnology,Chinese Academy of Sciences,Beijing 100080,China)Abs

3、tract:The paper gives a survey on three approaches of statistical machine translation and the evaluation methodsused in SMT.The basic idea of parallel grammar based approach is to build parallel grammars for source and targetlanguages,which conform the same probabilistic distribution.In the source-c

4、hannel approach,the translation proba-bility is expressed as a language model and a translation model.In the maximum entropy approach,the optimaltranslation is searched according to a linear combination of a series of rea-l valued feature functions.T he source-chan-nel approach can be regard as a sp

5、ecial case of maximum entropy approach.Key words:artificial intelligence;machine translation;overview;statistical machine translation;source channelmodel;maximum entropy method一、概述统计机器翻译,又称为数据驱动(data-driven)的机器翻译。其思想其实并不新鲜。早在1949 年,Weaver 发表的以5翻译6为题的备忘录中就提出:/当我阅读一篇用俄语写的文章的时候,我可以说,这篇文章实际上是用英语写的,只不过它是

6、用另外一种奇怪的符号编了码而已,当我在阅读时,我是在进行解码。0这实际上就是基于信源信道思想的统计机器翻译方法的萌芽。实际上,早期的机器翻译系统通常都建立在对词类和词序分析的基础之上,分析中经常使用统计方法,只是后来以 Chomsky 转换生成语法为代表的理性主义方法兴起后,统计机器翻译方法几乎不再被人使用。90 年代初,IBM 的 Brown 等人提出了基于信源信道思想的统1收稿日期:2003-02-10基金项目:国家重点基础研究计划(973)支持项目(G1998030507-4;G1998030510)作者简介:刘群(1966),男,副研究员,在职博士,研究方向是自然语言处理和机器翻译.计

7、机器翻译模型,并且在实验中获得了初步的成功,引起了研究者广泛的关注和争议。不过由于当时计算能力等多方面限制,真正开展统计机器翻译方法研究的人并不多,统计机器翻译方法是否真正有效还受到人们普遍的怀疑。不过,近年来,随着越来越多的研究人员投入到统计机器翻译的研究中并取得了成功,统计方法已逐渐成为国际上机器翻译研究的主流方法之一。作者根据所查阅的文献,把基于统计的机器翻译方法大体上分为以下三类:第一类是基于平行概率语法的统计机器翻译方法,其基本思想是,用一个双语平行的概率语法模型,同时生成两种语言的句子,在对源语言句子进行理解的同时,就可以得到对应的目标语言句子。这种方法的主要代表有 Alshawi

8、 的Head Transducer 模型和吴德恺的 IT G 模型,由于这类方法影响较小,而本文篇幅有限,这里不对这类方法进行介绍。第二类是基于信源信道模型的统计机器翻译方法,这种方法是由 IBM 公司的 Peter Brown 等人在 90 年代初提出的 4,5,后来很多人都在这种方法的基础上做了很多改进工作,这也是目前最有影响的统计机器翻译方法,一般说的统计机器翻译方法都是指的这一类方法。第三类是德国 Och 等人最近提出基于最大熵的统计机器翻译方法 9,这种方法是比信源信道模型更一般化的一种模型。本文将依次介绍后两类统计机器翻译方法,然后介绍一下在统计机器翻译中经常使用的机器翻译自动评测

9、技术,最后给出总结。二、基于信源信道思想的统计机器翻译方法211 IBM 的统计机器翻译方法21111 基本原理基于信源信道模型的统计机器翻译方法的基本思想是,把机器翻译看成是一个信息传输的过程,用一种信源信道模型对机器翻译进行解释。假设一段目标语言文本 T,经过某一噪声信道后变成源语言 S,也就是说,假设源语言文本 S 是由一段目标语言文本T 经过某种奇怪的编码得到的,那么翻译的目标就是要将 S 还原成T,这也就是一个解码的过程。根据 Bayes 公式可推导得到:T=argmaxTP(T)P(S|T)这个公式在 Brown 等人的文章4中称为统计机器翻译的基本方程式(Fundamental

10、Equa-tion of Statistical Machine Translation)。在这个公式中,P(T)是目标语言的文本 T 出现的概率,称为语言模型。P(S|T)是由目标语言文本 T 翻译成源语言文本 S 的概率,称为翻译模型。语言模型只与目标语言相关,与源语言无关,反映的是一个句子在目标语言中出现的可能性,实际上就是该句子在句法语义等方面的合理程度;翻译模型与源语言和目标语言都有关系,反映的是两个句子互为翻译的可能性。也许有人会问,为什么不直接使用 P(T|S),而要使用 P(T)P(S|T)这样一个更加复杂的公式来估计译文的概率呢?其原因在于,如果直接使用 P(T|S)来选择合

11、适的 T,那么得到的 T 很可能是不符合译文语法的(il-l formed),而语言模型 P(T)就可以保证得到的译文尽可能的符合语法。这样,机器翻译问题被分解为三个问题:11 语言模型 Pr(t)的参数估计;221 翻译模型 Pr(s|t)的参数估计;31 搜索问题:寻找最优的译文;从 80 年代末开始到 90 年代中期,IBM 的机器翻译研究小组在统计机器翻译的思想指导下进行了一系列的研究工作 2,4,5并实现了一个法语到英语统计机器翻译系统。对于语言模型 Pr(t),他们尝试了采用 n 语法、链语法等语法模型。链语法模型比 n 元语法模型的优点在于可以处理长距离的依赖关系。下面我们着重介

12、绍翻译模型。21112 IBM 统计翻译模型对于翻译模型 Pr(f|e),IBM 公司提出了 5 种复杂程度递增的数学模型 5,简称为 IBMModel 1 5。模型 1 仅考虑词与词互译的概率 t(fj|ei)。模型 2 考虑了单词在翻译过程中位置的变化,引入了参数 Pr(aj|j,m,l),m 和l 分别是目标语和源语句子的长度,j 是目标语单词的位置,aj是其对应的源语单词的位置。模型 3 考虑了一个单词翻译成多个单词的情形,引入了产出概率(n|ei),表示单词 ei翻译成n 个目标语单词的概率。模型 4在对齐时不仅仅考虑词的位置变化,同时考虑了该位置上的单词(基于类的模型,自动将源语言

13、和目标语言单词划分到 50 个类中)。模型 5 是对模型 4 的修正,消除了模型 4 中的缺陷(deficiency),避免对一些不可能出现的对齐给出非零的概率。在模型 1 和 2 中,首先预测源语言句子长度,假设所有长度都具有相同的可能性。然后,对于源语言句子中的每个位置,猜测其与目标语言单词的对应关系,以及该位置上的源语言单词。在模型 3,4,5中,首先,对于每个目标语言单词,选择对应的源语言单词个数,然后再确定这些单词,最后,判断这些源语言单词的具体位置。这些模型的主要区别在于计算源语言单词和目标语言单词之间的连接(Connection)的概率的方式不同。模型 1最简单,只考虑词与词之间

14、互译的概率,不考虑词的位置信息,也就是说,与词序无关。好在模型 1 的参数估计具有全局最优的特点,也就是说最后总可以收敛于一个与初始值无关的点。模型 2 到 5 都只能收敛到局部最优,但在 IBM 的实验中,每一种模型的参数估计都依次把上一种模型得到的结果作为初始值,于是我们可以看到最后的结果实际上也是与初始值无关的。下面以模型 3为例,说明一下从源语言(英语)文本产生目标语言(法语)文本的过程:11 对于句子中每一个英语单词 e,选择一个产出率,其概率为 n(|e);21 对于所有单词的产出率求和得到 m-prime;31 按照下面的方式构造一个新的英语单词串:删除产出率为 0 的单词,复制

15、产出率为 1的单词,复制两遍产出率为 2 的单词,依此类推;41 在这 m-prime 个单词的每一个后面,决定是否插入一个空单词 NULL,插入和不插入的概率分别为 p 1和 p 0;51 设 0为插入的空单词 NULL 的个数。61 设 m 为目前的总单词数:m-prime+0;71 根据概率表 t(f|e),将每一个单词 e 替换为外文单词f;81 对于不是由空单词 NULL 产生的每一个外语单词,根据概率表 d(j|i,l,m),赋予一个位置。这里 j 是法语单词在法语串中的位置,i 是产生当前这个法语单词的对应英语单词在英语句子中的位置,l 是英语串的长度,m 是法语串的长度;91

16、如果任何一个目标语言位置被多重登录(含有一个以上单词),则返回失败;101 给空单词 NULL 产生的单词赋予一个目标语言位置。这些位置必须是空位置(没有3被占用)。任何一个赋值都被认为是等概率的,概率值为 1/r e(1-r/c)if c r 其中 c 为候选译文中单词的个数,r 为参考译文中与c 最接近的译文单词个数。根据 IBM 的实验,BLEU 可以相当好地模拟了人类专家对机器翻译的评测结果。参考下图中的曲线。其中 S1、S2、S3 分别是三个不同的机器翻译系统提供的译文,H1和 H2 是两个人类翻译者提供的译文。蓝线是 BLEU 系统评测的结果,红线是只懂目标语言的人类专家提供的评测

17、结果,绿线是同时懂源语言和目标语言的人类专家提供的评测结果。可以看到,这三条曲线拟合得相当不错。特别是与只懂目标语言的人类专家相比,在翻译质量不是特别好的时候(恰好现有机器翻译系统的质量都不是太好),曲线的拟合程度更高。五、总结前面我们介绍了三种类型的统计机器翻译方法,这里我们把这三种方法做一个简单的比较。基于平行语法的统计机器翻译方法,虽然已经有了几种不同的模型,不过在实践中并不很成功。我们认为,这种方法虽然理论上比较完善,不过并不符合自然语言的实际情况。因为自然语言之间的差异是非常大的。而在这种方法中,不仅要为两种不同的自然语言的语法之间建立起一一对应的关系,并且还要服从相同的概率分布,这

18、实际上是很不现实的,很难反映自然语言的真实分布规律。基于信源信道思想的统计机器翻译方法的提出,是统计机器翻译的一个突破。在这种方法中,翻译过程被模型化为一个翻译模型和一个语言模型。通过翻译模型和语言模型的共同作用,使得获得的译文不仅可以忠实的反映源文要表达的意思,而且可以尽可能的做到译文的流畅,取得了较好的效果。不过,就目前的研究而言,翻译模型和语言模型都还显得比较粗糙,不能反映语言的深层结构信息。基于最大熵的统计机器翻译方法的提出,大大开阔了统计机器翻译方法的思路。使得我们在机器翻译中不仅可以引入翻译模型和语言模型之外的各种特征,而且可以通过最大熵方法训练出一组参数,找到这些特征之间的一种最

19、优组合形式。我们认为,这种方法的前景是非常广阔的。IBM 提出的统计机器翻译方法,不仅仅是对机器翻译,而是对于整个的自然语言处理,都产生了长远而深刻的影响。由于各方面的原因,虽然 IBM 的统计机器翻译实验在初期取得了很大的成功(在 ARPA 测试中获得了超过 Systran 的结果),但 IBM 的统计机器翻译工作并没有坚持下来,人们对统计机器翻译的怀疑也始终挥之不去。虽然统计方法在自然语言的很多其他领域都取得了成功,不过在机器翻译领域,统计方法的有效性并没有得到普遍的承认。应该说,IBM 的统计机器翻译工作是有一定超前性的。IBM 在 80 年代末到 90 年代初就10开始进行统计机器翻译

20、工作,在 IBM 公布其实验结果之后的很多年,都没有人能够重复类似的结果。随着时间的推移,到了 90 年代末,相关的研究工作开始得到重视,王野翊、Malamed、Knight、Och 等人都重复了 IBM 的工作并进行了一定的改进。统计机器翻译方法又出现了一个小的高潮。在 JHU 的夏季研讨班的总结报告1上有一段话耐人寻味:当解码器的原形系统在研讨班上完成时,我们很高兴地惊异于其速度和性能。在 90年代早期在 IBM 公司举行的 DARPA 机器翻译评价时,我们曾经预计只有很短(10 个词左右)的句子可以用统计方法进行解码,即使那样,每个句子的解码时间也可能是几个小时。在早期 IBM 的工作过

21、去将近 10 年后,摩尔定律、更好的编译器以及更加充足的内存和硬盘空间帮助我们构造了一个能够在几秒钟之内对 25 个单词的句子进行解码的系统。为了确保成功,我们在搜索中使用了相当严格的阈值和约束,如下所述。但是,解码器相当有效这个事实为这个方向未来的工作预示了很好的前景,并肯定了 IBM 的工作的初衷,即强调概率模型比效率更重要。在 2002 年的ACL 会议上,Och 等人关于统计机器翻译的论文 9获得了大会最佳论文奖。在 2002 年 NIST 举办的机器翻译评测中,Och 所在的德国 RWTH Aachen)University ofT echnology 提交的系统获得了最好的成绩,统

22、计机器翻译方法的优势得到了明显的体现。当然,现在的统计机器翻译方法并不排斥规则方法。从工程实践的角度看,这二者本来就不应该是互相矛盾的。语言学家的理性的思辨帮助我们更加深入的了解语言的本质,并帮助我们建立合理的模型,收集和整理有关的语言数据;而对已有的语言事实和经验数据的有效的统计分析和合理运用,可以使得我们在现有的条件下达到最好的结果。人类语言知识和统计方法的有效结合,是自然语言处理取得成功的必要条件,这一点应该没有人会再怀疑。不过,在具体的做法上,作者认为有一些基本的原则应该注意把握:11 重视大规模语言资源的建设,特别要做到资源的开放与共享;21 从研究的角度看,尽量不要去做封闭的、局限

23、于某一具体系统的大规模语言资源(公司行为除外);31 尽可能利用公开的语言资源,其他问题,尽量用统计方法解决;41 评测是推动自然语言处理技术发展的有效方法;51 评测应该做到公开,即评测规范、评测软件、评测的训练语料都应该公开;61 评测应该尽量做到自动进行,减少人的因素。对于评测的组织者而言,这有利于评测的公平性;对于开发者而言,快速、高效、低成本的评测可以有助于迅速选择合适的算法、模型和参数,有效地改善系统的性能。希望本文对关心和从事机器翻译研究工作的人们有所帮助。参 考 文 献:1 Yaser A-l Onaizan,Jan Curin,Michael Jahr,Kevin Knigh

24、t,John Lafferty,Dan Melamed,Franz-JosefOch,David Purdy,Noah A.Smith and David Yarowsky.Statistical Machine Translation:Final ReportR,Johns Hopkins University 1999 Summer Workshop on Language Engineering,Center for Speechand Language Processing,Baltimore,MD.2 Berger,A.,P.Brown,S.Della Pietra,V.Della

25、Pietra,J.Gillett,J.Lafferty,R.Mercer,H.Printz,L Ures,The Candide System for Machine Translation A,Proceedings of the DARPA Work-shop on Human Language Technology(HLT),1994.3 A.L.Berger,S.A.Della Pietra,and V.J.Della Pietra.A maximum entropy approach to natural11language processing J.Computational Li

26、nguistics,22(1):39-72,March 1996.4 Peter F.Brown,John Cocke,Stephen A.Della Pietra,Vincent J.Della Pietra,Fredrick Jelinek,JohnD.Lafferty,Robert L.Mercer,Paul S.Roossin,A Statistical Approach to Machine T ranslation J,Computational Linguistics,1990.5 Peter.F.Brown,Stephen A.Della Pietra,Vincent J.De

27、lla Pietra,Robert L.Mercer,The Mathe-matics of Statistical Machine Translation:Parameter Estimation J,Computational Linguistics,19,(2),1993.6 Kevin Knight,A Statistical Machine Translation Tutorial Workbook Z.unpublished,prepared in con-nection with the JHU summer workshop,August 1999.(available at

28、http:/www.clsp.jhu.edu/ws99/projects/mt/wkbk.rtf).7 F.J.Och,C.Tillmann,and H.Ney.Improved alignment models for statistical machine translationA.In Proc.of the Joint SIGDAT Conf.On Empirical Methods in Natural Language Processing andVery Large Corpora,pages 20-28,University of Maryland,College Park,M

29、D,June 1999.8 Franz Josef Och,Hermann Ney.What Can Machine Translation Learn from Speech Recognition?AIn:proceedings of MT 2001 Workshop:T owards a Road Map for MT,26-31,Santiago de Compostela,Spain,September 2001.9 Franz Josef Och,Hermann Ney,Discriminative Training and Maximum Entropy Models for S

30、tatisticalMachine Translation A,ACL2002.10 K.A.Papineni,S.Roukos,and R.T.Ward.Feature-based language understanding A.In Euro-pean Conf.on Speech Communication and Technology,1435-1438,Rhodes,Greece,September,1997.11 K.A.Papineni,S.Roukos,and R.T.Ward.Maximum likelihood and discriminative training of

31、 d-irect translation models A.In Proc.Int.Conf.on Acoustics,Speech,and Signal Processing,pages189-192,Seattle,WA,May,1998.12 Kishore Papineni,Salim Roukos,Todd Ward,We-i Jing Zhu,Bleu:a Method for Automatic Evalua-tion of Machine Translation R,IBM Research,RC22176(W0109-022)September 17,2001.13 Ye-Y

32、i Wang,Grammar Inference and Statistical Machine Translation D,Ph.D T hesis,CarnegieMellon University,1998.14 K.Yamada and K.Knight,A Syntax-Based Statistical Translation Model A,in Proc.of the Con-ference of the Association for Computational Linguistics(ACL),2001.15 俞士汶等.机器翻译译文质量自动评估系统 A.中国中文信息学会 1991 年会论文集,314-319.12