概率统计与自然语言处理技术.docx

概率统计与自然语言处理技术 引言 概率统计源于人类统计生产生活资料的最原始需求，它是一门古老而且好用性强的学科。在日常生活中，我们常常接触到的各种统计数据如CPI和GDP数据等，都是源于一套完整和严格的统计理论计算而成的。还有许多状况，我们并不能直观感觉到概率统计的存在，但是它却在幕后发挥着至关重要的作用，本文中所要提到的自然语言处理技术就是一个很好的例子。自然语言处理技术指的是运用计算机来自动处理人类的自然语言，它是人工智能领域里一个很热门的探讨方向。随着互联网的快速发展和普及，学问爆炸成为人类有效获得信息一个很大的挑战，人们必需借助于计算机的帮助才能从学问的海洋中找寻到有用的信息。在这种状况下，自然语言处理技术受到越来越多的探讨者的留意。本文的主要目标是以浅显而好玩的例子来说明概率统计学科在现代科技中的重要作用，以此激发学生进一步学习和钻研的爱好。 一、文本分析与概率论 我们从小学就起先学习的造句方法大多是基于语法规则来完成的。人类须要记忆许多的语法规则，然后运用某种模糊逻辑的方法将这些规则敏捷运用，并能进行肯定程度的创新。但是目前看来，计算机还不行能拥有我们人脑这样的实力来进行任何程度上的创新。此外，没有人或者书籍可以囊括人类语言的全部语法现象，所以计算机短暂还没有可能根据人类学习语言的方法来处理自然语言。比如向计算机输入一个中文短句“我们确定去郊游”，计算机并不把句子拆分为主谓宾来分析，取而代之的是分析中文词或字共现的概念。对这个句子，计算机会分析在“我”字之后出现“们”字的概率，然后分析在“我们”之后紧接“决”的概率，以此类推，最终对每个句子，计算机都能给出一个总体的概率来表示这个句子正确的可能性，也就是： P=P*P*P*P*P*P*P 而后面的许多概率通常可以通过大量的文本统计得到。这种方法在详细的实现上还有许多须要考虑的地方，比如假定P=P，这样可以大大降低计算的强度。虽然原理上很简洁，但这是目前为止对语言进行自动建模最胜利的一种方法。这种技术在句子的自动分析和生成中发挥着至关重要的作用。 二、搜寻引擎与概率论 在网络上搜寻我们感爱好的信息好像跟概率论这个学科很难建立起直观的关系。提到概率论，大家最直观的印象就是取小球试验和检验产品的正次品率等场景，这跟搜寻引擎所要处理的问题相像性不大。为了能在概率论的基础上来对搜寻引擎这个详细应用进行建模，我们可以想象这样一个场景：用户提交的查询通常和网络上的很多网页内容是相关的。对搜寻的过程进行了建模之后，我们可以利用许多假设和概率论里面成熟的一些理论来详细实现搜寻的过程。这种搜寻引擎的实现方法叫基于语言模型的信息检索。 三、机器翻译与概率论 通过上面的例子可以清晰地看到概率论的巨大魅力，在这一节中我们将进一步呈现概率论在机器翻译中的重要作用。机器翻译指的是将一种语言的文本由计算机自动翻译成另一种语言，这是自然语言处理领域里最难解决的问题之一，因为它涉及不同种语言之间的交互。在机器翻译领域，起初的探讨主要实行的是句子成分分析，然后逐词或逐短语翻译，最终再拼接造句的思路。由于涉及两种语言，这种跨语言的转换概率必需从一种跨语言的资源中学习得到。我们称这种资源叫平行语料库，详细指的是由互为翻译的许多文档对组成的一个文档集合。 四、总结 概率论作为一门古老的学科在现代科技中依旧至关重要。除了一些自不待言的应用，概率统计在其他许多领域背后也发挥着核心作用。我们希望这种扩展性的介绍可以进一步激发读者对概率统计这门学科以及现代科技的爱好。科技的发展总是日新月异的，我们也信任这门古老的学科必将在科技的发展中体现更大的价值。 第4页 共4页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页第 4 页 共 4 页