2022年神经网络介绍利用反向传播算法的模式学习 .pdf

《2022年神经网络介绍利用反向传播算法的模式学习 .pdf》由会员分享，可在线阅读，更多相关《2022年神经网络介绍利用反向传播算法的模式学习 .pdf（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、神经网络介绍利用反向传播算法的模式学习 作者：Andrew Blais,Ph.D.转贴自：developerWorks 点击数：10495 更新时间：2004-4-15 文章录入：admin 神经网络也许是计算机计算的将来，一个了解它的好方法是用一个它可以解决的难题来说明。假设给出 500 个字符的代码段，您知道它们是 C、C+、Java 或者 Python。现在构造一个程序，来识别编写这段代码的语言。一种解决方案是构造一个能够学习识别这些语言的神经网络。这篇文章讨论了神经网络的基本功能以及构造神经网络的方法，这样就可以在编码时应用它们了。根据一个简化的统计，人脑由百亿条神经组成 每条神经平均

2、连结到其它几千条神经。通过这种连结方式，神经可以收发不同数量的能量。神经的一个非常重要的功能是它们对能量的接受并不是立即作出响应，而是将它们累加起来，当这个累加的总和达到某个临界阈值时，它们将它们自己的那部分能量发送给其它的神经。大脑通过调节这些连结的数目和强度进行学习。尽管这是个生物行为的简化描述。但同样可以充分有力地被看作是神经网络的模型。阈值逻辑单元（Threshold Logic Unit，TLU）理解神经网络的第一步是从对抽象生物神经开始，并把重点放在阈值逻辑单元（TLU）这一特征上。一个 TLU 是一个对象，它可以输入一组加权系数的量，对它们进行求和，如果这个和达到或者超过了某个阈

3、值，输出一个量。让我们用符号标注这些功能，首先，有输入值以及它们的权系数：X1,X2,.,Xn 和 W1,W2,.,Wn。接着是求和计算出的 Xi*Wi，产生了激发层 a，换一种方法表示：a=(X1*W1)+(X2*W2)+.+(Xi*Wi)+.+(Xn*Wn)阈值称为 theta。最后，输出结果 y。当 a=theta 时 y=1，反之 y=0。请注意输出可以是连续的，因为它也可以由一个 squash 函数 s（或 sigma）判定，该函数的自变量是 a，函数值在 0 和 1 之间，y=s(a)。图 1.阈值逻辑单元，带有 sigma 函数（顶部）和 cutoff 函数（底部）TLU 会分类

4、，假设一个 TLU 有两个输入值，它们的权系数等于 1，theta 值等于 1.5。当这个 TLU 输入 、和 时，它的输出分别为 0、0、0、1。TLU 将这些输入分为两组：0 组和 1 组。就像懂得逻辑连接（布尔运算 AND）的人脑可以类似地将逻辑名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 11 页 -连接的句子分类那样，TLU 也懂得一点逻辑连接之类的东西。TLU 能够用几何学上的解释来阐明这种现象。它的四种可能输入对应于笛卡尔图的四个点。从等式 X1*W1+X2*W2=theta，换句话说，也即 TLU 转换其分类行为的点开始，它的点都分布在曲线 X2=-X1+1.5

5、 上。这个方程的曲线将 4 个可能的输入分成了两个对应于 TLU 分类的区域。这是 TLU 原理中更为普通的实例。在 TLU 有任意数目的 N 个输入的情况下，一组可能的输入对应于 N 维空间中的一个点集。如果这些点可以被超平面 换句话说，对应于上面示例中的线的 N 维的几何外形切割，那么就有一组权系数和一个阈值来定义其分类刚好与这个切割相匹配的 TLU。TLU 的学习原理既然 TLU 懂得分类，它们就知道素材。神经网络也可假定为可以学习。它们的学习机制是模仿大脑调节神经连结的原理。TLU 通过改变它的权系数和阈值来学习。实际上，从数学的观点看，权系数阈值的特征有点武断。让我们回想一下当 SU

6、M(Xi*Wi)=theta 时 TLU 在临界点时输出的是 1 而不是 0，这相当于说临界点是出现在 SUM(Xi*Wi)+(-1*theta)=0 的时候。所以，我们可以把-1 看成一个常量输入，它的权系数 theta 在学习（或者用技术术语，称为培训）的过程中进行调整。这样，当 SUM(Xi*Wi)+(-1*theta)=0 时，y=1，反之 y=0。在培训过程中，神经网络输入：一系列需要分类的术语示例它们的正确分类或者目标这样的输入可以看成一个向量：，这里 t 是一个目标或者正确分类。神经网络用这些来调整权系数，其目的使培训中的目标与其分类相匹配。更确切地说，这是有指导的培训，与之相反

7、的是无指导的培训。前者是基于带目标的示例，而后者却只是建立在统计分析的基础上（请参阅本文随后的参考资料）。权系数的调整有一个学习规则，一个理想化的学习算法如下所示：清单 1.理想化的学习算法fully_trained=FALSE DO UNTIL(fully_trained):fully_trained=TRUE FOR EACH training_vector=:#Weights compared to theta a=(X1*W1)+(X2*W2)+.+(Xn*Wn)-theta y=sigma(a)IF y!=target:fully_trained=FALSE 名师资料总结-精品资料欢

8、迎下载-名师精心整理-第 2 页，共 11 页 -FOR EACH Wi:MODIFY_WEIGHT(Wi)#According to the training rule IF(fully_trained):BREAK 您或许想知道，“哪些培训规则？”有很多，不过有一条似乎合理的规则是基于这样一种思想，即权系数和阈值的调整应该由分式(t-y)确定。这个规则通过引入 alpha(0 alpha 1 0 0 0.14 0.00 0.00 0.05 0.13 0.00 0.00 0.00 0.02 0.00 0.00 0.00 0.13 0.00 1 0 0.名师资料总结-精品资料欢迎下载-名师精心

9、整理-第 8 页，共 11 页 -让我们回忆一下输入值都是不同特殊字符出现的规格化数目，目标值（在大于号以后）是 YES/NO，它代表包含这些字符的源代码文件的类型，不过对于什么是什么来说，并没有非常明显的东西。数字可以是输入或期望的任意值，这才是最重要的。下一步是运行实际的 code_recognizer.py 程序。这需要（在 STDIN 中）像上面一样的向量集。这个程序有一个包，它能够根据实际文件推断出需要多少输入节点（计算在内的和期望的），选择隐藏节点的数目是一个诀窍。对于源代码的识别，6 到 8 个隐藏节点似乎工作得很好。如果打算试验网络从而发现对于这些不同的选项它是如何做的，您可以

10、覆盖命令行中的所有参数，但每一次运行还是会耗费一些时间。值得注意的是，code_recognizer.py 将它的（大的）测试结果文件发送到 STDOUT，而将一些友好的消息放在 STDERR 里。这样在大部分时间里，为了安全保管，您将会把 STDOUT 定向到一个文件，并监视针对进程和结果概要的 STDERR。清单 5：运行 code_recognizer.py code2data.py py c java|code_recognizer.py test_results.txt Total bytes of py-source:457729 Total bytes of c-source:2

11、45197 Total bytes of java-source:709858 Input set:)(_.=;,*/:-0+1 HIDDEN=8 LEARNRATE=0.5 ITERATIONS=1000 TRAINSIZE=500 OUTPUTS=3 MOMENTUM=0.1 ERROR_CUTOFF=0.01 TESTSIZE=500 INPUTS=20 error-95.519.23.696.19.727.14.012.11.058.9.652.8.858.8.236.7.637.7.065.6.398.5.413.4.508.3.860.3.523.3.258.3.026.2.818

12、.2.631.2.463.2.313.2.180.2.065.1.965.1.877.1.798.1.725.名师资料总结-精品资料欢迎下载-名师精心整理-第 9 页，共 11 页 -0.113.0.110.0.108.0.106.0.104.0.102.0.100.0.098.0.096.0.094.0.093.0.091.0.089.0.088.0.086.0.085.0.084.Success rate against test data:92.60%不断减少误差是个很好的兆头，这至少在一段长时间里所获得的一种进步，且最后的结果必然是深入人心的。就我们的观点而言，网络完成了一项值得尊敬的

13、工作，来识别代码 我们将会乐意倾听，对于您的数字向量它是如何做的。总结本文从某种程度上阐述了神经网络的基础，使您能够开始在您自己的编码过程中应用它们。我们鼓励您运用在这里学到的东西，并尝试编写您自己的对于这个难题的解决方案。（请参阅于我们的解决方案的参考资料）。参考资料我们的代码识别程序是基于 Neil Schemenauer 的反向传播模块。关于有指导培训和无指导培训的差异，以及神经网络的一般介绍，请参阅由 D.Michie、D.J.Spiegelhalter 以及 C.C.Taylor 编辑的 Machine Learning,Neural and Statistical Classifi

14、cation，具体内容请参阅第 6 章。关于 Rosenblatt 的感知器结果，请参阅他的 Principles of Neurodynamics,1962,New York:Spartan Books。关于一些 delta 规则的详细信息，请参阅 Kevin Gurney 的著作 An Introduction to Neural Networks 1997,London:Routledge。也可以参阅 Neural Nets 早期的在线版本。关于 delta 规则的证明，请参阅 B.Widrow 和 S.D.Stearns 的 Adaptive Signal Processing,198

15、5,New Jersey:Prentice-Hall。关于包含图形界面的感知器的执行，请参阅 Omri Weisman 和 Ziv Pollack 撰写的 The Perceptron。什么是没有 FAQ 的科目？请参阅在任何时候都适用的 Neural Net FAQ。关于广泛的链接集合，请参阅 The Backpropagators Review。大学课程对于任何科目的初学者来说都是丰富的信息来源，请参阅课程的清单。Neural Network Package 是一个用 Java 编写的 LGPL 程序包。您可以用它试验这里讲过的所有算法。请参阅 Neural Networks at you

16、r Fingertips，它讨论了一组 C 程序包，这些包说明了 Adaline 网络、反向传播、Hopfield 模型以及其它，有一个 The Back-propagation Network 特别有趣，它是一个 C 程序包，说明了一个分析日斑数据的网络。在 Neural Networking Software，您将会找到有友好的图形界面的同时支持 DOS 和 Linux 的神经网络代码。NEURObjects 提供了开发神经网络的 C+的库文件，它的优点在于面向对象。Stuttgart Neural Network Simulator（SNNS），正如名字所示，是用有 GUI 的 C 程序

17、编写的，它的手册内容极为丰富，同时支持友好的名师资料总结-精品资料欢迎下载-名师精心整理-第 10 页，共 11 页 -Linux 平台。关于作者Andrew Blais 把他的时间划分为在家教育他的儿子，为 Gnosis 写作，和在 Anna Maria 大学教授哲学和宗教。可以通过 onlymicegnosis.cx 与他联系。David Mertz 觉得如果存在一些令人厌倦的自然数，那么一定有一个最小的这样的自然数。可通过 mertzgnosis.cx 联系 David；他的精力完全投入在 http:/gnosis.cx/publish/。非常欢迎对过去的、这一篇或将来的专栏文章提出意见和建议。名师资料总结-精品资料欢迎下载-名师精心整理-第 11 页，共 11 页 -