自适应线性元件幻灯片.ppt

《自适应线性元件幻灯片.ppt》由会员分享，可在线阅读，更多相关《自适应线性元件幻灯片.ppt（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、自适应线性元件第1页，共11页，编辑于2022年，星期二自适应线性元件(Adaptive Linear Element，简称Adaline)由威德罗（Widrow）和霍夫（Hoff）首先提出的 它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。它采用的是WH学习法则，也称最小均方差(LMS)规则对权值进行训练自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。第2页，共11页，编辑于2022年，星期二31自适应线性神经元模型和结构 图5.1 自适应线性神经网络的结构 第3页，共11页，编辑于2022年，星期二32 W

2、H学习规则 WH学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则 采用WH学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。第4页，共11页，编辑于2022年，星期二定义一个线性网络的输出误差函数为：我们的目的是通过调节权矢量，使E(W，B)达到最小值。所以在给定E(W，B)后，利用WH学习规则修正权矢量和偏差矢量，使E(W，B)从误差空间的某一点开始，沿着E(W，B)的斜面向下滑行。第5页，共11页，编辑于2022年，星期二根据梯度下降法，权矢量的修正值正比于当前位置上E(W，B)的梯度，对于第i个输出节点有：或表

3、示为：（5.3）第6页，共11页，编辑于2022年，星期二为学习速率。在一般的实际运用中，实践表明，通常取一接近1的数，或取值为：采用WH规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象。第7页，共11页，编辑于2022年，星期二3.3 网络训练 自适应线性元件的网络训练过程可以归纳为以下三个步骤：1)表达：计算训练的输出矢量AW*P十B，以及与期望输出之间的误差ETA；2)检查：将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练已达到事先设定的最大训练次数，则停止训练；否则继续；3)学习：采用WH学

4、习规则计算新的权值和偏差，并返回到1)。第8页，共11页，编辑于2022年，星期二感知器和自适应线性网络(1)网络模型结构上网络模型结构上 感知器和自适应线性网络而言，结构上的主要区别在激活函数：一个是二值型的，一个线性的。当把偏差与权值考虑成一体时，自适应线性网络的输与输出之间的关系可以写成AW*P。如果P是满秩话，则可以写成AP-1W，或W=A/P。3.4对比与分析第9页，共11页，编辑于2022年，星期二(2)学习算法学习算法 感知器的算法是最早提出的可收敛的算法，它的自适应思想被威德罗和霍夫发展成使其误差最小的梯度下降法。最后又在BP算法中得到进一步的推广，它们属于同一类算法。第10页，共11页，编辑于2022年，星期二(3)适用性与局限性适用性与局限性 感知器仅能够进行简单的分类。它的局限性是仅能对线性可分的输入进行分类。自适应线性网络除了像感知器一样可以进行线性分类外，又多了线性逼近，这仅是由于其激活函数可以连续取值而不同于感知器的仅能取0或1的缘故。第11页，共11页，编辑于2022年，星期二