人工神经网络_3第三章 NN的初始模型与基本算法.ppt

《人工神经网络_3第三章 NN的初始模型与基本算法.ppt》由会员分享，可在线阅读，更多相关《人工神经网络_3第三章 NN的初始模型与基本算法.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第三章 NN的初始模型与基本算法3.1 感知机模型与感知机 学习规则3.2 感知机的局限性3.3 自适用线性神经网络 第三章 NN的初始模型与基本算法n3.1感知机模型与感知机学习规则 美国学者F.Rosenblatt 于1957年在M-P模型和Hebb学习规则基础上，提出具有自学习能力的感知机模型。结构:第三章 NN的初始模型与基本算法输入0、1模式 S层至A层的连接权固定 A层至R层的连接权改变 A层R层的输出由M-P模型算法决定 一、单层感知机 n单层感知机网络的一般拓扑结构 一、单层感知机 设网络输入模式向量为：输出为：，A层至R层的权向量为:n学习规则n1）初始化：A、R之间的W及

2、输出单元的阈值赋予 （-1,+1）区间内的随机值；一、单层感知机n2）连接权的修正：对每个输入模式对 完成如下计算：(a).(b).计算输出层单元希望输出yk与实际输出y之间的误差 (c).修正A与R层之间的权值与阈值 一、单层感知机n3）对m个输入模式重复步骤（2）,直到误差dk（k=1,2,m）趋于零或小于预先给定的误差限.学习结束后的网络将学习样本模式的连接权的形式分布记忆下来，当网络提供一个输入模式时，网络计算输出值y,并根据y的输出值来判断输入模式属于记忆中的哪一种。例：分析三个输入单元NN进行分类与记忆：输入 ，一、单层感知机八种输入模式：时d=0时，W不修改 时，W调整，y的值取

3、决于 或故 是由 和值决定的一个三维平面方程。学习记忆的过程，就是根据实际输出与希望输出之间的误差,调整参数w和,使截割平面的空间位置不断移动，直到将两类模式划分完成的过程。二、网络具有多输出形式NN:n个输入单元，P个连接层单元，q个输出单元 学习模式为：k=1,2,m设连接层的输出向量 二、网络具有多输出形式n学习算法：1)初始化，将S和A层之间的权值矩阵 中的各元素,及A层各单元的输出阈值赋予-1，+1之间的随机 值，一般情况下:2)将A层与R层的连接权矩阵 中的各元素 和输出单元各个阈值向量 赋予-1，+1之间的随机值。二、网络具有多输出形式3）连接权修正：对每一个输入模式对 (k=1

4、，2m)完成如下计算：(a)计算连接层各单元输出 j=1,2p 计算输出层各单元的输出值 j=1,2q(b)计算各输出单元的希望 与实际输出yj之间的误差 j=1,2,3q 二、网络具有多输出形式(c)修正A层与R层之间的连接权与R层的输出阈值 i=1,2.p,j=1,2.q i=1,2p,j=1,2.q 二、网络具有多输出形式(4)对m个输入学习模式重复步骤（2）直至 并希望输出模式就是对输入模式的一种人为分类 当 不需要调整 当 时，说明 太小，使超平面偏离了正确划分输入模式,以2ai调整量改变wij的值，直到使超平面向正确划分输入模式的坐标位置移动。三、学习结束的条件1）学习循环次数有所

5、限制2）综合误差(全局误差)限制平均平方（RMS）误差 M:样本模式对的个数 Q:输出单元的个数误差平方和 四、的选取：n 反映了学习过程的进行速度n 太小，学习收敛过程缓慢，能收敛到 极小点n 太大，学习速度加速，引起学习过程 震荡，不能收敛到极小点 3.2、感知机的局限性n感知机不能对任意输入模型进行分类 只要输入模式属于线性可分集合，就可用感知机网络对其进行正确分类，反之网络的学习过程将无法收敛，即不能作出正确的分类.n收敛定理：当输入模式满足下式的线性可分离条件时，学习过程必能在有限次内收敛：由pa类模式数据组成 由pb类模式数据组成 Rosenblatt对此定理进行了详细证明 3.2

6、、感知机的局限性例：用感知机实现逻辑函数(1)3.2、感知机的局限性 取 3.2、感知机的局限性(2)取 3.2、感知机的局限性异或：无解 3.2、感知机的局限性3.2、感知机的局限性(1)(2)(3)(4)?3.2、感知机的局限性nMinsky、Papert在感知机一书中否定了许多学者作的各种尝试，指出对异或非线性输入模式，无论如何调整权值都不能解决。nMinsky、Papert指出对于异或问题的失败在于网络中无中间隐层。3.2、感知机的局限性n例：用三层感知机解决异或问题 设S,A之间的连接权矩阵为：A，R之间的权向量 w=1,1 设f(x)=x,有 3.3 自适用线性神经网络 感知机模型

7、网络是以二值数字量作为输入模式的 离散时间型神经网络。而自适应线性（Adaline-Mada-Line)NN是以连续线性模拟量作为输入模式，在拓扑结构上与感知机网络十分相似的一种连续时间型线性神经网络。这种网络模型是美国学者 Widrow 和 Hoff 于1960年提出，简称Adaline网络。在 Adaline 基础上 Widrow 提出Multilayer Adaline。一、Adaline NN.n结构：模拟输入向量：希望模拟输出：yk,k=1,2,m.权向量:其中：是阈值 网络的模拟输出 数字输出 网络学习过程按使误差平方和 最小化原则。LMS(Least Mean Square)算法

8、，误差定义为希望输出与实际输出之差 i=1,2,.n 学习率 称为 Widrow-Hoff 学习规则。二、Madaline 网络n结构：网络的输入：希望输出：权矩阵：m：输入模式对数 p：中间层单元数 1 1占多数时 Yout=-1 否则 二、Madaline 网络学习算法：最小均方误差原则：网络所有模式的误差平方和为网络对第k个输入模式的误差为：k=1,2,m.求Ek对wij的偏导数。式中 二、Madaline 网络根据梯度下降法：1：学习率 网络的学习目的要使全部用于学习的输入模式的误差都达到最小。-累积误差修正方法 二、Madaline 网络 在实际中Madaline的LMS学习往往是每提供一种学习模式都要进行修正。偏离了全局误差式上的真正梯度方向。但当学习率较小时，这种偏离是可以忽略的。企业策略与远景技术解决方案企业作业流程 Madaline 的LMS学习规则：初始化：Wij赋予，区间内的随机值。任选一学习模式对提供给网络。计算网络输出值 j=1,2,p计算希望输出yjk与实际输出sjk之间的误差 j=1,2,p求值修正 i=0,1,2,m j=1,2,p1取下一个学习模式对提供给网络，重复直到 足够小计算最终输出