神经网络导论第二章幻灯片.ppt

神经网络导论第二章第1页，共43页，编辑于2022年，星期一内容提要k 自适应线性元模型k 感知机k 多层感知机和BP算法第2页，共43页，编辑于2022年，星期一第一节自适应线性元模型第3页，共43页，编辑于2022年，星期一自适应线性元模型结构第4页，共43页，编辑于2022年，星期一自适应线性元模型数学描述k 输入 该模型实际上是一自适应阈值逻辑单元。图中x0，x1k，x2k，xnk为该自适应线性元在t时刻的外部输入，用向量表示为:Xk（x0，x1k，x2k，xnk）T 这个向量称为自适应线性元的输入信号向量或输入模式向量。第5页，共43页，编辑于2022年，星期一自适应线性元模型数学描述k 连接权值 与输入向量Xk相对应有一权向量:Wk=(w0k，w1k，w2k，wnk)T 其中每一元素与输入向量Xk中的每一元素相对应。w0k为基权，称为门限权，用来调整自适应线性元的阈值。第6页，共43页，编辑于2022年，星期一自适应线性元模型数学描述k 输出 模拟输出 二值输出第7页，共43页，编辑于2022年，星期一自适应线性元模型数学描述k 理想输入 在图中的自适应线性元中有一特殊的输入dk，即理想输入。该输入是用来将理想响应信号送入自适应线性元中，在自适应线性元中通过比较yk和理想响应dk，并将差值送入最小均方差(LMS)学习算法机制中来调整权向量Wk，使得yk和所期望的输出dk相一致。第8页，共43页，编辑于2022年，星期一LMS学习过程（图述）第9页，共43页，编辑于2022年，星期一LMS学习过程（文字说明）1、提交学习样本；2、计算神经网络的输出；3、计算实际输出和理想输出的误差；4、按照权值修改规则修改神经网络权值；5、计算学习结束判据；6、学习结束否？7、达到要求学习结束，否则转1。第10页，共43页，编辑于2022年，星期一LMS学习算法权值修改规则 其中：为当前的误差（即理想输出与模拟实际输出之间的差值）；称为学习速度(Learning Rate)。第11页，共43页，编辑于2022年，星期一ADALINE学习算法实质分析第12页，共43页，编辑于2022年，星期一 的取值 的选择决定了收敛的稳定性和收敛的速度。稳定性要求：0 2。但是 过大可能会修正过度，一个比较好的选择范围是0.1 1。第13页，共43页，编辑于2022年，星期一LMS算法的几何解释第14页，共43页，编辑于2022年，星期一ADALINE模型计算能力分析 若ADALINE输入为二值，它可以完成一定的逻辑功能。若有n个输入，即则有2n个可能的输入模式。在一般的逻辑实现中，依照所期望的输出响应，可以将个输入模式划分成和两类。每一个自适应线性元模型可以完成某一种逻辑功能，因而我们也可以把自适应线性元看成是一逻辑部件。第15页，共43页，编辑于2022年，星期一ADALINE模型计算能力分析 每个自适应线性元的功能也主要由各个权值所确定。每个自适应线性元只能实现逻辑空间上的线性划分，第16页，共43页，编辑于2022年，星期一ADALINE模型学习过程举例u网络模型x1=1.2x2=2.7x0=1w1=-0.045w2=1.1w0=1y=?d=2.3E=?y=4.57E=-2.27w0=0.546w1=0.5w2=-0.126y=0.153E=2.15第17页，共43页，编辑于2022年，星期一ADALINE模型的学习曲线第18页，共43页，编辑于2022年，星期一第二节感知机第19页，共43页，编辑于2022年，星期一感知机模型结构 感知机(Perceptron)结构如下图所示。它是一个简单的单层神经网络模型。输入层是含有n个处理单元的神经元组，输出层只有一个处理单元，所有处理单元都是线性阈值单元。xiwiy第20页，共43页，编辑于2022年，星期一感知机的计算第21页，共43页，编辑于2022年，星期一感知机的几何意义 感知机的几何意义在于它在多维空间上利用一超平面将两类模式A和B分开。这时超平面方程为：第22页，共43页，编辑于2022年，星期一感知机权值调整算法（文字）1、初始化：赋予和一个较小的随机非零值。2、将一模式送入输入神经元，并给出理想 输出值。3、计算神经网络模型的实际输出：4、调节权值:5、转2，直到学完所给定的所有输入样本。第23页，共43页，编辑于2022年，星期一感知机权值调整算法（图示）样本E=0.85E=0.45E=0.25E=0.05第24页，共43页，编辑于2022年，星期一感知机的缺陷 Rosenblatt已经证明，如果两类模式在分布空间中可以找到一个超平面将它们分开，那么感知机的学习过程就一定会收敛。否则判定边界就会振荡不休，永远不会稳定，这也正是单层感知机所无法克服的缺陷，所以它连最简单的异或（XOR）问题也解决不了。XOR问题第25页，共43页，编辑于2022年，星期一第三节多层感知机和BP算法第26页，共43页，编辑于2022年，星期一多层感知机简介 多层感知机（Multilayer Perceptron）是一种在输入层与输出层之间含有一层或多层隐含结点的具有正向传播机制的神经网络模型。多层感知机克服了单层感知机的许多局限，它的性能主要来源于它的每层结点的非线性特性（节点输出函数的非线性特性）。如果每个结点是线性的，那么多层感知机的功能就和单层感知机一样。第27页，共43页，编辑于2022年，星期一多层感知机的结构输入层隐含层输出层第28页，共43页，编辑于2022年，星期一多层感知机的分类能力 一个单层感知机构成一个半平面判决区域，一个二层感知机可能构成任意无边界的空间区域，这些判决区域有时是凸多边形，有时是无边界的凹区域。凸区域是多层感知机中第一层各个处理单元所构成的半平面决定区域（即判决区域）相交而成。第29页，共43页，编辑于2022年，星期一各种感知机能力分析第30页，共43页，编辑于2022年，星期一各种感知机能力分析第31页，共43页，编辑于2022年，星期一多层感知机性能等价问题 第一层中的处理单元就像一单层感知机，所形成的凸区域的边数最多和第一层结点个数一样多。一个三层感知机能形成任意复杂的决定区域，也能把表中所示的那些相互渗透的区域分开。第32页，共43页，编辑于2022年，星期一多层感知机学习算法概述BP算法的基本过程u初始化阶段u前馈阶段u权值调整阶段u学习精度计算u学习结束判断第33页，共43页，编辑于2022年，星期一BP学习算法描述（初始化阶段）1、对所有处理单元的阈值及处理单元之间的连接权值取一个较小的随机数。2、设定一个较小的数作为学习期望达到的最终学习精度。该值作为学习过程的结束判断条件。第34页，共43页，编辑于2022年，星期一BP学习算法描述（前馈阶段）3、给定输入样本 和理想输出 。4、对于层p的处理单元i，以下式计算层p中处理单元i的活跃值，也即输出到层p+1的输出值。第35页，共43页，编辑于2022年，星期一BP学习算法描述（权值调整阶段）5、利用下面公式，从输出层开始向输入层方向进行权值调整：第36页，共43页，编辑于2022年，星期一权值调整中的误差项求解u输出层误差项求解u隐含层误差项求解实际输出理想输出第37页，共43页，编辑于2022年，星期一神经元阈值的修改 如果把层p中处理单元的阈值看成是层p-1中处理单元到其一个附加的常数输入连接权值，也可以照类似的方法进行该单元域值的修改。第38页，共43页，编辑于2022年，星期一BP学习算法描述（计算累计误差）6、按下式计算当前学习样本的误差：实际输出理想输出第39页，共43页，编辑于2022年，星期一BP学习算法描述（结束条件判断）7、样本学习完否？没有学习完，转3；8、计算所有样本的累积误差：9、判E否？是，学习过程结束，否则转3。第40页，共43页，编辑于2022年，星期一多层感知机应用说明 反传（BP）算法广泛使用在神经网络实际应用领域中，其有效性得到了许多问题的证明，如XOR问题、语言合成和识别等。反传算法实际上是使系统朝误差梯度下降的方向移动，把非线性感知机系统决策能力和LMS的客观误差函数沿梯度下降结合了起来。正是这些原因，多层感知机也得到了日益广泛的应用。第41页，共43页，编辑于2022年，星期一多层感知机应用举例u函数逼近映射 设计一个神经网络模型具有求sin和cos函数的功能。WINNN第42页，共43页，编辑于2022年，星期一ADALINE模型应用举例u数字识别 目的是要求识别09这十个数字。u网络模型：输入5735个神经元 输出10个神经元。u训练样本 10个数字57的点阵。第43页，共43页，编辑于2022年，星期一