第七章神经网络应用补优秀PPT.ppt

《第七章神经网络应用补优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第七章神经网络应用补优秀PPT.ppt（90页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第七章神经网络应用补现在学习的是第1页，共90页7.1 神经网络基本知识神经网络基本知识 7.1.1 人工神经网络模型人工神经网络模型 图 7-1 基本神经元模型 现在学习的是第2页，共90页神经元的输出可描述为 式中：f(Ai)表示神经元输入输出关系的函数，称为作用函数或传递函数，常用的作用函数有如图9-2所示的三种：阈值型、S型和分段线性型(伪线性型)。这样，就有三类神经元模型。现在学习的是第3页，共90页图 7-2 常见的作用函数形式(a)阈值型；(b)S型；(c)伪线性型 现在学习的是第4页，共90页 一、一、阈值型神经元阈值型神经元 阈值型神经元是一种最简单的神经元，由美国心理学家M

2、c.Culloch和数学家Pitls共同提出，因此，通常称为M-P模型。M-P模型神经元是二值型神经元，其输出状态取值为1或0，分别代表神经元的兴奋状态和抑制状态。其数学表达式为 对于M-P模型神经元，权值Wji可在(-1,1)区间连续取值。取负值表示抑制两神经元间的连接强度，取正值表示加强。现在学习的是第5页，共90页 二、二、S型神经元模型型神经元模型 这是常用的一种连续型神经元模型，输出值是在某一范围内连续取值的。输入输出特性多采用指数函数表示，用数学公式表示如下：S型作用函数反映了神经元的非线性输入输出特性。现在学习的是第6页，共90页 三、三、分段线性型分段线性型 神经元的输入输出特

3、性满足一定的区间线性关系，其输出可表示为 式中,C、AC表示常量。现在学习的是第7页，共90页7.1.2 神经网络结构神经网络结构一、一、分层网络分层网络 图 7-3 分层网络功能层次 现在学习的是第8页，共90页二、二、相互连接型结构相互连接型结构 图图 7-4 相互连接型网络相互连接型网络 现在学习的是第9页，共90页7.1.3 学习与记忆学习与记忆 一、一、神经网络的学习神经网络的学习 Hebb学习规则可以描述为：如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。用算法表达式表示为Wji(t+1)=Wji(t)+xi(t),xj(t

4、)式中：Wji(t+1)修正一次后的某一权值；常量，决定每次权值修正量，又称学习因子；xi(t)、xj(t)t时刻第i个、第j个神经元的状态。现在学习的是第10页，共90页 误差修正算法是神经网络学习中另一个更重要的方法。像感知机、BP网络学习均属此类。最基本的误差修正学习方法，即通常说的学习规则，可由如下四步来描述：(1)任选一组初始权值Wji(0)。(2)计算某一输入模式对应的实际输出与期望输出的误差。(3)更新权值Wji(t+1)=Wji(t)+dj-yj(t)xi(t)式中：学习因子；dj、yj第j个神经元的期望输出与实际输出；xj第j个神经元的输入。(4)返回步骤(2)，直到对所有训

5、练模式、网络输出均满足误差要求为止。现在学习的是第11页，共90页 二、二、神经网络的记忆神经网络的记忆 神经网络记忆包含两层含义：信息的存储与回忆。网络通过学习将所获取的知识信息分布式存储在连接权的变化上，并具有相对稳定性。一般来讲，存储记忆需花较长时间，因此这种记忆称为长期记忆，而学习期间的记忆保持时间很短，称为短期记忆。7.1.4 神经网络的信息处理功能神经网络的信息处理功能 神经网络可以完成大量的信息处理任务，正因为这样，其应用涉及相当广泛的领域。归纳起来，神经网络的信息处理任务主要包括：现在学习的是第12页，共90页 一、一、数字上的映射逼近数字上的映射逼近 通过一组映射样本(x1,

6、y1),(x2,y2),(xn,yn)，网络以自组织方式寻找输入、输出之间的映射关系：yi=f(xi)。二、二、联想记忆联想记忆 联想记忆是指实现模式完善、恢复相关模式的相互回忆等，典型的有如Hopfield网络等。现在学习的是第13页，共90页7.2 前前 向向 网网 络络 7.2.1 感知机感知机 图 9-5 基本感知机结构 现在学习的是第14页，共90页感知机的学习算法为 i=1,2,n 式中：为学习因子，在(0,1区间取值。期望输出与实际输出之差为 输入状态xi(k)=1 或 0 现在学习的是第15页，共90页7.2.2 BP网络网络 一、一、BP网络模型网络模型 图 9-6 一个三层

7、BP网络结构 现在学习的是第16页，共90页一般选用下列S形作用函数：且处理单元的输入、输出值可连续变化。BP网络模型实现了多层网络学习的设想。当给定网络的一个输入模式时，它由输入层单元传到隐层单元，经隐层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，故称为前向传播。如果输出响应与期望输出模式有误差，且不满足要求，那么就转入误差后向传播，即将误差值沿连接通路逐层向后传送，并修正各层连接权值。(7-10)现在学习的是第17页，共90页二、二、学习算法学习算法 假设BP网络每层有N个处理单元，作用函数如(7-10)式所示，训练集包含M个样本模式对(xk,yk)。对第p个训练样

8、本(p=1,2,M)单元j的输入总和(即激活函数)记为apj，输出记为Opj,它的第i个输入(也即第i个神经元的输出)为Opi,则 现在学习的是第18页，共90页 如果任意设置网络初始权值，那么对每个输入模式p,网络输出与期望输出一般总有误差。定义网络误差为 式中，dpj表示对第p个输入模式输出单元j的期望输出。学习规则的实质是利用梯度最速下降法，使权值沿误差函数的负梯度方向改变。若权值Wji的变化量记为Wji,则 现在学习的是第19页，共90页而 这里，令 于是 这就是通常所说的学习规则。现在学习的是第20页，共90页当Opj表示输出层单元的输出时，其误差 现在学习的是第21页，共90页当O

9、pj表示隐单元输出时，其误差 现在学习的是第22页，共90页故 至此，BP算法权值修正公式可统一表示为 对于输出单元 对于隐单元(9-29)现在学习的是第23页，共90页 在实际应用中，考虑到学习过程的收敛性，通常为了使学习因子取值足够大，又不致于产生振荡，在权值修正公式(7-29)中再加一个势态项，得 式中，是常数，称势态因子，它决定上一次学习权值对本次权值更新的影响程度。一般地，BP网络学习算法步骤描述如下：(1)初始化网络及学习参数，如设置网络初始矩阵、学习因子、参数等；(2)提供训练样本，训练网络，直到满足要求；(3)前向传播过程：对给定训练模式输入，计算网络的输出模式，并与期望模式输

10、出比较，若有误差，则执行(4)，否则，返回(2)；现在学习的是第24页，共90页 (4)后向传播过程：计算同一层单元的误差pj。修正权值和阈值 阈值即为i=0时的连接权值。返回(2)。用网络的均方根值(RMS)误差来定量反映学习性能。其定义为 现在学习的是第25页，共90页三、三、竞争网络竞争网络 1.竞争学习网络结构竞争学习网络结构 图 7-7 两层竞争网络 现在学习的是第26页，共90页 2.竞争学习机理竞争学习机理 竞争单元的处理分为两步：首先计算每个单元输入的加权和；然后进行竞争，产生输出。对于第j个竞争单元，其输入总和为 当竞争层所有单元的输入总和计算完毕，便开始竞争。竞争层中具有最

11、高输入总和的单元被定为胜者，其输出状态为1，其它各单元输出状态为0。对于某一输入模式，当获胜单元确定后，便更新权值。也只有获胜单元权值才增加一个量，使得再次遇到该输入模式时，该单元有更大的输入总和。权值更新规则表示为 现在学习的是第27页，共90页7.3 反反 馈馈 网网 络络 7.3.1 Hopfield网络结构网络结构 图 7-8 HNN网络结构 现在学习的是第28页，共90页7.3.2 Hopfield神经网络神经网络A/D变换器变换器 图 7-9 对称式4位A/D转换网络 现在学习的是第29页，共90页图 7-10 迟滞现象 现在学习的是第30页，共90页图 7-11 非对称HNN网A

12、/D变换器 现在学习的是第31页，共90页图 7-12 采用非对称结构的A/D转换关系 现在学习的是第32页，共90页7.4 神经网络在智能传感器中的应用神经网络在智能传感器中的应用 7.4.1 纸浆浓度传感器非线性估计和动态标定的神经网络实现纸浆浓度传感器非线性估计和动态标定的神经网络实现一、问题提出一、问题提出 实际上，传感器在整个测量范围的非线性特性可用一幂级数多项式来描述：式中：y被测浓度；x传感器输出值；Wi(i=0,1,n)传感器的特性参数。(7-35)现在学习的是第33页，共90页 二、二、神经网络算法神经网络算法 对应每一个实际输入xi,可得到一个非线性数据集1,x,x2,x3

13、,，xn这些可作为神经网络的输入模式，现在学习的是第34页，共90页图 7-13 权值训练原理示意图 现在学习的是第35页，共90页 三、三、浓度传感器非线性估计及动态标定浓度传感器非线性估计及动态标定 浓度传感器的本质是非线性的。可将(7-35)式写成下列近似形式：式中：y被测浓度；f传感器的输出频率值；fmax传感器的最大输出频率值。因此可用f/fmax表示传感器的输出特征。现在学习的是第36页，共90页四、四、实例分析及结论实例分析及结论 传感器1：传感器2：传感器3：现在学习的是第37页，共90页图 7-14 拟合曲线 现在学习的是第38页，共90页表表 7-1 传感器输出及对应浓度估

14、计值传感器输出及对应浓度估计值 现在学习的是第39页，共90页7.4.2 神经网络在监测材料损伤中的应用神经网络在监测材料损伤中的应用 一、一、问题提出问题提出 具有传感、执行、信号处理、通信与控制等功能的结构称之为智能结构。这种结构不仅具有承受载荷的能力，还具有感知和响应内外环境的变化，实现自检测、自监控、自校正、自适应、自修复等功能。下面介绍利用人工神经网络和埋入偏振型光纤传感器阵列，实时适应监测复合材料损伤，并指示损伤位置的智能结构系统模型。现在学习的是第40页，共90页二、二、智能结构系统简介智能结构系统简介 图 7-15 智能结构系统图 现在学习的是第41页，共90页三、前向三、前向

15、BP网络处理器网络处理器 图 7-16 三层BP网络 现在学习的是第42页，共90页图 7-17 BP算法流程 现在学习的是第43页，共90页四、四、实验结果实验结果 表 7-2 BP网络学习样本数据 现在学习的是第44页，共90页表表7-3 在线仿真实验数及结果在线仿真实验数及结果 现在学习的是第45页，共90页7.4.3 神经网络滤波神经网络滤波 一、问题提出一、问题提出 通常，由信号发生器产生的正弦波或三角波信号都不同程度地含有噪声干扰信号。若我们将它作为精密测量供电信号或进行相位检测时，往往造成测量不精确等缺陷。消除噪声干扰的办法很多，下面提出一种采用神经网络学习记忆功能，实现对含噪正

16、弦波或三角波信号的复原，即消除噪声干扰。现在学习的是第46页，共90页 二、二、自适应线性函数的最小二乘法自适应线性函数的最小二乘法(LMS)学习算法学习算法 为了简单起见，我们以输入矢量为二维的情况作为示例来进行讨论。这时输入矢量X和权矢量W可以分别表示为 在采用线性函数的条件下，神经网络输出为(7-42)现在学习的是第47页，共90页权值修正公式为(k)为误差，即 式中，d(k)为期望输出；y(k)为实际输出。(7-43)现在学习的是第48页，共90页三、三、软件编程及说明软件编程及说明实现上述算法的软件编程如下(采用MATLAB语言)：disp(*欢迎使用*)disp(请输入训练次数)T

17、=input()disp(请输入步长参数)l=input()disp(请输入所加噪声方差参数)m=input()t=0163x=sin(t*2*pi/64)plot(t,x)现在学习的是第49页，共90页gridx=x,-1k=0 x1=0for t=1163if(t=16)x1=x1,t/16elseif(t=48)x1=x1,2-t/16else x1=x1,-4+t/16endk=k,t;endplot(k,x1)现在学习的是第50页，共90页x1=x1,-1w=rand(1,65)q=10000;q0=0;k=0for i=01Tk=k,i;d=w*xe=1-dq2=qq=e*ew=w

18、+(e*1)*xd1=w*x1e1=-d1 现在学习的是第51页，共90页w=w+(e1*1)*x1q=q+e1*e1q0=q0,q/2subplot(212)hh=plot(k,q0)if q2q break;endendiw*xw*x1xt=randn(1,65)现在学习的是第52页，共90页xt1=m*x1+xxt2=m*xt+x1j=064subplot(211)h1=plot(j,x1)gridsubplot(212)hh=plot(j,xt2)gridy1=w*xt1y2=w*xt2h=figure(1)set(h,color,1,1,1);h2=gca 现在学习的是第53页，共9

19、0页1.采样部分采样部分 图 7-18 采样所得正弦波和三角波 现在学习的是第54页，共90页 2.学习部分学习部分 首先利用MATLAB中的rand()来产生满足64维初始权值W(0)。按照(7-42)式和(7-43)式修正权向量，直到满足要求为止。选择不同步长，比较误差变化情况，最后确定较合理的步长。3.检验部分检验部分 当学习结束后，应检验学习的正确性。此时给训练好的网络输入含有噪声干扰的一系列正弦波和三角波信号，要求噪声服从正态分布。检验网络是否能恢复标准波形。若能很好地恢复标准波形，则说该网络可消除正弦波和三角波中的噪声干扰，达到滤波效果。现在学习的是第55页，共90页四、实验效果四

20、、实验效果 图 7-19 加噪声的正弦波 现在学习的是第56页，共90页图 7-20 恢复正弦波 现在学习的是第57页，共90页7.4.4 神经网络实现微弱信号提取神经网络实现微弱信号提取 一、一、问题提出问题提出 在目标跟踪、多目标检测等许多工程领域，都涉及到从强的背景噪声中提取弱信号的问题。基于BP神经网络结构及算法的方法，可从宽带背景噪声中提取微弱有用信号。该方法对微弱信号的提取是在网络节点连接权向量域进行的，因此从根本上解决了对提取信号的频率选择问题。现在学习的是第58页，共90页二、二、BP网络权向量方法原理网络权向量方法原理(BPWV:Back-Propagation Weight

21、 Vector)图 7-21 弱信号提取模型 现在学习的是第59页，共90页取背景噪声的期望值mx作为期待响应dk,即 假设背景噪声是平稳的，则mx可用时间平均值近似估计。并假设弱信号出现之前，网络学习过程已经结束，即网络连接权矩阵的期望值已收敛于由背景噪声所确定的最佳权向量 。于是有偏移权向量 现在学习的是第60页，共90页7.4.5 基于神经网络的传感器静态误差综合修正法基于神经网络的传感器静态误差综合修正法 一、一、问题提出问题提出 传感器输出特性大都为非线性，且常受各种环境因素影响，故存在多种误差因素。这些误差因素通常同时存在，相互关联，若用一般方法对传感器静态误差进行综合修正往往很困

22、难。将神经网络用于传感器静态误差的综合修正，实验证明会取得好的效果，说明此方法的可行性。现在学习的是第61页，共90页二、二、用于传感器静态误差综合修正的前向神经网络用于传感器静态误差综合修正的前向神经网络 图 7-22 前向网络 现在学习的是第62页，共90页采用BP网络(参考图7-22)，由输出层开始逐层调整权值公式如下：对于输出层 对于隐层 现在学习的是第63页，共90页三、综合修正方法三、综合修正方法 图 7-23 综合修正原理框图 现在学习的是第64页，共90页 神经网络误差修正方法的步骤描述如下：(1)取传感器原始实验输入输出和相应环境参量。(2)将这些原始数据进行归一化处理，使输

23、入样本在0,1之内。(3)初始化网络，如确定输入、输出层单元数，修正因子，惯性系数等。(4)训练网络，直至满足要求为止。现在学习的是第65页，共90页四、四、实例分析实例分析 表表7-4 实实 验验 数数 据据 现在学习的是第66页，共90页现在学习的是第67页，共90页图 7-24 修正后x、t、z关系 现在学习的是第68页，共90页7.4.6 基于神经网络的三传感器数据融合处理法基于神经网络的三传感器数据融合处理法 (消除两个非目标参量的影响消除两个非目标参量的影响)1.概述概述 传感器静态特性不仅受某一个环境参量的影响，即不只受一个非目标参量的影响，有时甚至受多个非目标参量的影响。如一个

24、压力传感器，在输入压力P数值不变的情况下，当工作温度T变化以及供电电源波动都将引起传感器输出电压U发生变化，则该压力传感器受两个非目标参量(T，)的影响。为了提高传感器的稳定性，消除两个非目标参量对传感器输入输出特性的影响，可采用多种智能化技术，如多维回归分析法与神经网络法，这是两种有效的融合处理方法。现在学习的是第69页，共90页2.基于神经网络法的三传感器数据融合原理基于神经网络法的三传感器数据融合原理 图 7-25 采用神经网络进行三传感器数据融合的智能压力传感器系统框图 现在学习的是第70页，共90页图 7-26 传感器模块电路原理图 现在学习的是第71页，共90页 (1)压力传感器：

25、这里的压力传感器采用的是CYJ-101型压阻式压力传感器，对应被测压力P(目标参量)输出电压U。一个理想的压力传感器，其输出U应为输入P的一元单值函数，即U=f(P)其反函数为P=f-1(U)但是，该传感器受工作温度T与供电电源波动的影响，其输出电压U将发生变化，实际上是一个三元函数，即U=f(P,T,)现在学习的是第72页，共90页 (2)温度传感器：温度传感器将工作温度T转换为电压信号Ut,如图7-26。采用恒流源供电的压力传感器，其供电端(AC两端)电压UAC即为Ut。(3)电流传感器：电流传感器将电流信号I转换为电压信号UI,如图7-26。采用标准恒定电阻RN与压力传感器相串联，RN两

26、端电压UI为UI=IRN则供电电源波动为 现在学习的是第73页，共90页 2)神经网络模块 神经网络模块是由软件编程实现的一种BP网络算法。其三个输入量X1、X2、X3分别为U、Ut、，输出量为P。P亦是智能压力传感器系统的总输出量。总输出量P有两个特点：(1)P仅为被测压力P的单值函数，这样就消除了工作温度和供电电源波动两个非目标参量的影响。(2)在工作温度和供电电源同时波动情况下，要求系统输出P以某个允许偏差逼近被测目标参量P，从而实现了系统测量目标参量P的目的。要实现上述要求，需对神经网络进行训练，网络训练样本由三维标定实验数据来提供。现在学习的是第74页，共90页 3.样本库的建立样本

27、库的建立 1)三维标定实验 在不同工作温度T(=21.5,44.0,70.0),令电源电流波动分别为 =3%,-1%,-3%条件下，对CYJ-101型压力传感器的静态输入(P)输出(U)特性进行标定。实验标定数据列于表7-5。现在学习的是第75页，共90页表表 7-5 不同工作温度及供电电源波动下传感器输入输出标定值不同工作温度及供电电源波动下传感器输入输出标定值 现在学习的是第76页，共90页2)神经网络训练样本数据的归一化 表表 7-6 神经网络输入输出标准样本库神经网络输入输出标准样本库 现在学习的是第77页，共90页式中:第m个样本神经网络输入、输出归一化值；Xim、Pm第m个样本第i

28、个传感器的输入、输出标定值；Ximax、Ximin第i个传感器输出最大、最小标定值。(7-53)(7-52)现在学习的是第78页，共90页 如T=21.5 且当i=1时，X1max=Umax=100.12 mV,X1min=0；当i=2时，X2max=Utmax=290.5 mV,X2min=184.4 mV;又如T=70.0 且当i=1时，X1max=Umax=78.57mV,X1min=0；当i=2时，X2max=Utmax=826.1mV,X2min=669.3mV。Pmax=5104 Pa、Pmin=0为被测压力最大、最小标定值。现在学习的是第79页，共90页 计 算 举 例：计 算

29、m=4的 输 入 输 出 归 一 化 数 值 P4,Xi4=(X14X24X34)。当i=1时，X1max=Umax=100.12mV,X1min=0.00mV,X14=62.72mV,则由(7-52)式求得X14=0.626;当 i=2时，X2max=Utmax=290.5 mV,X1min=184.4 mV,X24=224.5mV,则由(7-52)式求得X24=0.378;当i=3时，已是无量纲数值，且在-1与1之间，不必再作归一化，即X34=0.03。P4=3.0104 Pa时，由(7-53)式求得P34=0.59。现在学习的是第80页，共90页4.神经网络的训练及其结构的确定神经网络的

30、训练及其结构的确定 图 7-27 多层感知机前向神经网络 现在学习的是第81页，共90页 图中i、j和k分别是输入层、隐层和输出层神经元序号。同一层内各神经元互不相连，相邻层之间的神经元通过连接权值Wji、Wkj相联系。Wji为输入层与隐层之间的连接权值；Wkj为隐层与输出层之间的连接权值。本例中选输入层结点数为3，输出层结点数为1，故i=1,2,3，k=1；隐层结点数j=1,2,，l。l值根据网络训练结果而定。采用误差反向传播算法(BP算法)，其目标是使神经网络输出y=P(本例中称为被测压力融合值)，与压力传感器系统目标参量的标定值之间的均方差e为最小，即 现在学习的是第82页，共90页图

31、7-28 BP网络训练过程及算法流程现在学习的是第83页，共90页 (1)网络初始化。随机设定连接权值Wji、Wkj,与阈值j及k的初始值。设定隐结点数l、步长及势态因子;(2)向具有上述初始值的神经网络按输入模式提供样本数据。本例为三维矢量X=(X1X2X3)。如样本m=1，输入模式为X=(0.001.00 0.03)。(3)计算隐层单元输出值f(Sj)。隐层单元输出值f(Sj)采用S型函数，其计算式为 现在学习的是第84页，共90页 (4)计算输出单元的输出值f(Sk)。输出单元的输出值f(Sk)即网络的输出y=P。输出值仍采用S型函数，计算式为(5)计算输出层和隐层训练误差k与j。现在学

32、习的是第85页，共90页(6)修正权值：式中，和分别为步长和势态因子。(7)判断均方误差e是否满足给定允许偏差(本例中给定允许偏差为10-3)。当满足时，则转到(8)，否则转向(5)、(6)和(7)。(8)结束训练。现在学习的是第86页，共90页 5.数据融合结果及评价数据融合结果及评价 (1)融合处理前传感器输出的相对波动情况。由表7-5可见，对于同一被测压力P，传感器输出U随工作温度和供电电源波动的不同而变化。由工作温度与电源变化产生的传感器输出电压相对波动值为 式中：P为传感器输出电压波动的相对值；max|y|为传感器输出电压的最大绝对波动值；yFS=97.12 mV为传感器满量程输出电

33、压(即在T=21.5,=0时，传感器的输出电压值)。现在学习的是第87页，共90页(2)经网络融合处理后传感器输出的相对波动情况。经网络融合处理后传感器输出的相对波动情况。表表7-7 融合处理结果融合处理结果 现在学习的是第88页，共90页式中:PFS=5.0(104Pa)为满量程压力标定值；max|P|=0.077(104Pa)代入(7-61)式计算得P=1.5%。可见，在相同工作温度变化和电源波动情况下，传感器的输出稳定性比原来提高了14.7倍。神经网络法对消除传感器在工作过程中受多种因素交叉干扰的影响十分有效。现在学习的是第89页，共90页 6.几点说明几点说明 (1)神经网络隐层结点数l的选取尚无理论上的指导，选取不当时会出现网络不收敛情况。文中通过先后取隐层结点数l为9、11、31和18，最后取l=18,网络训练结果令人满意。(2)网络训练步长和势态因子的确定亦无理论依据，选取不当时也会出现网络训练发散或使网络陷入局部极小点，训练中取=0.7,=0.9。(3)衡量训练好的神经网络是否具有较强的泛化能力，除了要用测试集来测试该网络的输出结果外，很大程度上取决于网络学习样本的广泛性与代表性。这就要求我们在确定网络学习样本时，一是要保证足够的样本数量；二是要使所取样本具有代表性和广泛性。现在学习的是第90页，共90页