人工智能与专家系统(PPT 51页)33666.pptx

第八章第八章 人工神经网络及应用人工神经网络及应用8.18.1人工神经网络概述人工神经网络概述8.28.2人工神经网络基础人工神经网络基础8.38.3人工神经网络学习人工神经网络学习8.48.4人工神经网络应用人工神经网络应用8.18.1人工神经网络概述人工神经网络概述 l利用机器模仿人类的智能是长期以来人们利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。认识自然、改造自然和认识自身的理想。l人工神经网络（人工神经网络（Artificial Neural Network）是一个用大量简单处理单元经广泛连接而是一个用大量简单处理单元经广泛连接而组成的人工网络，是对人脑或生物神经网组成的人工网络，是对人脑或生物神经网络若干基本特性的抽象和模拟。络若干基本特性的抽象和模拟。（1）研究）研究ANN目的目的l探索和模拟人的感觉、思维和行为的规律，探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。设计具有人类智能的计算机系统。l探讨人脑的智能活动，用物化了的智能来考探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。察和研究人脑智能的物质过程及其规律。（2）研究研究ANN方法方法 生理结构的模拟生理结构的模拟 用仿生学观点，探索人脑的生理结构，把对用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起人脑的微观结构及其智能行为的研究结合起来即人工神经网络方法。来即人工神经网络方法。宏观功能的模拟宏观功能的模拟 从人的思维活动和智能行为的心理学特性出从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。功能的模拟，即符号处理方法。（3）ANN的研究内容的研究内容l理论研究理论研究：从数学上描述：从数学上描述ANN的动力学过程，的动力学过程，建立相应的建立相应的ANN模型。对于给定的学习样本，模型。对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习元间互连权值，使系统达到稳定状态，满足学习要求的算法。要求的算法。l实现技术的研究实现技术的研究：探讨利用电子、光学、生物等：探讨利用电子、光学、生物等技术实现神经计算机的途径。技术实现神经计算机的途径。l应用的研究应用的研究：探讨如何应用：探讨如何应用ANN解决实际问题，解决实际问题，如模式识别、故障检测、智能机器人等。如模式识别、故障检测、智能机器人等。（4 4）ANN的特点与优势的特点与优势l具有自学习功能具有自学习功能 l具有联想存储功能具有联想存储功能l具有高速寻找优化解的能力具有高速寻找优化解的能力人工神经网络的局限性人工神经网络的局限性人工神经网络不适于高精度的计算人工神经网络不适于高精度的计算l正像很多人不善于直接计算类似资金的问题一样，人工神经网络不用于计算资金方面的问题。人工神经网络不适于做类似顺序计数的工作。人工神经网络不适于做类似顺序计数的工作。l人工神经网络是以并行方式工作的。人工神经网络的学习和训练是一个艰难的过程。人工神经网络的学习和训练是一个艰难的过程。l网络的设计没有严格确定的方法（一般凭经验），所以选择训练方法和所需网络结构没有统一标准。l脱机训练往往需要很长时间，为了获得最佳效果，常常要重复试验多次。l网络收敛性的问题。8.2 人工神经网络基础人工神经网络基础人工神经网络的生物原型人工神经网络的生物原型大脑大脑l简单的神经元简单的神经元8.28.2 人工神经网络基础人工神经网络基础l简单的神经元神经元就是神经细胞，在人体内从大脑到全身存在大约1010个神经元。神经元的组成：l细胞体：它是神经元的本体，内有细胞核和细胞质，完成普通细胞的生存功能。l树突：它有大量的分枝，多达103数量级，长度较短（通常不超过1毫米），用以接受来自其它神经元的信号。l轴突：用以输出信号，有些较长（可达1米以上），轴突的远端也有分枝，可与多个神经元相连。l突触：它是一个神经元与另一个神经元相联系的特殊部位，通常是一个神经元轴突的端部靠化学接触或电接触将信号传递给下一个神经元的树突或细胞体。8.2 人工神经网络基础人工神经网络基础l神经元间信号的传递神经元间信号的传递神经元间的信号通过突触传递。通过神经元间的信号通过突触传递。通过它，一个神经元内传送的冲击信号将它，一个神经元内传送的冲击信号将在下一个神经元内引起响应，使下一在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经元个神经元兴奋，或阻止下一个神经元兴奋。兴奋。8.2 人工神经网络基础人工神经网络基础l神经元的基本工作机制神经元的基本工作机制一个神经元有两种状态一个神经元有两种状态兴奋和抑制兴奋和抑制平时处于抑制状态的神经元，当接收到其它神经元平时处于抑制状态的神经元，当接收到其它神经元经由突触传来的冲击信号时，多个输入在神经元中经由突触传来的冲击信号时，多个输入在神经元中以代数和的方式叠加。以代数和的方式叠加。l进入突触的信号会被加权，起兴奋作用的信号进入突触的信号会被加权，起兴奋作用的信号为正，起抑制作用的信号为负。为正，起抑制作用的信号为负。如果叠加总量超过某个阈值，神经元就会被激发进如果叠加总量超过某个阈值，神经元就会被激发进入兴奋状态，发出输出脉冲，并由轴突的突触传递入兴奋状态，发出输出脉冲，并由轴突的突触传递给其它神经元。给其它神经元。神经元被触发后有一个不应期，在此期间内不能被神经元被触发后有一个不应期，在此期间内不能被触发，然后阈值逐渐下降，恢复原来状态。触发，然后阈值逐渐下降，恢复原来状态。8.2 人工神经网络基础人工神经网络基础l神经元的基本工作机制神经元的基本工作机制神经元是按照神经元是按照“全或无全或无”的原则工作的，只有的原则工作的，只有兴奋和抑制两种状态，但也不能认为神经元只兴奋和抑制两种状态，但也不能认为神经元只能表达或传递二值逻辑信号。能表达或传递二值逻辑信号。神经元兴奋时往往不是只发一个脉冲，而是发神经元兴奋时往往不是只发一个脉冲，而是发出一串脉冲，如果把一串脉冲看成是一个调频出一串脉冲，如果把一串脉冲看成是一个调频信号，脉冲的密度是可以表达连续量的。信号，脉冲的密度是可以表达连续量的。神经网络基本模型神经网络基本模型黑箱黑箱当常规方法解决不了或效果不佳时当常规方法解决不了或效果不佳时ANN方法才能显示出其优方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统的系统,如故障诊断、特征提取和预测等问题如故障诊断、特征提取和预测等问题,ANN往往是最往往是最有利的工具。另一方面有利的工具。另一方面,ANN对处理大量原始数据而不能用对处理大量原始数据而不能用规则或公式描述的问题规则或公式描述的问题,表现出极大的灵活性和自适应性。表现出极大的灵活性和自适应性。8.2 人工神经网络基础人工神经网络基础人工神经网络的拓扑结构l单层网络最简单的网络是把一组结点形成一层。左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。右边用圆圈表示的一组结点被看作一层。8.2 人工神经网络基础人工神经网络基础人工神经网络的拓扑结构l单层网络输入信号表示为行向量：x=(x1,x2,xN)，其中每一分量通过加权连接到各结点。每一个结点均可产生一个加权和。输入和结点间采用全连接，并且都是前馈连接。l实际的人工神经网络和生物神经网络中有些连接可能不存在。8.2 人工神经网络基础人工神经网络基础人工神经网络的拓扑结构l单层网络在这种单层网络中，可把各加权表示为加权矩阵W。矩阵的维数是N x n，N是输入信号向量（也称输入图形）的分量数，n是该层内的结点数。l由第三个输入连接到第二个结点的连接权表示为W32。8.2 人工神经网络基础人工神经网络基础人工神经网络的拓扑结构l单层网络输入信号的加权和表示为：s是各结点加权和的行向量，s=(s1,s2,sn)。输出向量 y=(y1,y2,yn)，其中yj=F(sj)。8.2 人工神经网络基础人工神经网络基础人工神经网络的拓扑结构l多层网络一般来说，大而复杂的网络能提供更强的计算能力。虽然目前已构成了很多网络模型，但它们的结点都是按层排列的，这一点正是模仿了大脑皮层中的网络模块。多层网络是由单层网络进行级联构成的，即上一层的输出作为下一层的输入。8.2 人工神经网络基础人工神经网络基础人工神经网络的拓扑结构l多层网络两层网络（前馈全连接网络）8.2 人工神经网络基础人工神经网络基础人工神经网络的拓扑结构l多层网络三层网络（前馈全连接网络）8.2 人工神经网络基础人工神经网络基础存储和回忆存储和回忆l存储就是将信息或图形存在某种存储存储就是将信息或图形存在某种存储器中，而回忆则是将已存储的信息按器中，而回忆则是将已存储的信息按某种方式恢复出来。某种方式恢复出来。l为了与人类大脑的功能类比，我们把为了与人类大脑的功能类比，我们把这种信息的恢复称为回忆。这种信息的恢复称为回忆。8.2 人工神经网络基础人工神经网络基础存储和回忆l人工神经网络中存储图形的类型在计算机中，数据和信息是存放在存贮器中（RAM或ROM)，以8比特字节作为存储单位。在人工神经网络中，信息或图形不再限定为8比特，它是多维的二进制数据或连续信息。8.2 人工神经网络基础人工神经网络基础存储和回忆l人工神经网络中存储的两类图形空间图形的存储l存储单个空间静态图像，如一幅画面。时空图形的存储l存储一系列随时间变化的图像，比如电影。我们讨论的人工神经网络存储的图形大多是空间图形，因它是构成时空图形的基础。l人工神经网络中图形的存储内容寻址存储器l它是在人工神经网络的训练过程中形成的，相当于通过训练将信息存储在加权矩阵W中。训练一旦完成，数据就相当于变换到加权矩阵的稳定状态中，因此这种存储是长期存储。联想存储器l它是在人工神经网络的回忆操作中出现的。当对网络输入激励信号时，作为回忆结果，网络的输出给出一个响应状态。这一响应状态实际上也相当于一个所需的存储数据（响应），因此这种存储为短期存储。存储和回忆存储和回忆存储和回忆l回忆的概念回忆是人类智能的一个主要特征，要想回忆某个人或某件事，通常可通过联想进行。l当看到一本书的封面颜色和作者时，会联想到这是一本什么书（书的内容）。l当丢失东西时，可以通过联想到过什么地方，做过什么事情，最后回忆起把东西放在什么地方。l这两种情况都有一个特点，就是不管是哪本书，还是与东西有关的地点和事情，都是经历过的，相应的记忆才有可能联想出所需的结果。联想的两种方式l自联想：由本身的部分特征联想起整个事物的全部特征。l他联想：由一件事情联想到另一件事情。在人工神经网络中，回忆操作也有两种联想变换l自联想变换l他联想变换存储和回忆存储和回忆l回忆的概念回忆的概念在人工神经网络中，不管是自联想回忆还在人工神经网络中，不管是自联想回忆还是他联想回忆，信息的回忆方式有两种。是他联想回忆，信息的回忆方式有两种。l前馈回忆前馈回忆l反馈回忆反馈回忆存储和回忆l回忆的概念前馈回忆l输入激励只需通过一次存储矩阵就可产生所需的响应。存储和回忆l回忆的概念反馈回忆l输入激励通过存储矩阵W产生响应，该响应作为激励再反馈通过W，这样依次循环，直到激励和响应停止变化为止，即得到所要求的响应。8.3 人工神经网络学习人工神经网络学习l人工神经网络的最主要特征之一是它可人工神经网络的最主要特征之一是它可以学习。任何一个人工神经网络模型要以学习。任何一个人工神经网络模型要实现某种功能的操作，就必须对它进行实现某种功能的操作，就必须对它进行训练，让它学会要做的事情，并把这些训练，让它学会要做的事情，并把这些知识记忆（存储）在网络的加权中。知识记忆（存储）在网络的加权中。l学习或训练的实质就是加权矩阵随外部学习或训练的实质就是加权矩阵随外部激励（环境）做自适应的变化。激励（环境）做自适应的变化。8.3 人工神经网络学习人工神经网络学习l因为学习和训练的实质是变动加权值，因为学习和训练的实质是变动加权值，因此很多文献中学习和训练的概念是混因此很多文献中学习和训练的概念是混用的。严格来说，两者是有区别的，训用的。严格来说，两者是有区别的，训练通常是指调整网络加权的操作动作和练通常是指调整网络加权的操作动作和过程，这个过程对网络来讲就是学习。过程，这个过程对网络来讲就是学习。比如举办一个训练班对学生进行某种比如举办一个训练班对学生进行某种技能的训练，对学生来讲，它是在该技能的训练，对学生来讲，它是在该班内学习。班内学习。8.3 8.3 神经网络的学习方式神经网络的学习方式l监督学习（有教师学习）监督学习（有教师学习）l非监督学习（无教师学习）非监督学习（无教师学习）l再励学习（强化学习）再励学习（强化学习）监督学习监督学习环境环境教师教师学习系统学习系统+输入输入正确响应正确响应实际响应实际响应误差信号误差信号非监督学习非监督学习环境环境学习系统学习系统输入输入再励学习再励学习环境环境学习系统学习系统输入输入评价评价输出输出状态状态动作动作人工神经网络的应用人工神经网络的应用l空间技术：飞行器控制系统，飞行器元件仿真，空间技术：飞行器控制系统，飞行器元件仿真，飞行器元件错误探测。飞行器元件错误探测。l交通业：交通控制、道路优化。交通业：交通控制、道路优化。l金融业：信贷申请评估。金融业：信贷申请评估。l语言理解：语音识别，语音压缩，声调识别。语言理解：语音识别，语音压缩，声调识别。l遥感解译、天气预报、故障诊断、遥感解译、天气预报、故障诊断、l机器人，制造业，保险业和医学领域等。机器人，制造业，保险业和医学领域等。基于神经网络模式识别功能的诊断系统因因子子的的具具体体选选取取 l依据降水的主要条件，从我国依据降水的主要条件，从我国T213T213数值预报产品数值预报产品中选取反映保定降水条件的物理量。共从中选取反映保定降水条件的物理量。共从3636小时小时预报中选出预报中选出1010个网格点要素，分别是：湿度条件：个网格点要素，分别是：湿度条件：850HPA850HPA的相对湿度、水汽通量；垂直速度条件：的相对湿度、水汽通量；垂直速度条件：850850的散度、的散度、200200的散度、的散度、700700的垂直速度、降水的垂直速度、降水量、量、700700的涡度；（以上为的涡度；（以上为116E116E、39N39N网点的值）网点的值）东高西低条件：东高西低条件：110E110E、120E120E、39N39N两点两点850850的高度的高度差；锋区和能量条件：差；锋区和能量条件：116E116E、35N35N、45N45N两点两点850850的温度差、的温度差、TSTS。人工神经网络在短期降水预报中的应用人工神经网络在短期降水预报中的应用BP神经网络的建立l采用三层采用三层BPBP人工神经网络模式，输入层为人工神经网络模式，输入层为1010个神经元，对应个神经元，对应1010个预报因子。输出层为个预报因子。输出层为3 3个个神经元，对应降水的大中小三个降水量级。神经元，对应降水的大中小三个降水量级。中间层一般取输入层和输出层数的平均，这中间层一般取输入层和输出层数的平均，这里取里取7 7个神经元。如图个神经元。如图1 1所示，所示，X X 为输入层，为输入层，H H为隐含层，为隐含层，Y Y为预报输出层。为预报输出层。网络训练网络训练 1、预报因子、预报因子01化：化：Xi=(Xmax-Xi)/(Xmax-Xmin)2、在训练以前我们取、在训练以前我们取01之间的随机数为连接权重之间的随机数为连接权重系数系数Uil、Wlt 和阀值和阀值Rl、Sj赋初值。由于训练开赋初值。由于训练开始时误差常常较大，它们将在以后的训练学习过程始时误差常常较大，它们将在以后的训练学习过程中自动逐步调节中自动逐步调节 3、02年，我台从年，我台从3月到月到11月接收月接收T213数值预报产品数值预报产品齐全的共有齐全的共有159天，用前天，用前109天的资料作为网络训天的资料作为网络训练样本练样本 训练结果训练结果l经过两万多次的训练，总体预报误差达到了经过两万多次的训练，总体预报误差达到了4.04.0以下。终止训练后。这以下。终止训练后。这109109天中共有降水天中共有降水日日2727天，其中小雨天，其中小雨2020天，中雨天，中雨6 6天，大雨以天，大雨以上降水一次。训练结束时上降水一次。训练结束时2727天降水全部报出，天降水全部报出，量级也全部正确，只是空报两次小雨过程，量级也全部正确，只是空报两次小雨过程，历史拟合率达到历史拟合率达到27/29=93%27/29=93%。试报结果试报结果l 在在试试报报的的5050天天中中共共有有降降水水8 8次次，其其中中大大雨雨2 2 次次，漏漏一一次次，一一次次报报中中雨雨。中中雨雨3 3次次，报报对对2 2次次，漏漏一一次次。3 3次次小小雨雨，一一次次报报中中雨雨，漏漏2 2次次。另空报另空报2 2次小雨，定性准确率次小雨，定性准确率4/10=40%4/10=40%。分析与讨论l拟拟合合率率虽虽然然很很高高，但但试试报报准准确确率率不不太太理理想想。这这可可能能与与样样本本少少，降降水水模模型型过过于于简简单单，且且不不分分季季节节有有关关。如如果果增增加加历历史史样样本本，分分季季节节、分分类类型型建建立立降降水水模模型型。根根据据不不同同模模型型特特点点，分分别别找找不不同的预报因子，有可能提高实际的预报准确率同的预报因子，有可能提高实际的预报准确率l（BPBP）神神经经网网络络的的输输入入与与输输出出不不象象回回归归方方程程是是线线性性关关系系，而而是是非非线线性性的的。因因此此，因因子子的的选选好好比比较较困困难难，没没有有较较好好的的数数学学方方法法，所所以以采采用用建建降降水水模模式式的的方方法法，找找物物理理意意义义较较明明确确的的因因子子。但不同的预报员可能选择的不同因子。但不同的预报员可能选择的不同因子。人工神经网络在遥感影像解译中的应用人工神经网络在遥感影像解译中的应用l基于人工神经网络（基于人工神经网络（ANNANN）的分类聚合）的分类聚合技术的进行了黄河下游滩区淹没面积遥技术的进行了黄河下游滩区淹没面积遥感影像自动解译的应用研究，案例研究感影像自动解译的应用研究，案例研究中选用中选用20022002年年7 7月、月、20042004年年6 6月、月、20052005年年6 6月黄河下游滩区雷达卫星遥感影像进月黄河下游滩区雷达卫星遥感影像进行了模型训练和测试。行了模型训练和测试。数据训练与分析数据训练与分析 淹没区内空间像素的分类淹没区内空间像素的分类 l图图2a2a中像元的值是原始影像（图中像元的值是原始影像（图2c2c）各个像）各个像元的灰度值（丛元的灰度值（丛0 0到到255255），图），图2 2右边给出了由右边给出了由遥感专业人员目视解译分类成果，图遥感专业人员目视解译分类成果，图2b2b中的中的数字是洪水区或者非洪水区的分类符号，这数字是洪水区或者非洪水区的分类符号，这个分类符号个分类符号0 0，表示该像元属于非洪水区；符，表示该像元属于非洪水区；符号号255255，表示该像元属于洪水区。图，表示该像元属于洪水区。图2a2a作为输作为输入值、图入值、图2b2b作为输出值组成了用于训练的数作为输出值组成了用于训练的数据，这些数据将用于分类。据，这些数据将用于分类。神经网络模型神经网络模型SAR图像图像 从从20052005年的数据中选择典型区间（年的数据中选择典型区间（128*128128*128个像元，个像元，如图如图4b4b所示）。如图所示）。如图4a4a所示是训练获得的神经网络拓所示是训练获得的神经网络拓扑逻辑，通过自动优选（循环值扑逻辑，通过自动优选（循环值500500、循环误差为、循环误差为0.00829330.0082933、学习速度、学习速度0.30.3、动量、动量0.20.2）获得隐蔽层）获得隐蔽层（3 3个节点）。源影像、由专家生成的训练集，以及个节点）。源影像、由专家生成的训练集，以及影像分类结果分别如图影像分类结果分别如图4b4b、4c4c、4d4d所示。所示。模型测试结果模型测试结果 模型训练后分别选择模型训练后分别选择20022002年年6 6月月2222日和日和20042004年年7 7月月2424日的影像数据进行测试，测试结果如图所示。日的影像数据进行测试，测试结果如图所示。该研究中实例数为该研究中实例数为819200819200，正确分类的为，正确分类的为805134(98.29%)805134(98.29%)；洪水区的实例为；洪水区的实例为117248117248，正确，正确分类的为分类的为111210(94.85%)111210(94.85%)。Thanks.