第8章人工神经网络在物性估算中的应用2ppt课件(全).ppt

第第8章章 人工神经网络在物性估算中的应用人工神经网络在物性估算中的应用 8.1 神经网络理论的发展及沿革神经网络理论的发展及沿革 8.2 神经网络的基本原理神经网络的基本原理8.3 几种典型的人工神经网络的基本原理及应用策略几种典型的人工神经网络的基本原理及应用策略8.4 神经网络物性估算应用策略及实例应用神经网络物性估算应用策略及实例应用总目录总目录8.1 神经网络理论的发展及沿革神经网络理论的发展及沿革 生物神经网络和人工神经网络生物神经网络和人工神经网络概念概念生物神经网络生物神经网络 生物特有的对外界的各种刺激快速有效地做出有效应反应的神经网络。典型的生物神经网络：人脑 人工神经网络人工神经网络 是对生物神经网络的模拟，神经元也由生物神经元，变成了人工神经元。总目录总目录本章目录本章目录上页上页下页下页8.1.2 人工神经网络的发展历史人工神经网络的发展历史 第一阶段第一阶段 是早期工作阶段 1943年，心理学家Mc Culloch和数学家Pitts合作提出了形式神经元的数学模型（简称MP模型）1949年D.OHebb从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则 1961年ERosen blatt提出了著名的感知机（Perceptron）模型 第二阶段第二阶段是过渡期阶段 1962年，Widrow提出了主要适用于自适应系统的自适应线性元件（Adaline）网络 本章目录本章目录上页上页下页下页总目录总目录1969年，人工智能创始人之一美国麻省理工学院的Minsky和Papert以感知器为名出版了一本书 第三阶段第三阶段是复苏阶段 1982年，HoPfield提出了神经网络一种新的数学模型HoPfield网络模型 Hinton和Sejnowski于1984年提出的Boltzmann机模型 Rumelhart和McCelland为首的科学小组，于1986年提出误差逆传播网络及其学习算法 第四阶段第四阶段成熟理智阶段 本章目录本章目录上页上页下页下页总目录总目录8.1.3 人工神经网络物性估算中的应用及未来发展趋势人工神经网络物性估算中的应用及未来发展趋势 有关人工神经网络在化学化工方面的应用研究在80年代后期才有报道。主要分成五类：谱图分析谱图分析结构与性质预测结构与性质预测信号处理信号处理过程控制和故障诊断过程控制和故障诊断化学反应产物估计化学反应产物估计 本章目录本章目录上页上页下页下页总目录总目录8.2 神经网络的基本原理神经网络的基本原理 8.2.1 神经元的基本生物特性神经元的基本生物特性 生物神经元 详见教材8.2.2 神经元的基本数学表达神经元的基本数学表达 目前对生物神经元的认识而言，神经元的数学模型可用图8-4及式8-1，8-2表示。（8-1）（8-2）本章目录本章目录上页上页下页下页总目录总目录 上面神经元示意图及数学模型中，xi是输入神经元的信号，wi是输入各信号的权重，是神经元的输出阀值，只有当输入神经元各信号的加权之和大于神经元的输出阀值，神经元才有输出信号。输出响应函数输出响应函数 阶约响应函数阶约响应函数符号函数符号函数S S（SigmoidSigmoid）型响应函数型响应函数（8-3）（8-4）（8-5）本章目录本章目录上页上页下页下页总目录总目录8.2.3 神经网络的基本结构类型及学习规则神经网络的基本结构类型及学习规则 基本连接结构有两种：阶层型：阶层型：图图8-6 阶层型神经网络阶层型神经网络 本章目录本章目录上页上页下页下页总目录总目录图图8-7 全互连型神经网络全互连型神经网络 全互连型全互连型 无论哪种形式的神经网络都有一个共同的特点：网络的学习和运行取决于个神经元连接权值及阀值的动态演化过程。决定神经网络特性的因素有两个，它们分别是网络的拓扑结构和网络的学习、工作规则。本章目录本章目录上页上页下页下页总目录总目录人工神经网络的训练人工神经网络的训练 几种典型的学习规则几种典型的学习规则（1）Hebb学习规则学习规则 原则是如果两个神经元同时兴奋，则它们之间的连接权值增加，对于相互连接节点i和j，其输出值分别为ai和bj，则根据下式调整权重：(8-6)其中其中 j是节点是节点j的学习速度常数，的学习速度常数，0 j1。（2）随机学习规则）随机学习规则 应用统计学、概率论随机调节连接权重。其特点是只接受可使误差矢量减小的随机权重变化。本章目录本章目录上页上页下页下页总目录总目录（3）误差修正学习）误差修正学习 现今应用最普遍的人工神经网络学习方法，是一种有监督学习。误差修正学习是通过定义输出层某一节点t的输出误差开始的：然后计算输出层的总平方误差：已知E，可以计算出与第j个节点连接的第i个连接权重因子的变化wij：（8-7）（8-8）（8-9）本章目录本章目录上页上页下页下页总目录总目录8.2.4 神经网络解决物性估算问题的基本策略神经网络解决物性估算问题的基本策略 用神经网络来估算物质的性质必须解决三个基本问题。第一个 是对物质的表针问题 第二个 是采用何种神经网络及其算法问题 第三个 问题是神经网络输入与输出数据的归一化问题 本章目录本章目录上页上页下页下页总目录总目录8.3 几种典型的人工神经网络的基本原理及应用策略几种典型的人工神经网络的基本原理及应用策略 8.3.1 BP网络网络 1 1）网络的基本原理）网络的基本原理 BP网络是目前应用最广，其基本思想最直观、最容易理解的阶层型神经网络，网络采用误差逆传播学习算法。工作原理如下：首先根据需要解决的问题确定网络的层数及各层的神经元数；其次，利用已知的模式，按误差逆传播的算法训练网络，直至确定网络的各连接权及阀值。最后，利用已经训练好的网络，在输入层输入变量，让网络按照前面确定的连接权及阀值进行运算，得到输出层神经元的各输出层，最后一步，又称回响，也是最后解决问题的关键训练学习工作由四个过程组成：训练学习工作由四个过程组成：（1）模式顺传播过程（2）误差逆传播过程（3）神经网络训练过程（4）网络的收敛过程 本章目录本章目录上页上页下页下页总目录总目录2 2）网络的计算过程）网络的计算过程 BPBP网络的具体计算过程可以分为以下几步。网络的具体计算过程可以分为以下几步。I.初始化工作。II.随机选取一已知模式对，进行模式顺传播计算，直算至输出层各神经元的输出值 III.计算输出层及的中间层的校正误差 IV.根据各神经元的校正误差及输入值，调整各神经元的连接权和阀值。V.U=U+1，返回步骤（2），直至所有m个模式对训练完毕，转下一步。VI.计算全局误差 VII.进行网络测试 本章目录本章目录上页上页下页下页总目录总目录3)网络的应用策略网络的应用策略 加速BP网络收敛速度的方法主要是从改变学习系数，用双曲线正切函数代替S函数、对S函数输出进行限制、改变权值和阀值修正的形式等方面加以着手。但对于具体应用的人员来说，重点不在于收敛速度，而在于是否收敛及收敛精度。只要网络在有限的时间内，按我们所要求的精度收敛即可。这样，用BP网络估算物性关键在于网络输入特征变量的选择和确定。本章目录本章目录上页上页下页下页总目录总目录8.3.2 Hopfield神经网络神经网络 1)1)网络的基本原理网络的基本原理 网络中的每个神经元只能取“0”或“1”两种状态，网络中5个神经元中的任一个神经元和其它4个神经元互连，既每一个神经元都将自己的输出通过连接权传送给所有其它的神经元，同时又接收所有其它神经元传递过来的信息。是一种反馈型神经网络。每一个神经元在t时刻的输出函数为：（8-31）（8-32）本章目录本章目录上页上页下页下页总目录总目录2)2)网络的运行规则网络的运行规则 Hopfield神经网络的运行规则:固定连接权和阀值，按一定的规则计算，改变神经元的输出状态，最后使网络达到稳定的状态。而网络达到稳定的状态时，再按一定的规则计算，网络的状态也不会改变。具体计算机计算收敛过程如下。具体计算机计算收敛过程如下。1.输入网络的神经元数目，随机给定各神经元的连接权值及阀值（或根据实际需要人工给定各神经元的连接权值及阀值）。2.根据神经元的两种输出状态0或1，随机给定所有神经元的输出状 态（或人工给定）得到网络的初始状态。3.从网络中随机选取第i个神经元，按式8-32计算选中神经元的值：4.根据值的大小，确定第i个神经元下一时刻的值 本章目录本章目录上页上页下页下页总目录总目录5 第i个神经元以外的所有神经元的输出保持不变 6 判断网络是否达到稳定状态，如果达到稳定状态转下一步（7）；反之则返回（3）7 打印稳定状态及能量函数，并判断是否需要在不同的初始状态下进行网络收敛运行，是转（2），否程序结束运行 3）网络的应用策略网络的应用策略 对于物性估算而言，如果我们能够将我们所要解决的问题，如拟合偏差最小问题转化成网络的能量函数，就有可能将Hopfield神经网络应用于物性估算中，通过网络的运行，使能量函数达到最小化，从而达到问题的求解方法。有关将这方面的知识应用于物性估算的尚未见报道，读者如感兴趣可参阅有关神经网络的专著。本章目录本章目录上页上页下页下页总目录总目录8.4 神经网络物性估算应用策略及应用实例神经网络物性估算应用策略及应用实例8.4.1 应用策略应用策略 8.4.2 常压沸点下蒸发潜热计算常压沸点下蒸发潜热计算 具体方法以及 VB代码见教材8.4.3 常压沸点计算及临界压缩因子的计算常压沸点计算及临界压缩因子的计算 具体方法以及 VB代码见教材本章目录本章目录上页上页下页下页总目录总目录8.4.4 人工神经网络的优越性及存在的问题人工神经网络的优越性及存在的问题 优点优点 自适应性、容错性、模式识别性能、外推性、自动抽提功能、在线应用的潜力 局限性存在问题，主要如下：局限性存在问题，主要如下：训练时间长 需大量训练数据 不能保证最佳结果 不能保证完全可靠 本章目录本章目录上页上页总目录总目录