人工神经网络及其应用硕士.ppt

《人工神经网络及其应用硕士.ppt》由会员分享，可在线阅读，更多相关《人工神经网络及其应用硕士.ppt（183页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第8章章 人工神经网络及其应用人工神经网络及其应用n 人人工工神神经经网网络络已已在在模模式式分分类类、机机器器视视觉觉、机机器器听听觉觉、智智能能计计算算、机机器器人人控控制制、信信号号处处理理、组组合合优优化化问问题题求求解解、联联想想记记忆忆、编编码码理理论论、医医学学诊诊断断、金金融融决决策策和和数数据据挖挖掘掘等等领领域域获获得得了了卓卓有有成成效效的的应应用。用。生生物物神神经经网网络络(Natural Neural Network,NNN):由由中中枢枢神神经经系系统统（脑脑和和脊脊髓髓）及及周周围围神神经经系系统统（感感觉觉神神经经、运运动动神神经经等等）所所构构成成的错综复

2、杂的神经网络，其中最重要的是的错综复杂的神经网络，其中最重要的是脑神经系统脑神经系统。人人工工神神经经网网络络(Artificial Neural Networks,ANN):模模拟拟人人脑脑神神经经系系统统的的结结构构和和功功能能，运运用用大大量量简简单单处处理理单单元元经经广广泛泛连连接接而而组组成成的的人工网络系统。人工网络系统。第第8章章 人工神经网络及其应用人工神经网络及其应用神经网络（神经网络（Neural Networks，NN）l 神经网络方法：神经网络方法：隐隐式式的知识表示方法的知识表示方法n人脑构造人脑构造:皮层（皮层（cortex）中脑（中脑（midbrain）脑干（脑

3、干（brainstem）小脑（小脑（cerebellum）n 人人脑脑由由1011 1014 个个神神经经细细胞胞（神神经经元元）交交织织在在一一起起的的网网状状结结构构组组成成，其其中中大大脑脑皮皮层层约约140亿亿个个神神经经元元，小小脑脑皮皮层层约约1000亿个神经元。亿个神经元。n 神神经经元元约约有有1000种种类类型型，每每个个神神经经元元大大约约与与103 104个个其其他他神神经元相连接，形成错综复杂而又灵活多变的神经网络。经元相连接，形成错综复杂而又灵活多变的神经网络。q 人脑神经网络系统与计算机处理信息的比较人脑神经网络系统与计算机处理信息的比较 运行控制：运行控制：l 计

4、计算算机机：有有一一个个中中央央处处理理单单元元来来控控制制所所有有的的活活动动和和对对所所有有的的信信息进行存取操作息进行存取操作；l人人脑脑神神经经系系统统：每每个个神神经经元元只只受受与与它它相相连连接接的的一一部部分分神神经经元元的的影响。影响。第第8章章 人工神经网络及其应用人工神经网络及其应用 知识存储：知识存储：l 计计算算机机：知知识识静静态态地地存存储储在在编编有有地地址址的的记记忆忆单单元元中中，新新的的信信息息破坏老的信息；破坏老的信息；l 人人脑脑神神经经系系统统：知知识识存存储储在在神神经经元元之之间间的的连连接接关关系系中中，新新的的知知识用来调整这种连接关系。识用

5、来调整这种连接关系。q 人脑神经网络系统与计算机处理信息的比较人脑神经网络系统与计算机处理信息的比较 第第8章章 人工神经网络及其应用人工神经网络及其应用第第8章章 人工神经网络及其应用人工神经网络及其应用8.1 神经元与神经网络神经元与神经网络 o8.2 BP神经网络及其学习算法神经网络及其学习算法o8.3 BP神经网络的应用神经网络的应用o8.4 Hopfield神经网络及其应用神经网络及其应用o其他神经网络其他神经网络8.1.1 神经元模型神经元模型p1.生物神经元结构生物神经元结构（输入输入）（输出输出）轴突轴突树突树突细胞体细胞体突触突触8.1.1 神经元模型神经元模型p1.生物神经

6、元结构生物神经元结构 n 工作状态工作状态:l 兴奋状态兴奋状态：细胞膜电位：细胞膜电位 动作电位的阈值动作电位的阈值 神经冲动神经冲动 l 抑制状态抑制状态：细胞膜电位细胞膜电位 0,wij=wji,则则 ；当且仅当；当且仅当 8.4.2 连续型连续型Hopfield神经网络及其神经网络及其VLSI实现实现o 3.应用举例：应用举例：n 1985年年，霍霍普普菲菲尔尔德德和和塔塔克克（D.W.Tank）应应用用连连续续Hopfield 神神经经网网络络求求解解旅旅行行商商问问题题（Travelling Salesman Problem，TSP）获得成功。）获得成功。旅行商问题（旅行商问题（T

7、SP）：典型的组合优化问题）：典型的组合优化问题l 有有 n 个个城城市市，城城市市间间的的距距离离或或旅旅行行成成本本已已知知，求求合合理理的的路路线线使每个城市都访问一次，且总路径最短（或者总成本最少）。使每个城市都访问一次，且总路径最短（或者总成本最少）。l n个城市存在的路径数：个城市存在的路径数：8.4.2 连续型连续型Hopfield神经网络及其神经网络及其VLSI实现实现o 3.应用举例：应用举例：旅行商问题（旅行商问题（TSP）：典型的组合优化问题）：典型的组合优化问题l n 个城市存在的路径数：个城市存在的路径数：l 用穷举法，用穷举法，Cray 计算机的计算速度：计算机的计

8、算速度：108次次/秒秒n 1985年，年，Hopfield 和和Tank 用用Hopfield网络求解网络求解 n30 的的TSP问题，问题，0.2 s 就得到次优解。就得到次优解。8.4.2 连续型连续型Hopfield神经网络及其神经网络及其VLSI实现实现o 3.应用举例：应用举例：n 连续连续Hopfiled神神经经网网络络求解求解约约束束优优化化问题问题的的基本思路基本思路：8.4.2 连续型连续型Hopfield神经网络及其神经网络及其VLSI实现实现o 3.应用举例：应用举例：n 连续连续Hopfield神经网络（神经网络（CHNN）求解约束优化问题的）求解约束优化问题的步骤步

9、骤：（1）选选择择合合适适的的问问题题表表示示方方法法，使使 CHNN 的的输输出出与与优优化化问问题题的的可行解可行解彼此对应；彼此对应；（2）用罚函数法写出优化问题的）用罚函数法写出优化问题的目标函数目标函数；（3）令令目目标标函函数数和和能能量量函函数数相相对对应应，确确定定CHNN 的的连连接接权权和和偏偏置电流置电流，以及，以及动态方程动态方程；（4）给给定定CHNN的的初初始始状状态态和和参参数数等等，使使 CHNN 按按动动态态方方程程运行，直至达到运行，直至达到稳定状态稳定状态，并把它解释为问题的解；，并把它解释为问题的解；n 5个城市的个城市的TSP：神经元数目：神经元数目：

10、25C3 C1 C5 C2 C4 C3 TSP的问题描述：的问题描述：用罚函数法，写出优化问题的目标函数：用罚函数法，写出优化问题的目标函数：能量函数：能量函数：令令E 与目标函数与目标函数 J 相对应，确定相对应，确定连接权值、偏置电流和连接权值、偏置电流和CHNN 的动态方程的动态方程：设设置置合合适适的的A、B、C、D和和 CHNN 的的初初始始状状态态，按按CHNN动动态态方程演化直到收敛。方程演化直到收敛。12(状态）状态）(阈值）阈值）（连接权值）（连接权值）n 神经网络优化计算目前存在的问题：神经网络优化计算目前存在的问题：（1）参数难以确定；）参数难以确定；（2）能量函数存在大

11、量局部极小值，难以保证最优解。）能量函数存在大量局部极小值，难以保证最优解。8.4 Hopfield神经网络及其应用神经网络及其应用8.4.1 离散型离散型Hopfield神经网络神经网络8.4.2 连续连续型型Hopfield神经网络及其神经网络及其VLSI实现实现8.4.3 随机神经网络随机神经网络8.4.4 混沌神经网络混沌神经网络8.4.3 随机神经网络随机神经网络oHopfield神神经经网网络络中中，神神经经元元状状态态为为1是是根根据据其其净净输输入入是是否否大于阈值而确定的，是确定性的。大于阈值而确定的，是确定性的。o随随机机神神经经网网络络中中，神神经经元元状状态态为为1是是

12、随随机机的的，服服从从一一定定的的概概率率 分分 布布。例例 如如，服服 从从 玻玻 尔尔 兹兹 曼曼(Boltzmann)、高高 斯斯(Gaussian)、柯柯西西(Cauchy)分分布布等等，从从而而构构成成玻玻尔尔兹兹曼曼机机、高斯机高斯机、柯西机柯西机等随机机。等随机机。1.Boltzmann机机o 1985年年，加加拿拿大大多多伦伦多多大大学学教教授授欣欣顿顿(Hinton)等等人人借借助助统统计计物理学的概念和方法，提出了物理学的概念和方法，提出了Boltzmann机神经网络模型。机神经网络模型。o 模模拟拟退退火火算算法法（N.Metropolis等等，1953）：把把某某类类优

13、优化化问问题题的的求求解解过过程程与与统统计计力力学学中中的的热热平平衡衡问问题题进进行行对对比比，通通过过模模拟拟高高温温物物体体退退火火过过程程的的方方法法，来来找找到到优优化化物物体体的的全全局局最最优优或或近近似似全全局最优解。局最优解。o 在物体退火过程中，其能量转移服从在物体退火过程中，其能量转移服从Boltzmann分布：分布：8.4.3 随机神经网络随机神经网络系统处于低能系统处于低能E的概率的概率系统系统温度温度Boltzmann常数常数1.Boltzmann机机o Boltzmann机机是是离离散散Hopfield神神经经网网络络的的一一种种变变型型，通通过过对对离离散散H

14、opfield神神经经网网络络加加以以扰扰动动，使使其其以以概概率率的的形形式式表表达达，而而网网络络的的模模型型方方程程不不变变，只只是是输输出出值值类类似似于于Boltzmann分分布布以以概率分布取值。概率分布取值。o Boltzmann机是按机是按Boltzmann概率分布动作的神经网络。概率分布动作的神经网络。8.4.3 随机神经网络随机神经网络8.4.3 随机神经网络随机神经网络 1.Boltzmann机机离散离散Hopfield神经网络神经元神经网络神经元i 的状态：的状态：神经元神经元i 的净输入：的净输入：神经元神经元I 输出状态值为输出状态值为0和和1时的概率：时的概率：8

15、.4.3 随机神经网络随机神经网络1.Boltzmann机机 Boltzmann的能量函数：的能量函数：神经元神经元 i 状态转换时网络能量的变化：状态转换时网络能量的变化：神经元神经元i 改变为状态改变为状态“1”的概率：的概率：2.高斯机高斯机 8.4.3 随机神经网络随机神经网络 :均值为均值为0的高斯随机变量（白噪声）的高斯随机变量（白噪声），其方差为，其方差为 3.柯西机柯西机 :柯西随机变量（有色噪声）柯西随机变量（有色噪声）8.4 Hopfield神经网络及其应用神经网络及其应用8.4.1 离散型离散型Hopfield神经网络神经网络8.4.2 连续连续型型Hopfield神经网

16、络及其神经网络及其VLSI实现实现8.4.3 随机神经网络随机神经网络8.4.4 混沌神经网络混沌神经网络8.4.4 混沌神经网络混沌神经网络1.混沌混沌o 混混沌沌:自自然然界界中中一一种种较较为为普普遍遍的的非非线线性性现现象象，其其行行为为看看似似混混乱复杂且类似随机，却存在精致的内在规律性。乱复杂且类似随机，却存在精致的内在规律性。o 混沌的性质混沌的性质：（1）随机性：类似随机变量的杂乱表现；）随机性：类似随机变量的杂乱表现；（2）遍历性：不重复地历经一定范围内的所有状态；）遍历性：不重复地历经一定范围内的所有状态；（3）规律性：由确定性的迭代式产生。）规律性：由确定性的迭代式产生。

17、1.混沌混沌o混沌学的研究热潮开始于混沌学的研究热潮开始于20世纪世纪70年代初期。年代初期。o1963年年，E.N.Lorenz在在分分析析气气候候数数据据时时发发现现：初初值值十十分分接接近近的的两两条条曲曲线线的的最最终终结结果果会会相相差差很很大大，从从而而获获得得了了混混沌沌的的第第一一个例子；个例子；o1975年年，Li-Yorke的的论论文文“周周期期3意意味味着着混混沌沌”使使“混混沌沌”一一词词首首先先出出现现在在科科技技文文献献中中。混混沌沌的的发发现现，对对科科学学的的发发展展具具有有深深远的影响。远的影响。8.4.4 混沌神经网络混沌神经网络8.4.4 混沌神经网络混沌

18、神经网络2.混沌混沌神经元神经元 混沌神经元（混沌神经元（1987年，年，Freeman）：构造混沌神经网络）：构造混沌神经网络 的基本单位。的基本单位。混沌神经元模型：混沌神经元模型：8.4.4 混沌神经网络混沌神经网络3.混沌神经网络混沌神经网络 1990年年，Aihara等等 提提 出出 了了 第第 一一 个个 混混 沌沌 神神 经经 网网 络络 模模 型型(Chaotic Neural Network，CNN)。1991年年，Inoue等等利利用用两两个个混混沌沌振振荡荡子子耦耦合合成成一一个个神神经经元元的的方法，构造出一个混沌神经计算机方法，构造出一个混沌神经计算机.1992年年，

19、Nozawa基基于于欧欧拉拉离离散散化化的的Hopfield神神经经网网络络，通通过过增增加加一一个个大大的的自自反反馈馈项项，得得到到了了一一个个与与Aihara等等提提出出的的类类似的似的CNN模型。模型。8.4.4 混沌神经网络混沌神经网络3.混沌神经网络混沌神经网络1）基于模拟退火策略的自抑制混沌神经网络）基于模拟退火策略的自抑制混沌神经网络 1995年年，Chen等等提提出出的的暂暂态态混混沌沌神神经经网网络络(Transient Chaotic Neural Network，TCNN)：8.4.4 混沌神经网络混沌神经网络3.混沌神经网络混沌神经网络1）基于模拟退火策略的自抑制混沌

20、神经网络）基于模拟退火策略的自抑制混沌神经网络 具有具有暂态混沌特性暂态混沌特性；能演化到一个稳定状态；能演化到一个稳定状态；搜索区域为一分形结构；搜索区域为一分形结构；具有混沌退火机制；具有混沌退火机制；一种广义的混沌神经网络。一种广义的混沌神经网络。可求解可求解0-1问题，也可求解连续非线性优化问题。问题，也可求解连续非线性优化问题。o非线性函数非线性函数 8.4.4 混沌神经网络混沌神经网络3.混沌神经网络混沌神经网络2）基于加大时间步长的混沌神经网络）基于加大时间步长的混沌神经网络 CHNN的欧拉离散化：的欧拉离散化：1998年，年，Wang和和Smith采用加大时间步长产生混沌：采用

21、加大时间步长产生混沌：8.4.4 混沌神经网络混沌神经网络3.混沌神经网络混沌神经网络3）引入噪声的混沌神经网络）引入噪声的混沌神经网络 1995年，年，Hayakawa等的混沌神经网络：等的混沌神经网络：第第8章章 人工神经网络及其应用人工神经网络及其应用o8.1 神经元与神经网络神经元与神经网络 o8.2 BP神经网络及其学习算法神经网络及其学习算法o8.3 BP神经网络的应用神经网络的应用o8.4 Hopfield神经网络及其应用神经网络及其应用其他神经网络其他神经网络习习 题题 o 8.1 用用BP网网络络逼近逼近一个非线性函数：一个非线性函数：要要求求：1）设设计计BP网网络络的的具

22、具体体结结构构,并并画画出出其其结结构构图图；2）试编制）试编制BP学习算法的计算程序。学习算法的计算程序。o 8.2 用用Hopfield神神经经网网络络求求解解8.1中中的的非非线线性性函函数数的的最最小小值值。要要求求：1）设设计计Hopfield神神经经网网络络的的具具体体结结构构，并并画画出出其其结结构构图图；2）试试编编制制Hopfield神神经经网网络络计计算算程程序。序。THE ENDArtificial Intelligence Principles and Applications8.1.1 神经元模型神经元模型p1.生物神经元结构生物神经元结构（输入输入）（输出输出）神经

23、冲动神经冲动8.1.3 人工神经网络人工神经网络q 1.神经网络的结构神经网络的结构（1）前馈型（）前馈型（前向型）前向型）BP神神经经网网络络8.2 BP神经网络及其学习算法神经网络及其学习算法p BP网络数字识别网络数字识别0123456789输入层（输入层（1024）隐层（隐层（16）输出层（输出层（1）n 训练样本：训练样本：n 测试样本：测试样本：l 输输 入入：输输 入入 图图 像像 像像 素素 矩矩 阵阵（3232）按按列列抽抽取取而而成成的的一一维维列向量；列向量；l 期望输出：期望输出：09l 隐隐层层的的变变换换函函数数：双双曲曲正正切切S型函数型函数l 输出层的变换函数输

24、出层的变换函数：线性函数：线性函数33准备样本8.2 BP神经网络及其学习算法神经网络及其学习算法n 训练样本集：美国邮政服务（训练样本集：美国邮政服务（USPS）数据库的特征数据库的特征图图p BP网络数字识别网络数字识别0123456789l 例子：机器人行动规划例子：机器人行动规划 8.3.2 BP神经网络在软测量中的应用神经网络在软测量中的应用p BP网络的逼近网络的逼近 o1.离散离散Hopfield神经网络模型神经网络模型n网络结构：网络结构：3神经元的神经元的DHNN结构图结构图12(状态）状态）(阈值）阈值）（连接权值）（连接权值）8.4.1 离散离散Hopfield 神经网络

25、神经网络3神经元的神经元的DHNN结构图结构图o1.离散离散Hopfield神经网络模型神经网络模型n网络结构：网络结构：8.4.1 离散离散Hopfield 神经网络神经网络o1.离散离散Hopfield神经网络模型神经网络模型n网络结构：网络结构：3神经元的神经元的DHNN结构图结构图12(状态）状态）(阈值）阈值）（连接权值）（连接权值）8.4.1 离散离散Hopfield 神经网络神经网络 注：注：或或连接权连接权阈值阈值8.4.1 离散离散Hopfield 神经网络神经网络-1o1.离散离散Hopfield神经网络模型神经网络模型n输入输出关系：输入输出关系：注：注：或或连接权连接权阈值阈值8.4.1 离散离散Hopfield 神经网络神经网络o1.离散离散Hopfield神经网络模型神经网络模型n输入输出关系输入输出关系：-1 令令E 与目标函数与目标函数 J 相等，确定相等，确定连接权值、偏置电流和连接权值、偏置电流和CHNN 的动态方程的动态方程：