神经网络导论第三章精.ppt
《神经网络导论第三章精.ppt》由会员分享,可在线阅读,更多相关《神经网络导论第三章精.ppt(64页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、神经网络导论第三章第1页,本讲稿共64页概述 反馈神经网络模型可用一完备的无向图表示。从系统的观点看,反馈神经网络模型是一反馈动力学系统,它具有极复杂的动力学特性。在反馈神经网络模型中,我们关心的是其稳定性,稳定性是神经网络相联存储性质的体现,可以说稳定就意味着完成回忆。从计算的角度讲,反馈神经网络模型具有比前馈神经网络模型更强的计算能力。第2页,本讲稿共64页内容提要k Hopfield神经网络模型k 海明神经网络模型k 双向联想存储器k 应用实例分析第3页,本讲稿共64页第一节Hopfield模型第4页,本讲稿共64页Hopfield神经网络模型的结构第5页,本讲稿共64页Hopfield
2、神经网络模型结构描述 Hopfield神经网络模型一般由单层全互连的神经元ui(i=1,,n)组成。神经元没有自连接,即wii0;神经元与神经元之间的连接是对称的,即wijwji。第6页,本讲稿共64页Hopfield模型数学描述k 输入 该模型中神经元实际上是一线性阈值单元。图中x1,x2,xn为该自适应线性元在t时刻的外部输入,用向量表示为:X(x1,x2,xn)T 这个向量称为自适应线性元的输入信号向量或输入模式向量。第7页,本讲稿共64页Hopfield模型数学描述k 连接权值第8页,本讲稿共64页Hopfield模型数学描述k 输出 二值输出第9页,本讲稿共64页Hopfield模型
3、的学习 当用Hopfield网络作相联存储器时,其权值赋予的规则称为外积存储规则。假设有m个样本向量X1、X2、Xm要存入Hopfield神经网络中,则第i个神经元与第j个神经元之间相连的权值ij为:第10页,本讲稿共64页Hopfoeld模型回忆过程图解第11页,本讲稿共64页Hopfield模型的回忆过程描述 首先要将模式向量X的n个元素x1,x2,,xn分别赋予与之对应的神经元,作为相应神经元元的初始状态,即:ai(0)=xi。然后在Hopfield神经网络模型中按其动力学特性sgn函数进行操作,反复迭代,直到收敛为止。当整个神经网络稳定后,处理单元的输出就最终给出了匹配输入模式X的标准
4、样本模式,直接完成了提取记忆信息的操作。第12页,本讲稿共64页Hopfield模型的学习举例 假设Hopfield模型有4个神经元,现希望其储存如下模式向量:(11-1-1)T/(-1-111)T。第13页,本讲稿共64页Hopfield模型的回忆举例 要求回忆样本(11-1-1)T、(1-111)T。第14页,本讲稿共64页Hopfield模型应用之模式补全u问题描述 1010的点阵表示的图案存储在Hopfield网络中。现将受损坏的图案输入,让受损坏的图案恢复原状。去噪过程。u模拟第15页,本讲稿共64页Hopfield模型的容量问题 作为相联存储器的Hopfield网络有两个局限,第一
5、是存储在Hopfield神经网络模型中的标准样本模式不能太多,可以证明,当m0.15n时,一般都能达到比较好的匹配。第二是如果两类标准样本模式向量中相同的元素很多,那么其中任何一个标准样本模式开始迭代,但最后可能会收敛于另一个标准样本模式。第16页,本讲稿共64页Hopfield模型与组合优化求解 在组合优化问题中,让神经元的某状态表示某命题的真假,而神经元之间的连接则表示两命题的关联程度,正为相互支持,负为相互否定。当两命题关联程度为wij时,有花费(cost)值wijaiaj,则可以用能量函数代表其总花费。第17页,本讲稿共64页Hopfield模型与组合优化求解 能量函数要根据不同的问题
6、进行不同的构造,只要定义好适当的能量函数,就能通过类比的方法设置神经网络的连接权值,然后用上述迭代方法得到组合优化问题的近似解。因此,网络收敛于稳定点过程表示在众多约束之下不断调整网络状态,直到使总花费值达到某个局部极小值或全局极小值的近似。第18页,本讲稿共64页能量函数 能量函数展现的是神经网络系统集团计算能力而不是单个神经元的计算能力。能量的概念也可以推广到其它类型的神经网络模型中。在能量概念的基础上,神经计算可以描述为在能量曲面上的一条轨迹。第19页,本讲稿共64页能量函数收敛性证明第20页,本讲稿共64页能量函数收敛性证明当状态由0或1变为1时,因为:所以:第21页,本讲稿共64页能
7、量函数收敛性证明当状态由0或1变为0时,因为:所以:第22页,本讲稿共64页Hopfield模型应用实例8皇后问题u问题描述 8皇后问题是:给定一个标准的棋盘和8个皇后,要求正确地放置8个皇后,使得没有任何一个皇后可以攻击到另外的一个皇后。这里我们将用Hopfield模型求解这一问题。第23页,本讲稿共64页Hopfield模型应用实例8皇后问题u能量函数的定义定义 表示处于位置(i,j)的方块。有:第24页,本讲稿共64页Hopfield模型应用实例8皇后问题u能量函数的定义考察下式:该式表明当每行只有一个皇后时,该式可以取得最小值0,否则该式的值将大于0。第25页,本讲稿共64页Hopfi
8、eld模型应用实例8皇后问题u能量函数的定义考察下式:该式表明当每列只有一个皇后时,该式可以取得最小值0,否则该式的值将大于0。第26页,本讲稿共64页Hopfield模型应用实例8皇后问题u能量函数的定义第27页,本讲稿共64页Hopfield模型应用实例8皇后问题u能量函数的定义 每条对角线只有一个皇后时,该式取最小值。第28页,本讲稿共64页Hopfield模型应用实例8皇后问题u能量函数的定义显然,H取得最小值时,可以得到最优解。第29页,本讲稿共64页Hopfield模型应用实例8皇后问题u权值定义第30页,本讲稿共64页Hopfield模型应用实例8皇后问题u神经元状态修改 为温度
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 导论 第三
限制150内