双向联想记忆幻灯片.ppt

《双向联想记忆幻灯片.ppt》由会员分享，可在线阅读，更多相关《双向联想记忆幻灯片.ppt（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、双向联想记忆第1页，共14页，编辑于2022年，星期五双向联想记忆网络是一种异联想(hetero-association)的双层神经网络记忆存储的样本是二元数据对 ,A,B分属不同维量的向量空间输入 或 ，经过双向反馈不断提高回忆联向精度，网络稳定输出 或足够逼近 。概述概述第2页，共14页，编辑于2022年，星期五网络结构网络结构AB 两层结构，A层是m维，B层是p维。两者都可以作为输入层或 输出层 每个神经元与本层其他神经元无连接，而和另一层全部神经元 连接。欲被联想的模式从某一层输入，经过双向反馈联想计算，最终 趋于稳定，得到输出。神经元对输入加权和进行非线性处理。第3页，共14页，编辑

2、于2022年，星期五双向反馈联想计算 在t时刻，A层输入 ，经计算可得B层的输出 其中，单元j的输出为：也可以用阶跃函数也可以用阶跃函数 第4页，共14页，编辑于2022年，星期五记忆记忆-权重学习权重学习 设有设有N N个样本个样本 ，采用基于，采用基于HebbHebb规则的外积法得：规则的外积法得：正向联想存储器正向联想存储器：矩阵 反向联想存储器反向联想存储器：矩阵第5页，共14页，编辑于2022年，星期五记忆记忆-权重学习例权重学习例样本：输入 联想：联想：第6页，共14页，编辑于2022年，星期五BAM稳定性与Hopfield网络类似，BAM的样本存储在能量极小处Kosko定义了系统

3、的能量函数：（标量转置为其本身）类似Hopfield可以证明：沿着状态空间 中的离散轨迹，总有而对所有的A和B，E总是有界，即(令=0)第7页，共14页，编辑于2022年，星期五BAM稳定性如果将离散BAM 的差分状态改成下列的微分方程式，就会得到连续BAM(continuous bidirectional associative memory)：其中，Ii 以及 Ij 为正值常数。第8页，共14页，编辑于2022年，星期五BAM稳定性根据 Kosko 的研究，BAM 的最大记忆容量为：，更保守的估计应该不会超过BAM的状态改变，不管是用同步(synchronization)或异步(async

4、hronization)的方式，都会收敛至双向稳定状态。联想记忆的性能取决于吸引子的尺寸、存储容量和收敛时间。所存模式的正交性或统计可分离性影响网络的记忆和回忆能力。第9页，共14页，编辑于2022年，星期五BAM稳定性Kosko(1987)：基基本本的的双双联联存存储储器器无无条条件件稳稳定定联联接接权权矩矩阵阵是互为转置矩阵。是互为转置矩阵。当输入向量的维数与输出向量的维数相同时，当输入向量的维数与输出向量的维数相同时，WW为方阵，为方阵，此时如果联接矩阵此时如果联接矩阵WW是对称的，则基本的双联存储器退是对称的，则基本的双联存储器退化成一个化成一个HopfieldHopfield网网 第10页，共14页，编辑于2022年，星期五序列模式记忆与联想BAM 除了可被用于记忆静态(static)的向量对之外，亦可用来存储动态的状态变化(dynamic state transitions)，譬如说，想要存储以下的一连串状态向量：我们可以将此问题视为异联想的记忆问题，亦即要 BAM记得以下之向量对：第11页，共14页，编辑于2022年，星期五序列模式记忆与联想第12页，共14页，编辑于2022年，星期五序列模式记忆与联想假如有以下三个状态要存储：第13页，共14页，编辑于2022年，星期五正联想反联想第14页，共14页，编辑于2022年，星期五