计算智能-神经网络计算.ppt

神经网络计算1 v单个处理单元可以执行简单的图形检测功能,但更强的识别处理能力却来自多个结点“连成”的网络,即人工神经网络2单层网络v最简单的网络是把一组几个结点形成一层,输入信号可表示为行向量，其中每一分量通过加权连接到各结点。每一结点均可产生一个输入的加权和。v实际的人工神经网络和生物神经网络中有些连接可能不存在,为了更一般化,采用了全连接,并且都是前馈连接。3各加权表示为加权矩阵输入信号的加权和输出向量4多层网络v一般大而复杂的网络能提供更强的计算能力。v多层网络,只要将单层网络进行级联就可以了,即一层的输出作为下一层的输入。5v在多层网络中,层间的转移函数应是非线性的,否则多层网络的计算能力并不比单层网络的强。v因为在线性转移函数的情况下,两层网络的输出是第一层的输出作为第二层的输入,通过第二个加权矩阵得到网络输出。6回归型网络v凡包含反馈连接的网络均称为回归型网络,或称反馈网络。横向反馈连接和纵横连接。7感知器网络模型8v输出只有两种状态,实际上是输入模式的分类器,判决输入模式属于两类中的哪一类(A 或B 类)910一个三层的感知器网络可以产生任意复杂的判决域。111213+1411-1.5x1x215Back-propagation神经网络模型161718中间层到输出层权值调整19中间层到输出层权值的调整量为中间层到输出层权值的调整量为20由输入到中间层权值的调整21输入到中间层权值的调整量为22中间层到输出层权值的调整量为输入到中间层权值的调整量为任意层间权值调整的一般式输出层中间层23输出层中间层24BP网络的训练步骤1)用均匀分布随机将各权值设定为一个小的随机数2)从训练数据对中,将一个输入数据加在输入端。3)计算输出层的实际输出y(k)4)计算输出层的误差5)计算中间层的误差6)权值更新7)重复进行25BP训练算法存在的问题v1)对于一些复杂的问题往往训练时间很长;v2)由于采用梯度下降法,可能陷入局部极小,而不是目标函数的全局最小。v为了减小局部极小的发生,可以采用增加中间单元,自动调整训练速率,由多种初始权值开始多次训练等方法。v为了加快训练速度,增加附加冲量项,称为冲量法,权值更新式用:26BP算法的改进方法vBP算法实质：把一组样本输入输出问题转化为一个非线性优化问题。vBP算法运用梯度算法利用迭代运算求解权值问题的一种学习方法。vBP算法缺陷:1)易形成局部极小而得不到整体最优;2)迭代次数多,收敛慢。v改进方法：自适应学习率法、共轭梯度法、变尺度法、变学习率优化学习算法、kalman滤波方法的快速学习算法27自适应学习率法28