大样本法确定BP网络结构.ppt
大样本法确定BP网络结构 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望8.6.2 计算步骤 应用大样本确定BP网络拓扑结构的计算步骤如下：（1）按照随机先后去原则，将样本分为相等的两个部分，其一部分作为训练样本，另一部分作为检测样本。（2）置隐含层节点数L为L0，增加量为d，并对网络初始化，给定网络学习参数初始值。（3）对输入层节点和隐含层节点间权重值及隐含层节点间权重值赋随机初值得到初始权矩阵。（4）用BP网络智能训练算法来训练网络，直至学习精度达到要求或者超出规定的迭代步数。（5）若在规定的步数之内训练样本误差达到了学习的精度要求，转到步骤6；若达到规定的迭代步数时，网络任然不收敛，给隐含层节点增加d个节点并保持原来的L0个隐含层节点的输入、输出权值和参数值不变随机初始化增加的d个节点的参数和权值；重置L转到步骤4。（6）按照极差正规化方法，将检测样本进行数值归一化处理后变为0.1,0.9区间内，然后将检测样本输入训练后的网络，计算样本检测误差。（7）若样本的检测误差和训练误差在允许范围内，转到步骤8；否则给隐含层节点增加d个节点，并保持原来L0个隐含层节点的输入与输出值和参数保持不变，随机增加d个节点后，重置节点数，转到步骤4。（8）按照8.4节讲的相关系数法，检测隐含层节点的线性相关性，进行隐含层节点的删除和合并，并且获取隐含层最佳节点数，结束网络训练。8.7 训练样本的质量对BP网络推广能力的影响8.7.1 预报误差和训练样本质量之间的关系 实际系统可以描述为理想函数 （8-71）上式，也可以写成自回归的形式 （8-72）人工神经网络是一种非线性自回归模型 （8-73）BP网络预报的误差可以估计为 （8-74）和 的存在是不可避免的，而 可由式（8-72）和式（8-73）作出如下估计 （8-75）式中，为函数误差，也就是式（8-72）和式（8-73）间的差异引起的误差；为由不正确的嵌入维数引起的误差，它可以通过选择合适的输入神经元数来消除。（8-76）在BP网络预报中，是由网络中结点间的连接权值决定的，而权值又是BP网络通过对训练样本的学习得到。8.7.2 一致度 为了评价训练样本质量，我们基于范数提出“一致度”的指标。这种一致度指标被称为伪距离一致度，并定义 （8-78）为了简便地评价样本矢量，可用一些统计指标定义一致度指标。（1）均值一致度基于统计均值定义的DCT指标称作均值一致度 （8-80）（8-81）式中，为检测样本的均值一致度；为预报样本的均值一致度；为检测样本的均值；为待预测样本的均值；为训练样本的均值。均值一致度反映了训练样本空间和检测样本空间重心的距离。它可被用于评价训练样本质量。（2）方差一致度方差一致度可用同样的方法定义。（8-82）（8-83）式中，为检测样本的方差一致度；为预报样本的方差一致度；为检测样本的方差均值；为预报样本的方差均值；为训练样本的方差均值。式（8-82）反映了训练样本和检测样本分部之间的距离，式（8-83）反映了训练样本和预报样本之间的距离。方差一致度反映了训练样本和检测样本分布之间的距离。8.8 BP网络的推广能力及网络性能的评估8.8.1 样本数的确定及划分 由于过程的变形观测资料具有很强的时效性，其样本数据不同于模式分类或故障诊断类样本，因此，将样本分为3部分。（1）训练样本：用于网络的结构学习和权值训练。（2）学习检测样本：用于检测网络的学习效果，在训练过程中，网络定期对检测样本进行测试，得到样本检测误差。（3）预报检测样本：对于训练好的网络，输入预报样本，得到该网络的预报残差。8.8.2 BP网络的推广性能及其评估 网络训练的目的是为了应用网络对新观测值进行预报，评价一个网络的性能好坏可以用网络的推广性能的强弱来衡量。尤其是应用于BP网络进行过程的变形分析和预报。可用综合均方根差E评估网络推广性能，E值定义如下 （8-84）E值越小，表示网络性能越好，网络的推广性能越强。其中 、分别为训练样本、检测样本和预报样本的均方根差，定义如下 （8-85）（8-86）（8-87）式中，P1、P2、P3分别为训练样本、检测样本和预报样本的个数；M为BP网络输出层节点个数；为第i个输出第p个样本的计算输出值；为第i个输出理想值。由上述定义可知，用综合均方差E来衡量地评估网络推广性能，它即兼顾了网络训练样本的拟合精度，有考虑了检测样本和预报样本的监测和预报精度。8.8.3网络训练收敛性标准 在BP网络的训练过程中，如果同一组样本数据反复训练的次数太多，神经元网络可能会将这一组样本很好地记住，但对样本之外的数据却不能正确分类，这称之为训练过度。训练过度时，饿了的推广能力变差。（1）通常的网络训练收敛性标准 目前人们所采用的BP网络训练收敛的标准有以下3种 1）训练样本误差最小标准 2）检测样本误差最小标准 3）权值修正量标准（2）网络训练收敛性标准综合均方根差E最小标准 为了克服上述3种方法作为训练收敛标准的不足，可以BP网络的综合均方根差E，最小作为训练收敛标准其计算公式见（8-84）在学习过程中，定期检查综合均方根差E，找出最小的E值，然后以此时的权值作为网络的训练结果，停止网络训练。
