传统BP与遗传算法简介说课材料.ppt

《传统BP与遗传算法简介说课材料.ppt》由会员分享，可在线阅读，更多相关《传统BP与遗传算法简介说课材料.ppt（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、传统传统BPBP与遗传算法简介与遗传算法简介1：单神经元模型2：传统的BP神经网络3：传统的遗传算法4：总结 1 1 单神经元模型单神经元模型单神经元模型单神经元模型 如如图图中中 为为神神经经元元的的内内部部状状态态，为为阈阈值值，为为输输入入信信号号，为为表表示示从从单单元元 到到单单元元 的的连连接权系数，接权系数，为外部输入信号。为外部输入信号。神经元模型可描述为：神经元模型可描述为：神经元模型可描述为：神经元模型可描述为：其中其中 为激活函数（进行非线性化）为激活函数（进行非线性化）2 传统传统BP神经网络神经网络神经网络神经网络 BPBP算法又称为算法又称为误差反向传播误差反向传播

2、算法，它是一个迭代算法，它是一个迭代算法，其基本思想是算法，其基本思想是梯度下降法梯度下降法。采用梯度搜索技术，。采用梯度搜索技术，使网络的实际输出值与期望输出值的使网络的实际输出值与期望输出值的误差均方值误差均方值为最为最小。小。输入层隐含层输出层1.前向传播：将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果。神经元h1的输入加权和：神经元h1的输出：神经元h2的输出：神经元h2的输入加权和：输入层输入层 隐含层隐含层：神经元o1的输入加权和：神经元o1的输出：神经元o2的输入加权和：神经元o2的输出：隐含隐含层层 输出输出层层：这样前向传播的过程就结束了，之后计算期

3、望值与输出值之间误差，对误差进行反向传播，更新权重与阈值，重新计算输出。2.反向传播：计算期期望望输输出出值值与与实实际际输输出出值值之之间间的的误误差差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；同时在反向传播的过程中，根根据据误误差差调调整整相相连连神神经经元元的的权权重重和和阈阈值值，使得总损失函数减小。计算损失函数：计算损失函数：输出输出层层 隐含隐含层层：权值与阈值更新（以权值与阈值更新（以w5、b2与与w1、b1为例）：为例）：w5对整体损失产生的影响：由梯度下降法，权值的修正值 与E的梯度成正比，更新w5、b1：隐含隐含层层 输入输入层层：w1对整体损失产生的影响：更

4、新w1与b1：同理可以求出其它权值与阈值，通过不断迭代上述三个步骤，更新权重与阈值（即对数据进行反复训练），直到误差满足条件后停止。由于传统的BP网络是通过梯度下降法进行学习，随机生成权值和阈值，如果这两个初始参数选择不当，网络就会出现局部最优或收敛速度慢等问题。3 3 遗传算法遗传算法遗传算法（Genetic Algorithm,GA）借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的优化方法。GA中每一条染色体，对应着一个解决方案，一般我们用适应性函数来衡量这个解决方案的优劣。所以从一个基因组到其解的适应度形成一个映射。可以把其过程看作是一个在多元函数里面求最优解的

5、过程。例如我们用例如我们用GA算法在既定的区间找到以下函数的最大值算法在既定的区间找到以下函数的最大值1.个体编码将x表达为基因的过程，称之为编码，常见的编码格式有二进制编码和浮点编码。此处采用9位二进制进行编码：将x的区间-1,2进行编码：那么其精度为：离散点-1到离散点2，分别对应于从000000000(0)到111111111(512)之间的二进制编码000000000或111111111都表示一个个体的基因型（如果有多个变量，则直接串联起来构成一个基因型），表示一个可行解2.初始群体的产生遗传算法是对群体进行的进化操作，需要给其淮备一些表示起始搜索点的初始群体数据。本例中，群体规模的大

6、小取为103.适应度计算遗传算法中以个体适应度的大小来评定各个个体的优劣程度，从而决定其遗传机会的大小。本例中，由于是以求函数最大值为优化目标，故可直接利用目标函数值目标函数值 作为个体的适应度作为个体的适应度则各个个体被选中的概率（生存概率）为：4.选择运算 进行优胜劣汰的方法是：每次从群体中随机抽取p个人，将p个人中适应度最好的保留下来，重复N次，得到N个保留下的个体形成下一代。很明显，适应度评分越高的个体被选中的概率越大。5.交叉运算 交叉指的是交换染色体片段后产生两个新的后代，例如典型的单点交叉方式：随机选择两个个体组成一个父母对进行交叉，按照以下的方式产生新的子代。6.变异运算 变异的作用，指的是染色体的某个基因片段或者某个基因点发生突变。例如单点突变可以通过下图进行表示：突变的作用，是希望能够摆脱局部最优点，往更好的地方去。但是效果具有很大的随机性。7.个体解码将个体解码为十进制公式为：遗传算法流程图：效果图：第一代适应度的平均值为2.025，最大适应度值为3.483，经过97代遗传选择后适应度平均值达到3.811，最大适应度值为3.843，可见得到了很好的收敛，并最终稳定在最右侧顶峰。谢谢！结束结束