传统BP与遗传算法简介教学内容.pptx

《传统BP与遗传算法简介教学内容.pptx》由会员分享，可在线阅读，更多相关《传统BP与遗传算法简介教学内容.pptx（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、传统传统(chuntng)BP(chuntng)BP与遗与遗传算法简介传算法简介汇报(hubo)人：第一页，共16页。1：单神经元模型2：传统(chuntng)的BP神经网络3：传统(chuntng)的遗传算法4：总结第二页，共16页。1 单单神经元模型神经元模型 如图中 为神经元的内部状态，为阈值，为输入信号，为表示从单元 到单元 的连接权系数，为外部输入信号。神经元模型神经元模型神经元模型神经元模型(mxng)(mxng)可描可描可描可描述为：述为：述为：述为：其中 为激活函数（进行非线性化）第三页，共16页。2 传统传统BP神经网络神经网络 BP算法又称为误差反向算法又称为误差反向(fn

2、 xin)传播算法，它传播算法，它是一个迭代算法，其基本思想是梯度下降法。采用梯度是一个迭代算法，其基本思想是梯度下降法。采用梯度搜索技术，使网络的实际输出值与期望输出值的误差均搜索技术，使网络的实际输出值与期望输出值的误差均方值为最小。方值为最小。输入(shr)层隐含(yn hn)层输出层第四页，共16页。1.前向传播：将训练集数据(shj)输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果。神经元h1的输入(shr)加权和：神经元h1的输出(shch)：神经元h2的输出：神经元h2的输入加权和：输入层输入层 隐含层隐含层：第五页，共16页。神经元o1的输入(shr)加权和：神经元

3、o1的输出(shch)：神经元o2的输入(shr)加权和：神经元o2的输出：隐含隐含层层 输出输出层层：这样前向传播的过程就结束了，之后计算期望值与输出值之间误差，对误差进行反向传播，更新权重与阈值，重新计算输出。第六页，共16页。2.反向传播：计算期望输出值与实际(shj)输出值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；同时在反向传播的过程中，根据误差调整相连神经元的权重和阈值，使得总损失函数减小。计算计算(j sun)损失函数：损失函数：输出输出层层 隐含隐含层层：权值与阈值权值与阈值(y zh)更新（以更新（以w5、b2与与w1、b1为例）：为例）：w5对整体损失

4、产生的影响：由梯度下降法，权值的修正值 与E的梯度成正比，更新w5、b1：第七页，共16页。隐含隐含层层 输入输入层层：w1对整体(zhngt)损失产生的影响：更新(gngxn)w1与b1：同理可以求出其它权值与阈值，通过不断迭代上述(shngsh)三个步骤，更新权重与阈值（即对数据进行反复训练），直到误差满足条件后停止。由于传统的BP网络是通过梯度下降法进行学习，随机生成权值和阈值，如果这两个初始参数选择不当，网络就会出现局部最优或收敛速度慢等问题。第八页，共16页。3 3 遗传算法遗传算法遗传算法（Genetic Algorithm,GA）借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一

5、种高效、并行、全局(qunj)搜索的优化方法。GA中每一条染色体，对应着一个解决方案，一般我们用适应性函数来衡量这个解决方案的优劣。所以从一个基因组到其解的适应度形成一个映射。可以(ky)把其过程看作是一个在多元函数里面求最优解的过程。第九页，共16页。例如例如(lr)我们用我们用GA算法在既定的区间找到以下函数的最大值算法在既定的区间找到以下函数的最大值1.个体(gt)编码将x表达为基因的过程，称之为编码，常见(chn jin)的编码格式有二进制编码和浮点编码。此处采用9位二进制进行编码：将x的区间-1,2进行编码：那么其精度为：第十页，共16页。离散点-1到离散点2，分别对应(duyng)

6、于从000000000(0)到111111111(512)之间的二进制编码000000000或111111111都表示一个个体的基因型（如果(rgu)有多个变量，则直接串联起来构成一个基因型），表示一个可行解2.初始(ch sh)群体的产生遗传算法是对群体进行的进化操作，需要给其淮备一些表示起始搜索点的初始群体数据。本例中，群体规模的大小取为103.适应度计算遗传算法中以个体适应度的大小来评定各个个体的优劣程度，从而决定其遗传机会的大小。本例中，由于是以求函数最大值为优化目标，故可直接利用目标函数值目标函数值 作为个体的适应度作为个体的适应度第十一页，共16页。则各个(gg)个体被选中的概率（

7、生存概率）为：4.选择(xunz)运算 进行优胜劣汰的方法是：每次从群体中随机抽取(chu q)p个人，将p个人中适应度最好的保留下来，重复N次，得到N个保留下的个体形成下一代。很明显，适应度评分越高的个体被选中的概率越大。5.交叉运算 交叉指的是交换染色体片段后产生两个新的后代，例如典型的单点交叉方式：随机选择两个个体组成一个父母对进行交叉，按照以下的方式产生新的子代。第十二页，共16页。6.变异(biny)运算 变异的作用，指的是染色体的某个(mu)基因片段或者某个(mu)基因点发生突变。例如单点突变可以通过下图进行表示：突变的作用，是希望(xwng)能够摆脱局部最优点，往更好的地方去。但是效果具有很大的随机性。7.个体解码第十三页，共16页。将个体(gt)解码为十进制公式为：遗传算法流程图：第十四页，共16页。效果图：第一代适应度的平均值为2.025，最大适应度值为3.483，经过(jnggu)97代遗传选择后适应度平均值达到3.811，最大适应度值为3.843，可见得到了很好的收敛，并最终稳定在最右侧顶峰。第十五页，共16页。谢谢(xi xie)！第十六页，共16页。