大数据解析与应用导论 (30).pdf

大数据解析与应用导论Introduction to Big Data Analytics and ApplicationThe linked image cannot be displayed.The file may have been moved,renamed,or deleted.Verify that the link points to the correct file and location.第八章 神经网络基本概念与结构发展1.卷积神经网络(CNN)2.循环神经网络(RNN)3.应用实例4.8.1 神经网络基本概念及发展（1）什么是神经网络神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体做出的交互反应。2016年3月 AlphaGo大战李世石图 生物神经元模型8.1 神经网络基本概念及发展（2）M-P 神经元模型Sigmoid函数：=11+tanh函数：=+ReLU函数：=max(0,)8.1 神经网络基本概念及发展（3）感知机与多层网络感知机模型：假设激活函数是阶跃函数，令1=2=1，=2时，仅当1=2=1时，=1，实现了“与”运算 令1=2=1，=0.5时，当1=1或2=1时，=1，实现了“或”运算 令1=0.6，2=0，=0.5时，当1=1时，=0，当1=0时=1，实现了“非”运算不能解决“异或”问题！8.1 神经网络基本概念及发展（3）感知机与多层网络两层感知机解决“异或”问题：8.1 神经网络基本概念及发展（4）多层前馈神经网络多层网络：包含隐层的网络前馈网络：神经元之间不存在同层连接也不存在跨层连接，即网络中无环或者回路只需要一个包含足够多神经元的隐层，多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数8.1 神经网络基本概念及发展（5）误差逆传播算法训练样本(,),神经网络输出 均方误差：=12=1()BP算法基于梯度下降的策略=链式法则：=Sigmoid函数性质：=()(1 ()8.1 神经网络基本概念及发展（5）误差逆传播算法=(1 )()=(1 )=1权重更新：=8.1 神经网络基本概念及发展（5）误差逆传播算法输入：训练集=(,)=1，学习率过程：1.在(0,1)范围内随机初始化网络中所有连接权和阈值2.Repeat3.For all(,)do4.根据当前参数计算当前样本输出 5.计算输出层神经元的梯度项6.计算隐层神经元的梯度项7.更新连接权,和阈值,8.End for9.Until 达到停止条件输出：连接权与阈值确定的多层前馈神经网络8.1 神经网络基本概念及发展（6）神经网络的发展历史19431943MPMP模型模型19491949HebbHebb学习规则学习规则19571957感知机模型感知机模型第一次兴起第一次兴起19601960线性自适线性自适应单元应单元19691969单层感知机作用有限单层感知机作用有限AI winterAI winter19821982HopfieldHopfield网络网络求解求解NPNP难问题难问题19851985BPBP算法算法第二次兴起第二次兴起2020世纪世纪9090年代中期年代中期研究进入低谷研究进入低谷20102010至今至今自然语言处理、计算自然语言处理、计算机视觉等领域的广泛机视觉等领域的广泛使用使用