神经网络的基本原理精选课件.ppt

关于神经网络的基本原理第一页，本课件共有41页 本章主要从电生理学的角度介绍生物神经元的基本工作原理，以及它们之间的相互作用由此概述大脑的基本构造和它的信息处理特征并在上述的基础上研究生物神经元的数学模型及其学习法则。基本原理第二页，本课件共有41页第一节第一节 大脑的基本组成单元大脑的基本组成单元 神经元神经元基本原理第三页，本课件共有41页脑神经系统无论从构造和功能上来讲，脑神经系统无论从构造和功能上来讲，都称得上是一个非常复杂的巨系统。都称得上是一个非常复杂的巨系统。正常大脑的神经细胞正常大脑的神经细胞(神经元神经元)的数目的数目约在约在100100亿到亿到10001000亿个左右。亿个左右。基本原理第四页，本课件共有41页图图2.1 2.1 神经元的构造神经元的构造基本原理第五页，本课件共有41页l细胞体细胞体是神经元的主体，它包括细胞核、细胞是神经元的主体，它包括细胞核、细胞质和细胞膜三部分。质和细胞膜三部分。l树状突起树状突起主要起感受器作用，接受来自其它神主要起感受器作用，接受来自其它神经元的信号。经元的信号。l轴突轴突用来输出细胞体产生的电脉冲信号。用来输出细胞体产生的电脉冲信号。l轴突的末端形成许多分枝，称作轴突的末端形成许多分枝，称作神经末梢神经末梢，每，每一条神经末梢与其它神经元通过突触相连并传一条神经末梢与其它神经元通过突触相连并传递信号。递信号。基本原理第六页，本课件共有41页细胞体相当于一个信息处理器，对来自其它神经元的信号求和，并产生神经脉冲输出信号。观看动画观看动画神经元刺激与反应的过程神经元刺激与反应的过程由于细胞膜将细胞体内外分开，因此细胞体内外具有不同的电位，通常是内部电位比外部低，内外电位之差称为膜电位。观看动画观看动画动作电位的形成动作电位的形成基本原理第七页，本课件共有41页图图2.2 2.2 细胞膜等效电路细胞膜等效电路漏电流支路基本原理第八页，本课件共有41页细胞膜内外细胞膜内外离子分布很不相同离子分布很不相同。在正离子方面，细胞内。在正离子方面，细胞内K+K+浓度高，浓度高，约为膜外的约为膜外的20-4020-40倍，而细胞外倍，而细胞外Na+Na+浓度约高于膜内的浓度约高于膜内的2020倍。负离倍。负离子方面，细胞外子方面，细胞外Cl-Cl-浓度较细胞内高，而细胞内大分子有机物浓度较细胞内高，而细胞内大分子有机物（A-A-）较细胞外多。）较细胞外多。因此细胞膜内外两侧存在离子分布的不平衡，即存在因此细胞膜内外两侧存在离子分布的不平衡，即存在离子浓度差离子浓度差和电位差和电位差，在电化学梯度的作用下，离子就有扩散到膜另一侧的可，在电化学梯度的作用下，离子就有扩散到膜另一侧的可能性。细胞在静息状态下，膜对能性。细胞在静息状态下，膜对Na+Na+的通透性小，而膜对的通透性小，而膜对K+K+有较大有较大的通透性，于是的通透性，于是K+K+浓度差推动浓度差推动K+K+从膜内向膜外扩散，正电荷随从膜内向膜外扩散，正电荷随钾离子外流，而带负电荷的蛋白质不能外流而留在膜内，于钾离子外流，而带负电荷的蛋白质不能外流而留在膜内，于是膜外积累正电荷，膜内积累负电荷，这种电位差随着是膜外积累正电荷，膜内积累负电荷，这种电位差随着K+K+的外的外流逐渐增大，并对流逐渐增大，并对K+K+外流产生阻碍作用。外流产生阻碍作用。当膜内外当膜内外K+K+浓度差（浓度差（K+K+外流动力）与电位差（外流动力）与电位差（K+K+外流阻力）达平外流阻力）达平衡时，即形成衡时，即形成静息电位静息电位。因此，细胞的静息电位主要由。因此，细胞的静息电位主要由K+K+外流所外流所产生，反映产生，反映K+K+的平衡电位。的平衡电位。基本原理第九页，本课件共有41页膜电位保持在一个稳定的负电位膜电位保持在一个稳定的负电位(即静止膜电即静止膜电位位)上，数值上与钾离子平衡电位上，数值上与钾离子平衡电位VkVk相近，约相近，约60mV60mV左右。左右。膜电位膜电位是神经生理学中最重要的状态参数之一。是神经生理学中最重要的状态参数之一。若以细胞膜外液的电位作为基准电位，则神经若以细胞膜外液的电位作为基准电位，则神经元的跨膜电位分布如图元的跨膜电位分布如图2.32.3所示。所示。基本原理第十页，本课件共有41页图图2.3 2.3 神经元的膜电位分布神经元的膜电位分布基本原理第十一页，本课件共有41页第二节第二节 大脑的信息处理原理大脑的信息处理原理基本原理第十二页，本课件共有41页尽尽管管大大脑脑是是一一个个高高级级的的信信息息处处理理系系统统，但但作作为为它它的的基基本本元元素素的的神神经经元元的的动动作作却却相相当当慢慢，仅仅达达到到每每秒秒数数百百赫赫兹兹，可可是是由由于于大大脑脑神神经经网网络络具具有有并并行行的的结结构构，所所以以信信息息处处理理是是在在超超并并列列时时空空中中进进行行的的，整体动作可以被认为具有相对高的速度。整体动作可以被认为具有相对高的速度。基本原理第十三页，本课件共有41页图图2.4 2.4 突触中的信号传递突触中的信号传递第十四页，本课件共有41页大脑神经系统是由庞大的神经网络大脑神经系统是由庞大的神经网络构成的构成的有序阶层型系统有序阶层型系统。整个大脑神经系统可分为整个大脑神经系统可分为中枢神经中枢神经系统系统和和末梢神经系统末梢神经系统两大类。两大类。基本原理第十五页，本课件共有41页中枢神经的构造中枢神经的构造 第十六页，本课件共有41页大脑信息处理的特征有：大脑信息处理的特征有：1.1.神神经经元元是是一一种种非非线线性性元元件件，神神经经元元之之间间的的相相互互作作用用主主要要为为兴兴奋奋性性和和抑抑制制性性两两种种。神神经经元元的的动动作作速速度度较慢，约几个毫秒。较慢，约几个毫秒。2.2.神神经经脉脉冲冲信信号号的的频频率率只只有有数数百百赫赫兹兹，尽尽管管单单个个神神经经元元的的动动作作速速度度较较慢慢，但但众众多多神神经经元元构构成成的的大大规规模模并并行行系系统统，具有相对快速的信息处理能力。，具有相对快速的信息处理能力。3.3.学学习习能能力力和和自自组组织织能能力力。大大脑脑通通过过与与外外界界环环境境的的相相互互作作用用，学学习习周周围围的的各各种种事事物物，把把信信息息存存储储、记记忆忆在在脑脑中并进行自组织。中并进行自组织。基本原理第十七页，本课件共有41页第三节第三节 大脑的人工神经网络模型大脑的人工神经网络模型第十八页，本课件共有41页2.3.1 2.3.1 形式神经元模型形式神经元模型形式神经元模型是生物神经元在功能形式神经元模型是生物神经元在功能上和结构上的一种数学模型。最早是上和结构上的一种数学模型。最早是在在19431943年由年由McCulloch-PittsMcCulloch-Pitts提出的，提出的，所以也称为所以也称为 MPMP模型模型。通常通常MPMP模型是一个多输入单输出的非模型是一个多输入单输出的非线性元件。线性元件。人工神经网络模型第十九页，本课件共有41页图图2.6 MP2.6 MP模型模型人工神经网络模型第二十页，本课件共有41页设设x1x1，x2,x2,xn,xn 为神经元为神经元i i的的n n个输入，个输入，为第为第i i个神经元与个神经元与来自其它层第来自其它层第j j个神经元之间的结合强度，称为个神经元之间的结合强度，称为权值权值；表示表示神经元神经元i i的的输入总和输入总和，即生物神经细胞的膜电位，也称为激，即生物神经细胞的膜电位，也称为激活函数；活函数；是神经元的是神经元的阈值阈值，是神经元的是神经元的输出输出，则神经，则神经元的输出方程为元的输出方程为人工神经网络模型第二十一页，本课件共有41页 是输入与输出之间的非线性函数，通常称为作用函数或阈值函数。在MP模型中，是二值函数，其输出为0或1，分别代表神经元的抑制和兴奋状态。图2.7 阈值函数人工神经网络模型第二十二页，本课件共有41页在式(2.1)中，当 时为兴奋性突触结合；当 时为抑制性突触结合；当 时为无结合。当膜电位超过阈值 时，神经元处于兴奋状态并发出电脉冲。由形式神经元构成的神经网络如图2.8所示。人工神经网络模型第二十三页，本课件共有41页图图2.8 2.8 形式神经元构成的神经网络形式神经元构成的神经网络人工神经网络模型第二十四页，本课件共有41页在上述模型是离散的。但是，神经元也可以有模拟量输入输出和时间上是连续的模型，它的数学模型为式中式中 ，为神经元在为神经元在t t时刻的平均输入和输出，时刻的平均输入和输出，为平均膜电位，为平均膜电位，为膜电位变化的时间常数，为膜电位变化的时间常数，为静止膜电位。为静止膜电位。函数函数f f通常为通常为S S型的单调递增函数，其数学形式为型的单调递增函数，其数学形式为人工神经网络模型第二十五页，本课件共有41页在串行连接中，当w0为兴奋性连接时，若神经元1处于兴奋状态，则神经元2也处于兴奋状态；当w0为抑制性连接时，若神经元1处于兴奋状态，反而会使神经元2容易处于抑制状态。图图2.10(a)2.10(a)串行连接串行连接人工神经网络模型第二十六页，本课件共有41页相互结合型状态中，相互结合型状态中，若若w21w21和和w12w12均为正，则某一个神经元处于兴奋状态时，另一个神经均为正，则某一个神经元处于兴奋状态时，另一个神经元也倾向于兴奋状态，这称为神经元之间的元也倾向于兴奋状态，这称为神经元之间的协调协调作用。作用。若若w21w21和和w12w12均为负，则某一个神经元处于兴奋状态时，另一个均为负，则某一个神经元处于兴奋状态时，另一个神经元倾向于抑制状态，这称为神经元之间的神经元倾向于抑制状态，这称为神经元之间的竞争竞争作用，即两作用，即两个神经元之间的互相牵制作用。个神经元之间的互相牵制作用。协调和竞争时神经网络中并行信息处理的基本动态特性。协调和竞争时神经网络中并行信息处理的基本动态特性。图图2.10(b)2.10(b)相互结合型连接相互结合型连接人工神经网络模型第二十七页，本课件共有41页2.3.2 2.3.2 神经网络的基本结构神经网络的基本结构 把大量的神经元通过一定的把大量的神经元通过一定的拓扑结构拓扑结构连接起来，连接起来，就形成了神经网络。就形成了神经网络。神经元之间连接的方式可分成神经元之间连接的方式可分成相互结合型结构相互结合型结构和和层层状结构状结构二大类。通常神经网络的互连结构还决定了它二大类。通常神经网络的互连结构还决定了它的特性和能力的特性和能力。人工神经网络模型第二十八页，本课件共有41页通常，神经网络内的神经元之间均是互相连接的，构成通常，神经网络内的神经元之间均是互相连接的，构成图图2.11(a)2.11(a)所示的所示的互相结合型互相结合型神经网络，可以认为互相神经网络，可以认为互相结合型的结构是一种普遍的结构形式。结合型的结构是一种普遍的结构形式。图图2.11(a)2.11(a)相互结合型神经网络相互结合型神经网络人工神经网络模型在相互结合型神经系统中，在相互结合型神经系统中，一定存在着反馈环，在神一定存在着反馈环，在神经元的学习过程中，也同经元的学习过程中，也同样存在着反馈环样存在着反馈环(误差反馈误差反馈)。因此，互相结合型神经网络因此，互相结合型神经网络是一种是一种非线性动力学系统非线性动力学系统。第二十九页，本课件共有41页此外，从大脑的工作机理来看，还存在着不同的功能性此外，从大脑的工作机理来看，还存在着不同的功能性模块，下位的功能模块向上位的功能模块传送信息，因模块，下位的功能模块向上位的功能模块传送信息，因此神经网络的结构还有此神经网络的结构还有层次性层次性，如图，如图2.11(b)2.11(b)所示。所示。图图2.11(b)2.11(b)层次型神经网络层次型神经网络人工神经网络模型第三十页，本课件共有41页1.1.误差传播式学习误差传播式学习感知机是一种最基本的神经网络模型，设神经元的输入输出关感知机是一种最基本的神经网络模型，设神经元的输入输出关系为系为 式中式中 是学习率，是学习率，是教师信号或希望输出，是教师信号或希望输出，是实际输出与希望输出之差，是实际输出与希望输出之差，和和 取取1或或0的离散值。由于权值更新与的离散值。由于权值更新与 有关，所以也称有关，所以也称 学习规则学习规则。则学习规则为则学习规则为(2.8)人工神经网络模型第三十一页，本课件共有41页2.2.联想式学习联想式学习 无教师的联想式学习模式的学习规则可以无教师的联想式学习模式的学习规则可以用数学形式表示为用数学形式表示为 (2.9)与式与式(2.8)(2.8)不同的是，即无教师信号。所以在联想不同的是，即无教师信号。所以在联想式学习中，权值变化仅是输入与输出同时兴奋的式学习中，权值变化仅是输入与输出同时兴奋的结果。由于联想发生在输入和输出之间，所以这结果。由于联想发生在输入和输出之间，所以这种联想被称为种联想被称为异联想异联想。人工神经网络模型第三十二页，本课件共有41页3.3.概率式学习概率式学习 概率式学习的特点式把分子热力学、统计力学和概概率式学习的特点式把分子热力学、统计力学和概率论中关于系统达到稳态的基本条件率论中关于系统达到稳态的基本条件能量极小能量极小标准标准，作为网络学习的重要前提。，作为网络学习的重要前提。其中以其中以 波尔兹曼波尔兹曼BM BM 的学习算法最具有代表性。的学习算法最具有代表性。人工神经网络模型第三十三页，本课件共有41页若神经元状态更新的概率若神经元状态更新的概率 服从波服从波尔兹曼分布，则有尔兹曼分布，则有 (2.10)式中，式中，为系统对应状态的能量变化，为系统对应状态的能量变化，T T是绝对温度。是绝对温度。人工神经网络模型第三十四页，本课件共有41页4.4.竞争性学习和基于知识的学习竞争性学习和基于知识的学习 竞争性学习竞争性学习的特点是网络的高层次单元对低层次单的特点是网络的高层次单元对低层次单元的输入模式的竞争性识别。学习时只需要输入学元的输入模式的竞争性识别。学习时只需要输入学习样本，而无需教师信号的监督。学习过程中不同习样本，而无需教师信号的监督。学习过程中不同层次之间的神经元产生兴奋性连接，而同一层神经层次之间的神经元产生兴奋性连接，而同一层神经元中，距离兴奋中心很近的神经元均处于兴奋状态，元中，距离兴奋中心很近的神经元均处于兴奋状态，而距离较远的神经元均处于抑制状态。而距离较远的神经元均处于抑制状态。基于知识的学习基于知识的学习也是人工智能中的一个重要研究领域。也是人工智能中的一个重要研究领域。共同点都是具有利用知识进行操作的过程。共同点都是具有利用知识进行操作的过程。人工神经网络模型第三十五页，本课件共有41页神经网络的学习过程神经网络的学习过程:首先设定初始值，一般由于无先验的知识，初始权值可设首先设定初始值，一般由于无先验的知识，初始权值可设定为随机值。定为随机值。接着输入样本数据进行学习，参照评价标准进行评判。接着输入样本数据进行学习，参照评价标准进行评判。如果达到要求，就停止学习，否则按照给定的学习法如果达到要求，就停止学习，否则按照给定的学习法则调整权值，继续进行学习，直到取得满意的结果为则调整权值，继续进行学习，直到取得满意的结果为止。止。人工神经网络模型第三十六页，本课件共有41页2.4 2.4 神经网络研究的内容和特点神经网络研究的内容和特点第三十七页，本课件共有41页1.1.神经网络的数学模型及神经计算方法神经网络的数学模型及神经计算方法神经网络的数学模型神经网络的数学模型需要抓住大脑的各种重要特征需要抓住大脑的各种重要特征进行构造才行。模型就是从单个神经元及其复杂的进行构造才行。模型就是从单个神经元及其复杂的连接中概括出来的十分有效的模型之一。连接中概括出来的十分有效的模型之一。神经计算神经计算是对认知过程的一种表征，用新的概念对是对认知过程的一种表征，用新的概念对信息进行加工和存储。例如信息进行加工和存储。例如HopfieldHopfield神经网络计算神经网络计算并不是一种单纯的数字式计算，而是对大脑提取信息并不是一种单纯的数字式计算，而是对大脑提取信息(记忆记忆)和获取信息和获取信息(学习学习)过程的理解。过程的理解。内容和特点第三十八页，本课件共有41页2.2.神经计算机神经计算机:神经计算机是神经网络的一种实现。神经计算机是神经网络的一种实现。基于硬件实现基于硬件实现的神经计算机是指每一种神经元及其连接都的神经计算机是指每一种神经元及其连接都是用物理器件来实现的，它可以是电子元器件、光学元是用物理器件来实现的，它可以是电子元器件、光学元器件或分子元器件等，工作方式上可以是数字式的或模器件或分子元器件等，工作方式上可以是数字式的或模拟式的。但是往往是专用的，缺乏通用性和灵活性。拟式的。但是往往是专用的，缺乏通用性和灵活性。基于传统计算机的实现基于传统计算机的实现是利用现有的各种计算机软件和硬件来是利用现有的各种计算机软件和硬件来模拟各种神经网络，它有灵活性好，开发方便，价格便宜，模拟各种神经网络，它有灵活性好，开发方便，价格便宜，通用性强的优点。但是它在本质上仍然是一种模拟，而不是通用性强的优点。但是它在本质上仍然是一种模拟，而不是真正意义上的神经计算机。真正意义上的神经计算机。内容和特点第三十九页，本课件共有41页3.3.神经网络的应用开发神经网络的应用开发 神神经经网网络络的的信信息息处处理理方方法法与与传传统统的的数数字字计计算算机机和和人人工工智智能能方方法法有有本本质质的的不不同同，它它具具有有大大规规模模并并行行信信息息处处理理能能、连连续续互互相相作作用用的的动动力力学学、存存储储和和操操作作合合而而为为一一和和强强大大的的自自适适应应学学习能力。习能力。这些优点使它在解决众多的应用领域问题上这些优点使它在解决众多的应用领域问题上有着诱人的前景。有着诱人的前景。内容和特点第四十页，本课件共有41页感感谢谢大大家家观观看看第四十一页，本课件共有41页