神经网络方法精品文稿.ppt

神经网络方法1第1页，本讲稿共20页7.1 人工神经网络综述二十世纪八十年代，二十世纪八十年代，人工神经网络人工神经网络取得了重大进展，在诸如手写体取得了重大进展，在诸如手写体邮政编码判读，蛋白质二级结构的识别，热力学参数的求取，催化邮政编码判读，蛋白质二级结构的识别，热力学参数的求取，催化剂设计等许多方面取得成功，发展成为一门介于物理、数学、计算剂设计等许多方面取得成功，发展成为一门介于物理、数学、计算机科学、神经生物学之间的机科学、神经生物学之间的交叉学科交叉学科。人工神经网络就是采用物理可实现的系统来模仿人脑神经细胞的人工神经网络就是采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。结构和功能的系统。它是由很多处理单元有机地联接起来，进它是由很多处理单元有机地联接起来，进行并行的工作，它的处理单元十分简单，其工作是行并行的工作，它的处理单元十分简单，其工作是“集体集体”进进行的，它的信息传播，存贮方式与神经网络相似，没有运算器、行的，它的信息传播，存贮方式与神经网络相似，没有运算器、存贮器、控制器这些现代计算机的基本单元，而是相同的简单存贮器、控制器这些现代计算机的基本单元，而是相同的简单处理器的组合。它的信息是存贮在处理单元之间的连接上，因处理器的组合。它的信息是存贮在处理单元之间的连接上，因而它是与现代计算机完全不同的系统。而它是与现代计算机完全不同的系统。2第2页，本讲稿共20页7.2 人工神经元模型神经组织的基本特征3第3页，本讲稿共20页7.2 人工神经元模型MP模型从全局看，多个神经元构成一个网络，因此神经元模型的定义要考虑从全局看，多个神经元构成一个网络，因此神经元模型的定义要考虑整体，包含如下要素：整体，包含如下要素：（1 1）对单个人工神经元给出某种形式定义；）对单个人工神经元给出某种形式定义；（2 2）决定网络中神经元的数量及彼此间的联结方式；）决定网络中神经元的数量及彼此间的联结方式；（3 3）元与元之间的联结强度（加权值）。）元与元之间的联结强度（加权值）。19431943年，仿照人类神经元的基本特征，年，仿照人类神经元的基本特征，McCullochMcCulloch和和PittsPitts提出了历史上第一提出了历史上第一个神经元模型，称为个神经元模型，称为M-PM-P模型，这一模型形式上表示为：模型，这一模型形式上表示为：4第4页，本讲稿共20页7.3 人工神经网络的结构模型单层人工神经网络单层人工神经网络 两层人工神经网络两层人工神经网络根据神经元之间连接方式的不同，根据神经元之间连接方式的不同，人工神经网络可分为人工神经网络可分为:不含反不含反馈的前向网络、从输出层到输入层有反馈的前向网络、层内有相馈的前向网络、从输出层到输入层有反馈的前向网络、层内有相互连接的前向网络、相互组合型网络。互连接的前向网络、相互组合型网络。从学习方式角度从学习方式角度可分为有可分为有教师学习网络和无教师学网络；教师学习网络和无教师学网络；按层次划分按层次划分，可分为单层、两层和多，可分为单层、两层和多层（但一般不超过层（但一般不超过3 3层）。层）。5第5页，本讲稿共20页7.4 人工神经网络的学习算法 NN NN的工作过程分学习、训练阶段和回忆阶段。其学习方式的工作过程分学习、训练阶段和回忆阶段。其学习方式有如下几种有如下几种:(1)(1)死记式学习死记式学习:将网络事先设计成特殊记忆的模式，以后当将网络事先设计成特殊记忆的模式，以后当给定有关该系统的输入信息时，它们就被回忆起来。给定有关该系统的输入信息时，它们就被回忆起来。(2)(2)从例子中学习从例子中学习:在学习时给网络提供一个输入信息，教师在学习时给网络提供一个输入信息，教师给出正确的输出信息，对系统进行训练，调节系统权值，以使给出正确的输出信息，对系统进行训练，调节系统权值，以使系统输出更接近期望结果，感知器就是这种系统输出更接近期望结果，感知器就是这种教师学习教师学习的例子。的例子。(3)(3)无导师学习无导师学习:将网络设计成不需要教师直接指点的学习方式，将网络设计成不需要教师直接指点的学习方式，如竞争学习系统。如竞争学习系统。6第6页，本讲稿共20页7.5 人工神经网络的特点和优越性第一，具有自学习功能。第一，具有自学习功能。例如图像识别，只需先把不同的图像样板例如图像识别，只需先把不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。能，慢慢学会识别类似的图像。第二，具有联想存储功能。第二，具有联想存储功能。人的大脑是具有联想功能的。用人工神经网人的大脑是具有联想功能的。用人工神经网络的反馈网络就可以实现这种联想。络的反馈网络就可以实现这种联想。第三，具有容错性。第三，具有容错性。神经网络可以从不完善的数据图形进行学习和作出决神经网络可以从不完善的数据图形进行学习和作出决定。由于知识存在于整个系统而不是一个存储单元中，一些结点不参与运算，定。由于知识存在于整个系统而不是一个存储单元中，一些结点不参与运算，对整个系统性能不会产生重大影响。所以，神经网络承受硬件损坏的能力比对整个系统性能不会产生重大影响。所以，神经网络承受硬件损坏的能力比一般计算机强得多。一般计算机强得多。第四，具有高速寻找优化解的能力。第四，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。发挥计算机的高速运算能力，可能很快找到优化解。7第7页，本讲稿共20页7.6 人工神经网络与信息融合的结合利用神经网络实现信息融合技术利用神经网络实现信息融合技术，具有很多优越性，具有很多优越性:(1)(1)神经网络的信息存储在网络的连接权值和连接结构上，使得神经网络的信息存储在网络的连接权值和连接结构上，使得传感器的信传感器的信息表示具有统一的形式息表示具有统一的形式，便于管理和建立知识库，便于管理和建立知识库;(2)(2)神经网络可增加信息处理的神经网络可增加信息处理的容错性容错性，当某个信源的数据出现差，当某个信源的数据出现差错时，神经网络的容错功能可以使系统正常工作，并输出可靠的错时，神经网络的容错功能可以使系统正常工作，并输出可靠的信息信息;(3)(3)神经网络的自学习和自组织功能，使系统能神经网络的自学习和自组织功能，使系统能适应适应环境的不断变化以及输环境的不断变化以及输入数据的入数据的不确定性不确定性;(4)(4)神经网络的并行结构和神经网络的并行结构和并行处理并行处理机制。使得信息处理速度快，能够满机制。使得信息处理速度快，能够满足信息的实时处理要求。足信息的实时处理要求。8第8页，本讲稿共20页7.7 神经网络实例火灾探测火灾探测是一种特殊类型的信号检测，由传感器采集的火情参数是一种特殊类型的信号检测，由传感器采集的火情参数一方面具有不确定性，另一方面其不仅随火灾特征而变化，也可一方面具有不确定性，另一方面其不仅随火灾特征而变化，也可能随环境变化和存在噪声等而有所改变，而且这种变化往往与火能随环境变化和存在噪声等而有所改变，而且这种变化往往与火灾参数变化特征基本相似，容易引起误报。灾参数变化特征基本相似，容易引起误报。因此近年来出现了因此近年来出现了复合火灾探测器复合火灾探测器，即采用多通道传感器获得多个，即采用多通道传感器获得多个信号参数如温度、烟雾等经过处理后判断火灾情况，然而如何信号参数如温度、烟雾等经过处理后判断火灾情况，然而如何由多种信号分析合成得到最终的判断结果，并能适应各种不同由多种信号分析合成得到最终的判断结果，并能适应各种不同环境情况的有效算法还亟待研究。环境情况的有效算法还亟待研究。9第9页，本讲稿共20页神经网络实例(续)10第10页，本讲稿共20页局部决策 鉴于不同火情下多传感器系统测试的多个火情信息具有很大的鉴于不同火情下多传感器系统测试的多个火情信息具有很大的相关不确定性，如：相关不确定性，如：明火明火条件下伴随着温度和烟雾信号的急剧增大同时湿度的下降；条件下伴随着温度和烟雾信号的急剧增大同时湿度的下降；阴燃火阴燃火发生时则往往伴随着烟雾的增大同时温度和湿度的基本稳定；发生时则往往伴随着烟雾的增大同时温度和湿度的基本稳定；而一些典型的而一些典型的干扰干扰信号如厨房内是烟雾、温度、湿度信号同时增信号如厨房内是烟雾、温度、湿度信号同时增大；大；因此分布式检测系统首先对一种传感器采集的单一信号进行局部因此分布式检测系统首先对一种传感器采集的单一信号进行局部决策，再送入融合中心根据其关联性得出最终决策。决策，再送入融合中心根据其关联性得出最终决策。11第11页，本讲稿共20页局部决策 局部决策采用单传感器探测的分析算法，如速率持续法，即局部决策采用单传感器探测的分析算法，如速率持续法，即通过检测信号的变化速率是否持续超过一定数值来判别火情。通过检测信号的变化速率是否持续超过一定数值来判别火情。设采样信号原始序列为设采样信号原始序列为 式中，式中，分别为温度、烟雾和温度采分别为温度、烟雾和温度采样信号。样信号。12第12页，本讲稿共20页局部决策定义一累加函数定义一累加函数 为多次累加相邻采样值为多次累加相邻采样值 的差值之和的差值之和则局部决策结果则局部决策结果 为为式中，式中，为单位阶跃函数，为单位阶跃函数，、分别为温度、烟雾或分别为温度、烟雾或湿度信号的决策结果和局部报警门限。湿度信号的决策结果和局部报警门限。13第13页，本讲稿共20页局部决策 当当局局部部决决策策结结果果中中的的任任一一个个输输出出为为1 1时时，则则表表示示温温度度、烟烟雾雾或或湿湿度度信信号号中中有有一一种种出出现现非非平平稳稳变变化化，即即提提请请数数据据融融合合中中心心对对所所有有信信息息进进行行融融合合处处理理，得得出出最最终终判判别别。这这样样一一方方面面可可由由局局部部决决策策器器分分别别实实现现各各信信号号的的预预处处理理、标标准准化化并并滤滤除除噪噪声声，减减轻轻了了融融合合中中心心的的数数据据处处理理工工作作，具具有有并并行行分分块块处处理理的的优优点点；另另一一方方面面当当局局部部决决策策结结果果中中至至少少有有一一个个为为报报警警输输出出1 1时时，就就进进行行后后级级数数据据融融合合，否否则则不不送送融融合合中中心心。这这样样既既可可以以最最大大限限度度的的采采集集火火情情信信息息，并并在在早早期期识识别别火火灾灾隐隐患患，又又可可减减少少对对具具有有非非显显著著火火灾灾特特征征信信息息的的计计算算处处理理，降降低低误误报报警警。14第14页，本讲稿共20页基于神经网络的融合算法湿湿度度信信号号为为归归一一化化值值，取取值值范范围围为为0-10-1；输输出出层层的的两两个个单单元元为为明明火火判判决决和和阴阴燃燃火火判判决决系系数数，取取值值为为0-10-1；输输入入层层与与阴阴层层之之间间为为七七个个神神经经元元的的隐隐藏藏。输输入入层层与与隐隐层层之之间间的的权权值值矩矩阵阵为为 ，隐隐层层与与输输入入层层之之间间的的权权值值矩矩阵阵为为 。采用采用BPBP算法，执行过程如下：算法，执行过程如下：1 1）首首先先确确定定训训练练模模式式对对并并对对网网络络进进行行初初始始化化，模模式式对对由由输输入入信信号号和和导导师师信信号号构构成成，分分别别对对应应网网络络的的输输入入层层和和输输出出层层。输输入入层层信信号号 根根据据多多传传感感器器对对标标准准试试验验火火和和各各种种环环境境条条件件下下的的测测试试信信号号经经预预处处理理整整合合后后确定，导师信号确定，导师信号 即即上上述述已已知知条条件件下下定定义义的的明明火火和和阴阴燃燃火火判判决决结结果果，由由此此我我们们确确定定了了5454个个训训练模式对，判决表练模式对，判决表1 1为其中的示例。为其中的示例。15第15页，本讲稿共20页基于神经网络的融合算法2 2）对对网网络络进进行行训训练练，对对于于给给定定的的每每组组训训练练模模式式输输入入，先先由由SigmoidSigmoid函数计算各隐层单元的输出函数计算各隐层单元的输出式中，式中，为第为第 个隐层的净输入个隐层的净输入网络输出网络输出 为为16第16页，本讲稿共20页基于神经网络的融合算法再将网络输出与导师信号进行比较，计算其均方根误差再将网络输出与导师信号进行比较，计算其均方根误差最后由误差反传算法，调整网络权值最后由误差反传算法，调整网络权值 和和 ，直到使，直到使 满足误差精度要求。满足误差精度要求。17第17页，本讲稿共20页仿真结果 利用上述利用上述BPBP算法，即可将学习信号的多重信息判决关系转换到神算法，即可将学习信号的多重信息判决关系转换到神经网络的连接权矩阵中，实现了数据融合过程，从而可自适应地根经网络的连接权矩阵中，实现了数据融合过程，从而可自适应地根据输入的各种情况给出接近期望值的结果，系统由训练状态转移到据输入的各种情况给出接近期望值的结果，系统由训练状态转移到工作状态。工作状态。18第18页，本讲稿共20页仿真结果19第19页，本讲稿共20页仿真结果20第20页，本讲稿共20页