电力系统短期负荷预测技术的研究与实现.pdf

合肥工业大学硕士学位论文电力系统短期负荷预测技术的研究与实现姓名：石万清申请学位级别：硕士专业：电力系统及其自动化指导教师：陶维青20050401电力系统短期负荷预测技术的研究与实现摘要电力系统短期负荷预测是调度中心制订发电计划及发电厂报价的依据，也是能量管理系统(E M s)的重要组成部分，对电力系统的运行、控制和计划都有着非常重要的影响，其预测精度直接影响到了电网及各发电厂的经济效益。由于电力负荷受诸多因素影响，如当前负荷状况、天气状况、节假日、重大经济及政治事件等，为提高短期电力负荷预测的精度，本文综合考虑了影响电力负荷的诸多因素，分析了适用于电力系统短期负荷预测的多种预测模型及其优缺点，提出了将径向基函数网络和模糊逻辑两种方法相结合的预测方法，并用v i s u a lc+和M A T L A B 混合编程实现基于该算法的短期电力负荷预测程序，结果表明，与常规的预测方法相比，预测精度有了较大提高，效果较好。此外，本文实现了V i s u a lC+与M A T L A B 的接口。利用v i s u a lC+十6 O 提供的控件设计人机界面，利用M A T L A B 工作在后台实现复杂的计算功能。这样既可以拥有良好的人机界面，又可以有较高的软件开发效率。关键词：短期负荷预测：神经网络；B P 算法；R B F 网络；模糊逻辑；M A T L A BR e s e a r c ha n dI m p l e m e n to nS h o r t-t e r mL o a dF o r e c a s t i n gT e c h n o l o g yo fE l e c t r i cP o w e rS y s t e mA b s t r a c tS h o r t t e nl o a df o r e c a s t i f 培o fe l e c t r i cp o w e rs y s t e mi sn o to n l yt 1 1 eb a s i sf o r 恤ed i s 删b u t i o nc e n t e r st o 纠a np o w e rg e n e r a t j o na n dt h ep o w e rp l a n 括t oq u o t ep r j c e，b u ta l s oa I li m p o n a f l tp a r to fe n e r g ym a I I a 跗n e n ts y s t e m F 池r n l o r c，s h o m t e ml O a df o r e c a s t i n gh a sa】一i m p o n a n te 丘音c to np o w e rs y s t e m，s u c ha s 郇啪t i 伽，c o n 打0 1a n dp】a n T h ep r e d i c t i o na c c u r a c yh 髂d i r e c ti n f l u e n c eo ne c o n 0 I I l yb e n e f i t so f t l l e 嘶da n dp o、e rp l 蛆t s E l e c m cp o w e ri s 甜r e c t e db ym a I l yf a c t o r s，s u e ha Sc u r r e ml o a ds t a t u s，w e a t h e rs 纨s，f b s t i V a l-h o l i d a y，i m p o n a n Ce c o n 0 瑚ya I l dp o l i t i c se V e n t，a I l de t c F o ri l p r o v i n gt l l ep r e d i c t i o na c c u r a c yo fs h o n t e r ml o a df o r e c a s t i n 岛m a r l yf o r e c a s tm o d e l s 印p l i e dt op o w e rs y S t e ms h o r t _ t e n nl o a df o r e c 删n ga n d 位i rc l l a】t e r i s t i c sa r e 眦I y z e d，al o a df o r e c a s t i n gs 眦e g yb a S e do nR B Fn e u r a In c t w o r ka n df I l z 纠l o g i ci sp m p o s e dc o I l s i d e r i n g 也ei n t e 矿a t l 甜e 岱娥o fm 锄yf 如t o r s T h el o a d 如r e c a s t m gp r 0 可a mb a s e do nt h ep m p o s e df o r e c a 幽gs t r a t e g yi sc a r r i e do u tb yc o m b i n e d s 谢c+十a n dM A T L A B T h er e s u l t ss h o wb e t t 耵p r e d i c t i o na c c u r a c ym a n 倒硒o n a lm o d e l s A d d i t i o m l l y，b 0 出V C+觚dM A l L A Ba r ea d o p t e di I lt】1 i sp 印e r u s i n gm em a n-m a c h 主l】oc o n v e f s i o n 幻t e 哟脯o fv j s u a lC 十 c o m p l i c a t e dc o m p u t a t i o ni sd o n ea tt h eb a c k g m u n d 嘶t l IM A l L A Bt 0 0 1 s ob o mg o o dm a n m a c l l i l l ec o n v e r s a t o n 诚e r f l l c ea l l dh i 曲e re x p l o i t a t i o ne m c i e n c yo f s o f h a r ea r ea c q m r e d K|种 r d s：S h o 出t e l mJ o a d 幻r e c 咖；N e u r a ln e 锕o r k；B a c k P r o p a g a t i o na 1 9 0 r i t 吼；R 矗d i a lB a s j sF l l I l c t i o nN e t w o r k；F u z 巧L 0 豇c；M 棚，A B合肥工业大学本论文经答辩委员会全体委员审查，确认符合合肥工业大学硕士学位论文质量要求。答辩委员会签名：(工作单位、职称)主席：蚴彦叛磅瘩旋投援扣怨弘、。孑，肚|：j。一唇肾血易一队诌卜似岛和m 中弋Pp扯弦陶委蝴独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果据我所知，除了文中特别加咀标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得金墅王些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。黜一躲万万葫黼飙财咿犀日学位论文版权使用授权书本学位论文作者完全了解盒月l 王些太堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金目g 王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)虢万万磊签字日期：)町年f 月群日学位论文作者毕业后去向：工作单位：通讯地址：翩繇确学昔签字日期：2 一，年j 月乒日电话邮编致谢论文之所以能够顺利完成，首先感谢我的导师陶维青副研究员。正是在陶老师诲人不倦的教导和支持下我才能够顺利完成硕士阶段的学习与研究，本论文从选题到最后的定稿都凝聚着陶老师的心血。陶老师渊博的学术水平、严谨的教学作风使我在学业上受益无穷，从他身上学到的实事求是的科学态度、严谨的科研方法为我未来的工作和发展打下了坚实的基础。同时，导师在生活上也给我很多的关怀、帮助和鼓励，在此学生表示衷心的感谢和深深的敬意。本次论文工作得以顺利完成还要感谢庹华容、张升、马小陆、黄丽琼、郑杰、周强、张晓飞、王成进、王骏等同学和朋友给予我的鼓励和帮助，在此深表谢意。最后还要感谢我的父母和家人。感谢多年来他们对我的支持。作者：石万清2 0 0 5 年4 月第一章前言1 1 电力系统负荷预测的意义和目的电力系统负荷预测是在充分考虑一些重要的系统运行特性、增容决策、自然条件及社会影响等条件下，研究和应用一套系统处理过去负荷与未来负荷的数学方法，在满足一定精度要求的前提下，确定未来某特定时刻的电力负荷值。电力负荷预测是电力系统调度、用电计划、规划等管理部门的重要工作之一。提高负荷预测技术水平，有利于计划用电管理、合理安排电网运行方式和机组检修计划、制定合理的电源建设规划、提高电力系统的经济效益和社会效益，并有利于节煤、节油和降低发电成本。因此负荷预测已经成为实现电力系统管理现代化的重要内容之一。电力系统负荷预测分为：长期负荷预测、中期负荷预测、短期负荷预测和超短期负荷预测l2 1。长期负荷预测一般指1 0 年以上并以年为单位的预测；中期负荷预测是指5 年左右并以年为单位的预测；短期负荷预测则是指一年之内以月、周、日、小时为单位的负荷预测；超短期负荷预测是指未来1 小时、未来O 5 小时甚至未来1 0 分钟的负荷预测。长期和中期负荷预测的意义在于帮助决定新的发电机组的安装(包括装机容量的大小、型式、地点和时间)与电网的规划、增容和改建。短期负荷预测则可对未来一天到七天的负荷进行预测，是调度中心制订发电计划及发电厂报价的依据。超短期负荷预测的意义在于对电网进行计算机在线监控，实现发电容量的合理调度，满足运行的要求，同时也使发电成本最小。短期负荷预测也是能量管理系统(E M s)的重要组成部分，对电力系统的运行、控制和计划都有着非常重要的影响，提高电力系统短期负荷预测的精度既能增强电力系统运行的安全性，又能改善电力系统运行的经济性。随着我国社会主义市场经济的不断完善，电力企业逐步走向市场，电力系统的经营方式从垄断转变为市场竞争将成为必然。短期负荷预测是电力市场的基础工作，随着电力市场改革的深入开展，其作用日益重要，它不但成为发电厂报价的依据，更是保证电网安全稳定运行的重要前提，其预测精度直接影响到了电网及各发电厂的经济效益。1 2 国内外的研究状况国外对于负荷预测的研究开展较早，美国华盛顿大学的D c P a r k 等人最早将神经网络应用于短期负荷的预测，将传统模型中无法考虑的天气因素加入到模型中，得出了神经网络负荷预测模型比传统预测模型预测精度高的结论。但是D c P a r k 的模型中没有考虑到日类型、节日等其它因素，部分预测结果误差较大【3 1。E A M o h a m e d 等人提出的针对埃及联合电网(E u G)的小时负荷预测模型p 1 中使用了3 层结构的神经网络，测试结果为：标准差2 9 3，最大误差1 1 4 7 出现在1 月2 3 日(星期六)。尽管在模型中考虑了日类型，从预测结果来看，工作日的预测误差较小，但是休息日的预测误差较大。另外，在模型中没有考虑气温等天气状况，这将降低模型的精度。为弥补此不足，应该在模型中加入前一天及前一周的负荷状况。国内在9 0 年代以前也有关于负荷预测的研究，但是大都侧重电力需求的中长期预测，主要用于电力规划。随着我国社会主义市场经济的不断完善，电力企业逐步走向市场，电力系统的经营方式从垄断转变为市场竞争将成为必然。而且，短期负荷预测是电力市场的基础工作，随着电力市场改革的深入开展，其作用日益重要，国内的学者也从9 0 年代中期开始纷纷展开了人工神经网络在短期负荷预测领域的研究。电力科学研究院的于尔铿、汪峰等人长期从事E M S，D M S 和电力市场的研究，在其关于能量管理系统的E M s 讲座中1 5】，系统的阐述了电力系统负荷预测的方法。文献 6】中提出的小时负荷预测模型中将负荷按各种分量进行拆分，分别用神经网络与A R 方法建模，但是，模型中未考虑天气因素，模型精度受到一定的影响。虽然神经网络负荷预测方法的预测精度较传统方法高，但是它也有其自身的缺陷：由于诸多原因，节假日负荷预测的精度相对较差；此外，反向传播算法(B a c k-P r o p a g a t i o n a l g o r i m m，简称B P)的收敛速度慢。对突发事件的适应性差，而且容易陷入局部极小点。目前采用改进的B P 算法来加速B P 算法的收敛。总体来看，对负荷预测的研究经历了三个阶段：1)从对负荷预测的传统的数学统计方法的研究，如时间序列、回归分析等，研究重点在负荷序列本身的规律上；2)对负荷预测的人工智能的研究，如神经网络等，研究重点以新技术代替传统的方法：3)负荷预测的应用研究，重点是将各种负荷预测方法与影响负荷的各种因素结合起来进行研究，特别是天气因素。而且，在单个预测模型不能完全正确地描述预测量的变化规律时，还可以将几种预测方法得到的结果中选取适当的权值加权平均来得到预测值，能有效的改善预测效果【7 12 1。在应用上，国外的电力企业大都使用特定的负荷预测软件包。近年来，这些软件包更是将神经网络方法纳入其中。如美国R e g i o n a lE c o n o m i cR e s e a r c h，I n c(简称R E R)开发的软件包M e t r i x N D【1 3】综合了神经网络方法、时间序列及指数平滑技术等，软件包提供了短期负荷预测及电价预测功能，但是没有相关的预测精度说明。国内仍处于试验阶段，实际应用较少。常州东瑞电力软件有限公司开发短2期负荷预测模块中使用了神经网络预测模型来预测2 4 点的日负荷，但是未见对模型预测精度的评价。1 3 研究的主要内容短期负荷预测是电力市场的基础工作，随着电力市场改革的深入开展，其作用日益重要，其预测精度直接影响到了电网及各发电厂的经济效益。要提高负荷预测精度，就必须考虑影响负荷的各种因素，如当前负荷状况、天气状况、节假臼、重大经济、政治事件等不确定因素。而且，同样的模型运用在不同地区时，精度上可能会有较大的差别，原因在于各地影响负荷的工业水平、气候条件等不同，所以，在针对特定地区进行负荷预测研究时，需要对当地的负荷特性等进行深入的分析，选择合适的模型，才能提高预测精度。本文主要工作有以下几点：1 学习和研究了电力系统短期负荷预测的多种方法，并分析了一些方法的特点及适用范围；2 重点研究了人工智能的预测方法，如B P 网络，径向基函数网络(R a d i a lB a s i sF u n c t i o n N e t w o r k s，简称R B F)，在充分考虑影响负荷因素的同时，将神经网络与模糊逻辑相结合来提高负荷预测精度；3 用v i s u a lc+和M A T L A B 混合编程，实现了神经网络算法，并用v i s u a lc+和M A T L A B 两编程语言实现了短期负荷预测软件，这样既能利用s u a Ic+丰富的图形界面功能，并能与s c A D A 等系统相连，具有很好的可移植性和适用性，而且能利用M A T L A B 强大的数值计算功能，利用其工作在后台，从而提高了软件开发效率。第二章传统的负荷预测方法经过几十年的发展，人们提出了许多的短期负荷预测方法。现在的预钡4 方法大体分为2 类：传统的数学统计方法和上世纪9 0 年代兴起的人工智能方法a 下面大致介绍一下几种传统的数学统计方法。2 1指数平滑预测法指数平滑预测方法f H】采用电力系统负荷趋势外推预测技术，其理论依据是：电力负荷的变化一方面有其不确定性，如气候的变化、意外事故的发生等造成对电力负荷的随机性干扰；另一方面，在一定的条件下，电力负荷存在明显的变化趋势。以农业用电为例，在气候变化较小的冬季，日用电量相对稳定，表现为较平稳的变化趋势，在某个时段内，又表现为线形和非线性趋势。从季度和月份用电看，易见周期性变化趋势，习惯上称之为季节性变化趋势。有时也会表现为几种变化趋势的叠加。指数平滑预测方法针对不同的变化趋势具体采用不同的方法。这些方法共同的特点是作趋势外推，不对其中的随机成分作统计处理。2 1 1 水平趋势预测方法水平趋势预测方法有全平均法、次滑动平均预测法、一次指数平滑预测法、一阶自适应系数预测法。这里我们主要介绍一次指数平滑预测法。对于连续变化的负荷数据序列，要预测它在未来时刻的值，可以对历史负荷数据按照“重近轻远”的预测原则加以不同的权值进行叠加，近期数据给予较大的权值，远期数据给予较小的权值，以强化近期数据的作用，弱化远期数据的影响，取定平滑参数口(0(口(1)。初值=而，便可计算一次指数平滑序列：=a+(I 一q lf=I，2，3，r(2 1)即用f 期的平滑值s，预测H-l 期的电力负荷曼。=s。特别地，王。=J，(，=1，2，)，这就是一次指数平滑预测法。平滑系数口的值的大小，体现了不同时刻的指标在预测值中所起的不同作用，如果数据序列波动较大，为了在预测中反映该波动，应当突出新的负荷数据x，的作用，要用较大的口；反之，数据序列变化平缓，可取较小的口值。口的取值没有一定的规律，具体计算时可以通过计算机程序对口优化选取。2 1，2 线性趋势预测线性趋势预测方法埘包括二次滑动平均法、二次指数平滑法及二阶自适应4系数预测方法。在此，着重介绍二次指数平滑法。二次指数平滑是对一次指数平滑数值再进行一次平滑。一次指数平滑法是直接利用一次指数平滑值作为预测值的一种预测方法，二次指数平滑法与其不同，它是用平滑值对时序存在的线性趋势进行修正。因此，二次指数平滑也称为线性指数平滑，其计算过程为：I 计算一次、二次指数平滑序列(a)一次指数平滑序列(平滑系数0 a O)(2 8)等式右端各项可以由初始值递推出来，事实上可以得出任意第h 步预测值。但是，随着J l 的增大，预测值的准确性将逐渐减少。从预测的递推公式我们看到，对于A R 序列的预测模型，只要知道负荷序列f 时刻以及f 时刻以前的负荷序列值，即已知奶，M。，就可以求出任意第 步的预测值。在负荷预测中所拥有的历史资料正是负荷的过去记录，由此推断，在负荷预测中，A R 序列模型可以建立负荷的预测模型。(二)M A 序列的预测模型滑动平均模型的出发点认为，在开始时某个随机过程存在一个干扰，而它在时间序列中的作用逐渐衰减，当f 很大时，起始干扰的影响就可以忽略不计了。M A(q)模型为：M=q B 4 f-I 一岛q-2-一岛q 1(2 9)其中，岛，岛，岛为已估计好的参数值。对式(2 9)两端取期望值，得预测模型为：且(_ j )之E(q+)品占(q+)一嚷E(q+一：)一岛E(口|+一。)(2 一l o)6此时注意，当 g 时，有只()=o，这说明，M A(q)模型只能预测到第g 步。由此可见，要求得多，(1)，允(2)，虫(g)，只须设法求出口。，口。，d+即可。为此可将原模型式(2-9)改写为口I=y。十岛口l-1+巳口_(2-1 1)利用公式(2 1 1)求出口。，口。，口。+。的估计值，然后把它们再代回式(2-1 0)中去，即可得出预测值或(1)，允(2)，只(虿)。(三)A R M A 序列预测模型将A R 和M A 模型结合起来构成可以用来描述平稳随机过程的自回归动平均模型A R M A(p，q)，A R M A(p，q)模型为：y t 一妒l y 卜I 一一p P M P=口f B 口I-1 一一岛口f _(2-1 2)这里吼，伊：，妒，和B，岛，以都是已估计好的参数值。于是有y，+=伊I y f+一l+。+妒p y r+P+口f+一B 4-+一l 一一日口f+一q(o)(2-1 3)当 g 时，对式(2 1 3)两端取期望值，有多，()=仍允(一1)+P 2 多。(一2)+妒。多。(一p)(而 o)(2-1 4)将式(2-1 4)和式(2-8)相比较，可知，这就是A R(p)序列的预测模型。所以，在 口以后，A R M A(p，q)序列的预测问题完全可以仿照A R(p)序列的问题来处理，这里不再重述，只要注意到，这里即使厅 g，多，(仍不为零，这是因为将A R M A(p，q)化为M A 序列时，n=罢篙口，是无限阶M A 序列模型，而不是有限项白噪声之和。当1 而s 口时，此时(2-1 3)式中的口。，口f-，q。l 完全可以仿照M A 序列预测中处理的方法来确定。因此，将求A R 序列和M A 序列的预测模型结合起来，就可以确定A R M A 序列的预测模型。(四)A R I M A 序列预测模型累积式自回归动平均模型的提出是为了抽取时间序列中的平稳随机因素，消除模型中的非平稳随机过程【n】。实际上是先对时间序列求取d 阶差分(实际上，d 通常是O，l，或者最多是2)，得到一个新的时间序列，然后，运用自回归动平均法求取这个新的时间序列。如，肼 是一个非平稳序列，经过d 次差分后，V。J，。J 是一个平稳的A R 眦序列，记P p(B)=l 一仍B 一妒P 四9巳(曰)=l 一只口一岛曰7则称妒P(动V 4 y，=色(曰)q(f d)V=l 一曰(2 1 5)为(p，d，q)阶的累积式自回归动平均模型，记作，A R I M A(p，d，q)。从式(2 1 5)中可以看到，A R I M A 模型实际上是用二项式差分(I 一丑)4 消除了非平稳时序中的多项式趋势。从系统的角度来看，就是分离出了系统中的d 个相同的一阶环节，从面可按平稳时序建摸，由此可见，A R I M A 模型的建模可采用A R M A 建模程序，只需增加d 阶差分运算，这也相当于在A R M A 建模之前对非平稳时间序列进行平稳性处理，因此，A R I M A 建模并不存在实质性困难。在进行差分时，通常需判断d 的取值，一般方法是从d=1 开始搜索，在对 V 4 y 进行平稳性检验，直至满足平稳条件为止。2 3 回归分析回归分析是寻找自变量与因变量之间存在的相关关系以及确定其回归方程式，即确定适当的函数类型和响应的参数，拟合一条最佳的曲线，然后将此曲线外延至未来的适当时刻，在已知自变量取值时得到因变量的预测值4 1。按自变量黔多少可分为一元回归分析和多元回妇分析；按照自变量与困交量之间的回归方程的类型可分为线性回归分析和非线性回归分析。(一)一兀线性回归分析在一元线性回归中，自变量是可以控制或可以精确观察的变量(时间)，因变量是依赖于自变量的随机变量(负荷)，那么，二者之间的关系为：y=口+h(2 一1 6)根据样本瓴，只)，则残差平方和为踟，衅=(乃一d 一玩)2，按最小二乘I a l法，使Q 最小，从而可以解得：”薯弘一(_)(y，)(一一覃)o。一习6=J 生1 l _ 丛一=型一犯一27)栉#一#。一刁2a=丢喜y。一言喜=歹一磊c z s，因此可以确定回归方程多=a+蠡。(二)多元线性回归分析在电力负荷预测的实际问题中，负荷受多种因素的影响，因此根据历史资料中负荷与各因素之间的依赖关系，就要考虑用多元回归分析方法来解决。在多元回归分析方法中，简单而又重要的一种情形就是多元线性回归，它的原理与一元线性回归分析基本相同。计算公式如下：y=+q f 1其中，口。，口：，4。为回归系数，为随机干扰。(2-1 9)(三)多元非线性回归分析对于前面的回归模型，都假设自变量和因变量之间为线性关系但是，实际上二者之间多数是非线性关系。对于非线性模型的研究，一般比较复杂不采用。但是某些特殊的情况下可以通过适当的变量代换，将非线性问题转化为线性相关的问题来处理，即用适当的曲线来拟合二者之间的关系，当曲线确定下来后。根据样本值，通过适当的代换把非线性问题转化为线性问题。2 4 本章小结通过对各种传统的负荷预测方法的分析，总结出其各自的优缺点1 1 7 J：时间序列法是依据历史负荷数据，找到其随时间变化的规律，建立时序模型，依此推断出未来负荷数据。其基本假定是：负荷过去的变化规律会持续到将来，即未来是过去的延续。算法的优点是：所需历史数据少、工作量少。该方法的缺点是：没有考虑天气(尤其是温度)、日期特征、社会活动等敏感因素对负荷的影响，只致力于数据的拟合。对规律性的处理不足，精度不高，只适用于负荷变化比较均匀的短期预测的情况。回归分析是对过去的具有随机性的负荷记录进行拟合，得到一条确定的曲线，然后将此曲线外延到适当的时刻，就得到该时刻的负荷预测值。优点是：预测精度较高，适用于中、短期负荷预测。但是，由于天气变量与负荷之间不是简单的线性关系，回归算法对这种动态的、非线性的关系无法处理，它只预测出一个平均值；非线性回归算法也只是通过代换将非线性的关系转化为线性关系，而且运算复杂，所以也不是理想的预测方法。指数平滑预测方法采用电力系统负荷趋势外推预测技术，算法比较简单，但是只局限于一个时间序列本身的外推预测，而没有考虑其他因素的影响，而且，带有滞后效应，因此，只适宜于近期预测，不能作远期预测。为解决传统预测方法中存在的问题，因此人们提出了人工神经网络的预测方法。9第三章人工神经网络预测方法3 1 人工神经网络发展历史对人工神经网络理论的研究，从8 0 年代开始获得蓬勃的发展。但是人类对它的探索可以追溯到1 9 4 3 年，法国心理学家W M c C u l l o c h 和数学家W P i t t s 合作推出的神经元数学模型，即著名的M P 模型1 1 3】，这一模型的提出开创了人工神经网络这一新兴边缘学科研究的先河，在这之后，有关研究异常活跃。但是到了7 0 年代后期，由于人工智能理论的日趋完善，使人们渐渐地对人工神经网络的研究失去了以往的热情。在这l O 多年的时间里，人工神经的研究陷入低潮。但是进入8 0 年代以后，由于少数坚忍不拔的学者经过1 0 多年的理论研究，人工神经网络理论的一系列问题终于取得重大的突破，尤其值得一提的是美国生物物理学家H o 衄e l d 于1 9 8 2 年提出的一种称为H o f i e l d 的模型【”，2 叭，他在建立的网络模型中引入“能量”函数，在理论上解决了网络稳定性的判据问题，并侵网络具有联想记忆、自动分类和自动校正记忆误差的能力。他的研究成果开拓了人工神经网络理论研究的新途径，人工神经网络理论的研究进入了一个崭新的、突飞猛进的时代。当今，世界范围内已经形成了研究神经网络的前所未有的热潮，可以预言，2 l 世纪神经网络的研究将会有更大的发展。3 2 人工神经网络的基本特性神经网络对人们的巨大吸引力主要表现在以下几点1 2 1，2 2】：1 并行分布处理。神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力。这特别适于实时控制和动态控制。2。高度售棒性和容错能力。3 分布存储及学习能力。神经网络是通过系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题。4 能充分逼近复杂的非线性关系。神经网络具有固有的非线性特性，这源于其近似任意的非线性映射(变换)能力，这一特性也给非线性控制问题带来新的希望。在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理论研究的中心主题之一，但是这个问题一宜没有得到有效的解决。利用神经网络的学习能力-使它在对不确定性系统的控制过程中自动学习系统的特性，从而自动适应系统随时间的特性变异，以求达到对系统的最优控制，这也是神经l O网络得到广泛应用的一个原因。3 3 人工神经元数学模型从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型1 钔。工程上用的人工神经元模型如图3-1 所示。辘入僧号X 1X2r：X。连接较值图3 1神经元的非线性模型在图3 1 中，工：，x。是神经元的输入，即来自前级”个神经元轴突的输出信息，只(可以为正或为负，相应地增加或降低传递函数的网络输入)是神经元f 的阈值；，。1，w：，分别是神经元f 对输入信号而，x：，x。的权值；J，是神经元f 的输出；八-)是激活函数，它决定神经元f 受到输入信号而，工：，扎的共同刺激到达阚值时以何种方式输出。从图3，1 的神经元模型可以褥到神经元输出的数学表达式：三儿=，(艺一只)(3-1)J d对于人工神经元的激活函数，()(即传递函数)常用的有：阀值型、分段型函数、s 型函数，如图3 2：JI，0)I阔值型J)l一JLl，(功厂分段线性型s 型番效图3。2神经元的激活函数其中，最常用的s 型函数公式为厂(曲=i t 这种函数表示了神经元的非线性输入输出特性，能够比较容易地实现比较复杂的非线性映射。3 4 人工神经网络的工作和学习方式通过向环境学习获取知识并改进自身性能是人工神经网络的一个重要特点。在一般情况下，性能的改善是按某种预定的度量通过调节自身参数(如权值)随时间逐步达到的。神经网络的工作方式由两个阶段组成：执行阶段和学习阶段1 2 1 1。执行阶段是指神经网络对输入信息进行处理，并产生对应的输出过程；在执行阶段，网络的连接结构和权值是已经确定并且不会变化的。学习阶段是指神经网络自我完善的阶段；这时，网络按一定的学习规则修改突触的权值w。以使目标(或称准则)函数达到最小。神经网络对信息的学习是为了取得对信息的适应特性或信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。学习和执行是神经网络不可缺少的两个处理功能。通过学习阶段，可以把神经网络训练成对某种信息模式特别敏感，或具有某种特征的动力学系统；通过执行阶段，可以用神经网络识别有关信息模式或特征。一个神经网络的模型确定以后，为了使它具有某种智能特性，还必须有相应的学习方法与之配合，学习方法是人工神经网络的核心问题。神经网络主要通过两种学习算法进行训练，即有教师学习算法和无教师学习算法。有教师学习算法能够根据期望的和实际的网络输出(对应于给定输入)间的差来调整神经元之间的权值j 因此，有教师学习需要有个老师或导师来提供期望或目标输出信号。无师学习算法不需要知道期望输出，在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权值，以便按相似特征把输入模式分组聚集。1 23 5B P 网络模型多层前向神经网络能够逼近任意非线性函数，因此在科学技术领域中有广泛的应用。但是隐含层的出现使得学习比较困难，所以限制了多层前向神经网络的发展，反向传播(B a c k P r o p a g a t i o n，B P)算法的出现解决了这一困难，为多层前向神经网络的研究奠定了基础。3 5 1B P 神经网络的结构B P 神经网络简称B P 网络，它由输入层、隐含层和输出层组成18 1。最简单的就是隐含层仅有一层的情形，即三层B P 网络，如图3 3 所示。每层含有的神经元的个数可以不一样，前一层的神经元与后一层的神经元之间由权值连接，且每一个神经元的非线性传递函数最常用的就是S 型函数。输入信号输入层隐古层输出层图3 3B P 网络模型结构输出信号3 5 2B P 网络算法及公式推导B P 网络的学习算法，它包含两个阶段【”2 1】：正向传播和反向传播。正向传播时，输入样本从输入层经过隐含层单元一层一层地进行处理，通过所有的隐含层之后，则传向输出层：在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出(或误差值大于设定的值)，则进入反向传播过程；反向传播时，把误差信号按原来正向传播的通路反向传回，并对与隐含层相连的各个神经元的权值进行修改，使得误差信号趋于最小。将这一个过程的两个阶段反复交替，直到达到误差小于设定的值为止。设在第，1 次迭代中输出层的第-，个神经元的输出为y，(一)，d，(一)为该神经元的期望输出值，则该神经元的输出误差信号定义如下：”荔de，(订)=d，(以)一y，(n)(3-2)我们将神经元的误差能量瞬间值定义为 g j(，1)。相应的，整个误差能量的瞬间值为孝(”)，即为输出层的所有神经元的误差能量瞬间值之和，因此，善()的计算公式为：孝(H)=去e；(H)(3-3)J 其中，集合C 包括所有输出神经元单元。令N 为训练集中样本总数，则均方误差能量表示为：1乞=寺(3-4)。l孝。，为学习的目标函数，学习的目的应使达到最小，乞是网络所有自由参数(权值和阈值)的函数。那么，输出层神经元，接收前一层信号并产生误差信号的过程如图3 4。咒。1舅神经两r-。“、-、图3 4 显现输出神经元_，细节的信号流图g，在神经元_，紫激活函数输入处产生的诱导局部域V J()，即单元，的净输入删，o)=匕(疗)=(砷，掰为加到神经元_，上输入信号个数。迭代第群次时出现在神经元，输射处的函数信号)，(栉)为：乃(功=吩(叱(，奶善(功对的梯度为：1 4(3-5)善丛安：黑黧裟未鳔一加)矿(帆(挖)(3-6)a H(开)，(片)砂，0)加，(甩)却F(刀)”而应用于w。(雕)的修正w(n)由d e l t a 法则定义为：蛳；一矸尝黑(3 7)o w L 玎J其中负号的使用意味着在权空间中梯度下降(即寻找一个使得孝(n)值下降的权值改变的方向)，叩为反向传播算法的学习率参数a 这里局域梯度t(，1)定义为：渺一器一器筹篙_ 椰)(3-s)当神经元，位于网络输出层时t(帕=P，(n)竹(V，(H)=(t(n)一y，)谚(H)(3-9)而当神经元，位于网络的隐含层时，如图3 5，当下一层神经元|i 为输出单元时渺一器篙一器办咏一)(3 1 0)”7砂，(n)a l，(砂，(H)“。咒2 l卫神经确摊经，己I(图3 5显现输出神经元七连接到隐含层神经元_，的信号流图器。渺，篇器一和咖州=一渺M，所以(月)=西(V，(帕)疋(行)o()I其中，神经元，为隐含层神经单元。(3-1 1)现在，我们总结出反向传播算法的导出关系。由神经元f 与神经元，之间连接权值的校正值厶(功根据d e l t a 规则定义如下：权值校正蛳。学习率参数局部梯度占(玎)神经元，输入信号M 仰)其中局域梯度占，(H)取决于神经元，是输出层单元还是隐含层单元：(1)若神经元，是输出层单元，J，(坊等于导数妒：(v，()和误差信号P，()的乘积；(2)若神经元J 是隐含层单元时，占，(功等于相应导数尹：(v，(疗)和占，的加权和的乘积。综上所述，反向传播算法的执行步骤可概括如下：(1)设置网络结构，初始化网络权值和阈值。(2)呈现训练样本的个回合给网络。对训练集中以某种形式排列的每个样本，依次迸行在下面的(3)和(4)中所描述的前向和反向计算。(3)前向计算。计算各层的输出，对于第z 层的神经元，：舰诱导局部域V：(，|)为：q(n)=嵋()y：。1(一)神经元输出为：J，：=尹，(v：()计算误差信号：e，(哟=d，(哟一o，(玎)，假设z 为输出层y 净D，(n)其中。(”)是迭代聆次时前面第，一1 层的神经元j 的输出信号(j：o 时，y f l(珂)=+1，w：0()=6；(n)是第堰神经元，的偏置)，w：(订)是从第z l 层的神经元f指向第，层的神经元，的权值。(4)反向计算。计算网络的占(即局域梯度)，定义为：I 口；谚(V；(一)=P；q(厅)(1 一q(行)对输出层L 的神经元，()=。l 玩(V：o)+1(哟w(H)对隐含层f 的神经元fLI根据d