防洪调度及水资源管理数据挖掘系统研究.pdf

《防洪调度及水资源管理数据挖掘系统研究.pdf》由会员分享，可在线阅读，更多相关《防洪调度及水资源管理数据挖掘系统研究.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1期 2010 年4月水 利 信 息 化Water Resources InformatizationNO.1 Apr.,2010防洪调度及水资源管理数据挖掘系统研究余达征，蒋蓉（水利部水利信息中心，北京100053）摘要：采用美国 SAS 数据挖掘软件，在对我国防洪调度及水资源管理需求详尽分析的基础上，探索了数据挖掘技术在防洪调度及水资源管理方面的应用理论、方法及技术；研究了商品化数据挖掘软件与防洪调度及水资源管理需求相结合的具体方法，建立了太湖流域和中央节点的防洪调度和水资源管理数据仓库系统；分析研究了数据应用的基本模式，提出了数据挖掘的主题，运用 SAS 数据挖掘套件建立了基于数据仓库

2、的防洪调度及水资源管理数据挖掘系统。关键词：防洪调度；水资源管理；数据挖掘；分析型应用中图分类号：TV87文献标识码：B文章编号：1674-9405(2010)01-0033-03收稿日期：2010-03-02作者简介：余达征（1962），男，江西奉新人，教授级高工，主要从事水文及计算机应用方面的工作。1 研究背景自 20 世纪 80 年代以来，数据库建设已涉及相当多的中国水利业务，并且得到了广泛应用 1，如全国水文数据库系统，基本达到了国际先进水平 2。目前，基于数据库的防汛会商、洪水预报、防洪调度等应用已趋于成熟，具备了一定的全国范围内的防洪调度决策指挥能力 35。然而，随着我国经济社会对

3、防洪保安的要求不断提高，以及流域调度工作思路从洪水调度向洪水调度和水资源调度相结合转变，从汛期调度向全年调度转变，从水量调度向水量水质统一调度转变，从区域调度向流域与区域相结合调度转变，致使对防洪调度及水资源管理的要求越来越高。尽管信息技术在防洪调度和水资源管理业务中得到了一定程度的应用，但总体上还处于信息源建设和信息一般统计查询阶段，信息资源的开发程度较低。进入 20 世纪 90 年代，信息技术的发展沿着从在线事务处理向在线分析处理、从数据服务向信息和知识服务的方向发展，数据挖掘技术在这个发展过程中也应运而生，并且得到了广泛应用。数据挖掘技术是按照既定的业务目标，对大量的数据进行探索，揭示隐

4、藏其中的规律性并进一步将之模型化的先进、有效的方法 6，在防洪调度及水资源管理方面具有很好的应用前途。为此，在中华人民共和国水利部 948 项目的资助下，2005 年 1 月由水利部水利信息中心、河海大学、水利部太湖流域管理局共同开展了防洪调度及水资源管理数据挖掘系统（FCD&WRMDMS）的研究工作，项目历经 3 年多得已完成，并于 2008 年 4 月通过了水利部组织的验收鉴定。2 研究成果本项目在引进、消化、吸收美国 SAS 数据挖掘软件的基础上，围绕我国防洪调度及水资源管理的需求，一是探索了数据挖掘技术在防洪调度及水资源管理方面的应用理论、方法及技术，为水利信息系统从在线事务处理型向在

5、线分析及知识应用型发展提供了技术实践与方法示范；二是研究了商品化数据挖掘软件与防洪调度及水资源管理需求相结合的具体方法，并吸收其技术优点，为减少行业内的重复开发和定制适合于业内需求的数据挖掘系统积累了经验，主要取得了以下研究成果：（1）在水文数据库的基础上，结合防洪调度和水资源管理所需的相关数据，建立了太湖流域、中央节点的防洪调度和水资源管理数据仓库系统。（2）分析研究了数据应用的基本模式，提出了水 利 信 息 化2010,(1)34数据挖掘的主题，建立了基于数据仓库的数据挖掘和在线分析系统。并在以下几个方面有所创新 7：提出了扩展小波神经网络模型法，建立了河道水位和流量预测方法；提出了水文时

6、间序列中基于统计分析的关联规则优化算法；建立了具有多站变量时间序列的带自回归误差的回归预报模型，实现了水位预测及相关因子分析；提出了基于增量数据的流量预测方法，使用流量增量数据作为应变量，大大提高了神经网络模型的拟合程度，从而提高了预测精度。（3）通过对我国防洪调度及水资源管理需求的详尽分析，建立了基于 SAS 数据挖掘软件的FCD&WRMDMS，较好地解决了商用数据仓库和数据挖掘软件在水利系统的可用性和适用性问题。FCD&WRMDMS 采用功能强大的 SAS/BASE 作为管理中心，实现了数据仓库与数据抽取、转换、装载（ETL）、数据挖掘，采用 SAS/EM 和 SAS/EG 作为分析工具，

7、有机集成了各种数据挖掘算法，全面支持防洪调度及水资源管理等领域活动，具有广阔的推广应用前景。（4）FCD&WRMDMS 于 2007 年在太湖流域管理局和水利部水利信息中心进行了推广应用，取得了良好的经济和社会效益。实践证明使用FCD&WRMDMS 可以提高水文预报的精度和时效，增长水文水资源的预见期，进一步扩大了防洪调度和水资源管理辅助决策的内涵和外延。3 系统结构FCD&WRMDMS 所需处理的数据对象以水文数据为基础，建立防洪调度及水资源管理数据仓库，通过数据挖掘为防洪调度及水资源管理提供决策支持服务 8。总体框架如图 1 所示。FCD&WRMDMS 数据库主要包括水文、水雨情实时、气象

8、、工情及水质等数据库。FCD&WRMDMS数据仓库总体架构如图 2 所示。FCD&WRMDMS知识库主要存放数据挖掘所需要的领域知识，如洪水预报值合理性分析与修正经验综合规则事实库、水库调度综合规则事实库，以及分蓄洪区综合规则库等。图 2 中原始数据层是系统所有数据来源，由各类数据库组成。数据仓库层是将各种来源的数据按照系统设计的规范组织和管理起来，形成数据仓库，为后续的数据分析提供完整的数据源。数据仓库从源数据库中获得原始数据，首先按主题要求形成当前的基本数据层，然后按综合决策的要求构成防洪调度与水资源管理所需的综合数据，由 SAS 软件的WA 模块来实现。OLAP 服务器层对分析所需要的数

9、据进行有效集成，根据数据仓库提供的数据，通过相应处理，形成前端联机分析所需的数据。OLAP服务器层功能主要由 SAS 软件的 EN、EG 模块来支持。前端应用层主要包括各种报表、查询、数据分析等工具，用以实现防洪调度与水资源管理过程中所需的各种信息查询。图 1FCD&WRMDMS 总体框架图 2FCD&WRMDMS 数据仓库总体架构实时水雨工情数据库抽取转换加载刷新防洪数据仓库防洪数据集市历史水文数据库防洪工程数据库社会经济数据库原始数据层 数据仓库/数据集市层服务OLAP服务器OLAP服务器 OLAP服务器实时信息查询历史信息查询预测信息查询防洪调度防洪管理辅助 前端应用可视化用户接口模式知

10、识评估数据挖掘引擎数据仓库数据库数据库数据过滤数据清洗数据集成 知识库35第1期余达征等：防洪调度及水资源管理数据挖掘系统研究4 系统功能FCD&WRMDMS 旨在提供统一的、高度集成的、一致的水文信息源，支持防洪调度及水资源管理工作中众多具有明确应用主题的分析型应用，如洪水演进规律分析、太湖水位变化周期研究、历史洪水特性分析、水位预报、洪水预报、降雨和径流关系与趋势分析等，同时也是进行各类多维分析的基础。FCD&WRMDMS 不偏重于某个具体业务，而是一个基于公共水文信息源的面向主题的挖掘系统，具体分析业务需要的数据可以由此获得，并能得到挖掘分析，保证了不同挖掘主题所需数据一致性和挖掘过程的

11、规范性。FCD&WRMDMS 功能模块如图 3 所示。图3FCD&WRMDMS 功能模块该系统划分为 2 个主要子系统：数据挖掘和信息管理子系统。数据挖掘子系统主要完成数据挖掘的过程，由定义主题、数据准备、分类和训练、方案预测、方案优化等功能组成。定义主题主要是对挖掘主题定义的管理；数据准备模块用于将多种异构的数据源转换为 SAS 格式；分类模块用来进行聚类分析和综合评价分析；训练模块训练形成各种预报和分析模型；方案预测模块根据需求调用相应的模型对新方案进行预测；方案优化模块利用预报和分析模型产生优化的预报和分析方案。信息管理子系统主要是对防洪调度与水资源管理的基本信息进行管理，包括防洪信息、

12、水资源信息、洪水预报等管理。5 与现有应用系统的逻辑关系FCD&WRMDMS 可单独运行，与现有的水利业务应用系统互不干扰，在防洪调度及水资源管理决策过程中为领导提供辅助决策依据，同时也可进一步完善现有的决策支持系统，如为洪水预报系统提供相关因子分析、算法优化、防汛调度模型等。当然，FCD&WRMDMS 所需的数据要从现有的数据库中提取，包括水雨情、水文、工情、水质等数据库，这种提取方法并不影响现有应用系统的使用，也不会影响数据库中的数据。将提取的数据存入数据仓库后，通过数据展现和数据挖掘技术为防洪调度及水资源管理提供决策支持服务，FCD&WRMDMS 与现有应用系统的逻辑关系图如图 4 所示

13、（虚线部分为其他项目已实现的任务，实线部分为本项目要完成的任务）。6 结语当前，中国各级水行政管理部门都在大力推进水利信息化建设步伐，多年来建立了以国家水文数据库为代表的多类数据库，特别是国家防汛抗旱指挥系统工程和水利电子政务工程等全国性信息化工程的实施，无论在硬件设施或数据基础方面都为项目成果的应用提供了良好的支撑环境。FCD&WRMDMS 研究项目在 SAS 软件引进、消化、吸收的基础上，通过防洪调度及水资源管理数据挖掘系统的研究，以及在水利部水利信息中心和太湖流域管理局的示范应用，在水文序列相似性查找，洪水传播时间估算，关联规则挖掘、洪水水位流量预报，以及异常检测方面探索了 SAS 软件

14、在水利系统的可用性和实用性，项目研究单位认为，选择SAS 作为构建 FCD&WRMDMS 的基础是可行的，在中国水利系统具有广泛的推广应用前途。(下转第 51 页)防洪调度与水资源管理数据挖掘系统数据挖掘信息管理定义主题数据准备分类和训练方案预测方案优化防洪信息水资源信息洪水预报图 4FCD&WRMDMS 与现有应用系统的逻辑关系图数据采集传输提取、净化、整合数据仓库在线分析在线分析应用系统知识应用知识发现数据挖掘应用系统在线处理应用系统数据挖掘数据库51第1期孟令奎等：MODIS 数据处理平台在旱情监测中的应用研究京：中国科学院遥感应用研究所，2005.9 张顺谦，卿清涛，侯美亭，等.基于温

15、度植被干旱指数的四川伏旱遥感监测与影响评估J.农业工程学报，2007，23(9)：141147.10 唐巍，覃志豪，秦晓敏.农业干旱遥感监测业务化运行 方法研究J.遥感信息，2007，12(1)：3742.Study on Application of MODIS Data Processing Platform in Drought MonitoringMENG Ling-kui 1,LI Ji-yuan 1,CHEN Zi-dan 2,CHEN De-qing 2,ZHANG Ming 1,WANG Yu 1(1.College of Remote Sensing&Information

16、Engineering,Wuhai University,Wuhan 430079,China;2.Water Information Center,Ministry of Water Resources,Beijing 100053,China)Abstract:This thesis focuses on regional drought monitoring by integrating ground measured data with MODIS data and precipitation information.By employing grid computing techno

17、logy,MODIS data processing platform is established for preprocessing remote sensing data.Comprehensive drought monitoring model by remote sensing is constructed by analyzing and selecting appropriate drought factor according to hydrometeorological information.Thus,comprehensive drought monitoring da

18、ta processing system is set up for realizing primary automatic MODIS data processing and drought analysis.Key words:MODIS;data processing;remote sensing;water resources;drought monitoring;grid11 Sandholt,Rasmussen K,Andersen J.A Simple Interpretation of the Surface Temperature/Vegetation Index Space

19、 for Assessment of Surface Moisture Status J.Elsevier：Remote Sensing of Environment,2002,79(23)：213224.12 刘良明.基于 EOS MODIS 数据的遥感干旱预警模型研 究D.武汉：武汉大学，2004.参考文献1 余达征，史金松.江西水文数据库系统研究J.河海大学学报，1992，(3)：6065.2 余达征.试论全国分布式水文数据库系统的分析与设计A.中国科学技术协会首届青年学术年会论文集C.北京：中国科学技术出版社，1994，2226.3 余达征，索丽生.关于防洪调度智能决策支持系统的分析与

20、设计J.水文，1999，(2)：1822.4 余达征，索丽生.数据仓库技术及其在防洪调度智能决策支持系统中的应用J.水利水电技术，1999，(2)：4345.5 余达征，索丽生.基于数据仓库的数据开采技术及其在防洪调度智能决策支持系统（FCDIDSS）中的应用J.水文，2001，(2)：58.6 汪嘉冈.SAS V8 基础教程M.北京：中国统计出版社，2003.7 李士进，张晓花，万定生，等.基于 DTW 的测站水位影响关系估计J.江南大学学报(自然科学版)，2007，(6)：678682.8 朱跃龙，余达征，吴浩云，等.水文时间序列数据挖掘应用研究.水文，2008，(增刊)：712.Inve

21、stigation on Data Mining System for Flood Control Dispatching and Water Resource ManagementYU Da-zheng,JIANG Rong(Water Information Center,Ministry of Water Resources,Beijing 100053,China)Abstract:Based on detail analysis about requirements of flood control dispatching and water resource management

22、in China,this paper deals with application theory,methods and technology for using data mining technology in flood control dispatching and water resources management by SAS data mining software.It makes an investigation about specific methods of combining data mining software with requirements of fl

23、ood control dispatching and water resource management to set up data warehouse system for flood control dispatching and water resource management of Taihu valley and central node.The paper also analyses and studies basic patterns of data application,puts forward data mining subject.Finally,flood control dispatching and water resource management data mining system is set up based on the data warehouse system.Key words:flood control dispatching;water resource management;data mining;analytical application(上接第 35 页)