谈电力系统安全流量与日志处理（精品）.docx

《谈电力系统安全流量与日志处理（精品）.docx》由会员分享，可在线阅读，更多相关《谈电力系统安全流量与日志处理（精品）.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、谈电力系统安全流量与日志处理当前，当代的电力系统的日常可靠运行，都完全依靠于高度信息化的网络通信与安全防护。假如电力网络或者相关管理信息系统遭到毁坏，就会导致电力系统不能正常运行，甚至导致瘫痪。近年来，入侵检测系统、防火墙、防病毒软件、网络隔离、加解密软硬件、访问控制和VPN等网络安全技术或产品在电力行业得到了广泛应用，大大加强了电力企业抵御外部攻击的能力。传统的电力系统依靠不同的安全设备进行防御，这些设备根据网络攻击检测情况，天天会产生大量的攻击日志和流量信息。如文献4中指出某电力系统面临的实际安全问题：信息外网日均产生互联网流量高达5.51T，日均拦截非法访问3万余次，查杀病毒100万余个

2、，阻断网站攻击18万余次。利用网络安全流量与日志信息进行系统安全分析在国内外研究中越来越普遍和遭到重视。如：文献5设计并开发了一套基于日志分析的电力信通网络安全预警系统，该预警系统可对信息通信系统中不同设备的日志进行采集和统一管理，实现对信息通信系统的威胁检测和安全预警。文献6指出在网络安全建议使用大数据的新安全日志系统，通过分析主要IT基础设施的网络、系统、应用服务所产生的安全与数据事件之间的关系，加强安全智能。文献7已经通过对多源、异构网络安全检测日志信息进行采集、利用多种方式进行分析，进而寻找合理可信的网络安全风险整体态势感悟。1电力系统安全流量与日志分析处理当前，我国现有的电力系统安全

3、防御普遍没有做到立体防御，更多的是线式堆砌模型，就是针对不同的安全风险，购买了大量不同的安全检测设备或软件，每个设备互不一样，且都产生各次的检测日志和数据流信息，设备间或软件间无法直接沟通与协同控制。1.1流量日志数据来源日志消息，是指在特定的操作系统下引发系统，设备、软件生成的记录。由于电力系统包含多种不同安全设备，不用的数据传输网络，根据流量日志信息来源，能够将电力系统日志大致分为：网络设备日志、安全检测设备日志、主机服务器日志、应用系统数据库和业务系统日志等。根据日志信息格式大致能够分为：Trafclog，WELF和Syslog和二进制。其中，Trafclog是设备保存的基于流量的日志，

4、该日志弥补了Syslog中没有流量信息确实定。WELFWebTrendsEnhancedLogFormat是WebTrends专有的格式，很多的防火墙都支持的日志格式。Syslog是在Unix平台下提出的，其格式比拟简单，主要由时间戳、日志来源和日志描绘三部分构成。1.2流量日志数据预处理日志信息预处理重在消除“数据孤岛，建立电力系统安全日志整体协同融合能力，并构成安全监管、控制的全量数据资产。1.2.1数据清洗数据清洗是指对数据进行重新审查和校验的经过，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。当前，电力系统的原始日志数据存在噪声多、缺失数据严重、数据重复率高等缺点，且数据格式

5、不统一，故需要根据需要进行原始数据清洗工作。1.2.2数据标准化电力系统安全日志数据格式诸多，不能简单的采用一种数据格式进行标准化，由于单一的数据格式要么包含的属性太多，导致数据可读性差，难以处理；要么属性过少，难以准确呈现网络攻击安全特征，降低检测能力。因而，为了便于将多源、异构的安全设备日志标准化，首先建立安全日志的“元数据信息，并且将元数据格式标准统一。2大数据安全流量日志平台构建参照大数据在其他多源、异构系统的成功应用研究和大数据本身的技术优势，本文提出的基于大数据的电力系统安全多源流量日志分析平台分为多源异构数据层、大数据存储层、大数据分析挖掘层、数据展示层。2.1原始数据层该层主要

6、完成来自原始日志信息的采集。主要包括网络流量设备日志如交换机、路由器等、网络安全设备日志如防火墙、入侵检测设备等、主机设备日志Linux、Windows等、漏洞信息网络扫描Nessus、X-Scan等。2.2大数据存储层该层主要完成对原始采集的日志信息进行大数据存储，主要通过Flume、Sqoop、Kafka和Storm结合使用方法完成。其中，数据流的实时处理，通过Sqoop组件导入到HBase中存储，利用Kafka的生产、消费者和形式，使用Flume作为日志收集系统，将收集到的数据输送到Kafka中间件，以供Storm去实时消费计算。离线数据基于HDFS的海量分布式存储体系，本平台选用默认的

7、64M数据块的存储单位，对采集的小文件进行归并处理，知足每个文件64M的规模大小。HBase是当前非常流行的海量分布式开源数据库系统。HBase采用列式存储。部分经过计算分析整理后的日志或数据流数据存储到HBase中。对于构造化的元数据信息，本平台选用MySQL数据库进行存储。关系型数据和非关系型数据之间的关联导入导出操作，我们采用Sqoop进行数据转换。2.3大数据分析挖掘层为了能够对电力系统安全日志数据进行基于大数据的分析和处理，选取Spark+Hadoop结合的方法实现。Spark的核心组件包括RDDResilientDistributedDatasets、Scheduler、Stora

8、ge、Shufe四部分：RDD是Spark最核心最精华的部分，Spark将所有数据都抽象成RDD。Scheduler是Spark的调度机制，分为DAGScheduler和TaskScheduler。Storage模块主要管理缓存后的RDD、shufe和broadcast数据。为了实现电力系统安全日志的关联、聚类和异常等分析，本平台选取Mahout机器学习相关算法进行日志信息分类、聚类、关联分析等操作。2.4数据展示层为了能够直观、快速的将电力系统面临的安全威胁展示出来，本平台通过Web形式展示。展示内容主要包括：安全态势感悟内容、威胁情报与资源分享、攻击扩散关联途径分析、智能检索等。展示平台主

9、要采用HTML5，JavaScript，CSS，J2EE或者Nodejs，AngularJS，Highcharts等技术实现。3实验及分析为了验证基于大数据的电力系统安全流量与日志处理框架的有效性，本文收集了防火墙、交换机、堡垒机等设备产生的流量日志，如交换机Syslog流量日志原始数据如表1所示，接着基于大数据平台，完成日志分析处理，流程图如图1所示。实验选取Cloudera来搭建实验环境，Cloudera包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop等，简化了大数据平台的安装、使用难度。实验环境包括：Vmware虚拟机、操作系统CentOS6

10、.5x64、ClouderManager5.14.0、CDH5.14.0。实验采取完全分布式配置，包括1个master节点和2个slave节点。实验选取不同大小的Syslog日志，比拟SQL查询与Hadoop平台的处理效率。检测结果如表2所示。在2.68M时，MySQL查询效率高于Hive的查询效率。随着数据量增大，Hive的查询效率要好于MySQL，数据规模越大，Hive查询统计效率越明显。这是由于，当数据量小时，MySQL的延时低，而Hive查询是利用MapReduce算法，相对延时比拟高；而当数据规模增大到10万条以上，MySQL需要逐条计算，耗时长，且容易出错；Hive采用并行计算，将

11、大规模数据计算切分为多个小规模的分块数据，每个分块单独计算，整体时间少。该实验充分验证了采用Hadoop大数据平台并行处理相比传统串行处理有非常明显的效率和存储优势。随着电力行业信息化的大力发展，电力行业已经布设的安全检测设备天天都会产生海量、异构和多源的流量与日志信息，传统的安全处理分析相对孤立、处理效率差，无法构成多种安全检测设备日志联动协同分析的能力。本文针对电力系统安全流量日志，基于Hadoop平台设计了一种海量电力系统安全流量日志采集、存储、分析和展示的框架系统，且通过实验验证了所提框架系统相对传统单机系统的优越性，下一步将继续开展在该平台进行大数据安全态势分析、安全风险的联动控制研究。