基于ELK的高校校园网日志平台研究.docx

《基于ELK的高校校园网日志平台研究.docx》由会员分享，可在线阅读，更多相关《基于ELK的高校校园网日志平台研究.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于ELK的高校校园网日志平台研究 信息化管理的重要基础平台，具有网络规模大、用户数量多、网络设备种类多、网络环境开放等特点，校内网面临着越来越多的平安问题，校内网平安对于高校发展至关重要. 目前，校内网运维与管理主要通过投入资金购买网络管理平台、防火墙、IDS、IPS等软硬件设备来实现，但总体效果不佳，其重要缘由是忽视了日志在校内网管理中的作用.校内网中的软硬件系统运行过程中会产生大量的日志，日志具有不同类型、不同格式，其记录了系统运行、运用者和攻击者的行为，能直观反映校内网整体运行状况.为了快速发觉校内网中的异样，有效监控、分析和处理校内网运行中的异样状况，只有将各种设备、软件系统进行综合

2、分析，建立特地日志信息采集平台，对其信息进行分析和处理，才能有效解决校内网运行中遇到的问题. 传统的日志处理和分析方案具有以下不足：日志数据采集方式单一，主要针对单一日志来源、日志数据处理类型以结构数据为主，对非结构数据处理功能很弱;对日志数据进行实时计算分析的实力较差;日志数据的可视化分析功能较弱.针对上述特点，提出基于ELK开源软件设计一个海量日志分析系统.ELK是Logstash、Elasticstorage、Kibana软件组合简称，ELK专为收集、存储和分析数据设计.Logstash是用于收集数据的核心软件，Elasticstorage数据存储和搜寻引擎，通过Kibana完成数据可视

3、化分析.采纳ELK构建日志系统具有成本低、可扩展性好、能实现快速开发等优点.综上所述，基于ELK开源软件构建高校校内网日志平台是很有必要的. 1 校内网日志来源 高校校内网主要由网络基础设施和网络服务及应用组成.网络系统的异构性、设备的多样性、软件环境的困难性，各类基础设施设备及软件都会产生日志.校内网中日志来源主要有以下三类： 1.1 网络设备日志 网络设备主要是指路由设备、交换设备、防火墙、入侵监测系统、具有网络功能的其他设备等.网络设备日志系统对网络管理特别重要，通过查看网络设备的日志，能快速了解设备运行状况，刚好发觉并诊断发生的异样. 1.2 系统日志 Windows和Linux是目前

4、主流的两类操作系统，它们的平安运行是校内网供应服务的基础.两类操作系统对应不同的系统日志，Windows系统日志是windows操作系统的各组件在运行过程中产生的事务，主要包括系统登录、各种驱动程序运行出现的重大问题、操作系统的各组件运行时出现的异样，系统日志通过Windows事务查看器或第三方工具读取.Linux系统日志主要由登录时间日志、进程统计日志和错误日志构成，日志记录为文本文件形式，能通过系统工具进行读取. 1.3 应用服务日志 应用服务日志是指操作系统中运行的各类应用系统产生重要事务的记录.校内网主要供应Web服务、FTP服务、域名服务、数据库服务等，对应应用系统有Apache、F

5、TP、BIND、DHCP、IIS、Oracle数据库管理系统等，每种应用软件在运行过程中会产生大量与运行行为亲密相关日志信息. 2 关键技术 2.1 日志采集技术 日志来源具有多样性、困难性，有必要对校内网IT环境日志进行采集.校内网中网络设备及软件系统通常具有日志记录系统，能实现重要日志的记录.日志采集主要有单机部署和分布式部署两种，为了日志集中管理举荐采纳分布式日志采集. 日志协议主要有Syslog协议、SNMP协议、Windows日志系统、特别专用协议，依据日志源环境不同，采纳不同的日志协议.网络管理中采集日志数据方式包括文本方式采集、Syslog方式采集、SNMP Trap方式采集等.

6、 Logstash是一款专为收集、分析数据设计的开源软件，Logstash具有数据的搜集、分析、过滤功能，支持多种形式的数据输出.Logstash基于C/S架构，Logstash客户端部署到日志源设备中，设置监听日志文件后日志数据增量发送到指定地址;服务端负责完成对客户端的发送过来数据进行过滤、修改等处理，同时将处理后的结果数据发送给存储系统. 2.2 日志存储技术 日志存储方式由日志留存策略确定.作为日志管理者，通常依据日志数据的存储类型、大小、成本、检索速度及存档和销毁时间等需求制定日志留存策略.日志存储方式首要考虑留存时间与空间要求，目前主要有文件方式存储、数据库方式存储、Hadoop存

7、储、Elasticsearch存储等方式存储日志，每种方式各有优缺点，为了便于高效存储和分析采纳Elasticsearch方式存储日志. Elasticsearch是一个基于Lucene的开源搜寻引擎，具有稳定、牢靠、快速等优点，对于构建大规模日志存储与分析系统，采纳Elasticsearch集群.Elasticsearch集能实现分布式实时文件存储，将每一个字段存入索引，使其可以被检索到;具有良好的水平扩展实力，以处理PB级别的结构化或非结构化数据;集群节点有数据节点、主节点、负载平衡节点.同时，Elasticsearch支持插件机制，包括分词插件、同步插件、Hadoop插件、可视化插件等，

8、能够对日志进行完整分析处理.Elasticsearch中存储日志时可分别对未经过计算的原始日志和经过日志分析处理后的结果日志进行存储. 2.3 日志可视化技术 数据可视化功能是分析数据时最直观最有效的方法，用户直观地得到日志分析和计算之后生成的结果.数据可视化技术通过将原始数据进行分析、图形化，达到清楚有效地进行数据显示、查询和维护.Kibana是一个开源数据可视化平台，Kibana通过Web方式依据索引配置查找和交互Elasticsearch中的数据，运用各种图表对日志数据进行分析及可视化展示. 2.4 Redis技术 由于日志平台具有数据量大、实时性要求高的特点，为保证日志平台系统性能，采

9、纳内存数据库是作为数据存储缓存技术.Redis是开源的基于内存、键值对目前主流的存储数据库之一.Redis内存数据库性能优异、速度快、扩展性好，通过将Redis内存数据库设在日志存储数据库前端，用以完成采集日志数据缓存.Redis供应发布/订阅消息队列模式，日志采集模块负责向队列中推送数据，而存储模块连续从消息队列中获得日志数据进行计算，消息队列在生产者和消费者之间有效地起到了缓存的作用，使得数据的生产和消费达到异步的效果. 3 系统设计 3.1 需求分析 对国内外探讨现状进行分析和总结，结合高校校内网环境实际，日志分析平台的功能应具有以下功能.能够刚好、精确地采集校内网中网络设备、软件基础设

10、施及应用系统等产生的各类日志数据;能够刚好对采集到的海量日志数据进行存储，同时保证日志数据存储高并发性、高可用性要求;能够对日志数据进行统计分析及可视化展示. 3.2 总体设计 针对日志分析平台需求分析，系统目标为设计实现一个对校内网海量日志进行采集、存储、处理和展示的日志分析平台，系统主要功能是日志采集、日志存储、日志可视化分析展示.依据系统功能性需求，对系统模块架构进行划分，日志分析平台的架构如图1所示： 依据日志分析平台功能需求，日志分析平台从日志采集、日志存储、日志可视化分析展示三个模块构建核心流程，系统从logstash分布式日志采集模块起先，首先对采集的日志经过预处理、格式化和过滤

11、，然后将原始日志要存储的日志推送到Redis消息队列，分布式存储模块Elasticsearch从Redis队列中取得数据并进行存储，最终通過Kibana可视化模块对Elasticsearch中存储的原始日志进可视化分析与展示. 3.3 核心模块设计 3.3.1 分布式日志采集模块 该模块完成校内网中原始日志数据的采集，将收集到每条日志进行预处理，最终将日志进行输出到指定位置.以Logstash开源软件为核心，日志采集功能由多个采集节点组成，构建基于logstash的集群保障高可用性.集群中每个Logstash节点采集数据原理如图2所示： Input输入完成对各类日志数据进行采集定义，日志可以是

12、来自文件或syslog报文等，通过定义输入源及格式，实现日志自动识别和处理日志轮转.Filtert处理主要完成对输入日志数据进行过滤，标识出须要的字段并进行处理.Output用于完成对已过滤日志数据输出的定义，输出可是以文件、数据库、消息队列、Elasticsearch等.Input、Filter、Output三个功能在Logstash是以插件方式实现，部署Logstash时，通过配置相应插件来完成对输入源日志输入信息、过滤规则及输出进行定义，实现校内网中各类日志采集功能. 3.3.2 分布式日志存储模块 日志存储模块是整个系统的基础，由于日志数据的海量性，对数据存储稳定性、容错性、高性能、高

13、可扩展性要求高，采纳Elasticsearch作为存储技术对采集的原始日志进行存储、建立索引.Elasticsearch实现数据存储时，采纳多副片方式存储日志数据，能实现多用户文档搜寻功能.Elasticsearch可扩展性高，支持大模型集群，节点数量扩展简单，扩展后索引库能自动再平衡，以保证集群的负载均衡. 为保证日志平台存储性能，构成存储集群，ES集群有5个节点组成，1个master节点，4个Data节点.Master节点用于协调查询检索恳求和索引操作恳求，将恳求安排给Data节点.Data节点用于存储索引数据和完成数据处理操作. 3.3.3 日志可视分析模块 该模块实现对存储于ES集群的

14、日志数据分析、计算和聚合处理，对处理后的日志进行可视化分析与展示，以达到运用日志结果服务校内网管理与运维. 基于日志数据存储于Elasticsearch，采纳Kibana完成原始日志数据的可视化和查询功能，当任何结构化和非结构化日志数据存储到Elasticsearch索引后，Kibana运用Elasticsearch强大的搜寻和分析功能，结合Kibana定制的仪表盘，实现原始日志数据分析和展示，到达实时监控系统中原始日志的状态改变. 3.4 系统物理架构 依据日志平台功能需求分析，结合采集的校内网日志占用空间大，平台主要由校内网IT环境、日志采集集群、ES日志存储集群构成，系统物理结构如图3所

15、示.校内网IT环境为产生日志的基础软硬件设施，是校内网日志主要来源;日志采集集群由多台服务器构成，基于Logstash软件构建日志采集集群;ES集群为多台服务器组成，通过部署Elasticsearch软件，构建主节点和数据结节点组成的数据存储集群，完成日志数据存储;日志可视化查询在单台服务器部署Kibana软件，完成对ES集群中存储的日志数据进行可视化分析与展示. 4 结语 校内网日志数据对网络管理运维至关重要，本文提出了基于ELK开源软件构建高校校内网日志平台，分析了日志来源，对日志采集技术、日志存储技术、日志可视化分析及消息队列技术进行具体介绍，结合校内网实际，对高校日志平台设计方案进行了

16、深化探讨，对建设日志分析平台有肯定参考价值. 参考文献： 1杨品林.高校校内网的信息平安策略探讨J.信息平安与技术，2022，6：31-33. 2姚军，简于涵，刘晖.日志管理与分析权威指南M.北京：机械工业出版社，2022. 3李晨光.UNIX/Linux网络日志分析与流量监控M.北京：机械工业出版社，2022. 4张春生，郭长杰，尹兆涛.基于大数据技术的IT基础设施日志分析系统设计与实现J.微型电脑应用，2022，32：49-52. 5李祥池.基于ELK和Spark Streaming的日志分析系统设计与实现J.电子科学技术，2022，02：674-678. 6于兆良，张文涛，葛慧，等.基于Hadoop平台的日志分析模型J.计算机工程与设计，2022，37：338-344. 第10页 共10页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页第 10 页 共 10 页