基于ELK的实时日志分析系统.ppt

基于ELK的实时日志分析系统主讲人：吴晓刚一：需求与挑战二：ELK日志分析方案架构三：ELK主要特性四：集群的管理与监控五：数据看板Demo目录CONTENTS需求与挑战能做类似搜索引擎的全文索引和查询能按需对搜索结果做实时聚合计算系统无缝水平扩展接口适配方式丰富，数据拆分灵活支持多样的日志类型:IIS,vdesk,mobile,AX,Remedy,etc能满足日志量随着业务量不断增长的需要各个日志的字段都要能够组合搜索，速度也要可以接受可以做多维度的实时日志分析3ELK日志分析解决方案LogStash ShipperLogStash IndexerLogStash Shipper.LogStash Indexer.ElasticSearch 搜索引擎Logstash 日志搬运、拆解Kibana 数据看板Kibana4携程Ops日志系统架构5Logstash-概览数据加工厂数据搬运工6Logstash 丰富的Plugin7ElasticSearch特性底层基于Apache Lucene实时索引,实时分析分布式，高可用冲突管理，避免数据丢失支持全文搜索面向文档,Schema FreeRestful API 开源，免费(Apache 2 Open Source License)8ES集群示例9ES对比关系型数据库10ES-Facet用户希望在任意选定的时间范围，实时获取以下信息：访问量最高的 Uagent,Client IP是哪些出现5xx,4xx最高的URL是哪些服务器平均响应时间变化如何响应时间最慢的系统服务是哪些是否有某些IP访问频度过高从而可能是攻击行为Etc.Facet让这些需求的实现变得容易!11ES Facets 实例统计某时间段http错误日志里数量排名前7的错误代码12ES Facets 实例 搜索结果在Kibana里绘制成图表13Kibana 数据分析看板不足:1.无用户权限管理2.无基于用户的配置管理3.内置看板类型有限，部分需求无法满足解决方案:1.通过防火墙限制访问用户IP2.二次开发提供用户登录和基于用户的配置管理 功能3.在Kibana框架内按需开发专用看板14客户端集成官方提以下主流编程语言Client:JavaGroovyPHPPerlPythonRuby Python调用ES示例:15ES 集群管理与监控(现状)包和配置管理远程任务下发监控16ES 集群管理与监控(将来)17监控数据实例 硬件配置ES Data Nodes:4 x(8vcoreCPU+64GB RAM+30TB HD,Raid 5)Logstash Indexer 2 x(8vCoreCPU+64GB RAM)Redis logstash indexer 共享服务器ES Master Nodeslogstash indexer 共享服务器18监控数据实例-数据量（截至2014/02/07)截至2014/02/07Open索引(可检索)：保留最近7天Closed索引(不可检索):保留最近30天峰值流入数据量:40Mbps峰值索引日志条数:5000/秒19监控数据实例 ES DataNode OS stats20监控数据实例 ES DataNode JVM CMS GC21数据看板DemoHttp错误日志分析:http:/ 谢谢！谢谢！