splunk功能分析.ppt

《splunk功能分析.ppt》由会员分享，可在线阅读，更多相关《splunk功能分析.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Splunk 分析分析邹维涛邹维涛 2013-8-15目录目录lSplunk概述lSplunk功能lSplunk用户体验lSplunk案例3Splunk概述概述-用用户面面临的的问题u庞大的数据/日志文件u防护系统u大量的错误警讯u异异质设备质设备网络设备网络设备服务器及服务器及桌面计算机的桌面计算机的操作系统操作系统应用程序应用程序应用服务应用服务系统信息系统信息FirewallsFirewallsFirewallsFirewallsFirewallsFirewallsFirewalls安全设备安全设备独立而且无效率Splunk概述概述-SplunklSplunk 是机器数据的引擎。使用 S

2、plunk 可收集、索引和利用所有应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据。l让IT人员可以快速的在异质平台、系统中迅速查找到问题所在，就像在生活中有问题就上Google、百度找答案一样简单的方法。5用Vi开启Splunk概述概述-Splunk与与传统方式区方式区别5找出问题点Logs人工解读传统方式使用Splunk自(手)动取得找出问题点在单一控制台追踪Splunk可以主动监控异常,并发出主动通知用辅助工具分析Ex:ExcelLogsLogsLogsLogsLogsLogsLogs用Vi开启用Vi开启用Vi开启人工解读人工解读人工解读不同的系统之间,往往监控工具不

3、一致,不互相支持目录目录lSplunk概述lSplunk功能lSplunk用户体验lSplunk案例Splunk功能功能-索引索引WindowsRegistryEvent logsFile systemsysinternals虚拟化HypervisorGuest OSGuest AppsLinux/UnixConfigurationssyslogFile systemps,iostat,top应用WeblogsLog4J,JMS,JMX.NET eventsCode and scripts支持任何设备、服务器、应用所产出的数据数据库ConfigurationsAudit/query logsT

4、ablesSchemas网络设备ConfigurationssyslogSNMPnetflow数据中心自动辨识时间戳、记录与字段不需要开发 parsers or adapters以档案系统存储数据高效能与高扩容Splunk功能功能-索引索引Splunk功能功能-Search(搜寻搜寻)键入关键词后任意搜寻键入关键词后任意搜寻既时的在线查询，立即产生长时间既时的在线查询，立即产生长时间结果结果用交互比对查询，缩小事件范围用交互比对查询，缩小事件范围用时间、关键词与复杂流程拼凑关用时间、关键词与复杂流程拼凑关连事件连事件 SplunkSplunk具备快速自定的各种型态搜寻，而不是只有固定几种的字段

5、，不需要具备快速自定的各种型态搜寻，而不是只有固定几种的字段，不需要指定数据的格式指定数据的格式(format)(format)，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像结果，使用上就像GoogleGoogle一样的直观易用。一样的直观易用。Splunk功能功能-Search(搜寻搜寻)Splunk功能功能-Search(搜寻搜寻)Splunk功能功能-Alert(警报通知警报通知)透过通知与动作进行主动式监控透过通知与动作进行主动式监控根据定时搜索结果进行实根据定时搜索结果进行实时报警、通时报警、通知与动作知与动作可透握可

6、透握RSSRSS、EmailEmail或或SNMPSNMP通知安全或通知安全或网管系统网管系统通过脚本启动的方式可将重新开启服通过脚本启动的方式可将重新开启服务器或是发送派工单给自动化务器或是发送派工单给自动化SplunkSplunk能够定期排程执行，并依据搜寻结果发出各项警示通知，可以透过能够定期排程执行，并依据搜寻结果发出各项警示通知，可以透过emailemail、RSSRSS或或SNMPSNMP等方式等方式链接其他管理接口，可触发执行自行定义的回应方式，例如重新启动应用程序、系统或网络设备。链接其他管理接口，可触发执行自行定义的回应方式，例如重新启动应用程序、系统或网络设备。Splunk

7、功能功能-Alert(警报通知警报通知)Splunk功能功能-Report(分析报告分析报告)无须透过其他工具可直接产出报表无须透过其他工具可直接产出报表1111种报表格式，如直方图、线性图、分区种报表格式，如直方图、线性图、分区图、圆饼图、单点图图、圆饼图、单点图等等可双维与多维度分析报表可双维与多维度分析报表皆为动态报表可随时点选并再次搜寻皆为动态报表可随时点选并再次搜寻1414种报表运算方式，强化报表可看性种报表运算方式，强化报表可看性报表可随时转换为仪表版模式报表可随时转换为仪表版模式 Splunk Splunk提供强大的报表能力，能够将搜寻结果以各项清晰的图表呈现，更可弹性化地提供强

8、大的报表能力，能够将搜寻结果以各项清晰的图表呈现，更可弹性化地产生企业管理阶层所想要的报告内容。产生企业管理阶层所想要的报告内容。Splunk功能功能-Report(分析报告分析报告)Splunk功能功能-Share(资源共享资源共享)搜寻报表转为监控仪表版，可经由权限控 管分享信息接口搜寻分析可储存后，分享给特定人员信息搜寻可以收敛至关键词分享搜寻，或 只授予部分变更权限 由各种设备所产生的由各种设备所产生的IT IT 数据是相当枯燥乏味的，透过数据是相当枯燥乏味的，透过SplunkSplunk可将它转化为切实可用的可将它转化为切实可用的重要重要ITIT信息，并且能为任何人所用，不需要太多艰

9、深的知识即可找出想要的信息。信息，并且能为任何人所用，不需要太多艰深的知识即可找出想要的信息。Splunk功能功能-Share(资源共享资源共享)Splunk功能功能-Share(资源共享资源共享)Splunk功能功能-Secure(安全功能安全功能)用户联机与数据访问权限控制用户联机与数据访问权限控制 IT IT 数据联机加密与压缩数据联机加密与压缩数据库加密与压缩数据库加密与压缩不变更原始数据的完整性不变更原始数据的完整性 企业的企业的ITIT信息其重要性不言可喻，信息其重要性不言可喻，SplunkSplunk可整合企业既有的认证系统进行安全管控，可整合企业既有的认证系统进行安全管控，确保

10、数据在存取、分析和稽核时不会破坏数据的完整性。确保数据在存取、分析和稽核时不会破坏数据的完整性。Splunk功能功能-Secure(安全功能安全功能)Splunk功能功能-Scale(可扩张可扩张)单机使用做数据管理单机使用做数据管理与搜集，一般做单存与搜集，一般做单存资料运算处理资料运算处理 具可延展性，可透过单一接口存取各种源数据，存取数据的广度可大幅延伸，数具可延展性，可透过单一接口存取各种源数据，存取数据的广度可大幅延伸，数据储存的地点亦不受限制。据储存的地点亦不受限制。大型架构与分散型架构，可以个别独立运算与集中管理大型架构与分散型架构，可以个别独立运算与集中管理以以 Cloud c

11、omputing Cloud computing 云端运算形式，进行各地运算，云端运算形式，进行各地运算，集中产出结果。集中产出结果。中型架构，做中型架构，做Active Active Active Active 或是或是 Active Active Standby Standby 模式。模式。可区分系统、网络、设备与应用，由可区分系统、网络、设备与应用，由Splunk Splunk Forwarder Forwarder收集，再传递至主要的收集，再传递至主要的 SplunkSplunk做运算。做运算。可于可于IT Data ForwardIT Data Forward传递前先进行过滤，将需要

12、传递前先进行过滤，将需要 的数据进行传递。的数据进行传递。Splunk功能功能-Scale(可扩张可扩张)Splunk功能功能-Scale(可扩张可扩张)Splunk功能功能-Scale(可扩张可扩张)目录目录lSplunk概述lSplunk功能lSplunk用户体验lSplunk案例Splunk用户体验用户体验l券商案例http:/ 安联人寿在亚洲超过 两千一百万的客户，在互联网上推动在线销售与保单查询，由于客户数量过于庞大，在线服务器常常发现不能正常运作而造成客户的满意度下降，由于系统运作关系到闸口端、服务器与应用程序，多重异质系统让每次找寻问题时，往往要花费许多时间，每次问题发生到解决问

13、题种要花费半个工作天。这直接影响到财物面损失，原因为在线交易都是会影响到客户决定交易的决定，也会怀疑企业的专业能力。环境环境服务的系统包含 Router、Server Land balance、Web Server与WebApp 等数十个多重系统组成使用前使用前Allianz人员必须花很长的时间以人工方式逐一检查这启动程序中所有节点的Log纪录，这通常需要花上半天以上的时间，而且必须很多人员的协助才能找出问题所在。使用后使用后Allianz 引进Splunk，统一收集这整个启动程序中各节点的相关Log记录，透过Splunk强大的IT Search功能，Allianz的客户单位与启动程序研发单位

14、可以在几分钟内，轻易地透过关键词搜寻的组合，找到某中断或是失败的程序位置与原因，可快速修复与改善客户的问题，提升满意度与服务效率。Splunk用户体验用户体验客客户户名称名称Thomson Reuters(类似国内网站-金融界)产业类别产业类别金融/媒体/.comSplunk应应用用美欧3个数据中心，超过5000+多台服务器管理License118G+目前目前进进度度使用中特殊事特殊事项项1.使用splunk后，操作人员可以更容易得知软硬件的错误或相关问题，便于响应，因此整体效能与稳定度大幅提升。2.Splunk成为客户内部信息人员标准的查询工具3.90GB以上用来监控管理与Oracle数据库相关的数据与问题4.客户持续地扩容splunk licenseSplunk用户体验用户体验Splunk案例案例l使用案例http:/