基于XML的多源日志安全信息集成分析研究.pdf

《基于XML的多源日志安全信息集成分析研究.pdf》由会员分享，可在线阅读，更多相关《基于XML的多源日志安全信息集成分析研究.pdf（71页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、哈尔滨工程大学硕士学位论文基于XML的多源日志安全信息集成分析研究姓名：林俊宇申请学位级别：硕士专业：计算机应用技术指导教师：王慧强20090501哈尔滨工程大学硕士学位论文摘要网络安全态势感知是近年网络安全领域的一个新兴研究课题，它能全面地反映当前网络安全状况。网络中各种安全设备(防火墙、I D S、病毒检测)、操作系统(包括W i n d o w s 和U n i x)、应用服务等都产生大量的日志数据。这些日志数据详实地记录了系统和网络中的运行事件，通过它可以了解系统运行状况、审核安全事件等，是网络安全态势中的重要数据源之一。通过分析日志，不但可以及时发现系统中有事件发生，并能通过对日志的

2、进一步分析及追溯，可以找出当前的系统漏洞，确定网络安全中的薄弱环节，分析和定位可能出现的攻击，从而采取相应的措施加强网络控制。首先，依据项目需要设计与实现了日志传感器，并分析与设计了日志态势信息模型。在实现日志传感器的过程中，根据日志文件的来源和存在形式对日志的采集进行了分类，实现了W i n d o w s 系统日志数据、交换机日志数据、L i n u x 系统日志数据和防火墙以及S n o r t 等日志数据的采集。其次，研究了基于蚂蚁堆尸原理的聚类算法，提出了基于聚类算法的多源异构日志信息融合方法的研究，针对蚁群聚类算法的不足，从性能和适应性上加以考虑，对原始蚁群聚类进行了改进。通过设定

3、可变感知范围的大小以及单个蚂蚁的负载能力，减少了蚂蚁不合理的行为以及增加算法的高度并行能力，提高了算法的性能。通过引入动态可变的阈值参数，增加了算法的适应性。实验证明，改进的算法比原始的算法聚类效果更佳，优化了日志数据分析方法。再次，依据对多源日志的分析，研究基于X M L 的多源信息格式化方法，采用X M L 和S c h e m a 技术来构造全局数据模型，采用Q u e r y 组织全局查询，采用X M L B e a n s 和J a v a 对X M L 进行访问和处理，通过基于X M L 的模式集成方法来生成事件。最后，研究基于X M L 的集成方案实验，搭建了集成实验环境，进行了

4、基于聚类算法的多源安全信息融合和基于X M L 的多源异构日志数据安全信哈尔滨T 稗大学硕十学位论文息事件生成，取得了不错的实验结果。论文最后总结工作，并提出了下一步的研究重点。关键词：态势感知；日志；聚类算法：数据集成：X M L哈尔滨工程大学硕士学位论文A bs t r a c tN e t w o r kS e c u r i t yS i t u a t i o n a lA w a r e n e s s(N S S A)i sah o tt o p i ci nn e t w o r ks e c u r i t yr e s e a r c hf i e l d s T h es

5、 e c u r i t yd e v i c e s(f i r e w a l l，I D S，v i r u sd e t e c t i o n)，o p e r a t i n gs y s t e m sa n da p p l i c a t i o ns e r v i c e sc a l lp r o d u c eal o to fs e c u r i t yl o g s A sai m p o r t a n td a t ar e s o u r c e，t h e s el o g sC a nr e c o r dr u n n i n ge v e n t

6、si ns y s t e m sa n dn e t w o r k sa n dc a nr e v e a lt h es y s t e ms t a t e，s e c u r i t ye v e n t s B ya n a l y z i n gs e c u r i t yl o g s，a d m i n i s t r a t o r sc a np r e d i c ts e c u r i t ye v e n t sa n df i n dt h er o o tc a u s eo fs e c u r i t ye v e n t sa n ds y s t

7、e mb u g s T h e nt h ec o r r e s p o n d i n gm e a s u r e sc a nb ea p p l i e dt or e i n f o r c et h en e t w o r kc o n t r o la n di d e n t i f yt h es y s t e mw e a k n e s s F i r s t l y,t h ea r c h i t e c t u r eo ft h eL o g b a s e dN SS AS e n s o ri sd i s c u s s e d，a n dt h e

8、p l a no fs e n s o r s d e p l o y m e n ta n dt h ep l a no fs e n s o r s i n f o r m a t i o nm o d e la r es u g g e s t e d T h ef u n c t i o no fe a c hm o d u l ei nas e n s o ri sh i g h l i g h t e di nd e t a i l s A c c o r d i n gt h ed a t as o u r c ea n dt h ef o r m a to fl o gf i

9、l e，t h r e em e a n sf o rl o g s c o l l e c t i o ni n c l u d i n gt h es n o r t l o g，t h eW i n d o w sO S h o s tl o g，t h eL i n u x h o s tl o ga n dt h ef i r e w a l l Sl o ga r er e a l i z e d S e c o n d l y,t h ea n tc o l o n yo p t i m i z a t i o na l g o r i t h mi sd i s c u s s

10、 e da n dam u l t i S O u r C eh e t e r o g e n e o u si n f o r m a t i o nf u s i o nm e t h o df o rN S S Al o g sb a s e do na n tc o l o n yc l u s t e r i n go p t i m i z a t i o na l g o r i t h mi sp r o p o s e d A sp e r f o r m a n c ea n da d a p t a t i o na r ec o n s i d e r e d，t h

11、 eo r i g i nc l u s t e r i n ga l g o r i t h mi so p t i m i z e d B ys e t t i n gt h es e n s i n gr e g i o na n dt h el o a d i n ga b i l i t yo fs i n g l ea n t，t h ei n c o r r e c ta c t i o n so fa n t sa r er e d u c e da n dt h ea l g o r i t h mp a r a l l e l i s mi sr e i n f o r c

12、 e d T h u s，t h ea l g o r i t h mp e r f o r m sb e t t e rt h a nb e f o r e E x p e r i m e n t a lr e s u l t ss h o w e dt h a tt h ei m p r o v e da l g o r i t h mp e r f o r m sb e t t e rt h a no r i g i na l g o r i t h ma n dt h el o gd a t am e t h o di so p t i m i z e d F u r t h e r

13、m o r e，a c c o r d i n gt ot h ea n a l y s i so fm u l t i s o u r c el o gf i l e，t h ef o r m a tm e t h o db a s e do nX M Li sd i s c u s s e d X M La n dS c h e m at e c h n o l o g ya r eu s e df o r哈尔滨工稃大学硕士学位论文c o n s t r u c t i n gg l o b a ld a t am o d e la n dt h eQ u e r yi su s e df

14、 o ro r g a n i z i n gt h eg l o b a lq u e r y M o r e o v e r,t h eX M Lb a s e dp a t t e r ni n c o r p o r a t i o nm e t h o di su s e df o re v e n tg e n e r a t i o nw i t hX M L B e a n sa n dJ A V Ab a s e da c c e s s i n ga n dm a n a g e m e n t F i n a l l y,t h ef o l l o w i n gp a

15、 r tt e s t st h ee f f e c t i v e n e s so ft h em e t h o dc o m p a r e dw i t hX M Lb a s e dt e c h n i q u e s，a n dt h e nt h ed a t af o r ml o gs e n s o ra r ea n a l y z e da n di n t e g r a t e d F o rt h ec o n v e m e n c eo fi n f o r m a t i o nf u s i o no fN S S As e n s o r s，t

16、h ed a t aa r et r a n s；f o r m e di n t oau n i f o r mf o r m a tX M Lf i l e A t1 a s t，t h ec o n c l u s i o ni sd r a w na n dt h ef u r t h e rr e s e a r c h e so nt h i si s s u ea r ep u tf o r w a r d K e y w o r d s：N S S A；L o g；C l u s t e r i n ga l g o r i t h m；D a t ai n t e g r a

17、 t i o n；X M L哈尔滨工程大学学位论文原创性声明本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用己在文中指出，并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任何其他个人或集体己经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者(签字)：力秽锰、日期：年6 月OE 哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门

18、或机构送交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。本论文(口在授予学位后即可口在授予学位1 2哈尔滨T 程大学硕士学位论文第l 章绪论1 1 研究背景1 1 1 网络安全现状随着信息化进程的深入和互联网的迅速发展，人们的工作、学习和生活方式正在发生巨大变化，效率大为提高，信息资源得到最大程度的共享。2 0 0 9年3 月2 5 日，中国互联网络信息中心(

19、C N N I C)发布了(2 0 0 8 年中国网民信息网络安全状况研究报告。报告显示，超过七成的网民愿意使用免费的安全软件，而近八成的网民对于在网上提供个人信息安全有着不同程度的担忧，网络信息安全已经成为影响网民上网行为的重要因素。同时，调查显示，近半数网民从未听说或关注过第三方机构颁发的网站诚信标示，我国互联网亟需建立完善的诚信体系，信息安全成为一个社会问题。据C N N I C 报道，中国网民规模继续呈现持续快速发展的趋势。截至2 0 0 8年6 月底，中国网民数量达到2 5 3 亿人，2 0 0 7 年底美国网民数为2 1 8 亿人，按照美国近年来的的网民增长速度估算，美国网民人数在

20、2 0 0 8 年6 月底不会超过2 3 亿人，因此中国网民规模已跃居世界第一位。比去年同期增长了9 1 0 0万人，在2 0 0 8 年上半年，中国网民数量净增量为4 3 0 0 万人。如图1 1 所示。同时在2 0 0 9 年2 月的调查中，N e t c r a R 在侦测时收到了2 1 5,6 7 5，9 0 3 个站点的反馈信息，相比上个月增加了3 0 1 7 9 万个站点【2】，如图1 2 所示。互联网在中国的应用正逐步广泛化，越来越多的人接触到互联网，并从互联网世界获益。根据C N N I C 统计，接触过互联网的人中，9 9 都会继续上网。这些数据充分显示了互联网在世界和中国的

21、蓬勃发展状况。哈承滨 程人学硕 一学位论文3 0 亿人2 5 3252O151005002 0 0 50 62 0 0 51 22 0 0 60 62 0 0 61 22 0 0 70 62 0 0 71 22 0 0 80 6图1 1 中国网民人数增长情况l l l l l i l l i i i l l l l i l 装i|i|i|i s i|i|i|i|i|童|i|i|i|墓图12 全球网站数(1 9 9 5 8 2 0 0 9 2)近年安全漏洞数量不断增加，仍是信息系统的主要安全隐患。据美国C E R T C C 统计，该组织2 0 0 8 年全年收到信息系统安全漏洞报告6 0 5

22、8 个。自1 9 9 5 年以来，漏洞报告总数己达4 4 0 7 4 个【2 嘲，具体统计结果如图l3 所示。2n 出强他同廿懈困协冈龃一诅罴黧熙罴黧。拍舛轧嚣帱棒“帖n啃尔滨j 程大学硕十学位论文图13 安全漏洞数量年度统计2 0 0 8 年上半年国家互联网应急中心(c N C E R T)共接收3 2 9 1 件非扫描类网络安全事件报告，根据报告的事件类型统计如图1 4 所示，总体情况看束，2 0 0 8 年上半年所接收的网络安全事件总数与去年同期相比大量增加，而垃圾邮件事件、网页恶意代码事件、网络仿冒事件尤为突出，呈现大幅增长【”。2 0 0 8 年上半年度隔络安全事件类型分布拒绝服务攻

23、击o2 7 _ 网页恶意代码_ 阿络仿冒-拒绝服务攻击_ 垃圾邮件#漏洞-病毒、蠕虫或本马翻】42 0 0 8 年上半年网络安全事件类型分布3哈尔滨下稃大学硕士学位论文综上所述，随着I n t e m e t 规模的不断扩大、应用不断增多，网络已经深入到生活的每个领域，给日常生活带来极大的方便。与此同时，由于各种网络的应用层出不穷，导致网络上充斥着各种漏洞和病毒，攻击者利用这些漏洞和病毒进行攻击；因为各种利益的驱使，计算机犯罪也越来越猖獗，计算机的安全、取证工作也变得越来越重要。网络环境的复杂性、多变性，以及信息系统的脆弱性，决定了网络安全威胁的客观存在。网络安全的概念早己扩展到由计算机网络连

24、接的整个世界范围内。目前的网络安全是以经济成本和访问速度的降低为代价的，随着网络技术的不断发展，网络安全也不断发展和完善，但至今仍然存在着许多的问题。许多机构为了保护自身系统的安全，采用了架设防火墙、入侵检测系统和病毒保护系统等安全措施，但这仍然不能保证网络系统的绝对安全。1 1。2 网络安全态势感知的概念“态势感知(S i t u a t i o n S i t u a t i o na lA w a r e n e s s，S A)这一概念最初源于航天飞行的人因(H u m a nF a c t o r s)研究【4】，此后在军事战场【5 1、核反应控制【6 1、空中交通监管明(A i r

25、T r a f f i cC o n t r o l，A T C)以及医疗应急调度【8 1 等领域得到了广泛的应用。态势感知之所以越来越成为一项热门研究课题，是因为在动态复杂的环境中，决策者越来越依赖于态势感知工具，来显示环境态势的连续变化状况。1 9 8 8 年，E n d s l e y 在文【9】中把态势感知定义为“在一定的时空条件下，对环境因素的获取、理解以及对未来状态的预测”，整个过程可由图1 5所示的三级模型直观地表示出来。图1 5 态势感知的三级层次模型1 9 9 9 年美国著名网络安全专家T i mB a s s 在文献1o】中首次提出了网络态4哈尔滨1=程大学硕十学位论文势感

26、知(C y b e r s p a c eS A)的概念，也即网络安全态势感知，并对N S S A 与A T C 态势感知进行了类比，旨在把A T C 态势感知的成熟理论和技术借鉴到网络态势感知中去。然而，目前对网络安全态势感知还未有一个统一的、全面的定义。文献u I J 给出了一个描述性定义，所谓网络态势是指由各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。值得注意的是，态势是一种状态，一种趋势，是一个整体和全局的概念。网络安全态势感知是指在大规模网络环境中，对能够引起网络安全态势发生变化的安全要素获取、理解、评估以及预测的过程。1 2 日志分析的国内外研

27、究状况1 2 1 国外研究现状1 9 8 0 年，A n d e r s o n t l 2 首次提出了利用系统自身的日志信息进行安全审计的思想。这方面的研究经历了2 0 余年的发展后，已经形成了较为完备的理论和实际应用系统。但正如Z a m b o n i ”3 所指出的，大部分安全工具只有日志数据的中心处理，而不管日志数据源的分布式收集。这种情况直接限制了这些工具的监测范围、配置的难度和容错能力。密苏里大学的S t e v eM e y e r t l 4】对事件日志在当今网络环境中的研究意义做了分析，他认为目志是分析网络安全必不可少的数据源，但日志分析工具的研发远跟不上网络安全的发展。N

28、 C S A的K i r a nL a k k a r a j u 和X i a o x i nY i n 1 5】等人研究了在面对不同的网络安全攻击时，如何选择与之相关联的日志数据源来形成入侵证据的问题，最后还给出了日志收集和可视化的初步试验结果。还有德州农机大学的E r i cA F i s c h 等人设计了个基于S u n 操作系统的日志分析工具 1 6 1，该工具能自动地从危害主机中的入侵者活动日志中剔除安全敏感信息，这是保护主机安全的一个手段，这对分析广义的日志也是有借鉴意义的。目前国外研究开发的日志工具主要集中在日志统计分析、实时监控和安全集中管理方面。比如G F I 软件公司开

29、发的L A N g u a r dS e c u r i t yE v e n tL o g5哈尔滨T 程大学硕士学位论文M o n i t o r 可完成基于所有W i n d o w s 操作系统的日志事务的日志分析；有N e t l Q公司W e b T r e n d s 日志分析工具系列，主要对W e b 日志和防火墙日志进行统计分析，并能给出详细的统计报表和图解；N F R 安全公司的S L R(S e c u r eL o gR e p o s i t o r y)和I S S 公司的S L M(S e c u r eL o gM a n a g e r)是一个安全的、用于储存和

30、管理系统日志的系统。这个系统可以接收来自任何来源的系统日志数据，把它们汇总到一个可防止篡改的设备中。这个设备带有全面的工具，用来监测、分析和报告。1 2 2 国内研究现状国内对日志在网络安全分析中的应用研究也相对成熟。2 0 0 1 年上海交通大学网络中心汪为农【”】等人研究开发了N A F L(N e t w o r ks e c u r i t yA u d i ts y s t e mb a s e do nF i r e w a l lL o g)，他们提出了一个用于安全审计的防火墙日志信息的标准化方案，该系统强调T C P I P 协议栈底层行为的安全审计，弥补了传统安全审计系统的不

31、足。国防科大的石彪、胡华平等设计了网络环境下的日志监控与安全审计系统【l8 1，他们分析了日志监控与安全审计平台应当具备的功能，在此基础上提出了网络环境下日志监控与安全审计系统的结构模型，并给出了一种基于W 曲管理的实现方案。浙江大学黄艺海【l9】等人提出了日志审计系统的设计，从总体上描述了系统的框架技术以及一些关键技术的实现细节，预见了日志审计系统在网络发展中的潜力。北京理工大学的牛建强等人提出了基于数据挖掘的I D S 日志的分析处理方法 2 0 1，给出了入侵模式的提取与检测分类器的建立过程，使日志分析更加智能化，这正是日志分析发展的趋势所在。以上这些文献资料对实现从采集日志到依赖这些数

32、据分析网络状态的过程，都有着很大的指导和借鉴意义。在日志信息的处理方面，已有针对网络系统中的大量日志审计信息采用数据挖掘技术提取安全模式规则的研究。北方交通大学的蒋嶷川等提出综合关联分析、序列模式分析、分类分析和聚类分析的4 种挖掘方法【2 1】，从预处理后的日志数据中提取安全规则，但对于如何根据日志信息的具体情况采用6哈尔滨工程大学硕士学位论文合适的挖掘算法还有待于研究。除此之外，南京大学陈黎明等提出了一种日志完整性检测方法 2 2】，随着研究的深入，这也是研究日志数据源过程中必须要考虑的技术。通过国内外研究现状的分析，我们总结归纳如下：(1)日志数据源定义没有一个统一、明确的日志数据源定义

33、：(2)网络安全状态的日志分析比较单一化，只是针对特定的，单一的日志数据源进行分析，缺少一种能够集成各种相关网络安全的日志文件的联合分析产品以形成联动分析来提取事件规律；(3)缺少统一的分析模型，不能提供完备并已统一格式的数据来源。(4)日志数据源的存储管理有待提高。1 3 选题的目的和意义信息安全领域中的一个新的研究热点是网络安全态势感知系统研究。为了满足网络安全态势感知系统的信息获取需求，开展研究安全传感器是非常必要的。同时日志类数据源是判断网络安全状态的重要数据来源之一，它包含了发生在系统上的不寻常和不期望活动的记录，这些记录对准确把握感知结果起到决定性的作用。分析日志数据已成为系统管理

34、员评估系统安全态势和及时发现入侵者入侵行为的重要依据。日志分析就是通过分析系统、I D S、防毒软件及其他应用软件所生成的日志向网络安全的管理者提供关于当前网络的安全态势，以便做出改进网络使用方案的措施。它要力求做到实时、准确的提供当前网络的态势信息；同时也要存有以往信息，方便用户进行比较分析和向有关部门提交入侵者的入侵证据。网络系统的安全是一个综合的解决方案，单靠任何一种安全产品，都不可能做到安全。而且随着计算机技术的发展，入侵攻击手段日趋高明，再好的安全措施也不能确保整个网络系统的安全。只有将各种安全工具结合起来，才能构筑起一道网络安全的立体防御体系，最大程度地确保网络系统的安全。7哈尔滨

35、工程大学硕十学位论文I I因此，应具备在系统的安全态势受到威胁时能够方便而快速地感知并采取措施的响应能力。而完成这一工作最好的切入点就是利用各种系统记录它们所发生的事件的日志综合分析并集成处理。1 4 论文的研究内容和组织结构文中在提出网络安全态势感知的概念后，结合日志分析的国内外现状，首先了解日志的一些相关技术以及设计和实现日志类传感器，论文研究的工作是设计实现网络安全态势感知日志传感器，对多源异构日志的采集、分析处理，在对日志数据分析的过程中，对聚类算法加以改进，应用到传感器采集到的日志数据分析中，最后以统一的安全事件格式提交给上册用户，满足网络安全态势感知系统的需求。1 4 1 研究内容

36、(1)设计并实现基于网络安全态势感知日志传感器。(2)研究多源异构日志数据采集的方法，结合X M L 的知识，根据论文的实际项目将传感器采集的数据转换为标准格式。(3)研究基于蚂蚁堆尸原理的聚类算法，提出了论文的观点：基于聚类算法的多源异构日志信息融合方法的研究，优化了日志数据分析方法。(4)制订出态势信息的标谁模型，确立数据源和标准模型之间的匹配关系，通过X M Lb e a n s 和i a v a 编程实现多源异构日志数据的转换，采用x m ls c h e m a 技术进行设计态势信息模型，利用X p a t h、X Q u e r y 等技术对转换后的目志数据进行集成。1 4 2 组

37、织结构论文共分四章，其余章节的内容安排如下：第2 章基于日志的网络安全态势感知传感器设计与实现。通过对日志的定义等特点以及日志格式的分析，全面了解各种日志特性，同时设计并实现了日志的网络安全态势传感器，并介绍和实现了采集的方法，为后续章节奠8哈尔滨T 稃大学硕十学位论文定了基础。第3 章基于日志的网络安全态势传感器的设计与实现，详细介绍了聚类算法的基本情况，通过基于蚁群堆尸原理提出论文改进的算法，并加以实现。最后得出了实验的结果并分析了实验结果和发现的问题，便于今后工作的开展。第4 章基于X M L 的多源安全信息集成，介绍了X M L 与J 越厂A 技术的相关内容有技术，根据数据集成要解决的

38、问题来探讨X M L 作为首选技术的理由，通过基于X M L 的模式集成方法来生成事件，并根据实验结果分析实验过程中出现的问题。9哈尔滨工程大学硕十学何论文第2 章基于日志的网络安全态势传感器的设计与实现日志是重要的网络安全数据源之一，用来描述操作系统、应用程序和用户的行为，记录网路及系统中的各种事件。通过分析日志，不但可以及时发现系统中事件发生，找出当前的系统漏洞，还能分析和定位可能出现的攻击，从而采取相应的措施加强网络控制。随着计算机网络规模与复杂性的增长，日志的种类和数量繁多，产生的海量数据很难让I T 管理员及时发现安全问题。日志安全传感器的实现即是解决大规模网络日志获取与动态分析的有

39、效途径。2 1 日志概述2 1 1 日志传感器的重要性首先，日志文件是一些文件系统集合，依靠建立起的各种数据的目志文件而存在。在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录原封不动进行恢复。日志记录对于系统安全的作用是显而易见的，一个有经验的管理员往往能够迅速通过日志了解到系统的安全性能，而一个聪明的黑客会在入侵成功后迅速清除掉对自己不利的曰志。无论是攻还是防，日志的重要性由此可见。其次，日志为网络服务器、I D S、防火墙和应用软件等I T 资源相关活动记录必要的、有价值的信息，这对系统监控、报警、响应和系统恢复都是十分重要的。日志文件中的记录可提供以下用途：监控系统资源

40、；审计用户行为和网络事件；确定入侵行为的范围；为恢复系统提供帮助；生成调查报告。它们可以使系统管理员了解系统所经历的状态改变、系统运行的服务和安全攻击的细节。日志传感器的数据采集与分析结果将会直接影响到态势系统分析结果的正确性。因此，在分析网络安全态势时，考虑系统应能最大程度上的准确反映出网络的当前状态，尽可能的减少客户端误报、漏报等来源，日志判断是1 0哈尔滨T 程大学硕士学位论文否具备完整性，是否遭到恶意篡改等也是关键的一步。所以对传感器采集到的日志进行完整性检测也是必不可少的步骤。2 1 2 日志特点日志是系统状态变化的反映，是对系统的状态和活动的动态记录。为了满足不同用户的需求而设计出

41、不同的系统、网络设备和服务日志，它们的功能因此各不相同，日志记录的格式和表述方法也存在着很大的差异。因此在处理日志数据前，首先要进行日志的定义及分类，以便后续设计日志传感器时掌握其应用范围。日志(L o g)是指系统或设备所指定对象的某些操作和其操作结果按时间有序的集合2 3 1。日志文件通常由日志记录组成，每条日志记录描述了一次单独的事件。与一般的原始数据相比，日志通常属于一种半结构化的数据，它包含了一个时间戳和一个消息。传统的日志一般是各系统自身运行情况的记录，当系统的某一组成部分发生状态改变时，就会发出反映此变化的信息；或者是对系统检测出的攻击，如端口扫描，口令破解，溢出攻击，恶意程序等

42、的记录。除传统日志以外，另一部分重要的日志是经过现有安全产品已经分析过后产生的事件日志，将各种安全产品的日志联合起来分析网络的安全状态能够略去大量的冗余工作。日志记录着系统中特定事件的相关活动信息，从网络安全和日志分析的角度看，日志文件有以下特点【2 3】【2 4】：(1)数据量较大：一个日志文件(比如防火墙日志、W e b 服务日志、I D S统日志和数据库日志等)一天产生的容量少则几十兆，多则有几十G，这使得获取和分析日志变得很困难。(2)分析和获取困难：虽然大部分日志都以文本的形式记录，但由于各系统日志格式不一致，如果不熟悉各类日志格式就很难获取有用的信息。同时还有部分日志系统并不采用文

43、本格式记录着日志，必须借助专用的工具分析这些日志，否则很难读懂其中的日志：目前国际上还没有形成标准、统一的日志格式，使得不同网络安全系统的日志格式和存储方式有所差别。因此1 1哈尔滨工程大学硕士学何论文如何获取各类不同系统产生的日志文件作为维护网络安全和检测入侵的数据来源变得尤为困难 2 5 1。(3)不同日志间的时空关联性：一个用户在网络活动的过程中会在很多的系统日志中留下痕迹，如防火墙日志、I D S 日志、操作系统日志等，这些不同的日志之间存在某种必然的联系来反映该用户的活动情况。只有将多个系统的日志结合起来分析，才能准确反映用户的活动情况。(4)易于修改、破坏甚至伪造：系统日志通常存储

44、在系统未经保护的目录中，并以文本方式存储，未经加密和校验处理，没有提供防止恶意篡改的有效保护机制。因此，日志文件并不一定是可靠的，入侵者可能会篡改日志文件，所产生的日志记录容易遭到恶意的破坏或修改，从而不能被视为有效的日志分析数据源。对于日志数据源的分类，从不同的角度区分有不同的分类方式，常见的是按日志系统类型分为3 类：(1)应用系统日志：应用系统日志主要包括各种应用程序服务器(例如F T P、W e b 等服务器)的日志系统和应用程序自身的日志系统，不同的应用系统都具有根据其自身要求设计的日志系统。(2)安全系统日志：安全系统日志从狭义上指信息安全方面设备或软件如防火墙系统的日志【2 6

45、1、I D S 系统的日志，甚至是系统日志的S e c u r i t y 部分。从更广泛的意义上来说，所有以安全为目的所产生的日志都可归入此类。(3)操作系统日志：每种操作系统都有其自身特有的日志系统，例如L i n u x 这样的各种C l a s sU N I X 系统通常都使用兼容S y s l o g 规范的日志系统，而W i n d o w s 系统的日志通常按照其惯有的应用程序、安全和系统这样的分类方式进行存储。很多硬件设备的操作系统也具有独立的日志功能，以C i s c o路由器为代表的网络设备通常都具有输出S y s l o g 兼容日志的能力。2 1 3 日志格式目前主要的

46、日志格式有3 种：T r a f f i cl o g，W E L F 和S y s l o g，下面简单分析这三种日志格式。12哈尔滨工程大学硕士学位论文T r a f f i cL o g 是设备保存的基于流量的日志，它不但弥补了在S y s l o g 中没有流量信息的缺点，而且在每一次通过网络设备的访问结束后产生信息，配合s y s l o g 格式的日志可以实现对设备流量的监视，其日志格式如下图2 1 所示【2 7 1：l M o nd dh h：m m：s sh o s t n a m es r c=”d s t=”m s g=”T r a f f i cl o g”n o t e

47、=”T r a 娟C1 0 9”d e v l D=”c a F-I I T r a f f i cL o g”d u r a t i o n=s e c o n d ss e n t=s e n t B y t er c v d=r e c e i v e B y t e sd i r=“p a c k e td i r e c t i o n”p r o t o l D=I P P r o t o c o l l Dp r o t o=”s e r v i c e d e s tp o r tn u m b e r”仃 l p s=”I P S e c N o r r n a l”图2 1

48、T r a f f i cl o g 格式W E L F(W e b T r e n d sE n h a n c e dL o gF o r m a t)是w e b t r e n d s 专有的格式，它是由W e b T r e n d s 公司开发的，是很多防火墙都支持的日志格式 2 6 1，比如C h e c kP o i n t，C i s c oP I X，N e t S c r e e nJ u n i p e r，F o r t i n e t 等。W E L F 格式可以直接以文件存放或通过S y s l o g 等日志服务器系统传输到日志服务器上，该格式可以通过W e b

49、 T r e n d s 等日志分析软件分析，也可以通过这种日志格式实现对设备的监视，除时间字段以外，所有的字段都以空格为结束标志，下面图2 2 是该日志格式的一个例子：i d=f i r e w a l lt i m e=”2 0 0 6 0 8 3 00 9：0 0：0 0”f w=-2 0 2 118 17 6 2 研=6r u l e=3p r o t o=h t t ps r c=2 0 2 118017 6 3 5d s t=2 2 2 2 7 2 5 4 18 6d e s t n a m e=2 2 2 2 7 2 5 4 18 6a r g=i n d e x h I m l

50、0 p=G E Tr e s u l t=2 0 0r c v d=1 4 2 6l图2 2W E L F 日志格式S y s l o g 是在U N I X 平台下提出的，其格式比较简单，主要由时间戳、日志来源和日志描述三个部分组成。其中：时间戳包括日期和时间；日志来源包括I P 地址、产生该日志的进程名以及优先级；描述字段并没有一个标准的定义，格式比较自由。其格式如下图2 3 所示【2 4】：I M o nd d1 1 l l：m m：s sh o s t n a m es r c=”s r c I P：s r c P 0 r t”d s t=”d s t l P：d s t P o Im