ProSPer_一个支持proactive特性的通用型事件监控系统.pdf

《ProSPer_一个支持proactive特性的通用型事件监控系统.pdf》由会员分享，可在线阅读，更多相关《ProSPer_一个支持proactive特性的通用型事件监控系统.pdf（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第3 2 橙第4 期计算机学报v 0 1 3 2N o 42 0 0 9 零4 舅C l N E S Ej o U R N A LO FC()M P U T E R SA p r 2 0 0 9P r o S P e r：一个支持p r o a c t i v e 特性的通用型事件监控系统刘家红吴泉源(毽貊辩学技术火学计算规学院翘络与信纛蜜全研究所长抄4 1 0 0 7 3)摘要大规模网络安全监控应用中需要对网络漤全态势进行动态评估，柱网络出现麓犬安全风除前进行p r o a e-t i v e 特性的有效骑范。把髓终安全监控系统建模为搴箨监控系缆。对满足复合时序和属毂值逻辑关祭的多个事佟进静

2、荧联，把多个原子事俸袈含为语义受丰富、更抽象的复合安众攀律已有骄究提出了幂两觞复合攀件检澜模狻，似缺乏p r o a c t i v e 的事件监控能力基于时序关系并不能提高搿件监控的预测能力的假设，设计了蕊于t o p-k 艇合事件检测模型的事件监控系统P r o S P e r，为网络安全监控等应咫系统提供p r o a c t i v e 特性的事件监控能力与鼹有鹣笈合事辞检测系统裙援：，P r o S P e r 硷溯复舍事终时无需读取全部成分事俸，这静p r o a c t i v e 特佳爨非常有意义戆设计关键镯耀终蜜全；事捧整控；事俸漉懿理；复台事俸；p r o a c t i

3、v e 特毪中圈法分类号T P 3 1 1D O I 号：1 0 3 7 2 4 S P J 1 0 1 6 2 0 0 9 0 0 7 7 3P r o S P e r AP r o a c t i v eE v e n tM o n i t o rf o rG e n e r a lP u r p o s e sL l UJ i a-H o n gW UQ u a n-Y u a n(I n s t i t u t e o f N e t w【o r kT e c h n o l o g y&I n f o r m a t i o nS e c u r i t y，S c h o o l

4、o f C o m p u t e r，N a t i o n a lU n i v e r s i t yo fD e y P n s eT e c h n o l o g y，C h a n g s h a4 1 0 0 7 3)A b s t r a c tN e t w o r ks e c u r i t ym o n i t o ro fl a r g es c a l ed e m a n d sd y n a m i c，c o n t i n u o u se v a l u a t i o no fs e c u r i t ys i t u a t i o n p r o

5、 a c t i v ep r o t e c t i o na g a i n s ta p p r o a c h i n gn e t w o r kr i s k s I ft h ea u t h o r sm o d e ls e c u r i t ym o n i t o r sa sc o n t i n u o u sE v e n tM o n i t o rS y s t e m s，t h a ti st os a y，t oc o r r e l a t em u l t i p l ee v e n t si nc o m p l e xt e m p o r a

6、 lr e l a t i o n s h i pa n da t t r i b u t el o g i cr e l a t i o n s h i pt or i c h e rs e m a n t i c，m o r ea b s t r a c tc o m p l e xe v e n ti ns e c u r i t yd o m a i n M u c hw o r k sh a ss t u d i e dt od e s i g nc o m p l e xe v e n td e t e c t i o nm o d e lb u tt h e yl a c kt

7、h ep r o a c t i v ec a p a b i l i t yt om o n i t o re v e n t B a s e do nt h ea s s u m p t i o nt h a tt e m p o r a lr e l a t i o n s h i pd o e sn o ti m p r o v et h ep r e d i c t i v ea b i l i t yo fe v e n tm o n i t o r，t h ea u t h o r sd e s i g nap r o a c t i v ee v e n tm o n i t

8、o rs y s t e mP r o S P e rf o ra p p l i c a t i o nd o m a i n sl i k es i t u a t i o ne v a l u a t i o nf o rn e t w o r ks e c u r i t ya n dp r e s e n taf a s tt o l 铲kb a s e da l g o r i t h mt od e t e c tc o m p l e xe v e n t s C u r r e n te v e n td e t e c t i o nt e c h n i q u e sr

9、 e q u i r et h ef u l l yr e a do fr e l e v a n tr e c o r d s，w h i l et h en e wm e t h o do n l yn e e d sp a r t i a lr e a d，t h u st h i sp r o a c t i v ec a p a b i l i t yi sd e s i r o u s K e y w o r d sn e t w o r ks e c u r i t y；e v e n tm o n i t o r；e v e n ts t r e a mp r o c e s

10、s i n g；c o m p l e xe v e n t；p r o a c t i v ec a p a b i l i t y收稿日期：2 0 0 8 1 2 0 8；最终修改祷收到日期：2 0 0 9 0 1 1 5 本谍题得到豳家。八六三”高技术研究发展计划项弱基金(2 0 0 6 A A O I Z 4 5 1，2 0 0 7 A A 0 1 2 4 7 4)、信息产业鄢电子发展基金(信部运 2 0 0 6 1 6 3 4 号)资助划家红，男，1 9 8 0 年生，博士研究生，主赣研究方向为分布对象计冀、蠢向服务的计算、事件流处理E-m a i l：k a h o n n u d

11、 t e d u 札吴襄漾，男，1 9 4 1 筚生，教授，撼生导师，主凝研究领域为分布对象诤算、久工骜髭。万方数据7 7 4诗冀橇学壤2 0 0 9 年1引言P r o a c t i v e 特性是与r e a c t i v e 相对的，指能感知状态变他，并在这些变讫产生对鸯身鳇影嚷翦圭旗采取行动的一种特性在基予监控的应用中，存在很多需要p r o a c t i v e 特性的需求例如，大规模网络安全整控应焉孛需簧对网络安全态势进行动态评臻，在网络出现重大安全风险前进行有效防范以减小损失实时企业为了生动、准确且详细地获取关于麾存、生产、枣场等榛关信意，戳便金韭锈及嚣孝决策，实现企业最大

12、效益，通常会使用R F I D、无线传感器网络等智能物件来对生产、物流情况进行全局把握和预测嘲；使震监务流程篮控系统来主动缝获取鼗务运营情况，以保证业务流程的合规性，豳住客户，同时还可以发现潜在客户，拓展业务 2 这些应用通过对连续到达躬矮域信意进符分析处瑾，为了最大化收益和鼹小化损失，通常需要p r o a c t i v e 特性的处理能力2动机事件监控系统处理的通常都是连续蓟达的信息，需要对这些信息进行实时、连续的黢控和分析事件流处理是对快速连续到达的事件进行计算的技术，用于事件系统运行时对事件进行监控以及辅助构造事件驱动系统根据应惩领域豹不同罴求，事侮流处理对连续到达的信息有不同的数据

13、模型以及相应的处理模型这些模型在结构模型和处理模型上都怒事俘驱动处瑾的特铡，区别在予其对连续舞达信息的速率的承受能力和对一致性的保证 3 连续到达的信息的复合时序关系和时序关系上值属性的逻辑关系代表上层应用感兴趣的复含事件，谘现了上滕应用的业务逻辑，事件流处理系统依此对这些复合事件进行检测，连续输出经过复合后的结果事件，泼触发攘藏懿惹继簸理嘲。目前，在线事件流处理系统通常采用图1 所示的体系结构对复合事件E=Ao pB 的检测过程大致翔下，其复含事徉的检测是褒察到复合事箨豹终绩事件(成分事件中时序上镦后一个事件)时开始的：(1)当事件类型B 的实例b 进入系统时，监控器注意裂复合事件E 的终结

14、事俘实铡盘理，告知事件处理器；(2)事件处理检查复合事件表达式，获知复合事件由两个联序的原子事件组成，静A，B；(3)根据拳件表达式，考察事件历史，以检查是否事件类型A 的实例在历史中；(4)在历史中我翻a，执行事彳串实铡消费，并更新事件历史；(5)检测复合事件实例e 成功，输出匿l 在线搴俦流处瑗体系结梅当外部输入遥率高，注册的复合事件表达式数目多时，复合事件的检测存在以下问题：对复合事件斡检溅依赣予终绪攀 孛，其篮控缺乏主动式的p r o a c-t i v e 特性；每个复合事件表达式在内存中都会载入个监控器，内存开销大，只簧有新的输入事件到达篮控器嚣孪都会去搜索复合事件表达式，效率低下

15、。计算资源是有限的，把所有可能发生的复合事件都检测出来不太实际，有时也没有必要一个可能的解决方案是：只列出k 个最可能发生的复合事件，帮兔了尽旱评绩复合事钵发生与否，支持p r o a c t i v e特性的事件流处理，使用索引技术找出外部事件到达时可能受影响的复合事件，并根据连续到达的输入事舞对复合事箨发生的影镌累积概率，在索引上执行t o p-k 选择，找出目前为此发生概率较大即较可能发 万方数据4 期麓家红等：P r o S P e r：一个支持p r o a c t i v e 特缝熬遴趸型事羚熬控系统7 7 5生的复合事件，实现p r o a c t i v e 的事件监控能力网络

16、安全巾，主动防御包含两方面的含义：一是蘸稔测出未知的安全威胁，二是能在安全威胁发生前预警P r o S P e r 这两方嘶对主动防御的支持如下2 1 未知模式的检测基于统计分析的方法是检测未知安全威胁菲鬻具有代表性的方法，主要通过已经收到的历史告警信患，基于概率来建立关予告警事件的预测模型然后，通过诵练磁的预测模型去计算额告警信息与哪个藏处于关联过程中的攻击序列最接近，从1 i i i 完成整个告警关联的王推该方法引入了基于时阉序魏分析的预测方法H】。本文也是基于类似的机翩，区别在予P r o S P e r 弱化处理时序信息，另外P r o S P e r 的检测模型是基予数据流蟾实时、连

17、续方式，并使雳了索引技术来提离检测性能2 2 预警泼安全摸激P 2 D R【钓隽饲探讨P r o S P e r 鳇预警能力P 2 D R 是目前信息安全领域其有代表性的安全模型，基本原理为：信息安全相关的所有活动，不管是攻击行鸯、防护行隽、检测行为禚响应捋为等，都与时间密切相关，因此可以用时闯来衡量一个体系的安全性和安全能力如果防护时间大于检测时阉稻噙应的时阙豹弱，鄹冀 D。跫。，龟就是在入侵者对攻击目标造成实际的危害之前就能被检测到，若及时处理，则系统魁安全的如前所述，若把安全威胁建模为复合事件，则其不需所有成分事件全部发生，郄安全威胁出瑰赘头僵又泰发生前，P r o S P e r 通过

18、动态评估发生概率最大的t o p-k 个安全威胁的形式，尽旱报告最可能发生的安全威胁告警基于此动机，本文设计并蜜现了支持p r o a c t i v e特性的事件监控系统P r o S P e r(P r o a c t i v eS t r e a mP r o c e s s e r)P r o S P e r 构建在服务计箕平台上，可对运行时服务和服务计算平台本身进行监控第3 节给蹬本文设计的假设以及P r o S P e r 的系统结构；第4 节给如P r o S P e r 塌于复合事件检测的t o p-k 算法T C H y b r i d，给出了正确性证明和示铡；随后给出了算法

19、的实验性能；最后对相关工作进行总结3 假设与P r o S P e r 系统结构3 1 瑕设麻省理工大学的T a p i a 在其硕士论文中使用复合事件检测来实现基于对象的活动识别。其研究表瞬，原子事传的颓序并不提态复合事静检测算法的预测能力 6】本文基于此结论，在枣件监控系统的复合事件检测巾，把时间上相邻发生的事件肴作一个整俸，蔼不考究其复会时序关系努外，上层应用感兴趣的复合事件对应用的蓬要程度照然是不同的，因此应俞俞俞瑟2P r o S P e r 系统结梅废粥管理工具北务流程事件监控蹶始事件流 万方数据计算机学报当在复合事件检测中引入事件的重要性这一因素最后，本文借鉴信息检索中的相关技术

20、，把检测时需要查找的元数据均存储在数据库中，为其构建索引，以提高检测性能3 2 系统结构P r o S P e r 构建和运行在面向服务计算平台I n f o r S I B 上I n f o r S I B 基于J a v a 开发，是一个支持服务总线和事件通信的面向服务的应用集成开发和运行平台口J P r o S P e r 对外部触发的应用层事件、业务流程和流程内部服务触发的事件均能进行监控如图2 所示，安全监控等业务领域的应用通过管理控制台向P r o S P e r 注册其感兴趣的安全态势即复合事件P r o S P e r 为管理控制台构建底层的事件监控查询表达式，结合查询描述文件

21、中定义的用于检索的元数据，动态生成相应的索引列表外部事件流输入后，也可以触发相应的索引列表构建动作，同时P r o S P e r 会为其构建时间窗口时间窗口划分为多个等分时长的更小单元，初始化后每次滑动的单位为一个小单元，如此时间窗口可以重用其中的多个小单元T o p k 处理器根据构建的时间窗口中到达的原子事件来查找索引列表，根据查找的概率以及重要性信息，动态评估此时最可能发生的k 个安全态势的发生概率结果返回到管理控制台，同时复合事件还可持久化，便于之后的离线分析4 用于复合事件检测的t o p-忌算法传统的基于聚集排序t o p k 查询算法胡中，排o b j e c tP KO b

22、j e c tI DN a m eG r o u pp r i m i t i v e E v e n tP KP E I D1 1O w n e r1 1T a r g e tS t a t u s序访问是指对已排序序列至顶向下的依次访问，随机访问是指从序列中随机获取某个对象的值F A必须在排序访问阶段得到至少k 个匹配才会停止，不适合p r o a c t i v e 特性的事件监控；T A 算法至少要比F A 停止得早，但是其随机访问开销大；N R A 无随机访问，不能用于最后精确输出t o p k 个复合事件；C A 算法权衡了随机访问和排序访问的代价，可看作T A 与N R A 算法

23、的结合，然而其需要内存来记录很多的中间结果，会加重算法的内存消耗，因此也不适合直接应用于复合事件检测使用t O l y-k 算法进行复合事件检测存在以下两个难点：(1)t o p-k 数据集是多维的，包含了引发事件发生的主体事件元组的关键字属性和引发主体的组合是区分元组唯一性的要素；(2)t o p-k 查询是根据用户指定的单调聚集函数从数据集中找出函数值最高的前k 个结果简单的概率累加函数是不满足聚集函数性质的因此，下文先给出复合事件定义的元数据、为复合事件设计的内部数据结构和聚集函数，然后再讨论两阶段算法4 1 事件元数据在事件监控系统的复合事件检测过程中需要查找事件元数据，其中包括用于触

24、发事件发生的事件主体、原子事件描述、复合事件描述、复合事件重要性、原子事件发生对复合事件发生的条件概率这些元数据用数据库模式表示，如图3 所示c o m p l e x E v e n tP K C E I DE v e n t _ e x p r e s s i o nD i s c r i p t i o ne v e l l t i m p o r t a n c e1 1C E I D1 2I m p o r t a n c e1 2S t a g e N u m b e r图3 事件定义用到的数据库表4 2 内部数据结构时间窗口中的t o p k 查询项是原子事件实例，而被查询的数据

25、结构是按事件类型保存的，内部数据结构作为中间层，以桥接事件实例和事件类型定义另外，到达的安全事件作为原子，还与导致其发生的主体有关，相同主体上发生的原子事件间相互关联，组合成安全态势即复合事件因此，需要内部数据结构来区分不同的安全事件主体如图2 所示，原始事件流输入到P r o S P e r 后，P r o S P e r 为之构建相应的、由多个等长的小单元组成的时间窗口每个p r i m i t i v e _ e v e n t _ p r o b a b i l i t yP KC E I D1 1P r o b a b i l i t y1 1S t a g e N u m b e

26、r小单元中发生的原子事件均有指针指向索引列表索引列表分为两层，事件主体为区分事件的第一层，另外，再根据态势即复合事件的步骤数来对数据进行第二层索引，如图4 所示内部数据结构维护t o p-k 查询执行时的运行数据，根据t o p-k 查询来c a c h e 数据，保存在c a c h e 的数据能提高访问的速度另外内部数据结构还负责访问数据库为了进一步提高访问速度，同一事件类型的所有实例共享一个数据库连接(c a c h e)提供的内部数据结构具体如图4 所示 万方数据4 期刘家红等：P r o S P e r：一个支持p r o a c t i v e 特性的通用型事件监控系统7 7 7图

27、4 内部数据结构4 3T o p-k 聚集函数设每个原子事件都对应张概率表，表示其发生时相应的复合事件发生的条件概率，表按降序排列复合事件由多个原子事件组合而成假设原子事件的发生不是互斥的，则原子事件都发生时复合事件发生的概率依据条件概率计算公式来计算但条件概率的计算不是单调的，因此不能用来进行t o p-k事件查找另一种方案则把复合事件看为原子事件所代表的不同子阶段的组合，每个子阶段的权重是平等的，把所有子阶段的概率累加，以得到复合事件发生的概率此时的函数是单调的设复合事件e由咒个原子事件E 1”，E。(r l 1)组合而成，e 的重要性为I m p e 的发生概率可定义为：只+工1I m

28、p 因为每个复合事件其含有的原子事件个数雄是不定的，可考虑复合事件发生概率计算为：P，n+工jI m p 在事件检测过程中，假设E 1，E(1 m，z)是已经发生的原子事件，e 的发生概率可通过连续地计算乏：P。n+I m p 得到但m 是不确定的，最置后修正聚集函数为s t+I m p，其中s i 是指对复合事件出现概率的实时打分值，将在后面详细介绍4 4 两阶段算法：T C H y b r i d两阶段算法介于T A 算法和C A 算法 8 1 之间第一阶段使用排序访问来找出可能的复合事件候选列表，第二阶段使用随机访问来剪枝候选列表以得到最后的k 个复合事件一方面，排序访问阶段尽量剔除无关

29、的复合事件，因此随机访问阶段所基于的候选列表比T A 算法更具选择性，另一方面，与C A相比，并不使用周期性的排序和随机访问，因此记录的中间结果要少T C H y b r i d 算法可分为5 步，其中语句1，2，3对应步骤1，用于创建并初始化候选列表语句3 调用初始化候选列表算法，在随后详细给出语句4 对应步骤2，根据得到的候选列表计算阈值f 阈值f表示当前候选列表中第k 个最大的打分值语句5与6 对应步骤3，维护一个矩阵，矩阵中每个单元根据不同事件主体和事件的子阶段数来区分矩阵的每个单元包含综合打分值最高的分组，每个分组是一个索引列表W H I L E 循环中的语句8 用于处理对应的最高打

30、分值的分组g 循环语句中的其余语句对应步骤5，用于更新候选列表、阈值、最高分数当最高打分值低于阈值或索引列表均扫描完毕时循环中止算法T C H y b r i d输入：时间窗口t w输出：包含k 个元素的复合事件候选列表t o p L i s t1 O w n e r L i s t B y S t a g eo l b s=g e t O w n e r L i s t B y S t a g e(t 硼，M A X P E C O U N T-1)2 T o p L i s tt o p I。i s t=n e wT o p L i s t(k V a l u e。e l b s g e

31、t O w n e r L i s t S i z e()，M A XP E C O U N T 1)万方数据7 7 8计算机学报3 l n l t i a l i z e lo p L i s t(e l b s，t o p L i s t)4 f l o a tt h r e s h o l d=t o p L i s t g e t T h r e s h o l d()5 C o o r d i n a t e sc o=t o p L i s t g e t N e x t F e t c h I t e m()6 f l o a tn e x t H i g h=c o g e t

32、 H i g h V a l u e()7 W H I L E(n e x t H i g h =t h r e s h o l d)&(!t o p L i s t i s F i n i s h e d()8 p r o c e s s A c e o r d i n g T o C o(c o，e l b s，t o p L i s t，t i m e W i n d o w g e t T y p e L i s t()9 c o=t o p L i s t g e t N e x t F e t c h h e m()1 0 t h r e s h o l d=t o p l，i s

33、 t g e t T h r e s h o l d()1 1 n e x t H i g h=C O g e t H i g h V a l u e()1 2 E N D W H I L E1 3 r a n d o m P h a s e(t o p L i s t，e l b s)4 4 1排序访问排序访问主要是对复合事件候选列表进行初始化循环包含两个主要的步骤：第1 步对应代码第3 1 7 行，获得当前需处理的原子事件对应的索引列表，包括相应的概率索引列表和重要性索引列表，对所有这些列表进行处理，根据索引列表中的信息，若综合打分值高于阈值，则创建相应的复合事件实例，若在候选列表t o

34、p L i s t 中已有相应的复合事件实例，则更新其打分值和综合打分值；第2 步对应1 8 2 8 行，返回最高的综合打分值，对由主体和子阶段所分组的矩阵进行维护，因此下一次循环可以知道从哪个扫描深度进行4 4 2 随机访问随机访问阶段同时使用了对候选列表进行剪枝的两种方法第1 种剪枝方法是初步剪枝，把综合打分值低于阈值的复合事件从候选列表中删除第2 种剪枝方法包括两个步骤：首先对候选列表进行预处理，把候选列表分为两个按综合打分值降序排列的表，一个表包含k 个最高的值，另一个表包含其余的项；其后的操作对6 f 进行处理，提取6 Z中综合打分值最高的复合事件实例，然后检查内存中的数据并随机访问

35、以得到此事件实例的分数，如果综合打分值高于阈值r，则此复合事件被插入到t l中，同时更新r，如果酣尾部的项的综合打分值低于新阈值r，剪枝这些项第2 步将循环执行，直至W为空算法I n i t i a l i z e T o p“s t输入：时间窗口t z v输出：复合事件候选列表t o p L i s t1 F O Ri=0t Oo l b s g e t O w n e r I。i s t S i z e()2 F O R=0t Oo l b s g e t N u m b e r O f S t a g e s()3 p e T y p e。o l b s g e t O w n e r

36、S t a g e L i s t(i)g e t l n v e r t e d L i s t s O f S t a g e(j)4 H i g h T y p e L i s th t l=F l e wH i g h T y p e I，i s t()f l o a th i g h V a l u e F o r O w F l e r S t a g e=0 f5 构造H i g hV a l u eL i s t，得到分数高的列表6 F O R 行一0t Op e T y p e s s i z e()7 h t l i n s e r t(S t a g e T y p e

37、L i s t)p e T y p e s g e t(n)g e t P E T y p e()，(S t a g e T y p e I。i s t)p e T y p e s g e t(挖)g e t C a c h e d R o w A t(0)g e t P r o b a b i l i t y()8 E I。S Et y p e I n d i c a t o r+9 W H I L E(h t l g e t P o i n t e r()!=n u l l)&(t i m e s O)1 6 t o p I。i s t i n s e r t B y P a r a s(

38、)17 h i g h V a l u e F o r O w n e r S t a g e+一g e t C a c h e d l m p R o w(j。O)g e t I m p o r t a n e e()1 8 对每个原子事件对应的索引列表，执行初始化，候选列表按打分值降序排列1 9 F O R 以一0t Op e T y p e s s i z e()2 0 I F(S t a g e T y p e I，i s t)p e T y p e s g e t(疗)g e t N u m b e r O f C a c h e d R o w s()O)2 1 e e i d=；

39、p r o b a b i l i t y=；p e i d=2 2 t o p L i s t i n s e r t B y P a r a s(c e i d，j+2，o l b s g e t O w n e r S t a g e I。i s t(i)g e t E v e n t O b j e c t()，p r o b a b i l i t y，p e i d，h t l，g e t C a e h e d I m p R o w(J，0)g e t l m p o r t a n c e()2 3 E N D I F2 4 E N D F O R2 5 t o p L i

40、s t s e t l n d i e a t o r(i。J，h i g h V a l u e F o r O w n e r S t a g e)2 6 I F(t y p e l n d i e a t o r p e T y p e s s i z e()2 7 t o p I，i s t s e t F e t c h D e p t h(i，J，O)2 8 E L S Et o p L i s t a d d O n e T o F i n i s h e d C o u n t()2 9 E N D F O R3 0 E N D F()R4 4 3 检测结果的正确性证明定理1

41、最终的t o p k 个复合事件输出肯定在排序访问阶段结束后得到的候选列表中证明通过逆否命题来证明(1)在候选列表t o p L i s t 中，可以得到阈值r，其意义为第点大的当前打分值因此在候选列表t o p L i s t 中有k 个可能的复合事件，其最终打分值不小于r(2)取不属于t o p L i s t 的复合事件c e。，其包含P个原子事件，其所在的索引列表分组在g，中因此pc 的最终打分值为S。一s。，+j 2=l(3)在索引分组g。中会一直扫描，直到组中其余项的最高打分值小于r 因此，设当前组g，的扫描p深度为d，则有s 砌吒+J 一 r 万方数据4 期刘家红等：P r o

42、S P e r：一个支持p r o a c t i v e 特性的通用型事件监控系统7 7 9(4)所有成分事件中g。分组深度d 之前的复合事件均已添加到候选列表设c a。的任何成分事件被扫描到的深度为d。，则d。不小于d 设c a。在组g。中对应的索引列表为Z。，z。，由于列表是降序排列的，则V i 1，2，P ，S 矗，S 出且J J d 累加pP声函数是单调的，因此S 吃S d o i s 如；1=1l=1l=1上由(3)，s 抽。，+l a O)2 4 c e i i t 1 r e m o v e F i r s t()2 5 b s l i n s e r t(n e wS o r

43、 t e d O b j e c t(c e i i，c e i i g e t B e s t S c o r e O)2 6 E N D W H I L E2 7 W H I L E(b s l g e t S i z e()0)&(b s l g e t L a r g e s t S e o r e()k t h S c o r e)2 8 c e i i=b s l r e m o v e F i r s t()2 9 余下操作类同于第一步，忽略3 0 3 1 E N D W H I L E4 4 4 算法的p r o a c t i v e 特性要分析T C H y b r i d

44、 算法的p r o a c t i v e 预警能力，只需分析算法的检测窗口内，对于检测出的k 个，各含有恕i(i 一1，2，忌)个成分事件的复合事件，运行算法需要检测的原子事件数目m(其中包含了与检测出的复合事件相关的成分事件数目为t；)与咒。的关系因为T C H y b r i d 算法有剪枝策略，若m ，最f lm l I l佳打分值B s 为s j+H S，其中S J 为对相关J=1P=1的成分事件的概率，H S。为从逆向索引列表中获取的可能最佳打分值，此时访问了t；次数据库，对逆向索引列表的优；一t，次访问的时间开销是可忽略的；f ir n i-t i若m ，z。，最佳打分值B S

45、为s，+H S，同理，J 暑1p=1访问了t i 次数据库，对逆向索引列表的r f t。一t；次访问的时间开销也是可忽略的综合来说，算法检测时 万方数据7 8 0计算机学报对于一个有竹。个成分事件的复合事件，实际输入时出现t i 个事件，若t；咒，则以t；次的数据库访问加索引访问的时间就能实现对其的检测，达到预警的目标t；=，2 i 时只需要访问索引的延迟时间，则可近实时地将其检测，此时检测的p r o a c t i v e 特性体现在基于统计分析安全事件报警关联上，能实现对未知模式的检测实际上，对于网络安全的主动防御来说，多源告警信息关联得到的复合事件通常都是多步骤、时间跨度比较大的P r

46、 o S P e r 设置的时间窗口大小(通常为l m i n 内)一般小于其时间跨度，实际运行时报告k 个最可能发生的复合事件时两个阶段(排序访问和随机访问)只涉及到时间窗口内发生的成分事件，因此实际检测时检测的原子事件数目通常是小于P E lP E 2P E 3(C E l，0 8)(：E 5。0 9)(C E 3。0 7)(C E 5。0 5)(C E 2。0 6)(C E l 0 6)(C E 2，0 3)(C E l O 5)(C E 4，0 4)(C E 8 O 1)(：E 4。0 1)(C E 0 1)，2。的这说明了T C H y b r i d 算法的预警能力4 4 5 示例

47、下面给出一个示例，设时间窗口内待考察的3 个原子事件P E。、P E z、P E s，其内部数据结构如图5 左侧所示事件的重要性其内部数据结构和算法处理与此处的事件概率类似，为简单起见，此处不再涉及为每个复合事件计算此时发生的概率综合打分值为累加此扫描深度时所有的复合事件发生概率，k 为2 时阈值为第k 个最大的概率，综合打分值和阈值都会随着扫描深度增加而递减，扫描直至综合打分值小于阈值结束扫描深度1 时综合打分值为0 8+0 9+0 7 2 4，阈值为0 8 到扫描深度3时，综合打分值1 2 小于阈值1 4，扫描结束综拿打?值闽值(B S)一2 40 81 71 41 21 4最终结果C E

48、 l(O 8)，C E 5(0 9)C E l(1 4)C E 5(1 4)C E l C E 5图53 个原子事件时的算法运行过程示例4 4 6 内存访问开销当一个原子事件进入系统时，若按如下方式处理：(1)检查复合事件表达式定义；(2)检查复合事件定义中出现在此原子事件之前的事件实例是否发生；(3)使用随机访问来获取之前事件的概率l(4)累积发生的事件的概率假设有k 个复合事件包含原子事件E，上述处女理方式处理一个原子事件实例的I O 成本为C i(C，为处理复合事件i 的成本)建立一个复合事件li d 上的索引表，则C；=1+1+G(为已发生的广原子事件实例数，C i 表示查找索引的成本

49、)因此在出现t 个原子事件后处理一个原子事件实例E：的f总成本为C k+k t+C。但如果表中存储i=1 J=1：s；+I m p，若原子事件到达，则系统只需把表中f=1的值与阈值比较，然后只处理那些比阈值大的值此时的i o 成本大大减小假设有P 个条目的值大于候选列表C E l，C E 5，C E 3C E l，C E 5，C E 3，C E 2C E l。C E 5。C E 3阈值，则处理原子事件实例E 的成本为1+P，p 忌5实验我们对P r o S P e r 的性能进行了模拟实验(环境配置如表1)实验使用不同规模的数据集，规模1 4 分别包含了4 0，6 0，8 0，1 0 0 个原

50、子安全事件以及相应的1 2 0 0，3 0 0 0，5 0 0 0，1 0 0 0 0 个复合事件复合事件和原子事件的表示都沿用了前文的实验所用的安全事件格式，但复合事件中未使用表达式D，因为其中的否定在P r o S P e r 中无法检测J P r o S P e r 解析这些表达式，获知其含有的成分事件数目另外，i p地址作为识别所有事件的o w n e r-i d 所有的实验均测试1 0 次，取其平均值表1实验环境配置项配置情况操作系统硬件配置J V M 版本数据库W i n d o w sX PS P 2P e n t i u m43 2 G H z。1 G BR A MJ R E1