SMART_基于数据流技术的电信网络流量监控系统.pdf

《SMART_基于数据流技术的电信网络流量监控系统.pdf》由会员分享，可在线阅读，更多相关《SMART_基于数据流技术的电信网络流量监控系统.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、收稿日期:2007206220基金项目:国家自然科学基金资助项目(60673134);上海市电信公司(Shanghai Telecom Co.,LTD)网络流量监测数据处理工具开发项目作者简介:常建龙(19722),男,博士研究生,研究方向:数据流上查询处理.Email:jlchang 文章编号:167129352(2007)1120027205SMART:基于数据流技术的电信网络流量监控系统常建龙1,2,闫莺1,宫学庆1,戴岱2,周傲英1(1.复旦大学 计算机科学与工程学院,上海 200433;2.上海电信,上海 200120)摘要:大多数国内电信运营商现有的网络流量监控系统的分析都是基于数

2、据文件的操作模式,处理速度远跟不上大量数据到达的速度。基于这种情况,提出了基于数据流技术来实现在线网络流量监控系统SMART。SMART收集多个路由器发送的NetflowV5或者V9格式的数据,并将其转换成用户定义的监控流;以滑动窗口的方式查询输出流量构成中T op2k频繁数据信息;监测网络流量突变;以可视化的图形和报表形式显示结果。SMART先进的数据流算法技术基础和完整的系统框架设计使得它在上海电信高效稳定的7324h运行。关键词:数据流系统;网络流量监控;电信中图分类号:TP311.13 文献标志码:ASMART:a systemfor online monitoring large v

3、olumes of network trafficCHANGJian2long1,2,Y AN Ying1,G ONG Xue2qing1,DAI Dai2,ZHOU Ao2ying1(1.Computer Science and Engineer,Fudan University,Shanghai 200433,China;2.Shanghai Telecom,Shanghai 200120,China)Abstract:Monitoring systems deployed in telecomoperators are usually too slow because of their

4、disk2based processing approach.T o address this problem,an online network traffic monitoring system,named SMART,was designed and developed.The systemconverts different formatsof raw net flow data(Netflow V5 or V9)to user2defined control flows through combination andfiltering.It can compute top2kfreq

5、uent flowswith slidingwindow,detect burst on arbitrary attributes,and present results visually to users.The system could be used to replace the traditional offline monitoring system used in Shanghai Telecom.The basis of advancedstreaming algorithms and the design of robust system architecture enable

6、 SMART to achieve good performance.Key words:data stream system;network traffic monitoring;telecom0 引言随着宽带互联网迅速发展,各大电信运营商的网络规模都在不断扩张,网络结构日渐复杂,网络业务日趋丰富,网络流量高速增长。电信运营商需要通过可靠、有效的网络业务流量分析工具对其网络以及网络所承载的各类业务进行及时、准确地流量和流向分析,进而挖掘网络资源潜力,控制网络互联成本,并为网络规划、优化调整和业务发展提供基础依据。网络监控的基本手段 简单网络管理协议(simple network manage

7、ment protocol,SNMP)很好地满足了网元性能监控需要,但在流量方面,只能提供粗糙、简略的流量统计资料。网络探针(sniffer)或是类似的监听工具可以弥补SNMP的缺陷,但它的问题是数据庞大、资源消耗过大、难以适应高速网络的要求。Cisco公司于1996年开发的Netflow技术1,通过在路由器上提供高层的IP流量原始统计信息,事实上已经成为网络流量监控方面的标准。目前主 第42卷 第11期Vol.42No.11 山 东 大 学 学 报(理 学 版)Journal of Shandong University(Natural Science)2007年11月 Nov.2007要应

8、用的Netflow协议为V5与V9版本,由于V9版本采用了与V5完全不同的一种新的方式 模板(template)来表明Flow数据的格式与含义,这种方式在具有很高灵活性的同时大大增加了Netflow UDP数据报文解析的难度;同时,由于支持V9版本的Cisco路由器没有V5版本的路由器应用广泛,所以,主流的Netflow采集分析软件(包括开源产品)基本上都没有实现对V9版本的支持。目前,大多电信公司的Netflow分析系统使用基于数据文件处理的开源软件Flow2tools2。Flow2tools处理模式是把接收的数据存储到硬盘,然后按需把数据再从硬盘读取到内存来计算聚合统计信息。很明显,这种处

9、理方式的速度满足不了今天大量高速的网络数据需要的速度。经过精心设计的系统SMART(a systemfor Online monitoring large Volumes ofnetwork traffic)可以解决上述问题。SMART主要有如下特性:(1)全面反映网络流量分布。为了理解整个网络流量构成的分布,最常用有效地查询是T op2k频繁查询。这类查询往往返回k个占用网络流量最大的端口,或是流量最多的AS对。频率的统计建立在由用户定义的一个或者多个属性的集合上面,频率的变化在更深层次可以用来进行流量分布突变检测。这些T op2k查询通常是用滑动窗口的3。在SMART中,滑动窗口大小有很大

10、的跨度,从5 min到24 h。查询的类型包括连续查询和即时查询。(2)基于可控的CPU和内存资源。SMART采用当今先进的数据流技术4以及本文的研究成果,文献5,6作为基础,对网络数据进行抽象和摘要。在控制内存消耗的同时保证很高的准确性。(3)可扩展性。SMART的可扩展性主要表现在2个方面:一个是它能够接受并解析V5,V9以及任意形式的数据格式。另一个在于它系统中功能模块的设计便于新的模块随时添加。(4)鲁棒性。SMART重视内存管理。它可以根据数据流量和可用内存的变化进行参数的自我调节。(5)直观可视性。查询结果以图表的形式返回,使流量分析更加方便。1 系统结构SMART的系统结构如图1

11、所示。它主要由3个功能模块构成:数据采集模块、任务管理模块和用户接口模块。图1 系统结构图Fig.1System architecture1.1 数据采集模块基于用户需求数据采集模块对采集到的Net2flow原始数据进行分解过滤。这里涉及到3个基本概念:原始流、合并流、监控流。原始流定义为路由器一个插槽(slot)设备上发出的Netflow原始数据流;合并流则是一个或几个原始流的汇聚,即多个原始流“合并”为一个合并流;监控流则是某个合并流上经过“过滤条件”后产生的数据流的一个“子集”。数据模块主要包括以下3个子模块:(1)属性抽取:收到一个UDP包,如果它的协议是V5的,则用预先定义好的固定的

12、模板对象来解析原始Flow数据,如果是V9的,则从UDP报文中分离模板定义数据与原始Flow数据,如果是一个新的模板,则缓存起来,用对应的模板对象来解析原始Flow数据。由于访问Flow字段的速度很大程度上影响监控流的匹配速度以及以后的数据聚合过程,因此,本文设计了一种新颖的思路来达到这一目标:Netflow模板采用一个Hash Map来保存字段名称以及对应的起始位置(偏移)、长度(有几个字节)等信息;Flow的数据结构里存放这条Flow的原始字节数组,这样定义一个Flow字段的数值所需的时间为O(1)。(2)合并:每个路由器通过不同的插槽编码(interface)发送数据,原始流聚集成合并流

13、的时候可以根据IP或者插槽编码。例如,如路由器127.0.0.1发送的Netflow原始数据可以按照插槽设备的不同分解为原始流127.0.0.1:8,127.0.0.1:15和127.0.0.1:17(其中:8,:15,:17为路由器的3个插槽编码),如28山 东 大 学 学 报(理 学 版)第42卷 果需要对插槽编码为8与15的原始流进行分析(比如这两个插槽上的端口都是网络核心层下联端口),则首先定义一个合并流来合并这两个原始流。(3)过滤:可以过滤出感兴趣或者关注的数据集 监控流。例如,需要分析某个校园网发出的IP数据,可以定义监控流的过滤条件为“srcIP=xxx.xxx.xxx.xxx

14、x”,又如,分析网络内邮件的发送情况,则可定义监控流的过滤条件为“destPort=25”。2.1 任务管理模块任务管理模块有3个主要功能:首先,当用户提交一个新任务,任务管理模块创建一个新的线程并且根据任务类型选择合适的算法。在SMART中,有2种任务类型:(1)连续查询任务C2Task(continuoustask),主要用来处理连续的滑动窗口T op2k频繁查询和流量突变检测。(2)即时查询R2Task(real timetask),用来处理ad2hoc滑动窗口T op2k频繁查询。C2Task定时返回查询结果,R2Task根据需要来完成计算和返回结果。其次,它监控所有线程的运行情况和内

15、存使用情况,当流速和内存发生变化时,能够自动地调节参数使系统保持高效运行。最后一个功能是返回查询结果并给用户提供接口模块。任务管理模块的主要特征包括:(1)所有的操作都是基于内存的,从而保证较高的效率。当然,内存管理就变得十分重要,它也是系统设计的重点。以C2Task为例,它的流程如图2所示。在每一对线程和线程或者进程与进程之间都有缓存连接。缓存的作用可以实现多任务数据共享以及平衡不同线程或者进程处理速度的差异。当进入某个缓存的数据量突增而超过它最大容量的时候,将进行降载操作。图2C2Task流程图Fig.2The diagram of C2Task 第11期常建龙,等:SMART:基于数据流

16、技术的电信网络流量监控系统29(2)能够处理长时间的滑动窗口的T op2k频繁查询,这也是传统数据文件分析的系统很难完成的任务。以往,对于连续的长时间滑动窗口查询,在有限的内存资源下是难以给出准确的结,而SMART采用近似的数据流查询技术保证了很高的准确率。算法设计上采用文献6作为底层算法,而采用文献4的结构完成上层设计。对于短时间滑动窗口的查询,SMART将会给出精确的查询结果。(3)怎样对监控流上的Netflow数据进行灵活而有效地分析,使这个系统尽可能满足用户日常监测工作和应付突发事件的需要,也是这个系统需要重视和解决的一个关键问题,而目前多数Netflow分析软件都采用的是一种相对固定

17、的数据分析模式,例如T op2k应用分析,T op2k对话分析,T op2k目的地址分析等,这种简单的模式很难满足用户的灵活多变的实际需求,因此本文设计并实现了一种高度灵活而又十分有效的数据分析任务模型 完全可定义的基于任意Flow属性的聚合分析的任务模型。这种任务模型的关键在于“灵活定义的聚合项”,可以对Flow纪录中的任意的字段(不仅仅是7个关键字)进行聚合,比如可以定义单独的聚合项SrcIP,也可以定义复合的聚合项SrcIP,DstIP,DstPort。以单独的聚合项SrcIP为例,Netflow数据聚合过程如下:抽取Flow中的srcIP字段以及统计字段(in2bytes,inpack

18、ages),以srcIP为属性,统计字段为val2ue,采用HashMap进行数据的聚合,其中对于同一个srcIP,统计字段进行累加,5 min后,根据统计字段对srcIP进行排序(T op2k部分排序),最后输出T op2k结果。(4)SMART是自适应系统,可以调节参数来适应资源和数据量的变化。图3对从原始流合并过滤成监控流,再进行多属性定义的T op2k查询过程进行完整描述。图3Netflow数据聚合过程Fig.3The procedure of data aggregation2.2 用户接口模块用户接口模块接收用户提交的添加、删除任务或者添加、删除一条控制流的命令,并且对结果进行可视

19、化表示。图4和图5是对流量进行分布情况和趋势性展现。图4 图表结果显示(趋势)Fig.4Visualized results(trend)图5 图表结果显示(分布情况)Fig.5Visualized results(proportion)2 试验SMART用JAVA实现,现在运行在Dell 6850服务器上面,系统配置是3.16 GHz CPU和8 G B内存。操作系统是Red hat linux AS4。本文用2组真实数据来测试它的准确程度。与SMART结果相比较的准确值由Flow2tools计算出来。实验1测试于2006年11月11日,没有过滤条件,滑动窗口为24 h,查询T op220

20、flow数频繁的DstSrc AS对。观察表1所示的结果,除了最后的第19和第20的排名和与准确结果不同外,其它结果的排名都是正确的。由于第19和第20的流数比较接近,在近似算法中对它们flow数目的统计有误差。30山 东 大 学 学 报(理 学 版)第42卷 然而在实际中,如果本身flow数差别不大,那么它们的排名先后也并不重要。对于flow数差别大的数据的排序SMART可以保证是准确的。表1 试验1结果Table 1Results of Experiment21RankSMART目的 源AS流数Exact(Flow2tools)目的 源AS流数10413468 717 1650413474

21、 777 13620483716 329 5860483717 715 7023048126 930 731048127 542 36240647404 222 4390647404 597 5675048143 743 446048144 053 82160652202 606 4240652202 832 96970652102 304 7290652102 505 0788034621 995 338034622 161 9439048351 571 796048351 706 539100647411 525 4020647411 658 145110645211 504 135064

22、5211 635 590120176331 476 6660176331 604 287130177851 466 6770177851 593 602140646601 452 0170646601 578 54915047601 363 934047601 476 418160176721 297 6740176721 411 11017098001 283 550098001 392 965180652111 267 3580652111 373 438190647571 214 6320237241 323 944200237241 213 2310647571 320 641 实验2

23、测试于2006年5月25日,过滤条件是目的端口等于25,查询滑动窗口为24 h时的T op210流数频繁的源IP。如表2,SMART得到了与准确结果完全一致的前10个频繁的SrcIP。表2 试验2结果Table 2Results of Experiment22RankSMART源IP流数Exact(Flow2tools)源IP流数1218.1.66.9166 321218.1.66.9164 4572218.1.66.8949 388218.1.66.8947 5883218.1.66.8715 041218.1.66.8714 5314218.1.113.1766 224218.1.113.

24、1766 0105218.1.14.774 597218.1.14.774 4166218.1.115.91346218.1.115.91 3067222.71.50.20818222.71.50.208098218.1.66.207750218.1.66.2077109222.66.20.58708222.66.20.5870810218.81.171.49573218.81.171.495743 结论和展望本文介绍了新颖高效的网络流量监控系统SMART。它基于Java多线程技术、适应多种平台环境,目前在上海电信用于IP城域网的流量分析领域,拥有对海量网络流量信息的实时分析能力,先进的数据流

25、算法进行24 h的T op2k数据分析,可以进行网络流量的突变检测,能够合并不同路由器的原始流,实现了基于任意Flow字段的组合过滤条件,能够完成对任意组合的Flow字段进行聚合并获取T op2k任务、指定输出任务的分析,能够实现自定义Flow字段的T op2k任务,统一处理V5和V9格式的Netflow数据,T op2k结果可以通过UDP输出到指定的地址,处理能力达到每秒30 000个流。更多的功能模块如,流量模式监控、P2P流量检测以及分布式流量分析系统正在设计之中。SMART作为高效的网络流量分析手段,有可能成为更多电信运营商的网络流量监控工具。参考文献:1 Cisco.Cisco IO

26、SNetflow introduction EBOL.(2006204205)2006204215.http:gonetflow.2 Mark Fullmer.Flow2tools EBOL.(2006203201)2006204215.http:swflow2toolsdocsflow2tools.html.3 CARNEYD,QETINTEMEL U,CHERNIACKM,et al.Moni2toring streams2a new class of data management applicationsC Proceedings of 28th International Confe

27、rence on VeryLarge Data Bases,August 20223,2002.Hong K ong,China:Morgan Kaufmann,2002:2152226.4 ARASU A,MANK U G S.Approximate counts and quantilesover sliding windows C A.Deutsch.Proceedings of theTwenty2third ACM SIG ACT2SIG MOD2SIG ART Symposium onPrinciples of Database Systems,June 14216,2004.Pa

28、ris,France:ACM,2004:2862296.5 QIN S,QIAN W,ZHOU A.Approximately processing multi2granularity aggregate queries over data streamsC Proceed2ings of the 22nd International Conference on Data Engineering,ICDE 2006,328 April 2006,Atlanta,G A,USA:IEEE Com2puter Society,2006:67.6 Y UJ X,CHONGZ,LU H,et al.False positive or false neg2ative:Mining frequent itemsets from high speed transactionaldata streams C Proceedings of the Thirtieth InternationalConference on Very Large Data Bases,August 312September 32004.T oronto,Canada:Morgan Kaufmann,2004:2042215.(编辑:孙培芹)第11期常建龙,等:SMART:基于数据流技术的电信网络流量监控系统31