IP网络流量数据采集与存储系统的设计与实现.pdf

《IP网络流量数据采集与存储系统的设计与实现.pdf》由会员分享，可在线阅读，更多相关《IP网络流量数据采集与存储系统的设计与实现.pdf（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、武汉理工大学硕士学位论文IP网络流量数据采集与存储系统的设计与实现姓名：易泽湘申请学位级别：硕士专业：计算机应用技术指导教师：潘昊20070401摘要近年来，随着以T C P I P 为核心协议的互连网的快速发展，I P 技术作为一种承载业务和沟通传输的中间体得到了极大的发展。基于瑶的业务应用发展迅速，网络的规模日趋庞大。网络的可用性与网络规模膨胀的矛盾显得更加突出。结构越来越复杂和规模越来越庞大的网络系统更需要网络管理软件来保证系统的正常运作，网络管理的质量会直接影响到网络的运行质量，管理好一个网络与网络的建设同等重要。网络管理软件通过对网络数据的分析达到对网络资源、性能、故障的管理，而网络

2、数据的获取是网络管理软件中最为重要的部分，本文详细阐述了球网络流量数据采集与存储系统的设计与实现。文章首先介绍了网络管理的一些基础知识，包括网络管理的基本概念、网络管理的五大功能以及网络管理的体系结构。其次，文章分析了网管数据采集系统所使用的主要协议，包括S N M P、N e t F I O W、s F l o w 以及R M O N 等。接着，文章介绍了口网络海量数据的存储方法，并比较了几种存储方案的优劣。文章最后结合项目实践详细描述了口网络数据采集与存储系统的设计与实现。鉴于被管网元的多样性和管理类别的不同，我们在数据采集层上采取了不同的协议采集不同的网管数据，把数据采集分为主动数据采集

3、和被动数据采集。N e t F l o w、s F l o w、S N M PT R A P 属于被动采集的范畴，在f l o w d里面自动实现数据的采集、告警和入库操作；而S N M P、C L I 属于主动采集，必须让采集服务器使用轮询操作来及时取得网管数据。为了避免海量数据存取导致的平凡I O 操作，在数据存储上我们采取了嵌入式数据库，并将原始数据和处理了的业务数据进行分库存储；另外为了提高系统的整体效率，我们对系统进行分层处理，每一层对应着不同的进程，数据采集层为f l o w d 进程和a r p d 进程、业务处理层为f l o w-m i n i n g 进程，而前台展示层我们

4、则使用J 2 E E 规范技术实现。，为了提高数据接收和处理效率，我们用C 语言编写了数据采集层和业务处理层，而前台展示层我们则用跨平台性良好的J A V A 技术实现。关键字：N e t F l o w，s F l o w，R M O N，网络管理A b s t r a c tW i t ht h eg r e a td e v e l o p m e n to fI n t e r a c t，t h eI Pn e t w o r kt e c h n o l o g y，a sac 砒l i e ro fb u s i n e s sa n dc o m m u n i c a t i

5、 o n,h a v i n gg o tr a p i dg r o w t hi nr e c e n ty e a r s T h eb u s i n e s sb a s e do nI Pt e c h n o l o g ya l s om a k eg o o dt i m e,w h i c hm a k et h en e t w o r kb l 挖o m em o r ea n dm o r ec n o E B l o n s，a n di n c r e a s et h ei n c o n s i s t e n c yb e t w e e na v a i

6、l a b i f i t ya n ds i z eo ft h en e t w o r k T h eq u a l i t yo ft h en e t w o r km a n a g e m e n tc a nd i r e c t l ya f f e c tt h en e t w o r k St r a n s p o r t,t h ec o n s t r u c t i o ni sa si m p o r t a n ta sm a n a g e m e n tt on e t w o r k N e t w o r km a n a g e m e n ts

7、o f t w a r em a n a g et h en e t w o r kr e s o u r c e、p e r f o r m a n c e、f a u l tb ya n a l y z i n gt h en e t w o r kd a t a,h o wt og e tn e t w o r kd a t ai st h em o s ti m p o r t a n tp a r td m i n gt h ec o u r s eo fd e v e l o p i n gt h en e t w o r km a n a g e m e n ts o f t w

8、 a r e，T h i sa r t i c l ew i l le l a b o r a t eo nt h ed e s i g na n di m p l e m e n tm e t h o do fd a t aa c q u i s i t i o na n ds t o r a g es y s t e m T h i sp a p e rf i r s ti n t r o d u c e ss o m eb a s et h e o r yo fn e t w o r km a n a g e m e n tt e c h n o l o g y，i n c l u d

9、i n gb a s ec o n c e p t i o n，m a i nf u n c t i o n sa n df r a m e w o r ko fn e t w o r km a n a g e m e n t S e c o n d l y，t h i sp a p e ra n a l y z e sS o m ep r o t o c o l su s e db yd a t aa c q u i s i t i o n,i n c l u d i n gS N M P，N e t F l o wa n dR M O N A f t e rt h a tt h i sp

10、a p e rg i v e sab r i e fi n t r o d u c t i o na b o u th o wt os t o r i n gb i gd a t ao fI Pn e t w o r k,a tt h es a m et i m e,T os h o wd i f f e r e n c e sw ec o m p a r em a n yk i n d so fs t o r i n gm e a n s F i n a l l y，t h ed e s i g na n di m p l e m e n t a t i o no ft h ed a t a

11、a c q u i s i t i o na n ds t o r a g es y s t e ma l l i e dp r o j e c tp r a c t i c ei sd i s c u s s e di nd e t a i la tc h a p t e r5 T a k i n gd i f f e r e n tp r o t o c o l sc o l l e c t i n gd i f f e r e n tn e t w o r kd a t ai nd a t aa c q u i s i t i o nl a y e rf o rn e t w o r k

12、c e l la n dm a n a g e m e n tc l a s sd i f f e r e n c e，I nu p p e rl e v e l，d a t aa c q u i s i t i o ni sd i v i d e di n t oa c t i v ea c q u i s i t i o na n dp a s s i v ea c q u i s i t i o n N e t F l o w、S N M PT R A Pb e l o n gt op a s s i v ea c q u i s i t i o n,a n di nt h ef l o

13、 w dm o d u l ea c q u i s i t i v et h ed a t a，s a v et h ed a t aa n dt r a n s f e rt h ed a t at oa l a r mm o d u l e H o w e v e r，S N M Pa n dC L I,b e l o n g i n gt oa c t i v ea c q u i s i t i o n，m u s tb ep o l l e dr e g u l a r l yb yp o l l i n gs e r v e r I no r d e rt oa v o i d

14、i n gf r e q u e n t l yo p e r a t ea b o u tF O，I Iu s i n ge m b e d d e dd a t a b a s es t o r ec o l l e c t e dd a t a,f o ro r i g i nd a t aa n db u s i n e s sd a t ad i s p o s e ds t o r ei nd i f f e r e n c ed a t a b a s e s I no r d e rt oi m p r o v et h ew h o l ee f f i c i e n c

15、yo ft h ew h o l es y s t e m，d i v i d et h ew h o l es y s t e mi n t ot h r e el a y e r s，e a c hl a y e rc o r r e s p o n d i n gw i t hap r o c e s s D a t ac o l l e c tl a y e ri sf l o w da n da r p dp r o c e s s b u s i n e s sd i s p o s el a y e ri sf l o w-m i n i n g，t h e nf o rt h

16、ef r o n td i s p o s a lw et a k eJ 2 E Et e c h n o l o g y I no r d e rt op r o m o t et h ee f f i c i e n c yo fr e c e i v i n ga n dd i s p o s i n g,w ep r o g r a mw i t ht h eCl a n g u a g ef o rd a t ac o l l e c t i n gl a y e ra n db u s i n e s sd i s p o s i n gl a y e r f o rf r o n

17、 td i s p o s a ll a y e rw ep r o g r a mw i t ht h eJ A V Al a n g u a g ef o ri tw o r k i n gd i f f e r e n tp l a t f o r m K e yw o r d s：N e t F l o w，s F l o w，R M O N，N e t w o r kM a n a g e m e n tI I I武汉理工大学硕士学位论文A P I：S N M P：N e t F l O W：N P M S；D O S：1 b S：冒；M P L S：A n 订：A N：M I B：

18、R M O N：T C P：C P U：N A 孔J D B C：l O tM A C：I C M P：I G d 口：S M T P：R S T：F r P：O o s：M R T G：缩略词A p p l i c a t i o nP r o g r a m m i n gI n t e r f a c eS i m p l eN e t w o r kM a n a g e m e n tP r o t o c o lN e t w o r kF I O WN e t w o r kP e r f o r m a n c eM a n a g e m e n tS y s t e mD

19、e n i a lo fS e r v i c eT y p eo fS e r v i c eI n t e r n e tE n g i n e e r i n gT a s kF o r c eM u R i-P r o t o c o lL a b e lS w i t c h i n gA s y n c h r o n o u sT r a n s f e rM o d eV m u a lL o c a lA r e aN e t w o r kM a n a g e m e n tI n f o r m a t i o nB a s eR e m o t eM o n i t

20、o r i n gM I B si nS N M PT r a n s i a t i o nC o n t r o lP r o t o c o lC e n t r a lP r o c e s sU n i tN e t w o r kA d d r e s sT r a n s l a t i o nJ A A D a t aB a g eC o n n e d i o nI n p u tO u t p u tM e d i aA c c e s sC o n t r o lI n t e r n e tC o n t r o lM e s s a g eP r o t o c o

21、lI n t e m e tG r o u pM a n a g e m e n tP r o t o c o lS i m p l eM a i lT r a n s l a t i o nP r o t o c o lR e s t a r tT o k e nF i l eT r a n s l a t i o nP r o t o c o lQ u a l i t yo fS e r v i c eM u l i tR o u t e r1 h f f i cG r a p h e r独创性声明本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中

22、特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：关于论文使用授权的说明日期掣本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部内容，可以采用影印、缩印或其他复制手段保存论文。(保密的论文在解密后应遵守此规定)研究生签名：盔口秘师签名：李墨武汉理工大学硕士学位论文1 1 背景介绍第1 章引言在网络管理的初期，对网络的管理停留在使用I

23、 C 肝和P I N G 的基础上，但是随着网络内主机数据的不断增多，这种简单的工具已经不可能完成网络管理的工作了。网络管理系统是网络的重要组成部分，是保证网络系统高效、可靠、经济和安全运行的重要支撑手段。很多网络特性的使用和提供，在很大程度上取决于相应的网络管理系统的能力和质量。由于通信技术的高速发展，网络规模不断扩大，网络复杂性的日益提高，对网络管理系统的要求越来越高，对网络管理技术的要求也越来越高。很多大计算机与网络通信厂商陆续推出了各自的网络管理系统，如H P 的O p e n V i e w、I B M 的N e t V i e w、3 C o m 的T r a n s c e n

24、dN e t w o r k i n g、C A 的U n i c e n t e rT N G 及S u n S o f t 的S u n n e t M a n a g e r 等等。他们都已在各种实际环境下得到了一定的应用，并已经有了相当的影响。但在国内，网络管理是近几年才出现的。当前市场中的网管产品几乎为国外产品所垄断，这些网管产品可分为通用型(如O p e n Y i e w，N e t V i e w 等)和专用型(如C i s c o W o r k s 等)。通用型网管系统的缺点是：费用较高，而且都需要二次开发；专用型网管系统的缺点是：过于专一，只限于某厂家或某型号的产品，不适

25、合于目前的多厂家异构环境。最主要的是这两种产品类型都不能很好的适应国内网络的现状及管理需求，这对我国网络的建设与发展十分不利，因此，研制适合我国自己情况的网络管理系统势在必行。I P 数据网不同于分组交换、D D N、帧中继、A T M 等基础网络，它是一个开放的系统，因此，I P 数据网的管理有其特殊的复杂性。从技术角度出发，I P 网管系统就是要具备足够的监控手段，对网络事件做出快速反应，提供故障隔离措施，并依赖有效的操作控制手段，尽快解决故障，保证网络的正常运行，实现集中操作和维护管理。I P 网管系统要求对I P 数据网上的故障、性能、配嚣、环境等信息进行全面掌握，对网络整体和局部的流

26、量、流向，网元设备的负荷情况等，提供实时统计的数据，以此作为网络优化和网络扩武汉理工大学硕士学位论文容的参考。I P 网管系统要求故障和告警处理实现自动化，并逐步建立和完善故障处理的知识库，同时，I P 网管系统要求提供基于定制的特殊服务，以对该I P 数据网进行更加完善的监管m 1。1 2 课题来源针对目前国内网络性能管理系统绝大多数侧重在网络设备和链路的故障管理方面，缺乏适用的网络性能管理系统，武汉和中信息科技有限责任公司决定与武汉理工大学计算机学院合作开发具有自主知识版权的国产化的网络性能管理系统产品，对于网络性能管理、系统性能管理和应用系统管理提供相应的解决方案和完整的、可扩展的管理平

27、台，并针对运营商、企业和融合网络提供不同的套件系统。和中公司网络性能管理系统所管理的侧重点是解决用户实际业务的运行问题，以确保业务运行为第一要素，通过强大的监控、预警、分析、规划等功能提供给用户强大的网络管理手段，增强用户的业务系统运营效率1 3 本文所做的工作本人在整个网络性能管理系统项目中主要参与了数据采集与存储方面的工作。1 在L i n u x 环境下用C 语言参与设计，实现了基于多协议的I P 网络流量数据采集，完成了网络流量数据的接收、分类和汇总等工作，该方法适用于主动和被动数据采集。2 在比较分析各种海量数据实时存储优劣的基础上，参与设计实现了将嵌入式数据库B e r k e l

28、 e y 明引入到海量数据的实时存储中，较好地解决了海量数据实时存储的磁盘操作问题，为前台数据展示提供了良好的接口。1 4 论文结构本论文分为六章，主要内容如下：第一章：引言。简述了网络管理在网络技术应用日益广泛的背景下的重要2武汉理工大学硕士学位论文性。介绍了本课题产生的背景和课题来源，说明了本人对课题所进行的理论研究和所做的实际工作，并列出了论文的内容结构。第二章：I P 网络管理系统结构。介绍了网络管理的系统结构和网络管理的五大功能，并介绍了本网络管理系统的整体思想。第三章：I P 网络管理相关协议分析，包括S N M P、N e t F l o w、s F l o w，R M o N等

29、协议，重点分析了项目当中采集网络流量数据所使用的网络管理协议。第四章：I P 网络海量数据存储方案。分析并比较了当前网管软件在解决海量数据实时存储当中的方法，重点分析了嵌入式数据库处理海量数据实时存储的可行性和优越性。第五章：I P 网络流量数据采集与存储系统的设计与实现。首先介绍了本网络性能管理系统的总体框架，然后详细介绍了网络性能管理系统中数据采集与存储系统的设计与实现，最后对系统进行了综合评价。第六章：结论。对I P 网络流量数据采集与存储系统作总结。3武汉理工大学硕士学位论文第2 章lP 网络管理系统结构2 1I P 网络管理系统结构网络管理系统产品由中心服务软件P e r f o r

30、 m a n c eM a n a g e r 和远端硬件探针系统R T P r o b e 组成。P e r f o r m a n c eM a n a g e r 是位于网络管理中心的一套强大的网络性能管理软件，它通过基于F l o w 的流协议、S N M P 简单网络管理协议、S y s l o g 系统日志以及专有的高级性能监测协议O P T 等方式从远端的网络设备、服务器、应用系统以及硬件探针R T P r o b e 等获得全方位的实时网络信息元数据，提供全面的实时性能分析、故障定位、端对端的服务质量管理和容量规划等功能。远端硬件探针系统R T P r o b e 是一个硬件的

31、流量分析设备，它通过交换机端口s p a n m i r r o r 方式或者通过T A P 方式监听主要骨干链路的双向流量，并及时的转换成基于F l o w 的流协议发送到中心P e r f o r m a n c eM a n a g e r。此外，R T P r o b e 还主动的动态监测预定的关键服务或者协议，采用高级性能监测协议O P T 方式将更深层次的分析信息实时传送到网络中心P e r f o r m a n c eM a n a g e r。R T P r o b e 具有百兆和千兆两种型号，分别监测百兆和千兆主要链路，用于不支持F l o w 协议的网络节点的信息采集和监

32、测。整个系统的体系结构如图2 1 所示图2 1 网络性能管理系统体系结构图4武汉理工大学硕士学位论文2 2 网络管理五大功能I S O 在I s O I E C 7 4 9 8 4 文档中定义了网络管理的5 大功能，并被广泛接受。这五大功能分别是：故障管理(F a u l tM a n a g e m e n t)、配置管理(C o n f i g u r a t i o nM a n a g e m e n t)、性能管理(P e r f o r m a n c eM a n a g e m e n t)、安全管理(S e c u r i t yM a n a g e m e n t)、计费

33、管理(A e e o u n t i n gM a n a g e m e n t)嘲。2 2 1 故障管理故障管理是网络管理中最基本的功能之一。当网络中某个组成部分发生故障时，网络管理系统必须迅速查找到故障并及时排除。故障管理的主要任务是发现和排除网络故障。故障管理用于保证网络资源的无障碍无错误的运营状态，包括障碍管理、故障恢复和预防保障。障碍管理的内容有告警、测试、诊断、业务恢复、故障设备更换等。预防保障是为网络提供自愈能力，在系统可靠性下降，业务经常受到影响的准故障条件下实施。具体来说，故障管理包括：故障检测；维护和检查差错日志，接收故障报告；故障诊断：寻找故障发生的原因，可执行诊断测试

34、，以寻找故障发生的准确位置；故障纠正：将故障点从正常系统中隔离出去，并根据故障原因进行修复。2 2 2 配置管理配置管理负责网络的建立、业务的展开以及配置数据的维护。配置管理具有初始化网络和配置网络的功能，以使其提供网络服务。配置管理是一组辨别、定义、控制和监视组成一个通信网络的对象所必要的相关功能，目的是为了实现某个特定功能或使网络性能达到最优。配置管理是一个中长期的活动。它要管理的是网络增容、设备更新、新技术的应用、新业务的开通、新用户的加入、业务的撤销、用户的迁移等原因所导致的网络配置的变更。网络规划与配置管理关系密切，在实施网络规划的过程中，配置管理发挥最主要的管理作用。配置管理包括：

35、5武汉理工大学硕士学位论文 设置开放系统中有关路由操作的参数；被管对象和被管对象组名字的管理；初始化或关闭被管对象；根据要求收集系统当前状态的有关信息；获取系统重要变化的信息；更改系统的配置。2 2 3 性能管理性能管理的目的是维护网络服务质量(Q o s)和网络运营效率。为此，性能管理要提供性能监测功能、性能分析功能以及性能管理控制功能。同时，还要提供性能数据库的维护以及在发现性能严重下降时启动故障管理系统的功能。网络服务质量和网络运营效率有时是互相制约的。较高的服务质量通常需要较多的网络资源(带宽、C P U 利用率等)，因此在制定目标时要在服务质量和运营效率之间进行权衡。在网络服务质量必

36、须优先保证的场合，就要适当降低网络的运营效率指标；相反，在强调网络运营效率的场合，就要适当降低服务质量指标。但在一般的性能管理中，维护服务质景是第一位。性能管理评估系统资源的运行状况及通信效率等系统性能。其功能包括监视和分析被管网络及其所提供服务的性能机制。性能分析的结果可能会触发某个诊断测试过程或重新配置网络以维持网络的性能。性能管理收集分析有关被管网络当前状况的数据信息，并维持和分析性能日志。性能管理的一些典型功能包括：从被管对象中收集与性能相关的信息；对被管对象的性能数据的统计，与性能有关的历史数据的产生、记录和维护；分析当前的统计数据以检测性能故障、产生性能告警、报告性能事件；形成并改

37、进性能评价准则和性能门限。6武汉理工大学硕士学位论文2 2 4 安全管理安全管理采用信息安全措施保护网络中的系统、数据以及业务。安全管理与其他管理功能有着密切的关系。安全管理要调用配置管理中的系统服务对网络中的安全设施进行控制和维护。当网络发现有安全方面的故障时，要向故障管理通报安全故障事件以便进行故障诊断和恢复；安全管理功能还要接收计费管理发来的与访问权限有关的计费数据和访问事件通报。网络中主要有以下几方面的安全问题：网络数据的私有性(保护网络数据不被侵入者非法获取)；授权(防止侵入者在网络上发布错误信息)；访问控制(控制对网络资源的访问)。相应地，网络安全管理包括对授权机制，访问机制、加密

38、和加密关键字的管理，另外还要维护和检查安全日志，包括 创建、删除、控制安全服务和机制；与安全相关信息的发布；与安全相关事件的报告。2 2 5 计费管理计费管理记录网络资源的使用，目的是控制和监测网络操作的费用和代价，它可以估算出用户使用网络资源可能需要的费用和代价。网络管理员还可以规定用户可使用的最大费用，从而控制用户过多地占用和使用网络资源，这也从另一方面提高了网络的效率。另外，当用户为了一个通信目的的需要使用多个网络资源，计费管理应能计算出总费用。计费管理中包括以下几个主要功能：统计网络及其所包括的资源的利用率，以使网络管理者确定不同时期和时间段的费率；根据用户使用的特定业务在若干个用户之

39、间分摊费用；计算用户应支付的网络服务费用；帐单管理。7武汉理工大学硕士学位论文2 3 数据采集系统数据采集的方式，在网管系统中又分为告警资源数据采集、性能数据采集和网络故障数据采集。网管系统中数据的来源主要包括C L I，T E L N E T，S N M PT R A P，N e t F l o w、s F l o w、R M O N 等。其中C L I，T E L N E T 和S N M P 采用主动数据采集方被式。也就是数据采集计算机向被管设备发出轮询指令，然后接收被管设备通过相应协议发回的数据。T R A P 和N e t F l o w、s F l o w 采取被动接收的方式，由被

40、管设备主动向数据采集计算机发出网络管理所需要的数据。数据采集框架如图2 2 所示。图2-2 数据采集框架2 4 网络管理的两种体系结构2 4 1 集中式网络管理集中式网管体系中有一个管理者对整个网络的运行进行管理，负责处理代理上的管理信息，它具有简单、价格低及易维护等优点，因而成为目前使用最为普遍的一种模式。但随着网络规模和复杂度的迅速增大，集中式结构已暴露出不可克服的缺点，主要表现在：8武汉理工大学硕士学位论文管理中心需要处理所有的管理信息，导致大量的数据可能来不及处理。所有的信息都涌向中央管理者，网络传输量大，容易引起阻塞。整个网络管理系统的运转都依赖于管理中心，一旦发生故障，管理系统将崩

41、溃，可靠性差。2 4 2 分布式网络管理分布式网络管理采用一种对等式结构，网管功能被分布到多个管理者上，完成各自域内的网络逻辑管理(综合管理)，而每个被管设备都是具有一定自我管理能力的自治单元。分布式网络管理的根本属性就是能容纳整个网络的扩展，可靠，管理性能高。是网络管理发展的方向。9武汉理工大学硕士学位论文第3 章IP 网络管理相关协议分析3 1 网络管理设备按照网络设备的类型以及支持协议的不同，被管设备大致可以分为这样几个类型：主机：独立运行的P c 机，可以通过S N M P 协议取得一部分的网管数据，不能通过S N M P 取得的网管数据只能通过C L I 方式取得。需要监控的有主机的

42、运行情况，包括C P U 占用率、内存占用率、C P U 滠度以及存储设备占用情况等等。路由器：一般支持S N M P，C I S C O 系列的路由器可能支持N e t F l o w，主要用于流量管理。交换机：一般支持S N M P，C I S C O 系列的交换机可能支持N e t F l o w、s F l o w，主要用于流量管理。集线器：支持C L I。网桥：作为单独网络设备的网桥现在已经很少使用，目前网桥的功能一般分配到路由器、交换机和集线器中。数据库：存储网管历史数据的大型数据库，只能通过C L I 方式取得网管数据，需要了解的数据包括表空间、数据段、用户数、当前活动用户数量、

43、数据库运行状态等等。应用程序：只能通过C L I 方式取得网管数据，包括应用程序的资源占用率、应用程序的运行状态等参数。实际上，很多网络设备支持H T T P 协议，可以通过浏览器方便的进行配置和操作。但主要应用于人工手动调控。并不适用于计算机管理和操作，因此并没有在考虑之列，而本文的重点在路由器和交换机方面的流量管理。1 0武汉理工大学硕士学位论文3 2 网络管理协议3 2 1 S N M P使用S N M P 进行网络管理需要下面几个重要部分：管理慕站，管理代理，管理信息库和网络管理工具。管理基站通常是一个独立的设备，它用作网络管理者进行网络管理的用户接口。基站上必须装备有管理软件，管理员

44、可以使用的用户接口和从M I B 取得信息的数据库，同时为了进行网络管理它应该具备将管理命令发出基站的能力。管理代理是一种网络设备，如主机，网桥，路由器和集线器等，这些设备都必须能够接收管理基站发来的信息，它们的状态也必须可以由管理基站监视。管理代理响应基站的请求进行相应的操作，也可以在没有请求的情况下向基站发送信息。M I B 是对象的集合，它代表网络中可以管理的资源和设备。每个对象基本上是一个数据变量，它代表被管理的对象的一方面的信息。S N M PM I B 对象的定义是十分严格的，定义指定了对象的数据类型，允许的形式，取值范围和与其它M I B 对象的关系。A S N 1 定义方法用来

45、定义每个对象，同时也定义整个M I B 结构。有两种不同对象数据结构：通用类型的专用类型，通用类型指的是整数，字符串，空值，对象标识，序列和序列号；专用类型是指网络地址，I P 地址，记数器，标准等圊m。S N M P 体系结构S N M P 体系结构如图3-1 所示：S N M P 协议提供了用于定义网络信息的框架和用于交换信息的协议标准。S N M P 模型引入了管理器和代理的概念，管理器指的是以人类管理员身份负责所有网络(或部分网络)的软件。代理指的被管理设备中的软件，它用以完成管理器所需要进行的局部管理和应急通知管理器的功能旧册。武汉理工大学硕士学位论文图3-1S N M P 体系结构

46、S N M P 服务代理过程S N M P 服务代理过程如图3 2 所示：管理器向S N M P 代理发送查询数据请求，请求被封装到S N M P 的U D P 包中。S N M P 代理接收到请求后，将请求转换为内部数据格式，并映射M I B 变量，执行管理器要求的查询动作，最后将取得的数据封装成S N M P 包发回代理嘲m。武汉理工大学硕士学位论文3 2 2 N e t F!o w图3-2 S N M PA g e n t 处理流程 N e t F l o w 定义N e t H o w 是C i s c o 公司提出的网络数据包交换技术，它同时可用来记录网络流信息。一个网络流是从它的源

47、端到目的端的单向的一系列数据包，更明确的说，一条流以以下七个关键字来标识：嘲a 源口地址b 目的母地址c 源端口号d 目的端口号e 第3 层协议类型(T C P、U D P 等)服务类型(T o S)吕入逻辑接口标识符(i f l n d e x)N e t F l o w 原理N e t F l o w 先记录下初始化球包的数据，如口协议类型、服务种类(T o S)、接口标识等，然后，为了更有效对数据进行匹配和计数，N e t H o w 让随后的数据在同一个数据流中进行传输，同时，对它们使用各自相应的服务，如安全性过滤、O o S 策略、流量策划等。实时数据被存储在N e t H o w

48、的缓存中，通过读取的操作指令就可以重新找回叫”m”。N e t H o w 的运行可分解为以下几个关键功能单元，包括“”：1 1C a c h e 缓存空间N e t H o wC a c h e 是所有活跃F l o w 统计信息的存储位置，所有具备相同关键字段的数据包都将在该C a c h e 相应表项中进行数据累计，如数据包数量、字节数等。除了被称之为M a i nC a c h e 的上述缓存之外，部分支持A g g r e g a t i o n武汉理工大学硕士学位论文机制的网元设备还需提供相应的聚合缓存(A g g r e g a t i o nC a c h e)，最终的输出报文

49、将包含该聚合缓存的汇总结果，从而能够有效降低N e t F l o w 流量对网络带宽的占用。下图形象地说明了这种机制：N e t F I a 弹r n 口i nc a c h eF l o w F l o w 2F t o w 3F l o we D I r e dC a c h e f u IT i m e re p i r a dF l o we x p i r e dC a c h e f u lT i m e ra a p i r e dA g g c e g c a c h eT i r n e s re x p i r e diE 嚣紫l 畸I o l l e 由r图3-3N e

50、 t F l o w 缓存机制的实现可配置的C a c h e 维护机制一般情况下C a c h e 空间的占用是与所监控的H o w 数量呈正比的，但是当链路中充斥着大量的短连接S e s s i o n 时，H o w 表项数量可能会因为没有得到及时释放而过多占用有限的C a c h e 空间。为此，N e t F l o w 提供了一种非常复杂、高效的算法以快速定位一个数据包在该C a c h e 中的位置或判断是否应新建表项，并且通过管理员给定的阀值进行各类表项的超时导出，从而及时释放老的表项以容纳新建F 1 0 w 信息。C a c h e 表项T i m e d O u t 操作可