网络流量测量与分析研究现状及发展趋势.pdf

《网络流量测量与分析研究现状及发展趋势.pdf》由会员分享，可在线阅读，更多相关《网络流量测量与分析研究现状及发展趋势.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 20卷 第 2 期郑 州 轻 工 业 学 院 学 报(自 然 科 学 版)Vol.20 No.2 2005年 5 月JO URNAL O F Z HENGZHOU UNIVERSITY OF LIG HT INDUSTRY(Natural Science)May 2005 收稿日期:2005-01-06 基金项目:河南省杰出青年基金资助项目(0112001500)作者简介:李晟(1980),男,河南省郑州市人,郑州大学硕士研究生,主要研究方向:计算机网络;甘勇(1965),男,湖南省株洲市人,郑州轻工业学院教授,主要研究方向:计算机网络.文章编号:1004-1478(2005)02-007

2、7-04#计算机网络与通信#网络流量测量与分析研究现状及发展趋势李 晟1,甘 勇2(1.郑州大学 信息工程学院,河南 郑州 450052;2.郑州轻工业学院 计算机与通信工程学院,河南 郑州 450002)摘要:从网络测量技术的发展、流量测量的方法及流量抽样测量、流量测量模型几方面介绍和分析了国内外网络流量测量的研究现状,指出了在流量抽样测量以及流量测量模型方面需要改进和进一步研究的问题.关键词:网络测量;流量测量;流量抽样测量;流量测量模型中图分类号:TP393107 文献标识码:AThe research situation and future development of the ne

3、tworktraffic measurement and analysisLI Sheng1,GAN Yong2(1.Colle ge of Infor.Eng.,Zhengzhou Univ.,Zhengzhou 450052,China;2.Colle ge of Com p.and Com.Eng.,Zhengzhou Univ.of Light Ind.,Zhengzhou 450002,China)Abstract:A survey of the development of network measurement is made,and then the status quo is

4、 introducedand analyzed in methods of traffic measurement,traffic sampling measurement and traffic measurement model inthe world.Some questions about the improvement of traffic sampling measure and traffic measurement modelhave been presented.Key words:network measurement;traffic measurement;traffic

5、 sampling measurement;traffic measurement model0 引言 近年来,随着用户数量的急速膨胀和业务类型的多样化,Internet 呈爆炸性地增长,人们经常会遇到网络拥塞和服务质量低等一系列问题,加强网络管理和改善网络的运行已成为当务之急.这就需要掌握网络行为的基本特征,发现网络行为变化的基本规律,构造出反映网络行为的数学模型.另一方面,理解网络行为特征是网络规划与建设、网络安全、高性能协议设计等诸多研究工作的重要前提,而网络流量测量和分析是研究网络行为的基础,通过测量和分析,可以为网络行为特征的理解提供真实有效的分析数据.因此网络流量的测量一直为国内外

6、学者和研究机构所关注.1 网络流量测量方法网络流量测量的方法,按照测量的方式通常可分为主动测量和被动测量两种.由于两种方法实现方式的不同以及适用范围不同,所以各有利弊.#78#郑 州 轻 工 业 学 院 学 报(自 然 科 学 版)2005 年 111 主动测量主动测量是为了监测两指定端点之间的性能而向网络中注入流量的方法,跟踪和可视化 Internet 拓扑结构是主动测量最主要的应用,同时主动测量可以探测网络的特定现象.112 被动测量被动测量是直接利用网络中已有的流量,通常采用在网络硬件设备中嵌入智能代理来收集流量信息、监视网络链路的流量,收集到的数据可以用于进行各种流量分析:流量中各种应

7、用成分的分析,报文的长度分布分析,按报文到达的时间分析流量的规律,分析网络的利用率以及各种出错报文的大小分布等.2 网络测量技术网络测量技术始于上世纪 70年代初,发展于80年代,90 年代已渐成体系,在网络测量的方法、工具及流量的测量模型等方面取得了长足的发展.美国在 1992 年开始着手 Internet 特征的研究,其中比较著名的项目有 NIMI1(National InternetMeasurement Infrastructure),它是 Berkeley 大学 VernPaxson 编写的 NPD(Network Probe Daemon)软件的改进结构.NIMI 是一个完整的网络

8、测量基础框架,并且是第一个执行大规模端到端 Internet 行为测量的软件.NIMI 主要采用主动测量技术,在 Internet 网络节点上部署测量探针 NPD,NPD 运行并管理不同的测量工具,协助进行网络性能数据的测量,NPD之间也相互合作交换测试流量从而监测互联网路径性能状况.NIMI 通过NPD 的部署,提供一个开放的平台,能够方便地添加新的测量工具,而且可以承载各种测量工具共同工作,它的体系结构如图 1 所示.图 1 NIMI 网络测量平台的体系结构 与其他的测量系统不同的是,NIMI 的主要目的是要测量全球的 Internet,致力于建立一个总体的可扩展的网络测量基础框架,而不是

9、为特定的分析目标做一组特定的测量操作.虽然NIMI 的结构有很多优势,但它同样存在着很多问题.如果站点的数量太大,就有可能出现系统瘫痪、不能自启动,包过滤的错误配置,NPD测量软件需要更新等情况.如何克服这些问题,有人作了一些探讨,提出了改进的建议,但方案并未实施.因此,在NIMI 基础上提出更合理、更安全的测量基础框架并加以实施,仍需要探索和研究.IPM A2(Internet Performance Measurement andAnalysis)的目标是开发测量工具来执行统计性的测量数据研究.它主要研究 Internet 统计量的两个方面:1)路由稳定性、拓扑和可视化;2)提供性能数据测

10、量.与 NIMI 的特点有所不同,IPMA 致力于在每个网络的切入点(Network Access Points 即 NAP)测量大量的网络和域间路由的统计数据,这些数据对研究NAP 媒体的性能、网络服务的稳定性以及明示早期网络存在的问题提供有价值的信息.在NSF 支持下美国成立了网络应用研究国家实验室 NLANR 3(The National Laboratory for AppliedNetwork Research),性能测量是其主要研究方向之一.NLANR 建立了网络分析基础设施 NAI,它致力于通过对互联网的性能测量和流量测量,理解互联网系统级的服务模型.NLANR 网络测量研究项目

11、主要由被动测量分析 PMA 和主动测量分析AMP 两个研究项目组成.被动测量分析项目,定义了被动包头踪迹文件格式,用于研究高速环境下测量点工作量状况,提供了一些将踪迹文件和原始数据转换成直观统计结果的工具.主动测量分析项目采用全网格结构,即每一个监测点能够测试所有其他点的结构,测试往返时间、包丢失率、拓扑结构等.IETF 网络协议性能指标工作组(IPPM WG)为互联网的测量做了很多工作,拥有众多的 RFC(Requestfor Comments)和实验草案,制定了一些性能指标定义的标准,以应用于互联网数据传输服务的质量、性能和可靠性的测量.这些指标向网络操作者、终端用户和独立的测试组提供无偏

12、差的性能测量.而且,IPPM WG 推动有效指标测量工具和过程的共享,提供一个论坛,共享实施和应用这些指标的信息,但实际的实施和应用并不在工作组范围之内.IPPM WG已经完成的工作包括近期制定的 RFC 和一些协议草案.其框架主要是关于信息分类.除美国外,其他国家也开展了对 Internet 的大规模测量和研究,如加拿大的 TRIUMF 网络监视(主要目的是对国家Internet路径上的包丢失情况和路由 第 2期李 晟等:网络流量测量与分析研究现状及发展趋势#79#特征进行测量)以及新西兰的 WAND(Waikato Ap2plied Network Dynamics)中的被动测量子项目 W

13、ITS(Waikato Internet Traffic Storage)(主要目的是创建用于统计分析和创建模拟模型的 Internet 流量模型)等.欧洲于 1995年也开展了对 Internet 的测量,其中PPNCG(粒子物理网络协作组)是在这方面做得较为成功的一个组织.我国网络的发展起步相对较晚,上世纪 90 年代初才引入 Internet,大规模的快速发展始于 90 年代末,中国科学院计算技术研究所、东南大学、西安交通大学等单位相继开展了网络测量系统和方法的研究工作,与国外的差距正逐步缩小.如可扩展的主动测量模型 NEPM4(Network End2to 2End Performan

14、ceMeasurement)采用主动测量技术,通过在网络中配置少量(N)主动测量器,就可测量许多条路径(N2)的端到端性能.NEPM是一种层次结构的可扩展模型,它的定义为主动测量提供了一个体系结构上的框架.由于以数据流动所处的阶段划分层次,这种层次结构有以下优点:各层次功能和结构相互独立,每个层次可以选用最优的技术,层次间数据接口比较简单,各层易于实现和维护,具有良好的扩展性和开放性.3 网络流量抽样测量随着高速网络技术的发展,网络带宽越来越大,对流量分组进行直接测量几乎不可能.为了解决这一问题,流量抽样测量研究开始成为宽带网络流量测量的重点.高速网络流量抽样测量的目的是抽取流量子集来实现对总

15、体流量信息的估计,抽样理论建立在抽样样本随机性基础上,样本的随机程度越大,对总体信息估计就越精确5)7.1993 年,Claffy等6在进行 NSFNET 主干流量测量时,首次采用了网络流量抽样测量技术,使用基于事件和时间驱动的经典静态抽样方法,有效地减少了网络管理节点所需捕获和处理的报文数.Drobisz等7认为静态抽样方法没有充分利用网络管理节点的处理能力,在流量的高峰期使用静态抽样方法进行抽样,网络管理节点超负荷工作导致了丢失样本分组的情况,结果使得采集的数据不能准确地反映峰值的状况.然而,在低负载的情况下,网络管理节点有充足的空闲时间,这时如果采用更小的抽样粒度的话,网络管理节点可以更

16、准确地刻画网络流量特征.因此,他们对 Claffy 的静态抽样方法进行了改进,提出了一种自适应的抽样方法,这种方法在测量过程中监视 CPU 的利用率,通过将 CPU的利用率保持在一个期望达到的目标值的前提下,不断动态地调整抽样粒度,在充分利用 CPU 的处理能力的前提下又能尽可能多地采集样本分组,较之静态抽样测量方法,提高了抽样测量的准确性.IETF 的分组抽样测量工作组 PSAMP 建议流量抽样测量模型简单且能够满足各种测量应用要求.RFC2330 在分析了抽样测量的随机性后提出了几种普遍采用的抽样方式8.1)周期抽样:这是使用固定时间间隔的抽样方法.这种方法比较简单,但存在两个潜在的问题.

17、其一,如果被测量的参数本身具有周期性行为,那么抽样可能会仅仅观察到周期行为的一部分,这会使抽样不能真实反映出被测参数的全部特性;其二,周期性的抽样行为可能会干扰被测量的对象.2)随机附加抽样:这是一种更加合理的抽样方法,在这种方法中,样本之间是相互独立的,随机附加抽样有明显的优点,通常它避免了同步效应并且得到被抽样属性的无偏估计.但它的缺点是由于样本不是按照傅里叶变换技术所假定的以固定间隔产生,抽样样本的频域分析较为复杂.3)泊松抽样:新样本的到达是不可预测的,即抽样是无偏的,每一个随机过程的到达都以同样的概率被采集得到.4)几何抽样:这种方法与泊松抽样有密切的关系,并具有与泊松抽样同样的无偏

18、性和不可预测性.文献9通过对 CERNET 主干链路的数亿个 IP报文的统计分析,发现报文标识字段各比特具有很高的随机性且独立分布,并提出基于报文标识的多掩码抽样测量模型.该模型能保证抽样样本统计上的随机性,又能保证测量点之间的一致性.它使用一个抽样掩码匹配报文中某些固定的比特来实现抽样测量.通过 CERNET 主干某一路由器流量的分析,发现 IP 报文头的标识字段 16 位可以作为匹配比特串,并分析抽样样本的随机性.研究表明抽样模型效果显著.文献10 在分析了基于 PIT(Packet InterarrivalTime)的自适应抽样方法中以包到达间隔 PIT 作为控制下次抽样周期的主要参数的

19、缺点后,提出了基于延迟变化率的网络延迟自适应抽样算法,算法中以延迟变化率作为控制下次抽样周期的主要参数.通过在两个不同网段的主机之间进行实际测量后发现基于延迟变化率的自适应算法能根据网络延迟的变化率自动调整网络延迟抽样频率.当网络处于稳定状态时延迟变化率小,只需用较低频率进行抽样就能很好地跟踪网络延迟的变化,当网络处于突发#80#郑 州 轻 工 业 学 院 学 报(自 然 科 学 版)2005 年 状态时延迟变化率大,必须用较高频率进行抽样才能很好地跟踪网络延迟的变化,自适应算法能够自动调节抽样频率.4 网络流量测量模型对采集到的数据进行分析后发现,Internet 业务量的高突发性以及网络的

20、异构性使得 Internet 网络呈现复杂的非线性,目前还没有很好的流量模型来拟合.Poisson 模型初期被用来描述数据网络的流量11.这种模型的建立条件为:1)数据流产生的时间间隔为指数分布,即数据流到达过程为 Poisson 过程;2)数据流产生的分组的长度服从指数分布.同时1)和 2)相互独立.按照这个统计概率,累计流量应趋于平均值,但实测结果有出入.因此 Paxon 在1997年又指出,在多时间尺度(ms 至 h),网络的业务流在几 ms 至几 h 甚至几 d 的时间段上,均表现出很强的突发性.传统的泊松模型包括与泊松相关的模型已不再适用.网络流量呈现长相关性(具有自相似性).文献1

21、2对VBR 业务流进行了监测和分析,结果表明,VBR视频业务也具有统计自相似性.总的来说,网络流量呈现复杂的非线性,但是日、月流量图还是呈现出一定的自相似性,因而更证明流量的自相似性有一定的时间范围.不同的时间粒度,网络的流量呈现不同的特性13.从目前的研究看,网络流量模型的发展大约朝两个方向:1)利用传统的时间序列模型.对于平稳过程用 AR 或ARM A 模型,对于 Internet 这样的非平稳过程应用ARIM A 模型 和 ARIMA 季节 性模型 来描述5,13.2)以 Cruz为代表的采用非概率统计的方法,建立一个突发性约束的流量模型14,给出网络流量上界和平均网络流量的上界,从而避

22、免了传统的基于概率统计的网络分析方法.流量行为的研究已引起众多科研工作者的重视并取得了一定的成果.但目前流量行为分析主要停留在微观时间尺度领域 5,在宽的时间范围内,目前还没有一个精确、稳定、成熟且简便易行的模型来分析现行复杂的 Internet 网络流量行为,这是今后主要研究的方向之一.5 结语Internet 的发展十分迅速,但 Internet 管理和控制、测量方法和测量工具、流量模型等方面都许多问题需要研究,尤其是新一代 Internet 网络规模进一步扩大,网络流量高速增长,IPV6,IPV4 双协议的使用,以及原有的 Internet 的异构性、可扩展性等,使得网络管理和网络规划进

23、入了一个更为复杂的阶段,网络测量也面临着新的课题,网络测量技术研究也将进一步完善和更新.参考文献:1 Vern Paxson,Jamshid Mahdavi.An architecture for large 2scale Internet measurement J.IEEE Communications,1998,36(8):48)54.2 Les Cottrel.Comparison of some internet active end 2to 2endperformance measurement Projeots R.Les Cottrell:SLAC ofstanfordUniv

24、ersity,1999.3 Mcgregor A J,Braun A2W,Brown J A.The NLAR networksanalysis infrastructure J.IEEE Communications,2000,38(5):122)128.4 张文杰,钱德沛,张兴军,等.分布式互联网流量监测模型的研究与实现 J1 西安交通大学学报,2002,36(8):814)817.5 程光,龚俭.大规模高速网络流量测量研究 J.计算机工程与应用,2002,38(5):17)18.6 Claffy Kc,Polyzos G,B raun H.Appliction of SamplingMe

25、thodologies to Network Traffic Characterization C.SanFranciscoCalifornia:Proceedings of ACMSIGCOM M.93AC MPress,1993.194)203.7 Drobisz Jack,Kenneth J Christensen.Adaptive SamplingMethods toDetermine Network Traffic Statistics including theHurst Parameter C.Boston Massachusetts:23rd AnnualConference

26、on Local Computer Networks IEEE Computer So2ciety,1998.238)23918 Paxson V,Almes G,Mahdavi J.Framework for IP Perfor2mance MetricsR.USA:IETF RFC2330,1998.9 程光,龚俭,丁伟.基于分组标识的网络流量抽样测量模型 J1 电子学报,2002,30(12A):1986)1990.10 温辉敏,魏恒义,曾明,等1 一种基于延迟变化率的网络延迟自适应采样算法 J.微电子学与计算机,2003,20(11):8)11.11 Paxson V,Flod S 1

27、Wide 2area Traffic:The failure of Poissonmodeling C.London:Proc of the ACM SIGCOM M.94ACM Press,1994.257)268.12 Garrett M W.Willinger W,Analysis,Modeling and Genera2tion of Self 2Similar VBR Video TrafficC.London:Proc.ofthe AC M Sigcomm.94 AC M Press,1994.269)280113 吕军,李星.网络测量分析及研究综述 J1 计算机工程与应用,2003,39(24):19)20.14 Rene LCruz.A calculus for network delay,partl:network el2ements in isolation J.IEEE Transtraction on InformationTheory,1991,(1):114)131.