2004 分布式网络测量和分析基础架构研究与实现.pdf

《2004 分布式网络测量和分析基础架构研究与实现.pdf》由会员分享，可在线阅读，更多相关《2004 分布式网络测量和分析基础架构研究与实现.pdf（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2004年3月第27卷增刊北 京 邮 电 大 学 学 报Journal of Beijing University of Posts and TelecommunicationsMar.2004Vol.27 Sup.文章编号:100725321(2004)增20025207分布式网络测量和分析基础架构研究与实现朱畅华,裴昌幸,李建东,彭爱华,肖海云(西安电子科技大学 综合业务网国家重点实验室,西安710071)摘要:提出一种分布式网络测量与分析基础架构(Distributed Network Measurement and AnalysisInfrastructure,DNMAI),采用层次化

2、模型,模块化设计、易扩展.与现有测量框架相比,DNMAI强调根据用户需求定制测量与分析方案,系统化了分析方法和应用场景,可进行单点或分布式多点测量.给出其框架模型、功能部件、关键技术和解决方案,并以端到端时延为例说明DNMAI的应用.关 键 词:互联网;测量框架;分布式体系结构中图分类号:TP393 文献标识码:A收稿日期:2003209215基金项目:国家自然科学基金“基于网络探测的IP网络拓扑发现和性能分析的研究”项目资助(60132030);高等学校优秀青年教师教学科研奖励计划资助项目作者简介:朱畅华(1973),男,博士生.E2mail:hhzhu Research on Distri

3、buted Network Measurement andAnalysis InfrastructureZHU Chang2hua,PEI Chang2xing,LI Jian2dong,PENG Ai2hua,XIAO Hai2yun(State Key Laboratory of Integrated Services Networks,Xidian University,Xian 710071,China)Abstract:A Distributed Network Measurement and Analysis Infrastructure(DNMAI)is presented an

4、d implemented partially,which is designed hierarchically and easy to ex2tend.Compared with the existing infrastructures,DNMAI emphasizes the capability ofcustomization on the scheme of measurement and analysis according to the users re2quirement,expands the analysis methods and application scenarios

5、.Measurement can beimplemented in a single point or many distributed points.The infrastructure model,functional modules,key technologies and implementation approaches are given.Themeasurement and analysis of end2to2end delay is shown as an example of the applicationof DNMAI.Key words:Internet;measur

6、ement infrastructure;distributed architecture网络测量是研究网络行为学(互联网运行规律的科学)的重要方法,对于网络运营与管理、设备研制、网络技术与协议的研发具有重要意义.而系统研究网络测量的体系结构是网络测量及其应用的基础与重要环节.国外已经提出了各种各样的测量体系结构,如NAI(networkanalysis infrastructure)1,NIMI(national internet measurement infrastructure)2,Skitter和CoralReef3,Surveyor4,PingER(ping end2to2end

7、reporting)5,SPAND(shared passive networkdiscovery)6,GIMI(global internet measurement infrastructure)7等.IETF的IPPM(internetperformance metrics)工作组制定了相应的性能指标和测量方法的建议8.国内对网络测量也进行了深入研究,已提出一些测量体系结构,如LIPM(large scale internet performance monitormodel)9,NAPM(network application performance measurement)10等.目

8、前这些测量框架有以下不足之处:缺乏面向应用需求的测量与分析方案定制系统;分析方法不足且比较零散,没有系统化地加入到体系结构中;测量的项目主要限于时延、丢弃率、吞吐率等性能指标,没有考虑各种应用需求,如入侵检测,脆弱性度量等.本文提出的分布式网络测量与分析基础架构DNMAI采用层次化模型,强调根据用户需求定制测量与分析方案的能力,采用模块化、可扩展设计,并完善了分析方法和应用场景,可灵活组织单点或分布式测量.本文给出其框架模型,功能部件,关键技术和解决方案,并以端到端性能(时延)测量与分析需求为例说明DNMAI的应用.1 分布式网络测量和分析基础架构(DNMAI)1.1DNMAI的功能面层次结构

9、如图1所示,DNMAI有4个部分:(1)数据采集:包括主动探测、被动监控和设备网管数据的采集.性能指标(如时延、带宽和丢包率等)主要采用主动测量,根据测试要求定制探测分组序列.业务量测量主要靠被动监控,通过关键设备的配置(如Cisco路由器的NetFlow功能)或分组捕获软件(如Tcpdump)捕获数据包,可根据测试需求定制采集粒度和监控信息.有的测量(如拓扑发现)需要主动探测和网管数据相结合;(2)数据管理:主动探测得的原始数据返回性能分析服务器之前需进行压缩以减轻网络负荷,为防止数据伪造除进行认证外还需加密.被动监控得到的业务量数据在传向数据库前进行预处理,去掉冗余信息.主控站的数据库服务

10、器根据数据类型采取相应存贮、维护和检索策略;(3)数据分析:从3个角度进行分析网络的整体行为11:网络 在节点及链路处设置探针或从被管理节点的网管代理收集业务量数据和网管信息,同时发送探测分组进行端到端测试,对网络内部特征进行推算等方法捕获网络的总体和局部行为;用户 采集用户数据,分析用户行为特征;服务 将服务器和通信网络看图1DNMAI功能面层次图62北 京 邮 电 大 学 学 报 第27卷 作一个整体,考查Web或e2mail服务系统的性能,分析模型参数的影响,注重考查应用级行为(application2level behavior);(4)数据表示:采用图形用户界面,以直方图,二维、三维

11、曲线,扇形图,报表,矢量图,实物连接图等形式表示测量与分析结果.1.2DNMAI的构成模块DNMAI的框架及模块如图2所示,主控站负责接收测量与分析请求,并发出测量与分析指令,实现测量与分析任务的调度以及结果的输出,并负责整个系统的管理.其中测量与分析请求服务代理负责接收用户的测量与分析请求,测量、分析与结果输出方案定制中心能根据用户需求自动定制测量内容,选择测量探针和数据分析方法.数据分析器实现探测结果的分析、关联与表示.通信模块负责与监控站传递控制和数据信息.监控站根据主控站的指令给待测主机和监控点发放探针软件,包括探针软件的配置、升级,并和主控站进行通信.在数据存贮以前,作必要的预处理(

12、包括压缩数据和加密).探针配置模块根据方案定制中心设定的参数对测量探针进行配置.软件测量探针包含两个模块,一个负责和监控站通信,包括探针的调用、配置、状态监控、升级等;另一个执行探测任务.硬件探针为专门设计的测量仪器.只要通信接口符合DNMAI规定,探针可不断增加.主控站的分析器也可扩展.图2DNMAI站点分布与模块图2DNMAI关键技术及实现2.1 同步问题同步是许多性能指标测量的前提,如端到端单向时延.目前,多数端到端时延测量均借助于GPS(global positioning system)接收机或NTP(network time protocol)协议来实现收发主机的时钟同步,采用GP

13、S接收机不但价格贵且与接收环境有关,NTP精度又不够.本文通过测量发送节点接收节点,接收节点发送节点2个方向的单向时延(分组离去和到达时刻采用各自本机时间),假定2个方向的分组传播和处理时延相同(传输和排队时延可不同).采用线性规划法估计收发时钟的初始相差、频差,实现收发时钟的同步.2.2DNMAI测量、分析和结果输出定制测量、分析和结果输出定制是DNMAI的特点之一.整个定制过程由用户以注册表单申请72 增刊朱畅华等:分布式网络测量和分析基础架构研究与实现的方式完成,位于主控站的测量与分析请求服务代理负责整个注册过程,逐步引导用户选择测量与分析选项,注册过程如图3所示(用户可同时选择不同的测

14、量服务,分析选项以及分析方法,图3中仅列出主要的选项).注册完成后由测量、分析和结果输出方案定制中心选择和安排探针、分析方法和结果输出方式,并由通信模块传递给监控站.图3 用户测量与分析请求的注册过程图4DNMAI的工作流程图2.3DNMAI的调度位于主控站的测量与分析任务调度器是DNMAI的指挥中心,根据用户的需要组织测试、分析与结果输出,整个工作流程如图4所示.DNMAI有方便的人机接口,可以预先安装探针,也可以在线申请下载,图4给出典型的工作流程.对于有些测量或监控需采用触发机制,主动发起测试与监控.另外调度器还负责测量探针的升级,维护与扩展.82北 京 邮 电 大 学 学 报 第27卷

15、 2.4 数据分析DNMAI可参照应用需求对测量获得的数据进行有针对性的分析.DNMAI中采用的方法主要有:概率拟合分析(考查数据的分布特征及参数估计,采用x2检验),平稳性检验(考查时变特征,采用预测误差能量准则),非线性检验(给建模提供参考,采用替代数据法),自相似性考查(是否具有长相关性,估计Hurst参数,多分形检验),时间序列分析(AR模型,自适应AR图6 数据格式图5 实际探测的部分拓扑图模型,非线性动力学分析),数据挖掘(提取数据特征,入侵检测引擎等)等.2.5 数据管理与可视化DNMAI中所有测量数据和控制消息的传输都用标准格式进行,大量历史数据用数据库存贮,数据库管理引擎自动

16、完成存取和检索.各种结果以报表、曲线、扇形图、柱状图、实物连接图等方式给出.拓扑的可视化以子网为单位分配节点坐标,逐步扩展递归,以Windows增强型图元文件存贮.图5给出实测的部分拓扑图,只显示了节点编号,没有显示IP地址.2.6 监控站和主控站之间的通信机制DNMAI中监控站和主控站之间由各自的通信模块负责发起和响应对方的请求.我们定义了统一的数据传输格式,如图6所示,并将其封装在TCP中传输.版本号为DNMAI的版本号,测量标识用来区分同一监控站和主控站之间不同的测量任务.类型字段区分不同消息,根据它可实现发起测量、模块升级、参数和测量结果传送、站点配置等任务.3DNMAI应用举例下面以

17、端到端时延为例来说明DNMAI的应用场景.假定一用户请求考查网络节点A到节点B之间的时延变化规律.首先进行注册,选择“性能”“时延”,输入测试点A和B的地址,并选择分析选项.主控站在收到该测量请求后立即定制测量、分析与输出方案:(1)选择端到端时延测量探针DelayProbing,设定探测双方的IP地址,探测分组大小、数目、发送间隔以及原始数据文件名;(2)选择分析方法,包括:非平稳性、非线性、自相似性考查,概率拟合,若线性平稳用AR模型,否则采用自适应泛函网络建模;(3)用曲线显示分析结果.最后形成报告文件,包括测试条件,测试数据及分析结果.具体分析方法为:(1)非线性检验:采用替代数据(s

18、urrogate data)法来检验时间序列的非线性,其基本思想是:首先指定某种线性随机过程为零假设,并依据该假设产生相应的一组替代数据,然后分别比较原始数据和替代数据集的检验统计量,如果原始数据所算的值与替代数据集的值有显著的差异,则拒绝该零假设,说明原始数据中存在非线性成分.本文采用的零假设为 观测数92 增刊朱畅华等:分布式网络测量和分析基础架构研究与实现据由具有原始数据的均值和方差的线性相关高斯过程产生,替代数据产生方法见文献12;(2)自相似性考查:采用方差2时间图来近似考查时延序列的自相似性.设xk是端到端时延序列,其方差为Var(x).令时间序列x(m)i=(xim-m+1+K+

19、xim)/m,i1,m=1,2,3,的方差为Var(x(m),如果有Var(x(m)=Var(x)/m,01,则该序列具有自相似性.对于这样的序列,给定一列m值,计算出x(m)对应的方差值,将它们用对数-对数坐标绘出曲线,该曲线应近似为一条直线,由该直线的斜率-即可估计出Hurst参数,H=1-/2;(3)时延动力学:从系统辨识角度出发研究Internet端到端时延动力学特征,可由希望的输出来选择输入变量的特征.对于非线性系统,我们利用泛函网络FN(functional network)进行系统辨识.输入uk为源端分组发送间隔序列,输出xk为端到端时延.若测得的时延序列呈现长相关性,选择排队时

20、延xk的延时分量xk-1,xk-2,xk-D和uk作为输入(其中,D为延时分量数),输出为xk.采用梯度法进行参数搜索.若呈现非平稳,则采用自适应参数估计方法.图7给出一次时延的测试及分析结果,因为主要考查端到端时延的变化特征,这里给出端到端总的排队时延.由图7(b)得Hurst参数为01789,可见具有一定的自相似性.由图7(c)知替代数据和原始数据得到的检验值分别约为3和712,因此时延序列呈现非线性.由图7(d)可见用自适应泛函网络能准确描述时延的非线性动力学特征.图7 一条链路(拨号2LAN)的测量和分析结果表示4 结束语本文提出的测量与分析框架DNMAI有以下特点:针对应用需求可设计

21、测量、分析与结果03北 京 邮 电 大 学 学 报 第27卷 输出方案;实现了软件工具,时延测量DelayProbe,拓扑发现TopoProbe,瓶颈带宽测量Bbprobe,拓扑可视化TopoView;DNMAI可选择单点、多点、主动、被动测量,或其结合;采用模块化设计,易扩展;可作为第三方的测量平台,实现网络系统的评估或项目验收.DNMAI可以和网管系统融合在一起,此时软件探针包括SNMP代理.下一步的工作是扩大监控站的布置,力图实时绘制网络信息图(Network Information Maps,NetInfoMaps),包含“距离”(包括丢包率、时延、可用带宽、跳数等),拓扑等信息.参考

22、文献:1McGregor T,Braun H,Brown J.The NLANR network analysis infrastructureJ.IEEE CommunicationMagazine,2000,38(5):1222128.2Adams A,et al.Creating a scalable architecture for internet measurementJ/OL.http:/www.isoc.org/in2et98/proceedings/6g/6g1.htm,2001211228.3 Murray M.Internet measurement infrastruc

23、ture J/OL.http:/www.caida.org/analysis/performance/measinfra/,2001211228.4Surveyor.Introduction to the surveyor projectJ/OL.http:/www.advanced.org/csg2ippm/,2002212.5Matthews W,Cottrell Les.PingER project:active internet performance monitoring for the HENP communi2tyJ.IEEE Communication Magazine,200

24、0,38(5):1302136.6Schuppel T.Internet measurementsJ/OL ,http:/user.cs.tu2berlin.de/stain/DILEMMA/paper.html,2001201.7Barford P.Global internet measurement infrastructureJ/OL ,http:/www.cs.wisc.edu/pb/publica2tions.html,2001207.8IETF RFC2330-1998,Framework for IP performance metricsS.9 王继龙,吴建平.大规模计算机网络性能监控模型的设计与实现J.计算机研究与发展,2000,37(4):4432452.10 张文杰,钱德沛,张然 等.互联网应用性能测量系统的研究实现J.计算机研究与发展,2003,40(1):60267.11 朱畅华,裴昌幸,李建东.基于网络、使用者与服务的网络行为研究框架J.东南大学学报,2002,32(增):4072409.12 雷敏,王志中.非线性时间序列的替代数据检验方法研究J.电子与信息学报,2001,23(3):2482253.13 增刊朱畅华等:分布式网络测量和分析基础架构研究与实现