2022年网络流量分析解决方案技术白皮书HC .pdf

《2022年网络流量分析解决方案技术白皮书HC .pdf》由会员分享，可在线阅读，更多相关《2022年网络流量分析解决方案技术白皮书HC .pdf（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、网络流量分析解决方案技术白皮书关 键 词： DIG 、NetStream、NTA 、网络流量、网流分析摘要：网络流量分析是一个有助于网络管理者进行网络规划、网络优化、网络监控、流量趋势分析等工作的工具，通过对网络信息流（NetStream）的采集并分析可帮助网络管理者得到网络流量的准确信息，为网络的正常、稳定、可靠运行提供保障。本文档介绍了H3C 公司的网络流量分析解决方案（Network Traffic Analysis）的结构组成、功能、以及部署建议，有助于用户更好的理解H3C 的网络流量分析解决方案的功能和特点。缩略语清单：NounExplanation中文解释NTANetwork Tr

2、affic Analysis网络流量分析解决方案方案背景随着网络的应用越来越广泛，规模也随之日渐增长，网络中承载的业务也越来越丰富。企业需要及时的了解到网络中承载的业务，及时的掌握网络流量特征，以便使网络带宽配置最优化，及时解决网络性能问题。目前企业在管理网络当中普遍遭遇到了如下的问题：1、网络的可视性：网络利用率如何？什么样的程序在网络中运行？主要用户有哪些？网络中是否产生异常流量？有没有长期的趋势数据用作网络带宽规划？2、应用的可视性：当前网内有哪些应用？分别产生了多少流量？网络中应用使用的模式是什么？企业内部重要应用执行状况如何？3、用户使用网络模式的可视性：哪些用户产生的流量最多？哪些

3、服务器接收的流量最多？哪些会话产生了流量？分别使用了哪些应用？从这些企业管理网络中所经常遇到的问题来看，需要有一种解决方案能让网络管理人员及时了解到详细的网络使用情形，使网络管理人员及时洞察网络运行状况、及时了解网内应用的执行情况。为了应对企业网络管理中的这些问题，于是，H3C公司的 NTA （Network Traffic Analysis）解决方案应运而生！所谓的工欲善其事，必先利其器，NTA 解决方案可以帮助网络管理人员了解企业内部网络之运行状况，及时发现并解决网络中的性能瓶颈问题、网络异常现象，也能方便用户进行网络优化、网络设备投资、网络带宽优化等的参考，并方便网络管理员及时解决网络异

4、常问题。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 15 页 - - - - - - - - - NetStream技术介绍在理解 Network Traffic Analysis解决方案之前，首先需要了解NetStream的一些基本概念，它们是该解决方案的基础。“流”概念NetStream的流定义为：由源到目的方向的一系列单向的数据包。NetStream流是通过 7元组来标识的，即通过接口索引、源IP地址、目的 IP地址、源端口号、目的端口号、协议号和ToS组成的七

5、元组确定一个NetStream流，设备根据七元组信息对过往的数据包进行NetStream统计。下图中就包括四条流：从 Client A 到 WWW Server方向通信时产生的流；从 WWW Server到 Client A方向通信时产生的流；从 Client B 到 FTP Server方向通信时产生的流；从 FTP Server到 Client B 方向通信时产生的流；图1 网络中流的举例说明从上例中可以很容易地理解，流是单向的，同时流也是基于协议的。形象地说，通过NetStream流可以记录下来网络中 who、what、when、 where、how。NetStream技术NetStre

6、am是H3C公司基于“流”的概念，定义了一种用于路由器/交换机输出网络流量的统计数据的方法，路由器/交换机对通过其的IP数据包进行统计和分析，并上报给网流采集器，网流采集器把搜集的数据包及统计数据传送到网流分析器，经合并处理后存入数据库，并进行进一步的分析处理。NetStream技术可利用网络中数据流创造价值，并可在最大限度减小对路由器/交换机性能影响的前提下提供详细的数据流统计信息。NTA 解决方案介绍名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 15 页 - - -

7、 - - - - - - NTA 系统组成Network Traffic Analysis解决方案包括： 网流采样设备 （NetTraffic Exporter ） 、 网流流采集设备 （NetTraffic Collector） 、数据分析处理设备（NetTraffic Processor ），三个设备之间的关系如下图所示：图2 Network Traffic Analyze各组成部分的关系NTE 负责流量的采集和发送，NTC 设备负责收集和存储NTE 发来的流量统计数据信息；NTP从数据库中获取收集到的数据，经分析加工后以直观的图表、报表等方式为网络规划、网络优化、网络监控、流量趋势分析、

8、异常检测等提供直接的数据依据。1） NetTraffic Exporter提供 NetStream技术接口的网络设备（ H3C公司的路由器和交换机及华为公司的路由器），负责对设备各个端口进出的网络报文进行流分类统计，然后打包输出。2） NetTraffic CollectorNTC 可以采集多个NTE 设备输出的数据，对数据进行过滤和聚合，并将数据存储在数据库中供分析处理。3） NetTraffic ProcessorNTP是一个网络流量的分析工具，对采集来的流量数据进行分析处理。为便于网络管理人员的操作，采用基于Web形式访问，提供直观的、图形化的管理界面，所有数据输出都以友好的形式直接在W

9、eb页面中显示。NTE 设备功能作为支持 NetStream的网络设备，首先需要打开网络设备的侦听端口，然后配置将NetStream日志要发送到哪个IP的哪个端口（即NTC 设备的监听端口）。这样，设备就会把NetStream日志以 UDP包的形式发往NTC ，而 NTC 则可从侦听端口源源不断的接收NetStream日志。NTC 设备功能NetStream日志被 NTC 设备采集到之后，将会做聚合处理，这样可减少最终存入数据库的的数据量，并提高了分析名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - -

10、- - - 第 3 页，共 15 页 - - - - - - - - - 的效率；同时，NTC 设备也会对存入数据库的数据作进一步的统计处理，以便快速产生各类分析报表。NTP 设备功能NTP 对 NTC 生成的所有数据进行分析，对数据进行二次聚合、统计分析， 分析的结果以非常直观的图表、表格等形式展示给用户，通过这些分析结果，用户可以监控网络使用状况、应用使用状况、 用户网络访问行为，并可监控到流量异常状况以便用户进一步做分析。报表功能用户可根据统计分析的需求，自定义报表生成规则，由报表引擎生成报表，并将统计分析的结果以饼图、曲线图、统计信息表格等直观的形态展示出来。当前实现的报表功能列表和简

11、要说明如下：功能类别功能项目功能说明配置功能设备接口自动识别对指定的设备（设备IP 地址、团体字），自动发现其各种接口设备物理端口的流量统计对指定的设备的物理端口流量通过SNMP方式进行统计接口组设置对自动发现的接口按组进行分类，并按组进行统计设置应用聚合策略设置统计实时性系统参数设置设置 TopN 的 N 值大小，数据保存时间，以及磁盘使用方面的信息应用管理设置修改预先定义好的网络应用的端口号和协议号，以及新增未知网络应用的端口号和协议号分析功能设备接口流量统计显示设备各个接口的流量值和接口的带宽占用率基于接口的流量分布指定设备、接口和时间段，显示其流量在这段时间的趋势图基于接口的应用分布指

12、定设备、接口和时间段，显示其各种应用（TopN ）流量在一段时间的趋势图和比名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 15 页 - - - - - - - - - 例基于接口的源IP TopN指定设备、接口和时间段，显示其流量排名靠前的 TopN 源 IP 地址以及流量值和占用流量的比例基于接口的目的 IP TopN指定设备、接口和时间段，显示其流量排名靠前的 TopN 目的 IP 地址以及流量值和占用流量的比例基于接口的会话 TopN指定设备、接口和时间段，显示其

13、流量排名靠前的 TopN 源和目的 IP 会话以及流量值和占用流量的比例基于接口的应用 相 关TopN源 IP 和目的 IP列表指定设备、接口，在应用流量趋势图中，查看指定应用的TopN 源 IP 地址和 TopN目的 IP 地址基 于 接 口 的TopN 源 IP 相关的应用TopN列 表 和会话TopN目的 IP 列表指定设备、接口，在源IP TopN列表中，查看指定源IP 地址的应用TopN 排名和会话 TopN 的目的 IP 地址基 于 接 口 的TopN 目的IP相 关 的 应 用TopN列 表 和会话TopN源IP 列表指定设备、 接口，在目的 IP TopN列表中，查看指定目的I

14、P 地址的应用TopN 排名和会话 TopN 的源 IP 地址基 于 接 口 的TopN 会 话 相关的应用明细指定设备、接口，在会话TopN 列表中，查看其会话的应用明细列表流量值和所占比例支持周期报表提供网流周期性(每小时、每日、每周、每月)状态的综合报表，提供直观的网流状态展示。支持即时报表提供网流当前状态（最近一小时）的综合报表，提供准实时的网络流量展示。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 15 页 - - - - - - - - - 报表展示目前对于

15、 NetStreamV5 日志，NTP提供以下统计分析报表：1、流量统计报表-给出一段时间内入出流量的趋势图，以及按入出流量统计总流量、最大速率、最小速率、平均速率，并给出流量明细信息：图3 流量统计报表2、应用统计报表-给出一段时间内流入、流出的各种应用以及趋势图。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 15 页 - - - - - - - - - 图4 应用统计报表3、应用明细报表-给出应用统计报表中某个应用的明细信息，包含该应用的趋势、使用该应用源节点以及目

16、的节点应用统计报表-给出一段时间内流入、流出的各种应用以及趋势图。图5 应用明细报表4、来源统计报表-给出一段时间内，作为源IP的各个节点产生的流量的信息。以饼图的形式展示，并给出产生流量最多的节点：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 15 页 - - - - - - - - - 图6 来源统计报表5、来源明细报表-给出来源统计报表中某个节点的明细信息。并给出与源节点通信的top目的节点以及与源节点通信的 top应用：图7 来源明细报表名师资料总结 - - -

17、精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 15 页 - - - - - - - - - 6、目的统计报表-给出一段时间内，作为目的IP的各个节点接收的流量的统计信息。以饼图的形式展示，并给出接收流量最多的节点图8 目的统计报表7、目的明细报表-给出目的统计报表中某个节点的明细信息。并给出与目的节点通信的top目的节点以及与目的点通信的 top应用图9 目的明细报表名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理

18、- - - - - - - 第 9 页，共 15 页 - - - - - - - - - 8、会话统计报表-给出会话节点流量TOP分布图，以及会话节点流量TOP列表图10 会话统计报表9、会话明细报表给出会话统计报表中，某对IP之间在一段时间内产生的流量的趋势，并给出这对IP之间通信所使用的应用图11 会话明细报表名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 15 页 - - - - - - - - - DIG 采集设备针对一些不支持NetStream技术的网络设备，

19、H3C公司还提供了一种DIG 采集设备， 只要网络设备支持端口镜像，DIG采集设备能直接从镜像端口收集网络流量信息，并形成DIG 日志提供给 NTC/NTP 进行流量分析。DIG 日志DIG 日志又称为探针日志，是由探针型采集器（即XLog DIG 日志探针组件）直接从交换机的镜像端口、共享式 HUB或分流器中采集用户上网信息，并对访问网络的数据包进行分类统计而生成的日志记录。目前， DIG 日志的版本是1.0，DIG1.0 日志记录包含以下内容：开始时间结束时间源IP地址目的 IP地址源端口号目的端口号协议类型（目前区分TCP、UDP和ICMP 三种协议）输入包个数输出包个数输入字节数输出字

20、节数DIG 采集设备DIG 日志采集器所需要做的工作是把流经设备端口的数据报文中，按照DIG日志的数据格式对数据报文进行过滤和统计，最终形成DIG 日志输出。 DIG 采集器有以下几种方式对网络设备端口的数据报文进行采集：1、 从镜像端口采集对于支持镜像端口的交换机、路由器设备，可以将镜像端口直接同DIG日志探针组件的采集网卡相连，实现数据采集。此类采集方式，需要设置设备镜像端口，保证镜像端口和采集网卡的类型匹配、带宽匹配。2、 分流器采集在设备不支持镜像端口的情况下，为了不影响设备性能，比较专业的采集方案是采用分流器，从设备端口接收网络数据报文。此方案通常应用于光纤链路，价格高昂。3、 共享

21、式 HUB 采集名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 15 页 - - - - - - - - - 对于不支持端口镜像的设备，且需要监控的端口带宽小于100M 的情况下，可以使用共享式HUB 实现对端口数据的采集。但这种方式很容易引起网络单点故障，不推荐使用。DIG 日志探针组件对采集到的原始网络报文进行实时处理，需要对报文进行过滤处理，也就是说根据过滤规则，要过滤掉一些不希望继续处理的报文；然后可进行聚合处理，即按照预置聚合条件将多条报文聚合成一条，这样就减

22、少了后续处理以及归档的日志数据量。聚合之后，DIG日志探针组件将会形成DIG 日志，并将 DIG 日志发送给 NTC/NTP 进行处理。NTA 解决方案的典型组网利用 NetStream日志， NTA 提供了一种网络监测、分析的方式，直接从支持NetStream功能的路由器和交换机中收集流量信息，可以灵活启动不同层面（接入层、汇聚层、核心层）的网络设备进行NetStream流量日志收集，并将收集的内容以 NetStream 格式的日志输出给NTC/NTP 设备进行分析。用户使用NTA 的分析功能，可以做网络使用状况监控、用户行为追踪、异常流量检测等，并且基于功能丰富的报表，用户可以做网络规划方

23、面的决策。NetStream日志可以开启在路由器中、汇聚层/核心层交换机中。图12 NTA 解决方案典型组网NTA 的应用场景名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 15 页 - - - - - - - - - NetStream技术定义了一种路由器/交换机向管理系统输出流量数据的方法，通过采集和分析流量数据，并将流量数据与管理控制台中的其他网络和应用性能指标建立关系，对网络运行状态进行管理。NetStream技术的 IP网络流量数据报文中包含许多有价值的流量统

24、计数据，这些流信息充分揭示了有关网络使用的“4W ”问题：Who：谁（ IP）使用了网络？What：网络流量的类型是什么？When：在什么时间使用网络，使用了多长时间？Where：网络流量流向何处？利用 NTA 网流分析系统对这些数据进行统计分析，就能从中提取出网络流量特征，从而为网络管理员提供一张丰富而详尽的网络利用视图。网络优化通过 NTA 解决方案，可以使网络管理员及时掌握网络负载状况，网内应用资源使用情况，尽早发现网络结构的不合理，或是网络性能瓶颈，尽快作出网络优化方面的决断，使网络带宽分配最优化，为用户提供高品质的网络服务，并且避免了网络带宽和服务器瓶颈问题。图13 网络优化的应用场

25、景网络规划参考利用 NetStream流日志以及 NTA 长期监控网络带宽而形成的各类趋势报表，有助于网络管理员跟踪和预测网络链路流量的增长，从而能有效的规划网络升级（例如，增加路由服务、端口或使用更高带宽的接口）。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 15 页 - - - - - - - - - 图14 网络规划参考应用场景1.1WAN 流量监测对于一个企业来说，WAN 带宽通常是有限的，如果WAN 链路上的流量增大，通常企业的做法就是进行投资以升级WAN

26、链路，但是如果企业能掌握WAN 流量的特征，制定相应的策略（比如QoS和针对源或目的IP地址作流限制），就能使 WAN 带宽得到最合理最充分的使用，避免进行不必要的升级投资，而NTA 解决方案所提供的分析结果能够使网络管理员洞察 WAN 链路的流量特征、承载的应用、用户使用状况，从而针对是否应投资升级带宽快速的作出快速响应！图15 WAN 流量监测应用场景1.2网络流量异常监测网络管理员都希望在网络性能突然下降的时候找到“真凶”所在，并迅速解决问题。利用NTA 解决方案提供的某段时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些用户产生了最

27、多的流量、使用了哪些应用以至于网络运转出现性能问题。并根据最终分析结果，网络管理员可快速的解名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 15 页 - - - - - - - - - 决掉网络异常问题，保证网络正常的运行！图16 网络流量异常监测应用场景方案特点丰富的应用识别：基于三层协议号、端口号，可识别上千种已知应用（比如：Notes应用、 FTP应用、 HTTP 应用等等），并提供应用自定义功能，当网内出现新应用的时候，很容易进行新应用的识别；贴近客户的专家级分

28、析报表：提供业界最流行的报表展示形式，如叠加图、饼图等，报表界面美观易用，并从多个分析的角度将分析内容进行了整合，使用户更快速的得到所需要的分析结果；准实时的流量监控：NTA 报表支持对流量进行及时的分析，当NetStream日志或者 DIG 日志产生之后，在很短的时间内即可得到分析结果，非常方便用户使用报表进行网络异常问题的定位；支持多层次的流量监控：通过与不同层次网络设备的配合，支持对广域网核心层、广域出口、局域网核心层、局域网汇聚层网络流量的监控与分析，实现整网流量多点的可视性。更低的全网监控成本：基于现有网络设备，通过增加板卡的方式，或者开启端口镜像功能，在不改变网络拓扑的情况下就能实现网络流量统计，是一种低成本、高性价比、部署灵活的解决方案。结束语从以上的介绍内容中不难看出，NTA 解决方案可用于监控日益扩大、业务日益增多的网络的运载状况，及时发现、解决网络异常现象；了解网络资源负载情况、应用使用的趋势状况，以便及时的进行网络优化，避免进行无效的带宽投资；并提供长期趋势分析报表，可作为网络规划的参考。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 15 页 - - - - - - - - -