2022年网络流量分析解决方案技术白皮书 .pdf

网络流量分析解决方案技术白皮书 V 1.0 Huawei-3Com Technologies Co., Ltd. 华为3Com 技术有限公司All rights reserved 版权所有侵权必究名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 22 页 - - - - - - - - - Catalog 目录1方案背景 .22NetStream 技术介绍 .22.1“流”概念 .22.2NetStream技术 .33NTA解决方案介绍 .43.1NTA 系统组成 .43.2NTE设备功能 .53.3NTC设备功能 .53.4NTP设备功能 .53.5报表功能 .53.6报表展示 .74DIG采集设备 .134.1DIG日志 .134.2DIG采集设备 .145NTA解决方案的典型组网.146NTA的应用场景 .156.1网络优化 .166.2网络规划参考 .166.3WAN 流量监测 .176.4网络流量异常监测.187方案特点 .188结束语 .19Figure List 图目录图1 网络中流的举例说明.3图2 Network Traffic Analyze 各组成部分的关系.4图3 流量统计报表 .8图4 应用统计报表 .8图5 应用明细报表 .9图6 来源统计报表 .10图7 来源明细报表 .10图8 目的统计报表 .11图9 目的明细报表 .12图10 会话统计报表 .12图11 会话明细报表 .13名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 22 页 - - - - - - - - - 图12 NTA解决方案典型组网 .15图13 网络优化的应用场景.16图14 网络规划参考应用场景.17图15 WAN 流量监测应用场景 .17图16 网络流量异常监测应用场景.18名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 22 页 - - - - - - - - - 1网络流量分析解决方案技术白皮书关 键 词： DIG 、NetStream、NTA 、网络流量、网流分析摘要：网络流量分析是一个有助于网络管理者进行网络规划、网络优化、网络监控、流量趋势分析等工作的工具，通过对网络信息流（NetStream）的采集并分析可帮助网络管理者得到网络流量的准确信息，为网络的正常、稳定、可靠运行提供保障。本文档介绍了华为3Com 公司的网络流量分析解决方案（Network Traffic Analysis）的结构组成、 功能、 以及部署建议， 有助于用户更好的理解华为3Com的网络流量分析解决方案的功能和特点。缩略语清单：Noun Explanation 中文解释NTA Network Traffic Analysis 网络流量分析解决方案名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 22 页 - - - - - - - - - 21 方案背景随着网络的应用越来越广泛，规模也随之日渐增长，网络中承载的业务也越来越丰富。企业需要及时的了解到网络中承载的业务，及时的掌握网络流量特征，以便使网络带宽配置最优化，及时解决网络性能问题。目前企业在管理网络当中普遍遭遇到了如下的问题：1、网络的可视性：网络利用率如何？什么样的程序在网络中运行？主要用户有哪些？网络中是否产生异常流量？有没有长期的趋势数据用作网络带宽规划？2、应用的可视性：当前网内有哪些应用？分别产生了多少流量？网络中应用使用的模式是什么？企业内部重要应用执行状况如何？3、用户使用网络模式的可视性：哪些用户产生的流量最多？哪些服务器接收的流量最多？哪些会话产生了流量？分别使用了哪些应用？从这些企业管理网络中所经常遇到的问题来看，需要有一种解决方案能让网络管理人员及时了解到详细的网络使用情形，使网络管理人员及时洞察网络运行状况、及时了解网内应用的执行情况。为了应对企业网络管理中的这些问题，于是，华为3Com 公司的 NTA （Network Traffic Analysis）解决方案应运而生！所谓的工欲善其事，必先利其器，NTA 解决方案可以帮助网络管理人员了解企业内部网络之运行状况， 及时发现并解决网络中的性能瓶颈问题、网络异常现象， 也能方便用户进行网络优化、 网络设备投资、 网络带宽优化等的参考，并方便网络管理员及时解决网络异常问题。2 NetStream技术介绍在理解 Network Traffic Analysis解决方案之前， 首先需要了解 NetStream的一些基本概念，它们是该解决方案的基础。2.1 “流”概念NetStream 的流定义为：由源到目的方向的一系列单向的数据包。NetStream 流是通过 7元组来标识的，即通过接口索引、源IP地址、目的 IP地址、源端口名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 22 页 - - - - - - - - - 21 方案背景随着网络的应用越来越广泛，规模也随之日渐增长，网络中承载的业务也越来越丰富。企业需要及时的了解到网络中承载的业务，及时的掌握网络流量特征，以便使网络带宽配置最优化，及时解决网络性能问题。目前企业在管理网络当中普遍遭遇到了如下的问题：1、网络的可视性：网络利用率如何？什么样的程序在网络中运行？主要用户有哪些？网络中是否产生异常流量？有没有长期的趋势数据用作网络带宽规划？2、应用的可视性：当前网内有哪些应用？分别产生了多少流量？网络中应用使用的模式是什么？企业内部重要应用执行状况如何？3、用户使用网络模式的可视性：哪些用户产生的流量最多？哪些服务器接收的流量最多？哪些会话产生了流量？分别使用了哪些应用？从这些企业管理网络中所经常遇到的问题来看，需要有一种解决方案能让网络管理人员及时了解到详细的网络使用情形，使网络管理人员及时洞察网络运行状况、及时了解网内应用的执行情况。为了应对企业网络管理中的这些问题，于是，华为3Com 公司的 NTA （Network Traffic Analysis）解决方案应运而生！所谓的工欲善其事，必先利其器，NTA 解决方案可以帮助网络管理人员了解企业内部网络之运行状况， 及时发现并解决网络中的性能瓶颈问题、网络异常现象， 也能方便用户进行网络优化、 网络设备投资、 网络带宽优化等的参考，并方便网络管理员及时解决网络异常问题。2 NetStream技术介绍在理解 Network Traffic Analysis解决方案之前， 首先需要了解 NetStream的一些基本概念，它们是该解决方案的基础。2.1 “流”概念NetStream 的流定义为：由源到目的方向的一系列单向的数据包。NetStream 流是通过 7元组来标识的，即通过接口索引、源IP地址、目的 IP地址、源端口名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 22 页 - - - - - - - - - 4据库，并进行进一步的分析处理。NetStream 技术可利用网络中数据流创造价值，并可在最大限度减小对路由器/ 交换机性能影响的前提下提供详细的数据流统计信息。3 NTA解决方案介绍3.1 NTA系统组成Network Traffic Analysis解决方案包括：网流采样设备（NetTraffic Exporter ）、网流流采集设备（ NetTraffic Collector ）、数据分析处理设备（NetTraffic Processor ），三个设备之间的关系如下图所示：NTC网流采集器(XLog)NTP网流分析器(XLog)PacketNTE网络设备Netstream图2 Network Traffic Analyze各组成部分的关系NTE 负责流量的采集和发送，NTC 设备负责收集和存储NTE 发来的流量统计数据信息；NTP从数据库中获取收集到的数据，经分析加工后以直观的图表、报表等方式为网络规划、网络优化、网络监控、流量趋势分析、异常检测等提供直接的数据依据。1）NetTraffic Exporter 提供 NetStream 技术接口的网络设备（华为3com公司的路由器和交换机及华为公司的路由器），负责对设备各个端口进出的网络报文进行流分类统计，然后打包输出。2）NetTraffic Collector NTC 可以采集多个 NTE 设备输出的数据， 对数据进行过滤和聚合，并将数据存储在数据库中供分析处理。3）NetTraffic Processor 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 22 页 - - - - - - - - - 5NTP是一个网络流量的分析工具，对采集来的流量数据进行分析处理。为便于网络管理人员的操作，采用基于Web形式访问，提供直观的、图形化的管理界面，所有数据输出都以友好的形式直接在Web页面中显示。3.2 NTE设备功能作为支持 NetStream的网络设备，首先需要打开网络设备的侦听端口，然后配置将NetStream日志要发送到哪个IP的哪个端口（即NTC 设备的监听端口）。这样，设备就会把NetStream日志以 UDP包的形式发往NTC ，而 NTC 则可从侦听端口源源不断的接收NetStream日志。3.3 NTC设备功能NetStream日志被 NTC设备采集到之后，将会做聚合处理，这样可减少最终存入数据库的的数据量， 并提高了分析的效率；同时， NTC设备也会对存入数据库的数据作进一步的统计处理，以便快速产生各类分析报表。3.4 NTP设备功能NTP 对 NTC 生成的所有数据进行分析，对数据进行二次聚合、统计分析，分析的结果以非常直观的图表、表格等形式展示给用户，通过这些分析结果，用户可以监控网络使用状况、应用使用状况、用户网络访问行为，并可监控到流量异常状况以便用户进一步做分析。3.5 报表功能用户可根据统计分析的需求，自定义报表生成规则，由报表引擎生成报表，并将统计分析的结果以饼图、曲线图、统计信息表格等直观的形态展示出来。当前实现的报表功能列表和简要说明如下：功能类别功能项目功能说明设备接口自动识别对指定的设备（设备IP 地址、团体字），自动发现其各种接口配置功能设备物理端口的流量统对指定的设备的物理端口流量通过SNMP 方式进名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 22 页 - - - - - - - - - 6计行统计接口组设置对自动发现的接口按组进行分类，并按组进行统计设置应用聚合策略设置统计实时性系统参数设置设置 TopN 的 N 值大小，数据保存时间，以及磁盘使用方面的信息应用管理设置修改预先定义好的网络应用的端口号和协议号，以及新增未知网络应用的端口号和协议号设备接口流量统计显示设备各个接口的流量值和接口的带宽占用率基于接口的流量分布指定设备、接口和时间段，显示其流量在这段时间的趋势图基于接口的应用分布指 定 设 备 、接 口 和时 间 段 ，显 示 其 各种 应 用（TopN ）流量在一段时间的趋势图和比例基于接口的源IP TopN指定设备、接口和时间段，显示其流量排名靠前的 TopN 源 IP 地址以及流量值和占用流量的比例基 于 接 口 的 目 的IP TopN 指定设备、接口和时间段，显示其流量排名靠前的 TopN 目的 IP 地址以及流量值和占用流量的比例基于接口的会话TopN 指定设备、接口和时间段，显示其流量排名靠前的 TopN 源和目的 IP 会话以及流量值和占用流量的比例分析功能基 于 接 口 的 应 用 相 关指定设备、接口，在应用流量趋势图中，查看指名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 22 页 - - - - - - - - - 7TopN源 IP 和目的IP列表定应用的 TopN 源 IP 地址和 TopN 目的 IP 地址基于接口的TopN 源IP 相关的应用TopN 列表和会话TopN 目的 IP列表指定设备、接口，在源IP TopN列表中，查看指定源 IP 地址的应用TopN 排名和会话TopN 的目的 IP 地址基于接口的TopN 目的IP 相关的应用TopN 列表和会话 TopN 源 IP 列表指定设备、接口，在目的IP TopN列表中，查看指定目的 IP 地址的应用TopN 排名和会话TopN的源 IP 地址基于接口的TopN 会话相关的应用明细指定设备、接口，在会话TopN 列表中，查看其会话的应用明细列表流量值和所占比例支持周期报表提供网流周期性(每小时、 每日、 每周、每月 )状态的综合报表，提供直观的网流状态展示。支持即时报表提供网流当前状态（最近一小时）的综合报表，提供准实时的网络流量展示。3.6 报表展示目前对于 NetStreamV5 日志， NTP 提供以下统计分析报表：1、流量统计报表-给出一段时间内入出流量的趋势图，以及按入出流量统计总流量、最大速率、最小速率、平均速率，并给出流量明细信息：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 22 页 - - - - - - - - - 8图3 流量统计报表2、应用统计报表-给出一段时间内流入、流出的各种应用以及趋势图。图4 应用统计报表名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 22 页 - - - - - - - - - 93、应用明细报表-给出应用统计报表中某个应用的明细信息，包含该应用的趋势、使用该应用源节点以及目的节点应用统计报表-给出一段时间内流入、流出的各种应用以及趋势图。图5 应用明细报表4、来源统计报表-给出一段时间内，作为源IP的各个节点产生的流量的信息。以饼图的形式展示，并给出产生流量最多的节点：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 22 页 - - - - - - - - - 10图6 来源统计报表5、 来源明细报表 -给出来源统计报表中某个节点的明细信息。并给出与源节点通信的top目的节点以及与源节点通信的top应用：图7 来源明细报表名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 22 页 - - - - - - - - - 116、目的统计报表-给出一段时间内，作为目的IP的各个节点接收的流量的统计信息。以饼图的形式展示，并给出接收流量最多的节点图8 目的统计报表7、目的明细报表-给出目的统计报表中某个节点的明细信息。并给出与目的节点通信的top目的节点以及与目的点通信的top应用名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 22 页 - - - - - - - - - 12图9 目的明细报表8、会话统计报表- 给出会话节点流量TOP 分布图，以及会话节点流量TOP 列表图10 会话统计报表9、会话明细报表给出会话统计报表中，某对IP之间在一段时间内产生的流量的趋势，并给出这对IP 之间通信所使用的应用名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 22 页 - - - - - - - - - 13图11 会话明细报表4 DIG采集设备针对一些不支持NetStream 技术的网络设备，华为3com公司还提供了一种DIG采集设备，只要网络设备支持端口镜像，DIG采集设备能直接从镜像端口收集网络流量信息，并形成 DIG日志提供给 NTC/NTP 进行流量分析。4.1 DIG日志DIG日志又称为探针日志，是由探针型采集器（即XLog DIG日志探针组件）直接从交换机的镜像端口、共享式HUB 或分流器中采集用户上网信息，并对访问网络的数据包进行分类统计而生成的日志记录。目前， DIG日志的版本是 1.0 ， DIG1.0日志记录包含以下内容：z开始时间z结束时间z源IP 地址z目的 IP 地址z源端口号z目的端口号z协议类型（目前区分TCP 、UDP 和ICMP三种协议）z输入包个数z输出包个数z输入字节数z输出字节数名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 22 页 - - - - - - - - - 144.2 DIG采集设备DIG日志采集器所需要做的工作是把流经设备端口的数据报文中，按照 DIG日志的数据格式对数据报文进行过滤和统计，最终形成 DIG日志输出。 DIG采集器有以下几种方式对网络设备端口的数据报文进行采集：1、 从镜像端口采集对于支持镜像端口的交换机、路由器设备，可以将镜像端口直接同DIG日志探针组件的采集网卡相连，实现数据采集。此类采集方式，需要设置设备镜像端口，保证镜像端口和采集网卡的类型匹配、带宽匹配。2、 分流器采集在设备不支持镜像端口的情况下，为了不影响设备性能，比较专业的采集方案是采用分流器，从设备端口接收网络数据报文。此方案通常应用于光纤链路，价格高昂。3、 共享式 HUB 采集对于不支持端口镜像的设备，且需要监控的端口带宽小于100M 的情况下， 可以使用共享式HUB 实现对端口数据的采集。但这种方式很容易引起网络单点故障，不推荐使用。DIG日志探针组件对采集到的原始网络报文进行实时处理，需要对报文进行过滤处理，也就是说根据过滤规则，要过滤掉一些不希望继续处理的报文；然后可进行聚合处理，即按照预置聚合条件将多条报文聚合成一条，这样就减少了后续处理以及归档的日志数据量。聚合之后， DIG日志探针组件将会形成DIG日志，并将 DIG日志发送给 NTC/NTP 进行处理。5 NTA解决方案的典型组网利用 NetStream 日志， NTA 提供了一种网络监测、分析的方式，直接从支持NetStream 功能的路由器和交换机中收集流量信息，可以灵活启动不同层面（接入层、汇聚层、核心层）的网络设备进行NetStream 流量日志收集，并将收集的内容以NetStream 格式的日志输出给NTC/NTP 设备进行分析。 用户使用 NTA 的分析功能， 可以做网络使用状况监控、用户行为追踪、异常流量检测等，并且基于功能丰富的报表，用户可以做网络规划方面的决策。NetStream 日志可以开启在路由器中、汇聚层/ 核心层交换机中。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 17 页，共 22 页 - - - - - - - - - 144.2 DIG采集设备DIG日志采集器所需要做的工作是把流经设备端口的数据报文中，按照 DIG日志的数据格式对数据报文进行过滤和统计，最终形成 DIG日志输出。 DIG采集器有以下几种方式对网络设备端口的数据报文进行采集：1、 从镜像端口采集对于支持镜像端口的交换机、路由器设备，可以将镜像端口直接同DIG日志探针组件的采集网卡相连，实现数据采集。此类采集方式，需要设置设备镜像端口，保证镜像端口和采集网卡的类型匹配、带宽匹配。2、 分流器采集在设备不支持镜像端口的情况下，为了不影响设备性能，比较专业的采集方案是采用分流器，从设备端口接收网络数据报文。此方案通常应用于光纤链路，价格高昂。3、 共享式 HUB 采集对于不支持端口镜像的设备，且需要监控的端口带宽小于100M 的情况下， 可以使用共享式HUB 实现对端口数据的采集。但这种方式很容易引起网络单点故障，不推荐使用。DIG日志探针组件对采集到的原始网络报文进行实时处理，需要对报文进行过滤处理，也就是说根据过滤规则，要过滤掉一些不希望继续处理的报文；然后可进行聚合处理，即按照预置聚合条件将多条报文聚合成一条，这样就减少了后续处理以及归档的日志数据量。聚合之后， DIG日志探针组件将会形成DIG日志，并将 DIG日志发送给 NTC/NTP 进行处理。5 NTA解决方案的典型组网利用 NetStream 日志， NTA 提供了一种网络监测、分析的方式，直接从支持NetStream 功能的路由器和交换机中收集流量信息，可以灵活启动不同层面（接入层、汇聚层、核心层）的网络设备进行NetStream 流量日志收集，并将收集的内容以NetStream 格式的日志输出给NTC/NTP 设备进行分析。 用户使用 NTA 的分析功能， 可以做网络使用状况监控、用户行为追踪、异常流量检测等，并且基于功能丰富的报表，用户可以做网络规划方面的决策。NetStream 日志可以开启在路由器中、汇聚层/ 核心层交换机中。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 18 页，共 22 页 - - - - - - - - - 16Where ：网络流量流向何处？利用 NTA 网流分析系统对这些数据进行统计分析，就能从中提取出网络流量特征，从而为网络管理员提供一张丰富而详尽的网络利用视图。6.1 网络优化通过 NTA 解决方案， 可以使网络管理员及时掌握网络负载状况，网内应用资源使用情况，尽早发现网络结构的不合理，或是网络性能瓶颈，尽快作出网络优化方面的决断，使网络带宽分配最优化，为用户提供高品质的网络服务，并且避免了网络带宽和服务器瓶颈问题。图13 网络优化的应用场景6.2 网络规划参考利用 NetStream 流日志以及 NTA 长期监控网络带宽而形成的各类趋势报表，有助于网络管理员跟踪和预测网络链路流量的增长，从而能有效的规划网络升级（例如，增加路由服务、端口或使用更高带宽的接口）。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 19 页，共 22 页 - - - - - - - - - 17图14 网络规划参考应用场景6.3 WAN流量监测对于一个企业来说，WAN 带宽通常是有限的，如果 WAN 链路上的流量增大，通常企业的做法就是进行投资以升级WAN 链路， 但是如果企业能掌握WAN 流量的特征， 制定相应的策略 （比如QoS 和针对源或目的IP地址作流限制） ，就能使 WAN 带宽得到最合理最充分的使用，避免进行不必要的升级投资， 而NTA 解决方案所提供的分析结果能够使网络管理员洞察WAN 链路的流量特征、承载的应用、用户使用状况，从而针对是否应投资升级带宽快速的作出快速响应！图15 WAN 流量监测应用场景名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 20 页，共 22 页 - - - - - - - - - 186.4 网络流量异常监测网络管理员都希望在网络性能突然下降的时候找到“真凶”所在，并迅速解决问题。利用NTA 解决方案提供的某段时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。并根据最终分析结果，网络管理员可快速的解决掉网络异常问题，保证网络正常的运行！图16 网络流量异常监测应用场景7 方案特点1、丰富的应用识别：基于三层协议号、端口号，可识别上千种已知应用（比如：Notes 应用、 FTP 应用、 HTTP 应用等等），并提供应用自定义功能，当网内出现新应用的时候，很容易进行新应用的识别；2、贴近客户的专家级分析报表：提供业界最流行的报表展示形式，如叠加图、饼图等，报表界面美观易用，并从多个分析的角度将分析内容进行了整合，使用户更快速的得到所需要的分析结果；3、准实时的流量监控：NTA 报表支持对流量进行及时的分析，当NetStream 日志或者DIG日志产生之后， 在很短的时间内即可得到分析结果，非常方便用户使用报名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 21 页，共 22 页 - - - - - - - - - 19表进行网络异常问题的定位；4、支持多层次的流量监控：通过与不同层次网络设备的配合，支持对广域网核心层、广域出口、局域网核心层、局域网汇聚层网络流量的监控与分析，实现整网流量多点的可视性。5、更低的全网监控成本：基于现有网络设备，通过增加板卡的方式，或者开启端口镜像功能，在不改变网络拓扑的情况下就能实现网络流量统计，是一种低成本、高性价比、部署灵活的解决方案。8 结束语从以上的介绍内容中不难看出，NTA 解决方案可用于监控日益扩大、业务日益增多的网络的运载状况，及时发现、解决网络异常现象；了解网络资源负载情况、应用使用的趋势状况，以便及时的进行网络优化，避免进行无效的带宽投资；并提供长期趋势分析报表，可作为网络规划的参考。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 22 页，共 22 页 - - - - - - - - -