某电业局网络故障诊断案例分析9517.docx

案例分析析某电业局局网络故障障诊断一、 故障描述述故障地点点：某电业局局故障现象象：网络严重重阻塞，内部主主机上网网甚至内内部主机机间的通通讯均时时断时续续。故障详细细描述：网络突然然出现通通讯中断断，某些些VLAAN不能能访问互互联网，且与其它VLAN的访问也会出现中断，在机房中进行ping包测试，发现中心交换机到该VLAN内主机的ping包响应时间较长，且出现间歇性丢包，VLAN与VLAN间的丢包情况则更加严重。二、 故障详细细分析1. 前期分析析初步判断断引起问问题的原原因可能能是：l 交换机AARP表表更新问问题l 广播或路路由环路路故障l 人为或病病毒攻击击需要进一一步获取取的信息：l 网络拓扑扑结构及及正常工工作时的的情况l 交换机AARP表表信息及交换机机负载情情况l 网络中传传输的原原始数据据包2. 具体分析析首先，我我们从网网络管理理员那儿儿，得知知了网络络中主机机共450台左右右，同时时得到了了网络的的简单拓拓扑图，如如图1所示。（图1网网络原始始拓扑简图）从图1可可以知道道，网络络中划分分了6个VLAAN，分别是10.2300.2001.00/244、10.2300.2002.00/244、10.230.2203.0/224、10.2300.2004.00/244、10.2300.2005.00/244、10.2300.2006.00/244、，其中201205这5个VLANN分别用用于一个个部门，而206为服务器专用网段。各VLAN同时连接上中心交换机（Passport 8010），中心交换机再连接到防火墙，由防火墙连接到Internet以及省单位。大致了解解了网络络拓扑后后，我们们以超级级终端方方式登录录中心交交换机，发现交换机的负载较大，立即清除交换机ARP表并重启，但故障仍然存在，于是我们决定对网络进行抓包分析。在中心交交换机（Passspoort 80110）上配配置好端端口镜像像（具体体配置信信息，略），并并将安装装科来网网络分析析系统的的笔记本本接到中中心交换换机的镜镜像口上上，安装好好后网络络的拓扑扑简图如如图2所示。（图2安安装科来来网络分分析系统统后的网网络拓扑扑简图）由于科来来网络分分析系统统可以跨跨VLAAN对数数据进行行捕获分分析，所所以在中中心交换换机上接接入安装装科来网网络分析析系统的的笔记本本后，网网络的拓拓扑结构构并未发发生任何何改变。打开笔记记本上的的科来网网络分析析系统，捕获数据包约1分钟（捕获停止后发现确切时间是53秒）后停止捕获，并对捕获到的数据通讯进行分析。将节点浏浏览器定定位到物物理端点点下的本本地网段段，我们发现MAC地址为为00:00:E8:40:44:99的的主机，下下面共有有40个IP地址，如如图3。（图3定定位本地地网段的的端点视视图）我们知道道，在正正常情况况下，一一个MAC地址下下面出现现多个IP地址，只只可能有有以下几几种情况况之一：网关、代理服服务器、手动绑绑定多个个IP地址。咨询网网络管理理员得知知，该网网段内的的机器均均只绑定定了一个个MAC地址，且且没有代代理服务务器，同同时该MAC也不是是网关MAC地址，由由此，我我们怀疑疑，该主主机可能能存在欺欺骗攻击击。右键单击击图3中的000:000:E88:400:444:999节点，在在弹出的的菜单中中选择“定位浏浏览器节节点(L)”命令，将节节点浏览览器中定定位到000:000:EE8:440:444:999。查查看协议议视图，发现该节点主动发起了22613个ARP回复数据包，而ARP请求数据包只有2个，如图4所示。（图4000:000:EE8:440:444:999主机机通讯的的协议分分布）从图4下下面的数数据包可可以知道道，000:000:E88:400:444:999主动向向网络中中的其它它主机发发出ARP回复数数据包，内内容是告告诉对方方主机，自自己是某某个IP的主机机，而这这个IP在不断断地变化化。由此此可以断断定，MAC地址为为00:00:E8:40:44:99的的机器在在进行ARP欺骗。同时，诊诊断视图图的ARP诊断事事件区时时，也给给出了相相应的提提示信息息，如图图5。（图5000:000:EE8:440:444:999的ARP诊断信信息）经过上面面的分析，我我们确定定00:00:E8:40:44:99存存在ARP欺骗攻攻击，网网管人员员立刻开开始查找找该主机机，由于于他们以以前做了IP与MAC地址的的统计表表，所以以很轻松松地就找到到了该机机器。在在二层交交换机上上拨掉该该主机的的网线，网网络很快快恢复正正常，VLAAN间的内内部访问问和外部部访问（包包括Intternnet和省网网单位）速度均均恢复正正常。另外，从从图3的显示示可知，000:002:BB0:BBC:668:DD2、00:0B:DB:4B:46:811、00:11:25:8D:7D:C1三三台机器器占用的的流量较较大，通通过查看看这几台台机器的的具体流流量后，发发现000:022:B00:BCC:688:D22和00:0B:DB:4B:46:81在在互相进进行数据据拷贝，而而00:11:25:8D:7D:C1对对应的IP地址是10.2300.2004.11，它是10.2300.2004.00/244网段的的网关，占占用较量量较大属于正常常情况。由此基基本断定定网络时时断时续续的根源源即前面面找出的的00:00:E8:40:44:99主主机。找出故障障点，并并帮助网网络恢复复正常后后，我们们因为其其它的事事情离开开了现场场，并未未去排查查00:00:E88:400:444:999的具体体情况。下午接到到电业局局网管人人员的电电话，告告知在找找到MAC地址为为00:00:E8:40:44:99的的主机时时，该用户仅仅在使用WORRD进行行文档编编辑，并并未人为为的进行行攻击，然然后安装装防病毒毒软件并并对该主主机进行行查杀，查查出病毒毒若干，病毒查查杀后，再次将将该主机机接入网网络，网网络通讯讯仍然正正常。由由此得出出引发网网络故障障的原因因是MAC地址为为00:00:E8:40:44:99的的主机感感染蠕虫虫病毒，该该病毒自自动进行行ARP欺骗攻攻击，导导致网络络访问的的时断时时续。三、 总结中大型网网络中，网络故障错综复杂，不借助专业网络分析工具的情况下，很难对故障进行排查，如本例中，如果不对数据包进行捕获，即使在交换机上查看流量，由于00:00:E8:40:44:99的流量并不特别大，所以我们也很难找到故障点。同时，由由于此次次捕获数数据包的的时间较较短，仅仅仅只有有53秒，所所以网络络中可能能还存在在一些未未被检测测出问题题的主机机（这些些主机当当前未启启动，不不会收发发相应数数据包，故故无法查查找）。所以，对对于企业业的网络络运行，需需要网络络管理人人员使用用专用的的网络分分析工具具，对网络进行行长期有有效的监监测和分析，才才可以最最大程度度地排除可能能的网络络故障和和网络安安全威胁胁。成都科来来软件有有限公司司