网络环路排查实战
开头(真实故障场景)
周五下午两点,某制造企业IT群炸了:
“ERP登不上!” “文件服务器ping不通!” “打印机也挂了!”
网管小张冲到机房,发现核心交换机所有端口指示灯都在疯狂闪烁——不是正常的那种闪,是那种"亮到不正常"的狂闪。ping 内网网关,丢包率99%。
整个公司200多台设备,同时失联。
小张第一反应:是不是交换机坏了?准备重启。但重启之前,他做了一件事——看了一眼交换机的CPU利用率。display cpu-usage 显示98%。
交换机没坏。是网络环路了。
为什么环路会让整个网络瘫痪?因为广播帧在环里无限循环,像滚雪球一样越滚越大,最终把交换机的CPU和带宽全部吃光——这就是"广播风暴"。
今天这篇排障日记,就带你从零开始排查网络环路,用华为交换机的原生命令,10分钟定位故障点。
一、环路是怎么产生的?先搞清楚原理
网络环路,说白了就是网络中有"圈"。数据包从一个口进去,绕一圈又从另一个口回来,形成无限循环。
最常见的三种场景:
- 接线错误:两台交换机之间用两根线连了(本该一根),或者一根线的两头插在了同一台交换机的两个口上。
- VLAN配置不当:Trunk口放通了所有VLAN,导致不同VLAN的广播域串到了一起。
- 临时跳线没拔:运维时临时加了一根线"先顶着",后来忘了拔。
不管哪种,结果都一样:广播帧在环里疯狂循环,MAC地址表反复震荡,CPU飙升,全网瘫痪。
二、排查四步法:从现象到根因
第一步:看接口流量——找到"异常忙"的口
环路最直观的表现就是某些接口流量异常飙高。先看全局:
<HUAWEI> display interface brief
重点看两个列:InUti(入方向利用率)和 OutUti(出方向利用率)。正常情况下办公网接口利用率应该在个位数百分比,如果某个口跑到80%甚至100%,且持续不下——大概率在环上。
更精确的方式,看具体接口的统计:
<HUAWEI> display interface GigabitEthernet0/0/1
关注:
- Broadcast(广播包数):如果广播包数量在几秒内疯狂增长(比如每秒上万),这是广播风暴的铁证。
- Total packets:总包数是否远超正常水平。
排障思路:先找到流量异常的接口,缩小排查范围。环路两端的接口流量一定是最高的。
第二步:看MAC地址表——确认"漂移"
环路会导致同一个MAC地址在两个接口之间反复跳变——这就是MAC地址漂移。
反复执行以下命令,观察同一个MAC地址的 Learned-From 列是否在两个接口间跳来跳去:
<HUAWEI> display mac-address
MAC Address VLAN Learned-From Type
------------------------------------------------------
xxxx-xxxx-xx00 100/- GE0/0/5 dynamic
如果连续执行两三次,发现同一个MAC地址一会从 GE0/0/5 学到,一会从 GE0/0/12 学到——就是漂移了,环就在这两个口之间。
更高效的方式:直接看漂移记录(V200R003及以上版本支持):
<HUAWEI> display mac-address flapping record会直接列出哪个MAC在哪个VLAN、从哪个口漂到哪个口、漂移了多少次。
第三步:看STP状态——确认防护是否生效
如果你配了STP(生成树协议),正常情况下STP会自动阻塞环路上的冗余端口来破环。如果STP没开或配置不对,环路就不会被自动阻断。
<HUAWEI> display stp brief
MSTID Port Role STP State Protection
0 GigabitEthernet0/0/1 DESI FORWARDING NONE
0 GigabitEthernet0/0/2 DESI FORWARDING NONE
0 GigabitEthernet0/0/4 ALTE DISCARDING NONE
0 GigabitEthernet0/0/10 DESI FORWARDING NONE
重点看:
- Protocol Status:如果显示
Disabled,说明STP根本没开——这就是环路能形成的原因。 - STP State:正常网络中应该有部分端口处于
DISCARDING(被STP阻塞的冗余端口)。如果所有端口都是FORWARDING,要么没有冗余链路,要么STP没生效。 - Role:
DESI(指定端口)和ROOT(根端口)正常转发,ALTE(备用端口)应该被阻塞。
如果STP没开,先开了再说:
<HUAWEI> system-view
[HUAWEI] stp mode stp
[HUAWEI] stp enable
开了STP后,等待30秒左右(STP收敛时间),再检查网络环路状态是否解除。如果环路解除了,说明根因就是STP没开。
第四步:看异常接口——定位故障端口
如果STP已开但环路仍存在,用这个命令一次性查看所有异常端口:
<HUAWEI> display stp abnormal-interface
MSTID Interface Status Reason
0 GigabitEthernet0/0/4 discarding loop-detected
0 GigabitEthernet0/0/8 discarding loop-protected
0 GigabitEthernet0/0/12 down bpdu-protected
Reason列直接告诉你发生了什么:
loop-detected:端口收到了自己发出的BPDU——说明这个口自己跟自己成环了(比如一根线两头插同一台交换机)。loop-protected:启用了环路保护,端口长时间没收到BPDU。bpdu-protected:边缘端口收到了BPDU——可能是有人把交换机插到了办公口上。root-protected:启用了根保护,收到了优先级更高的BPDU。
定位故障:Reason 为
loop-detected的端口就是环路所在。去机房找到这根线,拔掉,网络立刻恢复。
三、环路解除后:做好三道防线,杜绝复发
找到环路、拔掉线、网络恢复了——但这只是"灭火"。要防止下次再烧起来,必须做好三道防线。
防线一:全局开启STP,并设好根桥优先级
STP是防环的根本机制。确保在所有交换机上开启:
[HUAWEI] stp mode stp # 或 rstp/mstp,按需选择
[HUAWEI] stp enable
关键:手动指定核心交换机为根桥,否则STP自动选举的根桥可能不是最优的:
[HUAWEI] stp priority 4096 # 核心交换机优先级设低(数字越小优先级越高)
验证根桥:
<HUAWEI> display stp
看 CIST Bridge Priority 和 CIST Root Identifier,如果两者MAC地址相同,说明本机就是根桥。
防线二:开启MAC地址漂移检测,自动阻断
STP防的是二层环路,但有些环路STP不一定能及时发现(比如跨VLAN的环)。MAC漂移检测是第二道防线——一旦发现同一个MAC在两个口间跳变,直接把后学的口关掉。
[HUAWEI] mac-address flapping detection
[HUAWEI] mac-address flapping aging-time 500
在关键接口上配置漂移后自动关闭:
[HUAWEI] interface GigabitEthernet0/0/1
[HUAWEI-GigabitEthernet0/0/1] mac-address flapping action error-down
[HUAWEI-GigabitEthernet0/0/1] quit
配置自动恢复(避免需要手动重启端口):
[HUAWEI] error-down auto-recovery cause mac-address-flapping interval 500
验证配置:
<HUAWEI> display mac-address flapping
<HUAWEI> display mac-address flapping active-table
active-table会显示当前正在漂移的MAC、原始端口、漂移端口和漂移次数——非常直观。
防线三:VLAN级环路检测,兜底防护
对于特别关键的VLAN(如管理VLAN、财务VLAN),可以单独配置VLAN级环路检测:
[HUAWEI] vlan 10
[HUAWEI-vlan10] loop-detect eth-loop block-time 10 retry-times 3
这条命令在VLAN 10上启用MAC漂移检测:发现漂移后阻塞10秒,重试3次仍存在则持续阻塞。告警信息:
L2IFPPI/4/MFLPVLANALARM:OID ... Loop exists in vlan 10, for mac-flapping.
L2IFPPI/4/MFLPIFRESUME:OID ... Loop does not exist in vlan 10, Interface ... resumed.
四、排障速查表(贴在机柜上)
| 现象 | 可能原因 | 排查命令 | 处置 |
|---|---|---|---|
| 全网卡顿/丢包 | 广播风暴 | display cpu-usage(CPU>90%)display interface brief(利用率100%) |
定位高流量口→查环路 |
| 同一MAC两个口跳 | MAC漂移=环路 | display mac-address(反复执行看跳变)display mac-address flapping record |
找到漂移的两个口→拔线 |
| STP没生效 | STP未开启 | display stp brief(Protocol Status: Disabled) |
stp mode stp + stp enable |
| STP开了仍环路 | 跨VLAN环/配置错误 | display stp abnormal-interface(看Reason列) |
按Reason处置→loop-detected拔线 |
| 端口频繁Down/Up | 物理环路或线缆问题 | display interface(看错误计数) |
检查物理连接→换线 |
五、网络稳定了,数据安全怎么保障?
网络环路修好了,全网上线了,业务恢复了——但IT老手都知道一句话:网络故障是显性的,数据安全问题是隐性的。
网络断了,全员都知道,10分钟就有人来催。但数据泄露、权限失控、备份缺失这些问题,可能默默存在了几个月,直到出事才被发现——就像这次环路,其实在广播风暴爆发之前,MAC地址表已经开始震荡了,只是没人看到。
我们建议企业在做网络排障的同时,顺手检查三件事:
1. 文件存储有没有集中管理? 很多企业的文件还散落在各部门电脑、U盘、微信群里。网络环路一断,文件传不了;万一硬盘坏了,文件直接没了。一套信创云盘(纯软件部署在你自己的服务器上),让所有文件集中存储、统一管控、随时可恢复——网络断了文件还在,硬盘坏了数据还能从备份恢复。
2. 权限管控制度有没有跟上? MAC地址漂移说明网络里有不受控的连接。同样的逻辑——文件权限如果不受控,离职员工带走图纸、只读权限被绕过下载,这些"权限环路"比网络环路危害更大。文件级权限模型+文件不落地+水印追溯+人员变动权限及时回收——从制度到工具,一个都不能少。
3. 备份策略做了没有? 网络环路导致业务中断2小时,损失可以算。但勒索病毒加密了所有文件、硬盘物理损坏没有备份——这种损失不可逆。3-2-1-1-0备份法则(3份数据/2种介质/1份异地/1份离线/0错误验证)不是选择题,是必答题。
诚鑫致达科技提供从网络配置到数据安全的整体解决方案——群晖NAS存储+信创云盘+网络系统集成+技术服务,一套体系打通"存、管、防、备"四个环节。
📩 免费网络与数据安全健康度评估:我们帮不少企业做过从网络排障到数据底座梳理的整体诊断,30分钟出报告。关注后私信"排障诊断"即可预约。