公司全网突然卡死,是宽带的锅吗?一次交换机环路排查实录
一、周五下午三点,全公司"集体转圈"
上个月一个周五下午,贵阳一家 20 多人的贸易公司打来电话,声音很急:“全网卡死了,视频会在开,客户在那头等着,重启路由器好几回了。”
到现场还原一下当时的画面:财务在传报表,进度条纹丝不动;销售的网页集体转圈;微信消息发出去,对方十分钟后才收到。更奇怪的是——单台电脑直连光猫测速,完全正常。宽带运营商远程测了线路,也说没问题。
问题不在出口,在公司内部。这是排查的第一个分水岭。
二、看一眼灯,就猜到七八分
走进弱电间,那台 16 口交换机上的端口灯在同一节奏地疯狂齐闪——正常网络里,各端口的灯是杂乱地闪的;集体同步狂闪,是广播风暴的典型征兆。
广播风暴最常见的原因之一是环路:网线把一台交换机的两个口连到了一起,或者两台交换机之间插了两根线。广播包一旦进环,就被无限复制转发,几秒钟就能吃满整个网络的带宽,表现就是"全网卡死、但谁都不断线"。
小公司特别容易踩这个坑:会议室加位子,行政网购一台小交换机随手一插;过两周调整工位,顺手把一根线又插了回去——环就成了。消费级小交换机大多没有防环协议,插错就是全网瘫痪。
三、定位只用了十分钟:二分拔线法
- 准备一台笔记本,持续 ping 网关,盯着延迟;
- 从交换机第一个口开始,一次拔一根线,拔下等五秒再插回,逐口排查;
- 拔到第七根线的那一瞬间,ping 的延迟从 2000 多毫秒直接掉回 1 毫秒——就是它。
顺着这根线找到工位底下:一台巴掌大的小交换机,两根线都插在了上面,而这两根线的另一头,插在同一台主交换机上。环路坐实。拔掉多余的那根,全网当场恢复。从进门到恢复,40 分钟。
四、比修复更重要的三道保险
这种故障修起来快,但每修一次都是全公司停产。给这家公司留了三条预防措施,成本都不高:
- 给上联线贴标签。红色标签写"上联口,勿动",弱电箱里贴一张网络简图。行政换插线板时看一眼,就能避开九成的误插。
- 换带环路检测的网管型交换机。几十人的公司,一台网管接入交换机就能在环路形成的秒级自动阻塞出问题的口,全网无感。我们给客户做网络建设时,华为 S 系列接入交换机是常配的选择,成本不高,省的全是停产时间。
- 立一条规矩:动网线先拍照。非 IT 岗位调整工位、加设备前,把现状拍张照发给对接的维护人员确认一下,一分钟的事。
网络这东西,平时没人记得它,出事就是全员停摆。这一类"小交换机随手插"引发的故障,我们在贵阳的小公司客户里一年能遇到好几起,占了网络突发故障的相当比例。公司的网络、服务器、备份要有人系统地管起来,可以搜"贵州诚鑫致达科技"找到我们,做企业身边的数据管家。