关于XX医院6月20日网络故障报告

6月20日中午近12点时开始陆续接到门诊各工作站程序故障通知，现象主要是操作超时、登陆失败、连接错误，信息科人员现场检查工作站电脑、网线与对应网络接口均无故障，尝试重启楼层交换机后故障依然存在。经分析为门诊网段网络故障，连接不稳定，与服务器连接存在大量丢包。信息科与复高科技有限公司项目组现场分析讨论后于12点10分电话联系公司集成部经理王友朋。

在王经理的建议指导下由信息科对相关核心交换机进行了初步操作，故障依然存在。12点24分开始交由王经理远程分析处理，查看相关记录后确认是由于未知原因导致网络中存在大量广播包、交换机cup利用率过高造成网络超时、丢包。后远程分析故障原因过程中因远程网络不稳定，多次掉线，王经理在沟通、了解院方最近网络部署与硬件增添状况后初步认定是网络中存在病毒、存在环路或者硬件故障，经与信息科沟通后初步判定是病毒引起，确切原因待详细分析后确认。考虑到下午院方门诊业务需求，王经理建议临时关闭核心交换机B(核心交换机A、B双机共同负载全院网络通信，正常运行情况下会均衡负载网络通信，网络出现异常时，若是交换机B接收后会判定自身存在故障然后将任务交由A,A接收后也会判定自身存在故障将任务交由B,此种状况下会延长故障的影响的周期与范围)，以暂时保障门诊业务进行，并希望院方相关人员下班后加班配合，重启核心交换机B分析故障原因并排除故障。交换机B关闭后故障影响周期缩小，门诊网络虽然依然存在部分超时、丢包，但业务基本可以进行。

下午4时30分重启交换机B，因故障影响周期变长，范围变大，门诊大部分科室此时都反映程序基本不能使用，收费处、医生工作站、检验科、超声基本处于程序瘫痪状态，科室反应强烈。其中以超声科室意见最大，并多次向现场工程师、信息科反应要求替换回老系统保证夜班正常操作。

5时40分左右王经理在尝试重新配置交换机后，门诊网络情况依然没有改善。再次总结问题现象与排除处理方法，判定非病毒或环路影响。之后开始排查硬件故障，6时30分左右确认是门诊二楼交换机51口连接的设备溢出大量数据包造成网络内广播风暴。确认故障后，王经理从网络配置逻辑上封禁了51号口，并要求现场及时确认此接口所连接设备，分析此操作是否影响医院业务。

封禁端口后，院内网络恢复正常，各工作站测试后运行稳定。后来信息科联系分管院长钱院长后安排人员打开了门诊二楼交换机所在的护理部教室，排查线路后发现51号口所连46号线路终端被连接在二楼服务台自助报告打印机一台5口交换机上，交换机上一根网线两端同时接在了此台交换机上，造成网线短路（短路导致交换机接收到大量的不符合交换机工作原则的数据包，造成交换机cpu过载， 数据包来不及转发，从而导致缓冲区溢出产生丢包现象，

导致广播风暴）。

至此，故障分析、处理完成。信息科工作人员与现场Pacs实施人员在网络正常后将超声系统再次换回新系统。在与相关人员沟通了解后获知当天中午近12点时院方联系本地硬件服务商修理服务台打印机，遗留下一台小型路由器，上面所接的网线导致了当天的故障问题。 故障现象：

? 网络ping 包延时

? 网络丢包严重

? 核心交换机CPU使用率过高

? 核心交换机报错Low data buffer pool缓冲溢出

故障排除和分析：

通过对交换机日志进行分析，发现交换机接口上存在大量非正常广播数据包从而影响正常的数据包传输。这种网络风暴消耗大量网络带宽，当广播数据包过多时，交换机CPU不能及时处理正常通信数据，导致通信延时，网络无法正常工作。

经排查发现门诊二楼交换机出现大量丢包，CPU使用率经常在90%-100%，CPU 5分钟平均值在60%左右。由此判断这台交换机存在异常。查询此交换机系统日志和端口信息发现51号端口所连接的设备输入大量非正常广播包到交换机。如图所示：

禁用门诊二楼接入交换机51号端口，整个网络很快恢复正常。

派人到现场查门诊二楼这台交换机51号端口所接设备，发现是业务科室使用的一个HUB(集线器)。

经确认：中午院方请外面人员维修打印机时，把一根网线的两个头都接到了这个HUB上，导致网络产生环路，形成广播风暴，影响整个网络正常通信。

所谓广播风暴，简单的讲，广播在网段内大量复制，传播数据帧，当广播数据充斥网络无法处理，并占用大量网络带宽，导致网络性能下降，甚至网络瘫痪，正常业务不能运行。广播风暴的产生有多种原因，如网线环路、网络病毒、硬件故障等。显然，这次广播风暴是误接网线形成环路所致。

优化处理措施：

各个交换机的网络端口进行广播包限制，以减轻广播数据充斥整个网络，占用大量网络带宽，影响网络正常运行。

? 核心交换机每个端口设置广播和多播限制100 PPS。

? 接入交换机每个端口设置广播和多播限制10 PPS。

问题结论：

本次事故是由于门诊二楼一台接入交换机下连的HUB误接网线，产生网络环路，从而发送大量非正常广播数据包，造成网络拥塞，交换机CPU来不及处理正常业务数据，最终导致网络无法正常通信。

为避免类似事件再次发生，建议院方在业务科室人员不要随意使用类似HUB、路由器、交换机等设备，信息网点连接由信息科网络管理人员通过接入交换机柜统一部署。

信息科

20xx年6月21日

 

第二篇：网络故障报告

网络管理报告

一 前段时间公司断网原因与解决

1 机房的网络设备跟不上公司现在的网络需求

解决方法：购买网络设备，已经更换与升级

2 公司人员的增加,这样使网络架构与目前的需求不符 解决方法: 升级网络架构,统一规划调整网络线路 3 病毒与不良软件的侵害与攻击

解决方法: 正在准备购买正版的企业杀毒软件,已经 在试用中.

二 公司最近网络慢原因解释

1由于惊天动地的游戏正是公测的前奏，韩方公司的人员来我公司做游戏公测工作,

这事公司目前放在最重要位置，我们MIS要确保韩方在我公司不能出现网络中断 的显现，在经过郑总的批示下，我们MIS把公司最大带宽切割给韩方,全公司上下 目前用的是总带宽为3M的线路。

2有些部门的工作也是比较紧急，我们按照郑总的指示把这些员工的端口找出来，单独

接在一根2M的线路上。这样能够暂时解决问题。但接在这条线路的人员多起来，网速 也就会慢下来。

三 MIS这边根据最近公司网络故障的原因，以及对这种故障的快速查找与解决。我们统一对网络 做出规划下如:

公司网络改造计划

由于公司员工人数不断增加，为了避免公司IP地址使用的混乱和广播流量对带宽的占用，为了缩小了公司网络故障范围，防止各种不良软件以及病毒对公司网络的侵害,为了提高网络的整体性能和安全性

因此我们按着公司网络的应用需求，对整个网络做了VLAN (虚拟局域网)的划分

注:各部门之间不能互相访问，如要交换文件可以到公共服务器上交换(16.13)

具体规划如下：

注：现正在使用的ip不能更改的有：

192.168.16.1 Gateway

192.168.16.4 RD server

192.168.16.8 RD Server

192.168.16.6 RD Server

192.168.16.9 Rtx server

192.168.16.10 Moliyo router

192.168.16.11 Moliyo2 router

192.168.16.13 File server

192.168.16.15 Call center

192.168.16.60 Call center

192.168.16.111 3com switch

192.168.16.133 Printer server

192.168.16.86 程序组 server

192.168.16.95 客服个案系统

VLAN 部门对照表：

Vlan 10：(总裁办、时富代表、总监、财务)

D25 D38 D39 D41 D30 D37 D28 D46 D34 D88 D76 D14 D44 D26 D36

Vlan 20:( 行政、法务、商务)

D157 D158 D159 D154 D151 D152 D145 D146 D60 D19 D90 D50 D51 D53 D57 D33 Vlan 30:（研发）

A101 A29 A26 A27 A25 A28 A13 A24 A22 A21 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 A13 A14 A15 A16 A17 A18 A19 A20 A72 A136 A64 A54 A49 A74 A55 D56 D62

Vlan 40:（平台、技术部）

D79 D80 D87 D85 D81 D83 D89 D35 D45 D27 D32 D91 D96 D94 D29 D96 D94 d95 D32 D91 D84 D92 D42 D90 D77 D75 D52 D58 D59 D08 D02 D11 D12 D07 D09 D20 D86 D105 D103 D1 D23 D15 D19 D18

Vlan 50:( 产品部、营销部)

D71 D60 D90 D64 D67 D50 D63 D70 D51 D13 D61 D53 D68 D69 D57 D65 D128 D100 D97 D127 D174 D123 D121 D112 D126 D124 D132 D130 D133 D129 D147 D125 D131 D143 D141 D144 D99 D98 D135 D138 D137 D148 D142 d134 D139 D140 Vlan 60: （客服部）

D05 D10 D21 D03 D24 D17 D22 D04 D06 D119 D102 D112 D118 D115 D113 D110 D120 D107 D108 D109

Vlan 70:（来宾）

Vlan 80:（备份）

Vlan 90:（备份）

Vlan 100:(生活经艳)

D93 D78 D106 D75 D149 D153

说明： f0/22--------vlan 1----------网络管理

f0/23--------vlan 2----------Server

f0/24--------vlan 2----------出口

f0/21--------vlan 3----------无线网络

f0/1--------vlan 10----------总裁办、时富代表、总监、财务 f0/2--------vlan 20----------行政、法务、商务

f0/3--------vlan 30----------研发

f0/4--------vlan 40----------技术、平台部

f0/5--------vlan 50----------产品部、营销部

f0/6--------vlan 60----------客服部

f0/7--------vlan 70----------来宾

f0/8--------vlan 80----------备份

f0/9--------vlan 90----------备份

f0/10-------vlan 100--------生活经艳