2020年计算机机房应急预案.pdf

《2020年计算机机房应急预案.pdf》由会员分享，可在线阅读，更多相关《2020年计算机机房应急预案.pdf（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、计算机机房应急预案计算机机房应急预案XXXX单位名称20X X年XX月文档仅供参考，不当之处，请联系改正。编 制 人 员编 制XXX审 核XXXX文档仅供参考，不当之处，请联系改正。-ix.a刖 百近年来，经常会听到某地机房发生因某种原因导致灾难性的事件；由于处理不及时或人为因素操作不当，导致严重后果，造成了巨大的经济损失。为了避免类似事情发生,项目组每年对应急预案进行修订，优化使用流程及操作步骤，保障在突发情况下及时、有效处理各类应急情况。本应急预案编制依据 单位网络系统运行管理规定而编写。根据单位领导提出新的改进建议，应急预案的版本修订相比之前有了较大的改动，项目组结合机房的实际情况，针对

2、所涉及故障及其处理方法分别进行说明并细化了每一个处理步骤，增加了非工作时间机房出现突发事件的处理步骤及紧急联系人相关信息，确保维护人员能够直观、及时、有效地处理突发情况，在维护人员不能第一时间到达现场，其它人员也能以及有效协助处理突发情况。项目组每年组织两次的机房应急演练，模拟机房设备故障，维护人员参照应急预案能够熟练操作并进行突发事件的处理，验证应急预案对于机房的有效性和可用性。文档仅供参考，不当之处，请联系改正。目 次11.1 目的.1.2 应急预案存放.1.3编制依据.1.4 技术资料.2 适用范围及启动条件.3 应急组织和职责.4应急响应流程.4.1 应急事件响应.4.2 应急事件升级

3、.5 应急执行流程.5.1 影响程度的评估.5.2 宣告启动应急.5.3 应急恢复.5.4 事后处理.5.5 应急注意事项.6 应急恢复步骤.6.1 强电系统故障.6.2 UPS 故障.6.3 网络系统故障.6.4 机房漏水.6.5 空调故障.6.6 机房火灾.附表一交换机信息.附表二自主运维办公交换机信息.附表三交换机常见命令.附表四机房应急预案联系人信息表附表五机房服务器联系人信息表.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未

4、定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。.错误!未定义书签。文档仅供参考，不当之处，请联系改正。7 预案附录.错误!未定义书签。附录一机房示意图.错误!未定义书签。附录二 配电柜操作说明书.错误!未定义书签。附录三UPS操作说明.错误!未定义书签。附录四空调操作手册.错误!未定义书签。附录五设备监控软件使用说

5、明书.错误!未定义书签。文档仅供参考，不当之处，请联系改正。1概述1.1 目的为了提高单位计算机机房、网络突发事件的应急处理能力，最大程度地预防和减少突发事件及其造成的损害，保障设备正常运行，制定本预案。本预案参照单位领导的要求，对机房空调、电力、消防、漏水以及网络系统五种突发情况制定具体的应急工作流程。1.2 应急预案存放1）电子版本本应急预案电子版存放于单位共享服务器及所有项目组成员工作电脑中。2）纸质版本本应急预案纸质文档存放于机房缓冲区桌面、运维人员办公室。1.3 编制依据本应急预案编制依据 单位安全管理规定编写。1.4 技术资料序号资料名称存放地点获取方式1U P S 使用手册机房缓

6、冲区桌面进入机房获取2机房专用空调操作维护指南机房缓冲区桌面进入机房获取3消防使用手册机房缓冲区桌面进入机房获取文档仅供参考，不当之处，请联系改正。2适用范围及启动条件1）地域范围：本预案适用于本单位机房及网络运行中发生故障时使用。2）人员范围：本预案在执行中涉及的人员包括机房、网络运维人员，相关主管领导，大楼安保人员以及机房内各应用系统负责人等。3）启动条件机房、网络运行中出现的一般性突发事件和重大突发事件。一般性突发事件：是指机房、网络突发故障，将影响机房提供正常服务及网络服务的能力且预计修复时间大于30分钟，此时应立即启动应急预案，主要包括：1）市电中断和U P S 故障引起的电力供应中

7、断。2）机房空调冷凝水或上下水管道漏水。3）机房温度超过304）网络故障影响用户范围超过2 0%,预计修复时间在2 小时以内。重大突发事件：是指一般性突发事件在特定的时间内无法修复或发生特殊事件时，严重影响机房提供正常服务及网络服务的能力，而且修复时间大于2 小时，此时除了立即启动应急预案外还应升级为重大事件，其中包括但不限定于以下分类：1）机房出现火灾。2）市电中断和U P S 故障引起的电力供应中断。3）机房温度超过40.4）网络故障造成全网中断，预计修复时间超过2 小时。3应急组织和职责计算机机房应急组名单如下：表1 应急小组名单部门/岗位职责姓名联系方式文档仅供参考，不当之处，请联系改

8、正。单位领导重大应急决策指挥部门主任应急决策指挥应急小组组长负责评估应急事件并协调处理应急预案操作岗启动应急预案并实施文档仅供参考，不当之处，请联系改正。4应急响应流程4.1应急事件响应1、发生突发事件时，经过电话或当面通知应急小组组长报告情况。2、必要时第一时间启动应急预案。3、应急小组组长根据实际情况启动应急预案，参照应急恢复步骤组织协调相关人员进行应急处理。4、电话通知机房内生产业务系统管理员做相应的应急措施。5、应急小组组长根据情况判定是否需要将事件升级为重大事件。6、事件处理完毕后，应急小组组长将事件处理详细经过形成书面报告，上报部门主任和单位领导。4.2应急事件升级在应急小组组长认

9、定突发事件升级为重大事件时，应按以下步骤操作：1、立即通知部门主任。2、通知机房内生产业务系统管理员事件升级为严重，参照应急恢复步骤做相应的应急措施。3、根据应急决策领导的决策指令处理故障。4、事件处理完毕后，应急小组组长将事件处理详细经过形成书面报告，上报部门主任和单位领导。文档仅供参考，不当之处，请联系改正。表2 影响程度评估表5 应急执行流程5.1 影响程度的评估序号故障类型影响程度及范围一般性突发事件重大突发事件1市电中断和U P S 故障引起的电力供应中断o影响程度大，修复时间大于3 0 分钟,小于2 小时的电力供应中断，影响范围为机房内所有设备及系统。影响程度为重大，修复时间2 小

10、时以上的电力供应中断，影响范围为机房内所有设备及系统。文档仅供参考，不当之处，请联系改正。2机房漏水影响程度一般，机房出现小摊积水，修复时间大于30分钟，小于2小时的机房漏水，影响范围为机房内所有设备及系统。影响程度重大，机房出现大面积漏水，或者漏水修复时间2小时以上的机房漏水，影响范围为机房内所有设备及系统。文档仅供参考，不当之处，请联系改正。3机房温度过高影响程度大，机房温度超过30度，修复时间大于30分钟，小于2小时的，影响范围为机房内所有设备及系统。影响程度重大，机房温度超过40度，修复时间2小时以上的空调故障，影响范围为机房内所有设备及系统。文档仅供参考，不当之处，请联系改正。4网络

11、系统故障影响程度大，修复时间大于30分钟,小于2小时的网络系统故障，影响范围为生产业务系统及影响用户范围超过 20%。影响程度重大，修复时间2小时以上的网络系统故障，影响范围为生产业务系统及影响用户范围超过20%o影响程度重5机房火灾大，影响范围为机房内所有设备、系统及用户。5.2宣告启动应急应急小组组长宣告启动应急预案，并通知应急预案操作岗所有成员参与预案的执行。重大事件时要向部门主任、单位领导汇报。文档仅供参考，不当之处，请联系改正。表3 应急恢复步骤5.3应急恢复突发事件发生后，应急组长根据不同的启动条件执行应急预案进行应急恢复O序号启动条件恢复步骤 操作人员备注1市电中断见步骤6.1应

12、急小组组长、应急预案操作人员2U P S 故障见步骤6.2应急小组组长、应急预案操作人员3网络系统故障见步骤6.3应急小组组长、应急预案操作人员文档仅供参考，不当之处，请联系改正。4机房漏水见步骤6.4应急小组组长、应急预案操作人员应急小组5空调故障见步骤6.5组长、应急预案操作人员应急小组6机房火灾见步骤6.6组长、应急预案操作人员5.4事后处理事后仔细分析事件发生的原因，查找引起事件发生的根本原因，力争杜绝类似问题的再次发生；总结每次应急处理的经验与不足，及时进行总结记录，作为知识储备，进行共享；重大事件处理完毕时，要向部门主任、单位领导及时汇报整个事件的处理过程,并提出预防措施建议。5.

13、5应急注意事项为了在突发事件发生时，能够及时顺畅地执行预案，应保证以下几点：平时多做应急演练，对应急小组的组织和预案执行力进行检验和加强。文档仅供参考，不当之处，请联系改正。熟读应急预案，责任分工明确，应急流程掌握熟练。加强技术能力和业务能力。通讯保持畅通，应急小组的人员要保持24小时手机开机。处理应急突发事件时要认真做好应急处理记录，有利于进行问题回溯。文档仅供参考，不当之处，请联系改正。6应急恢复步骤6.1 强电系统故障6.1.1 市电中断1）当发生市电中断或同时收到U P S输入、电量仪、空调及数据库读取异常等告警短信，立即到机房检查U P S工作状态。非工作时间发生电力中断时,电话联系

14、保安人员进入机房确认是否停电，同时联系附近的紧急联系人协助处理，并直接跳到第三步。紧急联系人姓名联系电话备 注（住所）2）检 查U P S的负载量及电池能够支持的时间：步骤：双 击UPS控制面板“ESC”按键，点 击“n”键,找到相关信息,查看电池负载；在“电池参数显示”处，查看备用时间确认U P S供电剩余时间。（具体详情可参照附录三：U P S操作说明进行操作。图1 U P S控制面板3）立即拨打物业电话，询问断电原因及断电预计恢复时间，同时通知应急小组组长。（如电话无人接听，立即拨打物业人员手机询问具体情况，物业人员详细联系方式可参照附表三：联系人信息表进行查询）4）当发生单路供电中断时

15、，应立即通知物业切换至另一路供电，观察U P S状态是否供电正常，等待第一路供电恢复切回。5）如物业通知无法切换电路且3 0分钟内无法恢复供电，应立即按照附表五：机房服务器联系人信息表的清单顺序通知各生产业务系统管理员进行系统备份并关闭系统。同时维护项目组关闭机房内负责的所有设备。6）向部门主任及单位领导汇报当前情况。7）确认所有服务器关闭后，直接手动拉下配电柜0 1后 面A 4、A 5、A 6、文档仅供参考，不当之处，请联系改正。B 2、B 5、C 3 机柜输出开关，关闭网络设备。8）当机房温度超过4 0 度时，为确保机房内服务器安全，经单位领导许可，维护组人员按顺序直接拉下位于配电柜0 1

16、 后面所有机柜输出开关，关闭机房内所有设备。图2 配电柜0 19）待市电恢复供电后，打开网络机柜对应的输出开关，启动网络设备。1 0）按附表五中的清单分批次对系统服务器加电，通知相关人员进行测试，并要求相关人员电话回复系统测试结果。1 1）如 U P S 故障造成的电力供应中断，手动重启U P S,查看U P S 故障是否解除并恢复正常。（在 U P S 显示屏上点击“开机”，查看U P S 是否正常启动）1 2）如U P S 故障依旧，立即通知各生产业务系统切换备份系统。1 3）向部门主任和单位领导汇报当前情况,并联系厂商对U P S 进行检修。1 4）待所有系统恢复正常后，提交处理报告，上

17、报部门主任和单位领导。文档仅供参考，不当之处，请联系改正。6.1.2市电中断流程图咨询物业断电原因及极计恢复时间，同时上根部门主任电话通知各应用系统负费人进行系统备份及关机准务H作是图3 强电系统故障处理流程图文档仅供参考，不当之处，请联系改正。6.2 U P S故障6.2.1 U P S 电池漏液、冒烟1）发生机房电池漏液、冒烟或监控组人员发现机房电池柜冒烟，立即到机房查看电池状态。（电池柜位于储藏室内部）图4 机房电池柜2）如发现是电池漏液、冒烟导致，应按照下列处理方法操作。并密切观察U P S 工作状态。3）关闭电池供电时，先将机房手提式干冰灭火器放置电池柜附近。4）打开两组电池柜，手动

18、关闭电池开关。开关位于电池柜的下方，此时应用力向左拨动电池开关，直至开关显示“O F F”状态。图5 电池柜的开关位置5）如电池出现火情，使用事先准备的手提式干冰灭火器进行灭火。6）确认无火情后，查看U P S 状态，供电情况，立即联系厂商工程师进行检修。注意：关闭电池开关不会影响机房的正常供电。7）向部门主任做口头汇报,电话上报单位领导。8）事件处理完毕后，将事故处理报告，单位领导。6.2.1 电池火情无法控制导致机房火灾1）处理电池漏液、冒烟过程中，无法使用手提灭火器控制火情。2）打开电池柜，手动关闭电池开关。3）立即按照机房火灾处理步骤进行操作。（详情见步骤6.6 机房火灾进行操作）4）

19、火灾处理完毕后，消除火灾报警，恢复市电，查看U P S 运行状态，如无法恢复市电，立即通知物业切换备用电路，观察U P S 状态是否正常供电。步骤：打开机房配电柜2,手动用力推上机房电力闸恢复市电供应。图6 机房电力总开关5）立即联系U P S 厂商进行处理并向部门主任做口头汇报,电话上报单位领导。（详细联系方式可参照附表三：联系人信息表进行查询）6）统计火灾造成损失，提交相关更换U P S 电池的申请。文档仅供参考，不当之处，请联系改正。_7）事件处理完毕后，将事故处理报告，上报部门主任和单位领导。6.2.3 U P S 故障处理流程图7 U P S 故障处理流程图6.3网络系统故障局部楼层

20、网络中断1 .如果是局部楼层断网，首先判断是否是交换机故障；2 .远程P I N G 交换机管理地址（各楼层管理地址详见附表1）看是否能够正常P I N G通3 .如果能够P I N G 通，证明交换机本身没有故障，网线没有故障。交由网络管理员处理。4 .如果不能P I N G 通，说明交换机主线断或交换机宕机，应去弱电机房找到该楼层交换机上联端口和电源灯状态是否正常，如果上联端口不亮（光纤口），证明主线有问题，更换主线测试。5 .如果看到交换机电源灯不亮，证明交换机掉电，检查电源和电源线。6 .如果以上经过检查交换机和线路后故障现象依然存在，由此判断可能交换机存在异常，按交换机故障进行处理。

21、交换机故障文档仅供参考，不当之处，请联系改正。1.当确认是交换机出现故障时，应首先从库房中找备用交换机进行更换；2.若原有故障交换机有配置，应立即联系网络管理员对更换的交换机进行配置（网管应有所有交换机的配置备份）3.配置完成后，测试是否正常；全网中断1 .首先测试网络的连通性，查看是否能够P I N G 通网关地址，如果能够P I N G 通说明从P C 到核心交换机之间的链路正常，如 P I N G 不通应检查接入交换机是否有故障、是否掉电或者交换机主线是否不通；如果确实不通，按照局部楼层网络中断中的第4 条、第 5 条处理。2 .经过访问邮件、外网网站，判断是局域网问题还是广域网问题，如

22、果局域网正常；无法访问互联网说明广域网中断，向运营商进行报修。3 .P I N G 核心交换机到核心路由器的互联I P 地址的连通性，如果能够P I N G 通，说明路由器以下网络连通性正常；4 .用 t r ac e r t 命令t r ac e r t 办公网网段的任意地址如果t r ac e r t 结果能够从出去,但不能到达外部网络，说明有可能是核心路由器上联链路中断，向运营商进行报修。5.若能够访问办公地址，无法访问互联网网站如：百度、搜狐，需要检查代理服务器是否正常，P I N G 是否能够连通，向运营商进行报修。其它网络中断故障1 .当办公网部分用户无法获取I P 地址，不能上网

23、的时候，尝试用能上网的主机，进行I P 测试。2 .用 P I N G 命令去D H C P 服务器是否能够P I N G 通，并通知网络管理员登陆D H C P 服务器进行检查服务是否正常，如果是D H C P 服务器故障，应立即切换备用D H C P3 .如果从网管员处确定D H C P 服务器没有故障，应 P I N G 核心交换机的这个I P 地址看是否有延时长、丢包的现象，如果有应该能够初步判断院内有AR P 广播风暴形成环路或者大面积病毒爆发；再次交由网络管理员处理。文档仅供参考，不当之处，请联系改正。6.4机房漏水1 .根据机房环境监控检测的漏水示意图，查找漏水位置，判断漏水严重

24、性。2 .在非工作时间，经过电话第一时间通知值班室保安，关闭上水总开关。3 .机房漏水并触发告警分为以下3 种情况：1）上水管漏水：使用地吸打开空调前地板，查看上水管漏水位置（1 层饮水间经过走廊从机房6 号空调地板下进入机房）。图8 空调上水管道2）发现漏水位置，应立即关闭位于一楼饮水间顶棚的上水总开关,将水迹擦干。3）立即联系机房工程有限公司，处理水管漏水故障。（详细联系方式可参照附表三：联系人信息表进行查询）4）空调冷凝漏水：分别检查3台空调地板的下水管道是否漏水，空调下水开关是否打开。（开关逆时针旋转为打开，顺时针旋转为关闭）图9 机房1、2 号空调下水管道及开关图10机房3 号空调下

25、水管道及开关5）如下水开关正常打开，冷凝水无法下水，说明下水管道堵塞。6）首先关闭机房内空调及空调下水管阀门（下水阀门1-4）7）分别打开上水阀门1 和上水阀门4,进行机房下水反冲。文档仅供参考，不当之处，请联系改正。,下水管道8）空调反冲过程中，密切关注机房温度，确保温度不影响机房内设备的运行。9)反冲完成后，首先关闭上水阀门，然后打开空调下水阀门并打开空调。1 0)如故障依旧，联系厂商进行检修。1 1)空调压缩罐瓶体结霜：打开空调前面板，查看压缩罐上是否结霜。（拆卸面板工具在机房缓冲区的工具箱里）图12机 房1、2号空调压缩罐位置图13机 房3号空调压缩罐位置1 2）关闭空调，将压缩罐上的

26、霜及滴下的水迹擦干。1 3）尝试重新开启空调，观察空调运行状态。1 4）如故障依旧，立即联系厂商进行处理。4.事件处理完毕后，将事故处理报告，上报部门主任和单位领导。6.4.3机房漏水处理流程图文档仅供参考，不当之处，请联系改正。6.5空调故障6.5.1高压报警1）收到空调高压告警后，立即进入机房查看空调运行状态。2）尝试将报警空调进行复位，进行启动恢复。步骤：1、2号空调点击空调控制面板的“报警复位”按键，3号空调点击面板上 的“消音”按键。3）若故障依旧，将高压报警空调关闭。步骤：在空调控制面板点击“关机”按钮，逻辑关闭空调，再将空调左侧物理开关关闭。文档仅供参考，不当之处，请联系改正。图

27、15空调控制面板图16空调物理开关4）检查室外风机过滤网及空调过滤网是否尘土较多。（室外机在机房后面，院食堂正对面；空调过滤网在空调正上方）图17空调室外机图18空调室过滤网5）若为室外风机过滤网脏，应进行冲洗，若室内机空调过滤网脏，应联系厂商更换。（详细联系方式可参照附表三：联系人信息表进行查询）6）冲洗室外机，应打开上水阀门2 （室内）和阀门6 （室外），开始冲洗。冲洗完毕后，关闭阀门2 和阀门6。图19室内上水开关文档仅供参考，不当之处，请联系改正。图2 0室外上水开关图2 1冲洗室外机7）重新启动空调，按住空调减压阀释放压力。（减压阀的位置在压缩罐上一个红色按钮）图2 2空调压缩机减压

28、阀8）若依然存在高压告警的现象，应联系空调厂商进行处理。（详细联系方式可参照附表四：联系人信息表进行查询）9）高压故障处理完毕后，将事故处理报告，上报部门主任和单位领导。6.5.2低压报警1）收到空调低压告警的短信后，立即进入机房查看空调运行状态。2）查看控制器面板，确认空调发生低压报警。（见图29）3）尝试将报警空调的告警进行复位，进行启动恢复；复位报警空调方法 见 高压报警处理第一步。4）若故障依旧，关闭低压故障的空调；关闭空调方法见 高压报警文档仅供参考，不当之处，请联系改正。处理第二步。5)立即通知空调厂商对空调进行检修。6)低压故障处理完毕后，将事故处理报告，上报部门主任和单位领导。

29、6.5.3 空调故障处理流程图6.6机房火灾机房采用自动报警装置，具有感烟和感温功能探测器，并采用自动灭火装置，当机房内发生火灾时按以下流程进行处理。如非工作时间内机房发生火灾时，在维护人员无法迅速赶到时，由保卫处保安按照应急步骤进行火灾处理并及时联系附近的相关同事协助处理。紧急联系人文档仅供参考，不当之处，请联系改正。姓名联系电话备 注（住所）1）查找火源位置。图24机房防护区指示灯2）在配电柜0 1后关闭着火点位置的输出开关，切断着火点供电。图25配电柜0 13）根据火情情况，使用机房内手提式干冰灭火器进行灭火。（机房各进出门附近安放两个干冰灭火器；机房物品间处安放两个干冰灭火器）。文档仅

30、供参考，不当之处，请联系改正。图26干冰灭火器灭火器使用方法（详情见灭火器瓶体）：1、拉出保险销2、站在上风处，喷口对准火焰基部3、按下压把即可喷射灭火图27干冰灭火器使用方法4）机房消防系统开启气体灭火自动喷洒，在温感（6 8 摄氏度）和烟感同时报警时,会自动启动。5）若在气体灭火没有自动喷洒前发现火势较大无法控制时，确保机房内人员撤文档仅供参考，不当之处，请联系改正。离，可手动启动气体机房灭火装置进行灭火。直接按下控制器上的红色按钮,机房内七氟丙烷灭火装置将在延迟30秒后进行全淹没式喷射，如按下位于控制器下方的红色按钮，灭火装置将立即喷射。图2 8紧急气体灭火按键6）灭火处理后，确认机房内

31、无火情，按排烟风机绿色按钮，进行排风换气处理气体;文档仅供参考，不当之处，请联系改正。图2 9排风扇控制器7）火灾处理完毕后，统计火灾损失，立即向部门负责人做口头汇报，电话上报单位领导。8）事件处理完毕后，将事故处理报告，上报部门主任和单位领导。6.6.3火灾系统流程图查代火源点切断火源供电使用手梃灭火卷进确认无火情 行灭火通知上级领导提交事故处理根告是图3 0火灾系统处理流程图文档仅供参考，不当之处，请联系改正。附表一交换机信息编号位置设备名称网络层次管理IPSNMP只读团体名SNMPversion文档仅供参考，不当之处，请联系改正。附表二自主运维办公交换机信息序号设备名称及端口数设备管理I

32、P地址DHCP地址池物理位置强插号文档仅供参考，不当之处，请联系改正。附表三交换机常见命令说明命令阀值查看交换机CPUDisplay cpu60%为CPU过高，接近90%说明CPU已经满载，说明流 过大导致交换机背板带宽过大查看交换机上联口Display int 上联端口看是否有大量的error信息检测连通性Ping x.x.x.x看是否有连通或者延时过大路由追踪Tracer!x.x.x.x检查是否路径已经到达查看交换机实时日志Display log除接口 up down信息以外的异常信息附表四机房应急预案联系人信息表部门名称联系人电话备注附表五机房服务器联系人信息表机柜使用单位机柜位置规格及型号用途联系人电话如机房发生事故，在第一时间查看附表四中的人员信息表，逐级进行汇报。根据各应急预案模块中的严重程度，通知附表五、附表六中的相应业务系统管理员。文档仅供参考，不当之处，清联系改正。7预案附录附录一机房示意图附录二配电柜操作说明书附录三UPS操作说明附录四空调操作手册附录五设备监控软件使用说明书