安全管理网

DCS公用交换机故障,机组被迫全部停运

  
评论: 更新日期:2017年11月09日

某年3月16日,某厂因DCS公用交换机故障,全部监测参数、设备运行状态无法显示监控,两台机组被迫相继停运,造成全厂对外停电。
【事故经过】
3月16日07:16:24,某厂#1、#2机组及辅机公用系统DCS系统通讯失灵,全部监测参数、设备运行状态无法显示监控。
故障发生后热控专业人员立即进入现场查找原因,检查发现冗余控制器中的一块CP故障,在线复位CP后故障依然存在,通讯未连接,全部监测参数、设备运行状态无法显示监控。所有交换机本体状态指示灯无异常,工程师站计算机也已离线,无法从DCS系统管理软件查看交换机工作状态。
热控人员首先切除#2机组A、B网络交换机电源后故障未消除。
8:24分#1机组手动打闸安全停机,辅控设备就地检查无异常。
8:40左右断开#1、2机组(#2机与公用系统一根光纤接口牢固未彻底断开)与公用系统、数字化电厂网络连接光纤,故障并未消除,随后恢复#1、2机组与公用系统的网络连接。
故障检查期间,就地检查主辅设备未异常。10:10分#2机手动打闸安全停机。
10:15分切除公用系统A网络交换机电源,切除公用系统B网络交换机电源,恢复公用系统A网络交换机电源后,#1、2机组及公用系统DCS通讯恢复正常。恢复公用系统B网络交换机电源后故障再次出现,再次断开公用系统B网络交换机电源后,DCS通讯恢复正常。判断确认网络通讯异常由公用系统B网络交换机引起。
13:20分就近厂家技术人员到达现场,对更换后的公用系统B网络交换机程序安装,DCS网络系统运行正常。#1机16:57分、#2 机16:53顺利并网。

【原因分析】
1、经技术人员现场检查和发回厂家的数据分析,由于运行中的公用DCS网络交换机SW001B异常故障,直接导致该交换机上RSTP协议(快速生成树协议)正常关闭的端口被非正常的启用。正常运行中RSTP协议在CP及工作站与交换机的连接是打开的,但在交换机与交换机之间的连接是关闭的。由于该交换机工作,RSTP协议关闭的端口被非正常开启,在网络中产生了数据回路,大量的数据包通过这个回路被不断地转发。
2、由于DCS厂家在出厂组态时没有对该交换机的端口进行正确的配置,缺少了应该在交换机端口上配置Broadcast的数据流量限制功能,该功能在数据包大流量转发时能及时限制。由于设置错误,致使大量的数据包被发至整个控制网络中,数据包积累,最终导致整个网络的瘫痪。
【防范措施】
1、进行#1、#2机组、公用系统网络交换机组态配置信息数据收集、备份工作。
2、做好DCS系统设备日常巡检、维护,并认真做好记录和备份存档工作,对DPU控制柜交换机板件、风扇、滤网积灰彻底清理。
3、已经与DCS厂家签订DCS年检维护合同,在机组检修期间,由厂家专业技术人员对DCS系统进行软、硬件,网络通讯、交换机测试检测、升级工作。
4、建立健全DCS系统软件和应用软件的管理制度(特别是要加强系统升级、组态修改等重要工作中的软件管理),注意主控制器与冗余控制器控制组态软件的一致性、应用软件和数据的备份、系统防病毒工作。
5、加强交换机及网络通讯知识的学习,熟知DCS系统通讯方式和控制理论,提高缺陷判断方向感和处理故障的能力。
6、核对通讯网络设备、光纤的图纸、名称标识牌。
7、DCS监控画面发生系统报警时,查看报警信息及时检查处理,并做好记录。
8、加强对独立于DCS系统的后备紧急停机停炉按钮硬操作回路的检查维护工作,确保后备保护回路的可靠。
9、加强汽轮机紧急跳闸系统(ETS)、汽轮机安全监视保护系统(TS1)、汽轮机控制系统(DEH、MEH)定期巡视检查工作。
10、完善DCS系统保护。机组大、小修或机组停备7天以上必须进行逻辑保护传动试验,确保DCS系统保护投入、可靠、正确无拒动。对传动试验卡和备份逻辑专人妥善保管。做好重要备品备件的配置管理。
11、将#2机组与公用系统网络连接断开隔离,分散网络系统故障范围。
12、制定方案将#1、2机组、公用系统网络完全隔离单独监控,减少网络故障影响范围。
13、完善网络交换机系统在线监测报警功能软件,发现问题及时处理,防止事故扩大。
14、尽快会同厂家技术人员查找出此次交换机出现故障的根本原因,杜绝此类事故再次发生。


 

网友评论 more
创想安科网站简介会员服务广告服务业务合作提交需求会员中心在线投稿版权声明友情链接联系我们