事情发生在一个周一,比平时早到了半小时。一家做注塑件的厂,ERP 用了九年没换。一台服务器的 RAID5 已经降级三周,第二块盘在报预故障。管理界面的黄灯亮了三个星期,没人登录看过——第一块盘掉了之后,阵列一直是靠剩下的盘在扛。
这篇把过程写完整,包括我们判断错的那一段。客户信息做了模糊处理,不影响技术部分。
六块盘里已经有两块是同批次的,生产日期挨着,一块已经掉线。阵列卡的电池早就失效,写缓存策略被自动关掉了,性能掉了一半没人察觉。硬盘的 S.M.A.R.T. 重新分配扇区数在缓慢上涨,涨了三个月。
最初的判断是:单盘故障,换掉就好。按这个方向处理了两个小时,现象短暂缓解,第二天又回来——我们把「缓解」当成了「修好」。
根因不是硬盘质量,是没有任何人看阵列状态。这台机器装完之后就没人登录过管理界面,报警邮件配的是一个已经离职员工的邮箱。同批次的盘一起买、一起用、一起老化,坏起来也是前后脚——这是 RAID5 最典型的失效模式:不是"坏一块",而是"坏一批"。
同批次的盘会一起坏,这是机房里的常识,也是最容易被忽略的。一次采购的硬盘,五年后会在几个月内陆续报障。所以换盘不是"坏一块换一块",同批次到了一定年限,应该主动分批换。
smartctl -a /dev/sda | grep -i "reallocated\|pending"
ceph osd df tree; ceph health detail贴出来的是当时实际敲的,路径和 IP 改过。现在有现成的监控大盘,但要确认还是得敲一遍。
客户的原话是"这个灯亮很久了,我以为没事。"
换完盘那天,客户问要不要请我们吃个饭,我说不用,把巡检表贴上墙就行。
写这篇不是要说明我们多能干,是这类问题在中小环境里太常见,堵住它的成本远低于想象。
判断错不丢人,判断错了还照原方案硬干才丢人。