首页 › 新闻动态

新闻2 分钟读完

给一台老机器换硬盘,客户想再撑一年

存储 更新于 2026-09-23 阅读约 2 分钟 新闻动态
223 篇本栏目收录
12+年只做 IT 基础设施
500+家企业项目交付

事情发生在一个周一,比平时早到了半小时。一家做注塑件的厂,ERP 用了九年没换。一台服务器的 RAID5 已经降级三周,第二块盘在报预故障。管理界面的黄灯亮了三个星期,没人登录看过——第一块盘掉了之后,阵列一直是靠剩下的盘在扛。

这篇把过程写完整,包括我们判断错的那一段。客户信息做了模糊处理,不影响技术部分。

事情的起点

六块盘里已经有两块是同批次的,生产日期挨着,一块已经掉线。阵列卡的电池早就失效,写缓存策略被自动关掉了,性能掉了一半没人察觉。硬盘的 S.M.A.R.T. 重新分配扇区数在缓慢上涨,涨了三个月。

第一轮判断

最初的判断是:单盘故障,换掉就好。按这个方向处理了两个小时,现象短暂缓解,第二天又回来——我们把「缓解」当成了「修好」。

真正的原因

根因不是硬盘质量,是没有任何人看阵列状态。这台机器装完之后就没人登录过管理界面,报警邮件配的是一个已经离职员工的邮箱。同批次的盘一起买、一起用、一起老化,坏起来也是前后脚——这是 RAID5 最典型的失效模式:不是"坏一块",而是"坏一批"。

延伸一句

同批次的盘会一起坏,这是机房里的常识,也是最容易被忽略的。一次采购的硬盘,五年后会在几个月内陆续报障。所以换盘不是"坏一块换一块",同批次到了一定年限,应该主动分批换。

当时敲的命令

smartctl -a /dev/sda | grep -i "reallocated\|pending"
ceph osd df tree; ceph health detail

贴出来的是当时实际敲的,路径和 IP 改过。现在有现成的监控大盘,但要确认还是得敲一遍。

处置过程

  • 先换掉已经掉线的那块,重建期间全员待命,随时准备二次故障的处置
  • 把其他服务器的阵列状态全部盘一遍,又揪出两台降级未告警的
  • 阵列卡告警、硬盘预故障全部接入监控,邮件发给值班手机
  • 把这批同型号的盘列成清单,按季度分批换,不再等它坏

客户的原话是"这个灯亮很久了,我以为没事。"

换完盘那天,客户问要不要请我们吃个饭,我说不用,把巡检表贴上墙就行。

写这篇不是要说明我们多能干,是这类问题在中小环境里太常见,堵住它的成本远低于想象。

判断错不丢人,判断错了还照原方案硬干才丢人。

相关阅读 查看全部 →
分享

数据出事了?先打电话,再谈别的。

获取解决方案
微信二维码帝漫网络备注「公司名+需求」通过更快
··········· 电话