Meta 前两天写了篇博客，讲俄亥俄那个 Prometheus 集群（第一期几十万张 GPU ）是怎么跑稳的，数字挺直白，搬过来聊聊。
起点有多糟
2025 年年中，每 8000 张卡，每天将近 1000 次中断事件。训练任务一断就要从检查点重来，卡越多越频繁。
做了什么
英伟达派工程师驻场，和 Meta 一起：
- 调 HBM 的固件
- 定期做内存巡检，提前把有问题的条子挑出来
- 改进 LPDDR 的纠错
- 根据信号预测哪些器件快要坏，坏之前先换
一年下来，训练中断减少了 99%。预训练的 goodput 超过 85%，也就是 100 个小时里大约 85 个小时在干正经活。
备用卡是写进设计里的
| 项目 | 数字 |
|---|---|
| 每个 NVL72 机柜 | 72 张卡只用 64 张，8 张备用 |
| 一个 3.3 万卡的训练任务 | 实际配约 3.8 万张 |
| 多出来的比例 | 约 13% |
也就是说，大厂默认就是「一定会坏」，直接多买一成多的卡当冗余。
几点感受
我们是做服务器和 GPU 维保的，看完的感觉：
- 降下来的那 99%，主要靠固件、巡检、纠错这些「软」的东西，不是换了新一代硬件
- 他们下功夫的地方几乎都在内存（ HBM 、LPDDR ），说明大集群里内存是要重点盯的
- 小集群没法像 Meta 那样多配 13% 的卡，但思路一样：先知道自己的故障率，再决定手边备多少件
想问下有在跑 GPU 集群的朋友：你们那边最常坏的是什么？卡、内存、光模块，还是电源？
Select Language