原创 Avenger 2025-12-23 09:01 北京
规模效应带来了可靠性危机,训练用到的显卡规模庞大,自身也经常会出问题。
工作来源
DSN 2025
Large-Scale AI Infra Reliability: Challenges, Strategies, and Llama 3 Training Experience
工作背景
规模效应带来了可靠性危机,大模型的训练要用到成千上万个 GPU 组成的庞大集群,例如 Llama 3 405B 模型就是 Meta 在一万六千张 GPU 的集群上训练的。GPU 集群要高度互联且同步运行,单卡故障可能影响整体的训练任务。在各家的信息披露中,网络故障也是被提到的主要问题之一。
Meta 在 16384 张 H100 GPU 上训练 405B 的 Llama 3 时,54 天里遇到 466 次故障中断。其中最常见的问题就是 GPU 故障:
阿里巴巴在 H800 GPU 上进行训练,消耗资源最多的 5% 任务失败率高达 43.4%,最常见的问题是 NCCL Timeout:
工作准备
Llama 3 在一万六千余张 H100 GPU 上进⾏训练,每个 GPU 配备 80GB HBM3 显存,使⽤ Meta 的 Grand Teton AI 平台。每台服务器配备 8 个 GPU 和 2 个 CPU。在同⼀台服务器内,8 个 GPU 通过 NVLink 连接。
工作评估
硬件中断的趋势和总体中断的趋势高度吻合,硬件故障是导致训练中断的主要原因。(注:异常尖峰是可修复的软件问题)
用于训练的服务器中平均每日每千台服务器中断 4.5 次,硬件导致的中断占 50%。
GPU 相关的问题最常见的是“掉卡(GPU 从总线上消失)”、“ECC 内存错误”、“时钟频率节流(单个 GPU 时钟被压制后拖慢所有 GPU)”,其他错误感兴趣的读者请移步原文。
可靠性增强的三种策略:
1、硬件验证:在训练任务开始前或系统空闲时,通过一系列测试来主动发现有问题的硬件,防患于未然。Google 在 TPU 上会执行检查,微软开发了基准测试集合,字节跳动会执行轻量级诊断测试。
2、故障检测:在任务运行时,快速、实时地检测硬件故障,以便尽快恢复。使用 NVIDIA DCGM 工具集来监控 GPU 的温度、功耗、内存使用等,各家也在开发各种工具检测缓解静默数据损坏/SDC 等错误。
3、检查恢复:定期保存训练状态(检查点),在发生故障后可以从最近的检查点恢复,而不是从头开始。微软 DeepSpeed、字节跳动 MegaScale 都使用所有节点同步暂停保存状态的方式,而 Acme 采用各节点独立保存检查点的方式。
工作思考
在超大规模集群上训练大模型,对可靠性提出了巨大挑战。各家的监控指标不同,Meta 内部发现有效训练时间(ETT)和 Goodput 这类指标更有用,业界也急需建立一套共识标准。