← 返回列表

从 Llama 3 的训练了解大规模 AI 基础设施的可靠性

单站 威胁棱镜 发布 Tue, 23 Dec 2025 09:01:00 +0800 入库 2026-11-18T08:18:03

原创 Avenger 2025-12-23 09:01 北京

规模效应带来了可靠性危机,训练用到的显卡规模庞大,自身也经常会出问题。

工作来源

DSN 2025

Large-Scale AI Infra Reliability: Challenges, Strategies, and Llama 3 Training Experience

工作背景

规模效应带来了可靠性危机,大模型的训练要用到成千上万个 GPU 组成的庞大集群,例如 Llama 3 405B 模型就是 Meta 在一万六千张 GPU 的集群上训练的。GPU 集群要高度互联且同步运行,单卡故障可能影响整体的训练任务。在各家的信息披露中,网络故障也是被提到的主要问题之一。

Meta 在 16384 张 H100 GPU 上训练 405B 的 Llama 3 时,54 天里遇到 466 次故障中断。其中最常见的问题就是 GPU 故障:

阿里巴巴在 H800 GPU 上进行训练,消耗资源最多的 5% 任务失败率高达 43.4%,最常见的问题是 NCCL Timeout:

工作准备

Llama 3 在一万六千余张 H100 GPU 上进⾏训练,每个 GPU 配备 80GB HBM3 显存,使⽤ Meta 的 Grand Teton AI 平台。每台服务器配备 8 个 GPU 和 2 个 CPU。在同⼀台服务器内,8 个 GPU 通过 NVLink 连接。

工作评估

硬件中断的趋势和总体中断的趋势高度吻合,硬件故障是导致训练中断的主要原因。(注:异常尖峰是可修复的软件问题)

用于训练的服务器中平均每日每千台服务器中断 4.5 次,硬件导致的中断占 50%。

GPU 相关的问题最常见的是“掉卡(GPU 从总线上消失)”、“ECC 内存错误”、“时钟频率节流(单个 GPU 时钟被压制后拖慢所有 GPU)”,其他错误感兴趣的读者请移步原文。

可靠性增强的三种策略:

1、硬件验证:在训练任务开始前或系统空闲时,通过一系列测试来主动发现有问题的硬件,防患于未然。Google 在 TPU 上会执行检查,微软开发了基准测试集合,字节跳动会执行轻量级诊断测试。

2、故障检测:在任务运行时,快速、实时地检测硬件故障,以便尽快恢复。使用 NVIDIA DCGM 工具集来监控 GPU 的温度、功耗、内存使用等,各家也在开发各种工具检测缓解静默数据损坏/SDC 等错误。

3、检查恢复:定期保存训练状态(检查点),在发生故障后可以从最近的检查点恢复,而不是从头开始。微软 DeepSpeed、字节跳动 MegaScale 都使用所有节点同步暂停保存状态的方式,而 Acme 采用各节点独立保存检查点的方式。

工作思考

在超大规模集群上训练大模型,对可靠性提出了巨大挑战。各家的监控指标不同,Meta 内部发现有效训练时间(ETT)和 Goodput 这类指标更有用,业界也急需建立一套共识标准。

原文链接:https://mp.weixin.qq.com/s?__biz=MzkyMzE5ODExNQ==&mid=2247488141&idx=1&sn=2b86f6ef9f02eb20ecf233106656c7dc