Hugging Face 详解 BLOOM 176B 模型背后的训练与工程技术

Hugging Face 详细公开了 176B 参数多语言大模型 BLOOM 背后的完整软硬件工程方案与训练实践。项目在 Jean Zay 超算上使用 384 块 80GB A100 GPU 耗时 3.5 个月完成 350B token 的训练，软件端结合 Megatron-LM 与 DeepSpeed 实现了由张量并行、流水线并行及 ZeRO-1 组成的三维并行。