Hugging Face Accelerate 如何借助 PyTorch 运行超大模型

Hugging Face 详细介绍了 Accelerate 库如何借助 PyTorch 特性在消费级硬件甚至免费 Colab 实例上加载并推理超大模型。该方案结合 PyTorch meta 设备先构建空模型骨架，通过自动设备映射（device_map）按需将层级分配至 GPU、CPU 内存或磁盘，并借助分块权重（sharded checkpoints）渐进式加载参数。