Hugging Face Blog·· 2023-09-13精选AI 评分62
使用 PyTorch FSDP 微调 Llama 2 70B 实践指南
Fine-tuning Llama 2 70B using PyTorch FSDP
AI 导读
Hugging Face 介绍了利用 PyTorch FSDP、Transformers 与 Accelerate 在多节点多 GPU 环境下微调 Llama 2 70B 的完整工程方案。
推荐理由
文章给出了利用元设备加载权重与分片保存检查点的具体方案，为多卡多节点微调超大模型提供了直接可迁移的工程配置。
来源：Hugging Face Blog · huggingface.co