Hugging Face Blog·· 2024-03-20精选AI 评分68
GaLore 支持消费级硬件训练大模型并在 Hugging Face Transformers 中集成
GaLore: Advancing Large Model Training on Consumer-grade Hardware
AI 导读
Hugging Face Transformers 正式集成 GaLore 优化器，支持在 NVIDIA RTX 4090 等消费级显卡上训练高达 7B 参数的大语言模型。
推荐理由
GaLore 结合梯度低秩投影与 8-bit 优化器，展示了在单张消费级显卡上训练 7B 参数模型的配置方法与调用代码。
来源：Hugging Face Blog · huggingface.co