Hugging Face Blog·· 2023-05-24精选AI 评分84
Hugging Face 联合 bitsandbytes 支持 4-bit 量化与 QLoRA 微调
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
AI 导读
Hugging Face 宣布在 transformers 与 PEFT 库中集成 bitsandbytes 4-bit 量化及 QLoRA 技术，支持在消费级硬件上低显存加载和微调大语言模型。
推荐理由
原文给出了 4-bit 量化与 QLoRA 的具体配置代码，读者可以据此大幅降低本地微调大模型的显存门槛。
来源：Hugging Face Blog · huggingface.co