Hugging Face Blog·· 2023-08-23精选AI 评分76
Hugging Face 将 AutoGPTQ 集成至 Transformers
Making LLMs lighter with AutoGPTQ and transformers
AI 导读
Hugging Face 宣布将 AutoGPTQ 库原生集成到 Transformers 中，支持用户以 8、4、3 甚至 2-bit 精度对大语言模型进行 GPTQ 量化与推理。
推荐理由
Hugging Face 将 AutoGPTQ 原生集成进 Transformers 与 TGI，大幅降低了 70B 级别大模型在消费级与单卡硬件上的部署门槛。
来源：Hugging Face Blog · huggingface.co