Hugging Face Blog·· 17 天前精选AI 评分74
Transformers 现已支持直接运行 llama.cpp GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 宣布 Transformers 新增对 llama.cpp GGUF 量化模型的直接运行支持，允许开发者通过标准的 from_pretrained API 加载端侧量化检查点。
推荐理由
Transformers 原生打通了 GGUF 格式与底层 ggml 算子，开发者无需脱离标准 API 即可直接评测与微调端侧量化模型。
来源：Hugging Face Blog · huggingface.co