跳到正文
Hugging Face Blog·· 2024-07-30精选AI 评分68

使用 Quanto 与 Diffusers 优化 Diffusion Transformer 显存占用

Memory-efficient Diffusion Transformers with Quanto and Diffusers

AI 导读

Hugging Face 官方发布了结合 Quanto 工具与 Diffusers 库降低 Diffusion Transformer 显存占用的实践方案。通过对扩散主干模型与文本编码器分别应用 FP8 或 INT8 权重量化,可以在画质几乎无损的前提下大幅缩减显存需求,例如 PixArt-Sigma 显存从 12.086 GB 降至 5.363 GB。

推荐理由

文章展示了在 Diffusers 中结合 Quanto 对扩散主干与文本编码器量化的具体方法,帮助开发者在低显存硬件上运行文生图模型。

来源:Hugging Face Blog · huggingface.co