跳到正文
Hugging Face Blog·· 14 小时前精选AI 评分77

PyTorch 2.15 MPS 后端发布更新:支持 FP8 并大幅提升大模型解码速度与显存表现

MPS in PyTorch 2.15

AI 导读

Hugging Face PyTorch 团队介绍了 PyTorch 2.15 中针对苹果芯片 MPS 后端的多项重大优化,正式支持 float8_e4m3fn 格式的 FP8 张量计算与 F.scaled_mm。

推荐理由

原文详解了苹果芯片 MPS 后端在 FP8 支持、MoE 解码与显存优化上的多项底层改动,适合在 Mac 上本地部署模型的开发者参考。

来源:Hugging Face Blog · huggingface.co