如何通过 Core ML 在 Mac 本地运行 Mistral 7B

Hugging Face 发布利用 WWDC24 新特性在 Mac 上通过 Core ML 运行 Mistral 7B 的完整教程。方案结合有状态缓冲区管理 KV cache 与 4-bit 块量化，将模型体积由 14GB 压缩至约 3.8GB，实现使用低于 4GB 内存本地运行。