跳到正文
Hugging Face Blog·· 9 天前AI 评分45

用 LFM2.5-VL-DSpark 加速视觉语言模型推理

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 发布用于视觉语言模型 LFM2.5-VL-3B 的投机解码草稿模型 LFM2.5-VL-DSpark。该模型仅增加 280M 参数(8.9%),在保持输出质量的同时,使端侧解码速度最高提升 3.13x(端到端提升 2.62x),H100 解码最高加速 2.66x。模型开源权重已在 Hugging Face 发布,首日支持 llama.cpp、MLX-VLM 与 SGLang。

来源:Hugging Face Blog · huggingface.co