Hugging Face Blog·· 9 天前AI 评分45
用 LFM2.5-VL-DSpark 加速视觉语言模型推理
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 发布用于视觉语言模型 LFM2.5-VL-3B 的投机解码草稿模型 LFM2.5-VL-DSpark。该模型仅增加 280M 参数(8.9%),在保持输出质量的同时,使端侧解码速度最高提升 3.13x(端到端提升 2.62x),H100 解码最高加速 2.66x。模型开源权重已在 Hugging Face 发布,首日支持 llama.cpp、MLX-VLM 与 SGLang。
来源:Hugging Face Blog · huggingface.co