跳到正文
10月2日周五
9月24日周四
  1. Hugging Face Blog45

    用 LFM2.5-VL-DSpark 加速视觉语言模型推理

    Liquid AI 发布用于视觉语言模型 LFM2.5-VL-3B 的投机解码草稿模型 LFM2.5-VL-DSpark。该模型仅增加 280M 参数(8.9%),在保持输出质量的同时,使端侧解码速度最高提升 3.13x(端到端提升 2.62x),H100 解码最高加速 2.66x。模型开源权重已在 Hugging Face 发布,首日支持 llama.cpp、MLX-VLM 与 SGLang。

  2. Google DeepMind61

    Google 升级 Private AI Compute 架构,引入服务端安全持久记忆

    Google 宣布升级 Private AI Compute 架构,引入安全的服务端持久记忆层,在保持端侧隐私标准的同时为 AI 助手提供跨设备的连续记忆能力。该方案结合硬件安全飞地与端到端加密通道,解密密钥完全保留在用户个人设备上,数据在隔离内存处理并即时加密,确保包括 Google 在内的外部各方皆无法访问。团队同步公开了防篡改服务端软件记录与第三方安全审计结果,供社区独立验证。

    推荐理由:该方案展示了结合硬件安全飞地与本地密钥管理兼顾云端大模型算力与隐私持久记忆的技术实现路径。

7月29日周三