Hugging Face Optimum 1.2 支持 Transformers 流水线推理加速
Hugging Face 推出 Optimum 1.2,为 Transformers pipelines 正式带来基于 ONNX Runtime 的推理加速支持,并保持与原有 AutoModel 类完全兼容的 API 体验。
推荐理由:原文给出了从模型导出到量化优化的完整流程,开发者可直接参考代码将现成流水线迁移至加速运行时。
内容形态
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
143 条精选近 30 天 16 条共收录 268 条
Hugging Face 推出 Optimum 1.2,为 Transformers pipelines 正式带来基于 ONNX Runtime 的推理加速支持,并保持与原有 AutoModel 类完全兼容的 API 体验。
推荐理由:原文给出了从模型导出到量化优化的完整流程,开发者可直接参考代码将现成流水线迁移至加速运行时。
Sentence Transformers 正式集成至 Hugging Face Hub,提供覆盖 100 多种语言的 90 余个预训练嵌入模型。Hub 为其新增特征提取与句子相似度计算交互组件,并支持通过 Inference API 在线调用。开发者还可以使用 save_to_hub 将训练好的模型直接上传至 Hub,系统会自动生成模型卡片并启用在线推理功能。
推荐理由:原文展示了平台对句子嵌入模型的在线交互与快捷托管支持,为语义检索模型的分享和快速调用提供了完整链路。
Gradio 2.0 支持仅用一行代码为 Hugging Face 上的机器学习模型快速生成交互界面。该功能默认调用 Hugging Face 托管的推理 API,也支持在本地运行 transformers 进行计算。开发者还可以将多个模型并行对比或串行串联,以极简代码快速组合出翻译、摘要等复杂应用。
推荐理由:原文介绍了通过一行代码为模型生成交互界面的机制,读者可以据此掌握并行对比与串联多模型的组合方法。