Hugging Face Blog·· 2023-05-31精选AI 评分69
Hugging Face 推出适用于 Amazon SageMaker 的 LLM 推理容器
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker
AI 导读
Hugging Face 推出基于 Text Generation Inference（TGI）的全新 SageMaker LLM 深度学习容器（DLC），用于在托管环境中部署 BLOOM、Llama 和 Falcon 等开源大语言模型。
推荐理由
文章给出了在云端托管大模型的专用容器方案，读者可以据此将开源模型低成本接入企业级生产环境。
来源：Hugging Face Blog · huggingface.co