跳到正文
Hugging Face Blog·· 14 小时前精选AI 评分81

开源 501B MoE 模型 Beam 发布:激活 23B 参数并支持 1M 上下文

Welcome Beam: a 501B open model you can own, customize, and scale

AI 导读

Reflection 与 Hugging Face 联合发布开源 MoE 模型 Beam,拥有 501B 总参数与 23B 激活参数,支持 1M 上下文窗口并在 Apache 2.0 协议下开源。

推荐理由

原文提供了详细的架构设计与部署训练方案,开发者可以借此评估在自有硬件上落地前沿尺寸开源模型的可行性。

来源:Hugging Face Blog · huggingface.co