跳到正文
Hugging Face Blog·· 2026-04-29精选AI 评分66

Granite 4.1 系列大语言模型是如何构建的

Granite 4.1 LLMs: How They’re Built

AI 导读

IBM 发布 Granite 4.1 系列密集大语言模型(涵盖 3B、8B 和 30B),并在 Apache 2.0 协议下开源模型权重及完整训练方案。该系列采用五阶段预训练流水线在约 15T token 上训练完成,支持最高 512K tokens 长上下文,并通过 4.1M 筛选样本的 SFT 与四阶段强化学习优化性能。

推荐理由

原文完整拆解了从五阶段预训练到多阶段强化学习的训练流水线,读者可参考其在小参数密集模型中强化推理能力的数据退火配比。

来源:Hugging Face Blog · huggingface.co