Falcon-H1 开源混合头大语言模型系列发布

Falcon-LLM 团队开源了 Falcon-H1 系列混合架构大语言模型，涵盖 0.5B 至 34B 六种尺寸的 Base 与 Instruct 版本。该系列将 Transformer 注意力机制与 Mamba-2 状态空间模型（SSM）头在混合层内并行结合，支持最高 256K 上下文窗口并原生支持 18 种语言。