TII 发布开源无注意力模型 Falcon Mamba 7B

阿布扎比技术创新研究院（TII）发布开源无注意力模型 Falcon Mamba 7B，采用纯 Mamba 架构并接入 Hugging Face 生态。该模型基于约 5500GT 数据训练并加入额外 RMS 归一化层，不仅在单张 24GB A10 GPU 上可处理长序列且生成耗时保持恒定，在综合基准测试中也达到与主流同体量 Transformer 相当的性能。