Hugging Face Blog·· 2023-05-15精选AI 评分73
Hugging Face transformers 库正式集成 RWKV 架构
Introducing RWKV - An RNN with the advantages of a transformer
AI 导读
Hugging Face 宣布将兼具 RNN 与 Transformer 优势的 RWKV 架构正式集成至 transformers 库。该架构在训练时支持并行化且速度超越传统模型，推理时具备固定显存占用和线性计算效率，覆盖 170M 至 14B 参数。
推荐理由
Hugging Face 将结合 RNN 与 Transformer 优势的 RWKV 架构原生接入 transformers 库，方便开发者直接调用线性复杂度的开源模型。
来源：Hugging Face Blog · huggingface.co