跳到正文
Hugging Face Blog·· 2023-06-05精选AI 评分83

Falcon 系列大模型接入 Hugging Face 生态

The Falcon has landed in the Hugging Face ecosystem

AI 导读

阿布扎比技术创新研究院研发的开源语言模型 Falcon 系列正式接入 Hugging Face 生态,采用 Apache 2.0 协议开源并支持商用。该系列包括 Falcon-40B 与 Falcon-7B 及其指令微调版本,采用 Multi-Query Attention 架构降低推理时的 KV 缓存占用,预训练数据主要由 RefinedWeb 网页数据集构成。

推荐理由

文章拆解了其多查询注意力机制与预训练数据设计,并提供在消费级显卡上通过量化和微调落地的具体方法。

来源:Hugging Face Blog · huggingface.co