Hugging Face Blog·· 2023-06-05精选AI 评分83
Falcon 系列大模型接入 Hugging Face 生态
The Falcon has landed in the Hugging Face ecosystem
AI 导读
阿布扎比技术创新研究院研发的开源语言模型 Falcon 系列正式接入 Hugging Face 生态,采用 Apache 2.0 协议开源并支持商用。该系列包括 Falcon-40B 与 Falcon-7B 及其指令微调版本,采用 Multi-Query Attention 架构降低推理时的 KV 缓存占用,预训练数据主要由 RefinedWeb 网页数据集构成。
推荐理由
文章拆解了其多查询注意力机制与预训练数据设计,并提供在消费级显卡上通过量化和微调落地的具体方法。
来源:Hugging Face Blog · huggingface.co