如何使用 Transformers 与 Tokenizers 从零训练新的语言模型
Hugging Face 官方发布教程,演示如何使用 transformers 与 tokenizers 库从零预训练一个 84M 参数量的类 RoBERTa 语言模型 EsperBERTo 并微调。
推荐理由:文章完整演示了从词表构建、预训练到下游微调的端到端流程,为小语种或专用领域训练语言模型提供了清晰实践范式。
公司与模型
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
261 条精选近 30 天 7 条共收录 519 条
Hugging Face 官方发布教程,演示如何使用 transformers 与 tokenizers 库从零预训练一个 84M 参数量的类 RoBERTa 语言模型 EsperBERTo 并微调。
推荐理由:文章完整演示了从词表构建、预训练到下游微调的端到端流程,为小语种或专用领域训练语言模型提供了清晰实践范式。