Hugging Face Blog·· 2020-02-14精选AI 评分62
如何使用 Transformers 与 Tokenizers 从零训练新的语言模型
How to train a new language model from scratch using Transformers and Tokenizers
AI 导读
Hugging Face 官方发布教程，演示如何使用 transformers 与 tokenizers 库从零预训练一个 84M 参数量的类 RoBERTa 语言模型 EsperBERTo 并微调。
推荐理由
文章完整演示了从词表构建、预训练到下游微调的端到端流程，为小语种或专用领域训练语言模型提供了清晰实践范式。
来源：Hugging Face Blog · huggingface.co