如何使用 Transformers 与 Tokenizers 从零训练新的语言模型
Hugging Face 官方发布教程，演示如何使用 transformers 与 tokenizers 库从零预训练一个 84M 参数量的类 RoBERTa 语言模型 EsperBERTo 并微调。
推荐理由：文章完整演示了从词表构建、预训练到下游微调的端到端流程，为小语种或专用领域训练语言模型提供了清晰实践范式。
技术方向
数据与训练 最新动态
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
65 条精选近 30 天 1 条共收录 163 条
更新
精选归档 · 第 4 页
Hugging Face Blog精选AI 评分6262
OpenAI News精选AI 评分7474 OpenAI 研究揭示深度学习中的双重下降现象
OpenAI 研究表明 CNN、ResNet 和 Transformer 架构中普遍存在双重下降现象，模型性能随着模型尺寸、数据量或训练时间的增加，会呈现先提升、后恶化、再重新提升的变化趋势。该效应通常可通过精细的正则化手段来避免。团队指出这一现象虽然普遍存在，但底层机制尚未完全明确，仍是重要的研究方向。
推荐理由：原文展示了模型规模与泛化性能之间非单调变化的规律，为理解深度学习训练机制与正则化调优提供了理论参考。
OpenAI News精选AI 评分7474 OpenAI 基于人类偏好微调 GPT-2 语言模型
OpenAI 使用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功契合了外部人类标注者的偏好。在文本摘要任务中，因标注者偏好准确性而倾向选择原句，模型最终学会直接复制原文，该任务共使用了 60k 条人类标注，而文本风格续写任务仅需 5k 条。此项研究旨在推进面向人机交互通用任务的安全技术，以更好地提取人类价值偏好。
推荐理由：这项研究展示了利用人类反馈微调模型的早期实验，揭示了标注者偏好偏差对模型生成行为的直接影响。
OpenAI News精选AI 评分7575 OpenAI 通过无监督预训练与 Transformer 提升语言理解能力
OpenAI 推出一种可扩展且任务通用的语言理解系统并对外发布，在多项多样化语言任务中取得了 SOTA 成绩。该方法结合了 Transformer 架构与无监督预训练，展示了监督学习与无监督预训练结合的有效性，为未来在更大规模数据集上的研究提供了参考。
推荐理由：原文展现了无监督预训练与 Transformer 架构的结合潜力，为在更大规模数据集上迁移该方法提供了参考。
OpenAI News精选AI 评分7979 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布关于 AI 与算力的分析指出，自 2012 年以来最大 AI 训练运行所使用的算力呈指数级增长，翻倍周期约为 3.4 个月。相比摩尔定律 2 年的翻倍周期，该指标自 2012 年起已增长超过 300,000 倍，而 2 年翻倍仅能带来 7 倍增幅。OpenAI 表示算力提升是 AI 进步的关键动力，行业需为能力远超当前水平的系统做好准备。
推荐理由：该分析量化了训练算力以 3.4 个月为周期的翻倍速度，为理解前沿模型演进提供了基准参照。