OpenAI 基于人类偏好微调 GPT-2 语言模型
OpenAI 使用人类反馈微调了 774M 参数的 GPT-2 语言模型，成功契合了外部人类标注者的偏好。在文本摘要任务中，因标注者偏好准确性而倾向选择原句，模型最终学会直接复制原文，该任务共使用了 60k 条人类标注，而文本风格续写任务仅需 5k 条。此项研究旨在推进面向人机交互通用任务的安全技术，以更好地提取人类价值偏好。
推荐理由：这项研究展示了利用人类反馈微调模型的早期实验，揭示了标注者偏好偏差对模型生成行为的直接影响。
技术方向
数据与训练 最新动态
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
22 条精选近 30 天 1 条共收录 57 条
更新
精选归档 · 第 2 页
OpenAI News精选AI 评分7474
OpenAI News精选AI 评分7979 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布关于 AI 与算力的分析指出，自 2012 年以来最大 AI 训练运行所使用的算力呈指数级增长，翻倍周期约为 3.4 个月。相比摩尔定律 2 年的翻倍周期，该指标自 2012 年起已增长超过 300,000 倍，而 2 年翻倍仅能带来 7 倍增幅。OpenAI 表示算力提升是 AI 进步的关键动力，行业需为能力远超当前水平的系统做好准备。
推荐理由：该分析量化了训练算力以 3.4 个月为周期的翻倍速度，为理解前沿模型演进提供了基准参照。