OpenAI News·· 2026-02-23精选AI 评分60
OpenAI 为何不再使用 SWE-bench Verified 进行评测
Why we no longer evaluate SWE-bench Verified
AI 导读
OpenAI 宣布停止使用 SWE-bench Verified 评估模型,指出该基准日益严重的数据污染导致其无法准确衡量前沿编码进展。内部分析显示该基准存在测试缺陷与训练数据泄漏问题,官方建议改用 SWE-bench Pro 进行评测。
推荐理由
OpenAI 分析了 SWE-bench Verified 的数据污染与测试缺陷,并转向推荐 SWE-bench Pro 作为前沿编程能力的评估参考。
来源:OpenAI News · openai.com