OpenAI News·· 2026-02-23AI 评分54
OpenAI 为什么不再评估 SWE-bench Verified
Why we no longer evaluate SWE-bench Verified
AI 导读
OpenAI 不再使用 SWE-bench Verified 评估自家模型,理由是该基准污染日益严重,且无法准确衡量前沿编码进展。OpenAI 的分析发现其中存在测试缺陷与训练数据泄漏,并推荐改用 SWE-bench Pro。
来源:OpenAI News · openai.com