AI要約OpenAIポリシー21:41
AIが複数ソースを照合して要約
AIコーディング評価の信頼性が下がり代替検討しやすくなります
古いベンチマークに頼らず、実務に合う評価方法を選びやすくなります。
参照確認
参照ソース 1件
参照ソース
要点整理
- 130%のタスクに問題あり
- 2研究者向け推奨を撤回
- 3より厳密な評価が必要に
OpenAIが広く使われるSWE-Bench Proを監査した結果、30%のタスクに破損や矛盾した指示、厳しすぎるテストなどの問題があると判明しました。これまでフロンティアモデルの指標として推奨していましたが、撤回を発表しました。研究者や開発者はより信頼できるベンチマークを探す動きが加速しそうです。
何が起きたか
OpenAIはSWE-Bench Proの公開タスクをモデルエージェントと専門エンジニア5名で監査。30%に破損や不完全な採点基準が見つかり、結果を歪める可能性を指摘しました。
影響
これまで上位モデル比較に使われてきた指標の信頼性が低下。xAIなどの新結果発表直後に撤回したことで、業界のベンチマーク議論が活発化しています。
hayamiの重要度メモ
公式X投稿で明確に発表され、AI開発者の評価ツール選定に直接影響する新規情報のため。