SWE-bench系ベンチマークを信じすぎない｜AIコーディングエージェント評価の読み方

GPT-5.6時代にSWE-benchだけで足りない理由

GPT-5.6 Solのような強いモデルが出るほど、SWE-benchの数字だけでAIコーディング性能を語りたくなります。しかし、Codexの実務では、GitHub issue修正だけでなく、ターミナル操作、複数ファイル生成、static HTML、sitemap、upload、完了報告レビューまで続きます。

Codex利用者向けチェックリスト

• そのベンチマークは自分の作業に近いか。
• モデル単体の評価か、agent scaffoldやツール実行込みの評価か。
• ファイル編集、テスト実行、ログ確認、再試行が含まれているか。
• タスクが古くなく、データ汚染や公開済み問題の影響を減らしているか。
• 成功率だけでなく、失敗の種類、途中状態、再試行コストを見ているか。
• 本番反映、秘密情報、権限変更、課金処理まで任せてよい話にすり替えていないか。
• 自分のrepoで小さく再現する確認タスクを用意しているか。

SWE-bench系ベンチマークも更新され続けている

SWE-benchは重要な基準ですが、古い公開タスクだけで新しいAIコーディングエージェントを判断すると、汚染、古いissue、弱いテスト、Python偏りを見落とします。SWE-rebench、SWE-bench-Live、SWE-MERAのような動的・freshな評価も合わせて読みます。