SWE-bench・SWE-rebench・SWE-bench-Live・SWE-MERAの違い：AIコーディング評価はなぜ更新され続けるのか
SWE-bench系ベンチマークが増え続ける理由を、汚染、古いissue、弱いテスト、多言語化、live-updatable評価の観点から整理します。
公開 2026.06.27 / 更新 2026.06.30
この記事のポイント
- SWE-benchは重要な基準だが、古さ、汚染、Python偏り、テストの弱さを読む必要がある
- Dialogue SWE-BenchはSWE-bench系を対話型コーディング支援へ広げる補助線になる
- SWE-rebench、SWE-bench-Live、SWE-MERAはfresh taskや動的評価で過信を減らす試み
- Codex利用者は公開スコアと自分のrepo評価を組み合わせる
結論：SWE-benchは終わったのではなく、更新され続けている
SWE-benchはAIコーディング評価の標準的な入口です。ただし、公開ベンチマークは時間がたつほど、training dataへの混入、解法の共有、古いissueへの過適合、弱いテストへの最適化が問題になります。そのためSWE-rebench、SWE-bench-Live、SWE-MERAのような評価が出てきます。
| 名称 | 目的 | 特徴 | 良い点 | 注意点 |
|---|---|---|---|---|
| SWE-bench | 実GitHub issue修正 | 標準的評価 | 比較しやすい | 古さ・汚染・Python偏り |
| SWE-rebench | fresh task収集 | 汚染対策 | 新モデル評価向き | pipeline品質を見る |
| SWE-bench-Live | live-updatable | 2024年以降issueなど | 新鮮 | 再現環境依存 |
| SWE-MERA | 動的評価 | contamination指摘 | スコア過信を防ぐ | 論文主張を要確認 |
| SWE-Bench++ | 多言語・PR由来 | 複数言語へ広げる設計 | 実務幅が広い | 新しいため評価定着を確認 |
Dialogue SWE-Benchは対話型の補助線になる
SWE-bench系は、GitHub issueを解く力を見る入口として強力です。ただし実運用では、AIが途中で質問し、ユーザーが制約を足し、方針を選び、レビューで差し戻す流れがよく起きます。Dialogue SWE-Benchは、完全自律型の解決率だけではなく、対話を通じて問題を解く能力を見るための補助線として読むと使いやすいです。
つまり、SWE-benchで高いから実運用でも強い、と短絡しないことが大切です。CodexやClaude Codeを使う時は、ユーザー確認が必要な場面で止まれるか、曖昧な依頼を聞き返せるか、レビュー負荷を増やさない形で選択肢を出せるかも評価対象にします。
Codexのモデル選びで見るところ
- 解決率だけでなく、対象言語、repo数、issueの時期を見る。
- タスクが新鮮か、汚染対策があるかを見る。
- テストが本当に仕様を見ているか、reward-hackableでないかを見る。
- 自分のrepoに近い技術スタックかを確認する。
- 最後は自分のrepoで小さなタスクを作って試す。
SWE-bench系FAQ
SWE-benchのスコアはもう意味がないのですか？
意味はあります。ただし単独で最終判断に使うのではなく、fresh task、live evaluation、自分のrepo評価と組み合わせます。
SWE-MERAのデータ汚染とは何ですか？
公開済みタスクや解答にモデルが事前に触れている可能性、または評価セットが古くなって実力より高く見える可能性を指します。
関連記事
- SWE-bench系ベンチマークを信じすぎない｜AIコーディングエージェント評価の読み方
ベンチマーク順位は便利ですが、現場性能そのものではありません。汚染、言語偏り、タスク粒度、既存repo文脈を分けて読みます。