AIエージェントのベンチマーク完全ガイド：SWE-benchだけでCodexの実力は分からない理由
SWE-bench、Dialogue SWE-Bench、SWE-Skills-Bench、MarketBench、TerminalWorld、OSWorld、AgentHarmを分けて読み、Codexに任せる範囲と人間確認の残し方を整理します。
公開 2026.06.27 / 更新 2026.08.27
この記事のポイント
- SWE Refactor Benchはwhole-repository migrationをAudit・Behavioral Tests・Agentic Verificationの3段階で評価する
- SWE-Bench ProMaxは実コミット由来の170 refactoring instancesを7言語で評価する別の補助線
- 28/520と41.2%は分母・task・scaffold・判定条件が異なるため、現行Codexや全repoへ一般化しない
- 自分のrepoでは小さなtask、仕様テスト、差分、生成物、rollbackを固定して別途測る
仕事利用データは、ベンチマークとは別の評価軸になる
SWE-benchやTerminal-Benchは能力評価の入口ですが、OpenAI Codex研究やAnthropic Cadencesは、実際の使われ方、長時間化、並列管理、成果物型タスクの広がりを見る材料です。
| 見る観点 | 確認すること | 関連する新規記事 |
|---|---|---|
| 能力評価 | 決められたタスクで何が解けるか | ai-agent-benchmark-guide-swe-bench-terminal-osworld |
| 利用データ | 人がどう任せ、どれだけ並列管理するか | codex-agentic-ai-usage-data-research |
| 限界 | スコアも利用量も成果品質そのものではない | agentic-ai-economic-research-limitations |
AIエージェント仕事利用の補足FAQ
ベンチマークと利用データはどちらを重視すべきですか？
両方を分けて見ます。能力はベンチマーク、実運用の変化は利用データ、自分の判断は自分のrepoでの検証で見ます。
2026年8月更新：SWE Refactor BenchとSWE-Bench ProMaxを比較する
SWE-benchのissue修正率だけでは、既存repoの大規模な技術的負債やリファクタリングをどこまで安全に任せられるかは分かりません。SWE Refactor Benchはwhole-repository migrationを、SWE-Bench ProMaxは実コミット由来のrefactoring instanceを評価する補助線です。両者は目的、task構成、測定条件が違うため、数字を一つのランキングへ混ぜず、CodexやClaude Codeの作業設計に読み替えます。
| 研究 | 対象・設計 | 報告された範囲 | 実務で使う問い |
|---|---|---|---|
| SWE Refactor Bench | 20 whole-repository migration。technical debtを4種類、Audit → Behavioral Tests → Agentic Verificationの3段階で確認 | 8 models、26 configs、520 runs。全段階passは28/520、best modelのscoreは47/100と報告 | 既存repoを読む・仕様をテスト化する・移行後の振る舞いを検証するworkflowを分けられるか |
| SWE-Bench ProMax | 実コミット由来のrefactoringを専門家が選別。Python、Java、TypeScript、Go、C、C++、Rustの7言語、平均11.4 files / 261.6 LOC | 170 instances。candidate 29,782件から選定され、best resolve rateは41.2%と報告 | 多言語・複数fileの変更で、テストだけでなく人間レビューと実コミットの意図を確認できるか |
SWE Refactor Bench：migrationの途中段階を分けて読む
SWE Refactor Benchの特徴は、最終的なpassだけでなく、Migration Auditでrepoと負債を把握し、Behavioral Testsで期待動作を固定し、Agentic Verificationで移行後の整合性を検証する3段階です。論文では20件、4種類のtechnical debt、520 runsという実験範囲で、全段階を通過したrunは28件と報告されています。これは「AIがリファクタリングを28回成功させた」という一般的な成功率ではなく、そのtask・model・config・判定条件でのall-stage passです。
- Audit：対象repo、依存関係、古い構造、変更してはいけない境界を先に可視化する
- Behavioral Tests：既存仕様と移行後に守る振る舞いをテストで固定し、テストの弱さを成功扱いしない
- Agentic Verification：差分、全テスト、生成物、未確認事項を人間レビューへ返し、agentの完了文だけで合格にしない
- 3段階のどこで失敗したかを記録し、単一のpass率を別repoや本番の保証へ一般化しない
SWE-Bench ProMax：実コミット由来の多言語refactoringを読む
SWE-Bench ProMaxは、実際のコミットや変更をもとにrefactoring instanceを作り、専門家のテストレビューを経て170件を選んだ研究です。7言語、平均11.4ファイル、261.6 LOCという幅があるため、単一言語・単一fileの修正とは違う負荷を見られます。一方、best resolve rate 41.2%は研究内のagent・scaffold・判定条件に依存し、現在のCodexや自分のrepoの成功率とは別です。
| 読み替え | 確認する実物 | 過信しないこと |
|---|---|---|
| 実コミット由来 | 変更前後の意図、対象file、テスト、レビューコメント | 実コミットに似ていれば自分の要件も満たすという推定 |
| 多言語・複数file | build、型、lint、integration、生成物、依存関係 | 言語数が多いほど全言語で同じ強さという推定 |
| resolve rate | taskごとの失敗理由、patch、testの妥当性 | 一つの平均値でmodelやagentを永続ランキングすること |
| 専門家のtest review | 自分のrepoの仕様とテストの漏れ | ベンチマークのテストが本番の全要件を代替すること |
2本をCodexの実務評価へつなぐ手順
- 自分のrepoで、依存更新・rename・module分割・API移行など、戻せる小さなrefactor taskを作る
- Audit、Behavioral Tests、Agentic Verificationに相当する確認欄を作り、開始時の前提と対象fileを固定する
- 実行環境、model、tool、permission、context、retry、時間上限を記録し、同じ条件のtaskで比較する
- pass率だけでなく、壊れたテスト、目的外差分、生成物、レビュー修正、未確認箇所を記録する
- 失敗時にrollbackできるcommit単位へ分け、production、billing、secret、外部送信を評価taskへ含めない
SWE Refactor Bench / SWE-Bench ProMax FAQ
SWE Refactor Benchの28/520は、AIのリファクタ成功率ですか？
そのまま成功率とは言えません。20件のmigration、8モデル・26構成、520 runsの実験で、Audit・Behavioral Tests・Agentic Verificationをすべて通過したrunが28件という範囲の数字です。全repoや現行Codexへ一般化しません。
SWE-Bench ProMaxの41.2%と28/520を比べられますか？
単純比較できません。taskの作り方、対象言語、分母、agent、scaffold、判定が違います。研究ごとの一次ページで条件とfailure modeを確認し、自分のrepoでは同じtask・同じ環境で別に測ります。
この2本を見ればCodexへ大規模refactorを任せられますか？
任せてよい根拠にはなりません。小さなfixture、テスト、差分、生成物、権限、rollbackを用意し、production、secret、billing、deployは人間が承認します。