AIエージェントのベンチマーク完全ガイド：SWE-benchだけでCodexの実力は分からない理由
SWE-bench、Dialogue SWE-Bench、SWE-Skills-Bench、MarketBench、TerminalWorld、OSWorld、AgentHarmを分けて読み、Codexに任せる範囲と人間確認の残し方を整理します。
公開 2026.06.27 / 更新 2026.06.28
この記事のポイント
- SWE-benchは重要だが、ターミナル操作、OS/Web操作、長時間workflow、安全評価までは測りきれない
- Dialogue SWE-Bench、SWE-Skills-Bench、MarketBenchは、対話、スキル注入、自己評価のズレを読む補助線になる
- Codex利用者は、自分の作業に近いベンチマークを選び、最後は自分のrepoで小さく評価する
- ベンチマーク上位は、本番反映、秘密情報、権限変更、課金処理をAIに任せてよい根拠ではない
仕事利用データは、ベンチマークとは別の評価軸になる
SWE-benchやTerminal-Benchは能力評価の入口ですが、OpenAI Codex研究やAnthropic Cadencesは、実際の使われ方、長時間化、並列管理、成果物型タスクの広がりを見る材料です。
| 見る観点 | 確認すること | 関連する新規記事 |
|---|---|---|
| 能力評価 | 決められたタスクで何が解けるか | ai-agent-benchmark-guide-swe-bench-terminal-osworld |
| 利用データ | 人がどう任せ、どれだけ並列管理するか | codex-agentic-ai-usage-data-research |
| 限界 | スコアも利用量も成果品質そのものではない | agentic-ai-economic-research-limitations |
AIエージェント仕事利用の補足FAQ
ベンチマークと利用データはどちらを重視すべきですか？
両方を分けて見ます。能力はベンチマーク、実運用の変化は利用データ、自分の判断は自分のrepoでの検証で見ます。