AIエージェント評価クラスターにrefactoringベンチマークを追加
既存のAIエージェント評価ハブを軸に、SWE Refactor BenchとSWE-Bench ProMaxを比較し、whole-repository migration、多言語refactoring、テスト、レビューの読み方まで整理しました。
公開 2026.06.30 / 更新 2026.08.27
この記事のポイント
- 既存親ハブを更新し、子記事を増やさずrefactoring研究2本を比較追記
- SWE Refactor Benchの3段階とSWE-Bench ProMaxの多言語・実コミット由来taskをCodex/Claude Code運用へ翻訳
- 既存のSWE-bench、AGENTS.md、完了報告、危険権限、レビュー負荷記事を強化
AIエージェント評価の既存ハブへ、SWE Refactor BenchとSWE-Bench ProMaxを追加しました。前者は20件のwhole-repository migrationを8 models・26 configurations・520 runsで評価し、全3段階passは28/520。後者は実コミット由来の170 instancesを7言語で評価し、研究内のbest resolve rateは41.2%です。分母・task・scaffold・判定が違うため、数字を直接比較したり現行Codexの成功率へ一般化したりしません。
CodexやClaude Codeへ大規模migrationを任せるときは、Migration Audit、固定したBehavioral Tests、独立したAgentic Verification、人間のdiff・生成物レビューを分けます。公開ベンチマークのスコアは作業範囲を決める材料であり、本番反映や秘密情報処理を丸投げする根拠ではありません。
関連記事
- AIは論文を再現できるのか？PaperBenchから見るCodexで研究実装を頼む時の限界
論文を読めること、コードを書けること、実験を再現できることは別です。PaperBenchから研究実装をAIに頼む時の安全な切り方を整理します。