Dialogue SWE-Benchとは？対話型コーディングエージェント評価が重要な理由

結論：AIコーディング評価には対話品質も必要

CodexやClaude Codeを個人開発で使う時、依頼は一発で完璧に決まるとは限りません。途中で仕様が曖昧だと分かる、テストが足りない、生成物を確認してから方針を変える、という場面が普通にあります。Dialogue SWE-Benchは、この対話を含むコーディング支援を評価するためのベンチマークです。

何を評価する論文か

従来のSWE-bench系は、エージェントがissueを受け取り、リポジトリを修正し、テストで評価される完全自律型に寄りがちです。Dialogue SWE-Benchは、ユーザーとのやり取りを含めた状況で、AIがどのように質問し、情報を使い、実装へ進めるかを見ます。

何が分かったか

• coding modelとして強いことと、dialogue modelとして強いことは一致しない。
• ユーザーとの対話をどう構造化するかが、解決率に影響する。
• schema-guided agentにより3〜14%の改善が報告されている。
• 完全自律スコアだけでは、実際の相談しやすさや確認力を読みきれない。

Codex / Claude Codeへの読み替え

• 曖昧な依頼で、勝手に決めず確認質問を出せるかを見る。
• ユーザーが選べる代替案を短く提示できるかを見る。
• レビュー差し戻しを、言い訳ではなく次の修正方針に変えられるかを見る。
• AGENTS.mdに、止まるべき操作と自律で進めてよい操作を分けて書く。

実務でどう使うか

やってはいけないこと

• SWE-benchで高いモデルなら対話も強いと断定しない。
• 確認質問を全部ユーザー負担にしない。
• 対話で合意していない作業範囲まで勝手に広げない。
• 未確認の作業を完了扱いしない。