AIエージェントの自己評価はどこまで信用できる？MarketBenchで見る成功確率とtoken見積もりのズレ

結論：AIの自信はログで補正する

CodexやClaude Codeが「できます」「この程度で終わります」「成功しました」と言っても、それだけで判断してはいけません。MarketBenchは、AIエージェントが成功確率やtoken usageを正しく見積もれるかを見る研究です。実務では、自己申告ではなく、実行ログ、差分、テスト、レビューで補正します。

何を評価する論文か

MarketBenchは、AIエージェントが市場参加者のようにタスクへ参加する状況で、成功確率やtoken usageをどれだけ正しく見積もれるかを評価します。自己申告がズレると、入札型や市場型のタスク配分はうまく機能しません。

何が分かったか

• LLMは成功確率を過大または過小に見積もることがある。
• token usageの見積もりもズレる。
• 自己申告に基づく作業配分は、ミスキャリブレーションがあると崩れやすい。
• AIエージェント運用では、自己評価より実測ログが重要になる。

Codex / Claude Codeへの読み替え

実務でどう使うか

• AIに成功確率を聞くより、成功条件と失敗条件を書かせる。
• token見積もりは参考値に留め、実測ログを残す。
• 完了報告には、実行したコマンド、失敗したコマンド、未確認事項を入れさせる。
• レビュー負荷が高い作業は、AIの自信ではなく差分サイズと影響範囲で判断する。

やってはいけないこと

• AIエージェントの自己評価を完全に嘘と決めつけない。
• 逆に、自己評価だけで本番反映やpushを判断しない。
• token見積もりだけで予算管理しない。
• レビュー負荷をAIの自信で軽く見積もらない。