TerminalWorld・Terminal-Benchで読むAIターミナルエージェントの限界：CodexにCLI作業を任せる前に見ること
TerminalWorld、Terminal-Bench、terminal-agent task guidelineから、Codexにbuild/checkやログ読解を任せる前の安全手順を整理します。
公開 2026.06.27 / 更新 2026.06.30
この記事のポイント
- Terminal-Benchは現実的で難しいCLIタスクを評価する入口になる
- 良いterminal-agent評価はpromptではなく、失敗を見つけるための問題として設計する
- CodexにCLI作業を頼む時は副作用、生成物、失敗ログ、deploy除外を明記する
結論：CLI作業は成功ログだけでは評価できない
Codexに npm run build やチェックコマンドを任せる場面は増えています。ただし、ターミナルで作業できることは、環境差、キャッシュ、生成物、lockfile、upload同期、エラーの読み替えまで扱えることを意味しません。
CodexにCLI作業を任せる前のチェック
- 実行してよいコマンドを限定したか
- 生成物が大量に変わるコマンドか
- lockfileやassets hashの変化を確認するか
- upload/ と dist/ の差分を見るか
- 失敗ログをそのまま成功扱いしていないか
- コマンドの副作用を完了報告に書かせるか
- 本番deployやDB操作は除外しているか
良い評価タスクと悪い評価タスク
Terminal-agent guidelineは、ベンチマークタスクをpromptのように作るべきではないと説明します。agentを成功させる文章ではなく、実力と失敗を見分けるための、難しく、読みやすく、reward-hackされにくい評価問題が必要です。
| 悪い設計 | 起きる問題 | 改善 |
|---|---|---|
| 過剰に手順を書く | 指示なぞりで解けてしまう | 目的と制約を明確にし、探索を残す |
| テストが弱い | 壊れた修正でも通る | 仕様に近い検証を足す |
| 副作用を見ない | 生成物やlockfileを壊す | git diffと対象範囲を確認する |
| 完了報告だけを見る | 失敗ログを成功扱いする | コマンド出力と生成ファイルを確認する |
Terminal agent FAQ
Codexにnpm run buildを任せても大丈夫ですか？
多くの場合は任せられます。ただし、実行してよいコマンド、生成物、失敗時の報告、deploy除外を明記し、最後に差分を見ます。
ターミナルエージェントが失敗しやすいのはどこですか？
ログの読み違い、キャッシュや環境差、生成物の見落とし、失敗したコマンドを成功扱いすることです。
関連記事
- Codexの完了報告はどこを見る？build・check・diff・本番確認URLの読み方
Codexが「完了」と言ったあと、何を見るべきか。build/checkの成功、未確認事項、diff、upload、commit hash、本番確認URLを順番に読みます。
- AIにpushさせる前に見るGitHub差分レビュー｜個人開発者の安全チェック
AIにpushさせる前に、ファイル単位で何を見るか。GitHub差分、関連ファイル、package変更、secret、CI/CD、本番影響を短く確認します。