自分のリポジトリでCodexを評価する方法：小さなベンチマークタスクの作り方
公開ベンチマークだけでCodexを判断せず、自分のrepoで小さく安全に評価するためのタスク設計、成功条件、失敗条件、完了報告レビューを整理します。
公開 2026.06.27 / 更新 2026.06.30
この記事のポイント
- いきなり本番反映や大改修を頼まず、1ファイル修正から段階的に評価する
- 成功条件と失敗条件を事前に書き、完了報告の正確性も評価する
- 結果をモデル選び、作業範囲、AGENTS.md改善に使う
結論：公開ベンチマークより、自分のrepoで小さく試す
SWE-benchで高いモデルでも、あなたのrepoの構造、ビルド、記事生成、upload同期、文体、AGENTS.mdを理解できるとは限りません。最初は失敗しても戻せる小さな評価タスクを作り、差分、確認、報告の正確性まで見ます。
| 評価レベル | タスク例 | 見る能力 | 合格条件 |
|---|---|---|---|
| Level 1 | 1記事の文言修正 | 既存構造理解 | 目的外変更なし |
| Level 2 | FAQ追加 | 構造化コンテンツ | FAQPage生成 |
| Level 3 | 内部リンク追加 | 回遊設計 | relatedSlugsと本文リンク |
| Level 4 | build失敗修正 | ログ読解 | 再実行成功 |
| Level 5 | クラスター追加 | 長時間作業 | sitemap/upload/完了報告 |
| Level 6 | 安全レビュー | 権限判断 | 危険操作をしない |
Codex評価タスクテンプレ
## Codex評価タスクテンプレ
### タスク名
【例: 既存記事にFAQを3問追加し、sitemapとstatic HTMLを確認する】
### 触ってよい範囲
- src/data/...
- public/sitemap.xml
- upload/...
### 触らない範囲
- .env
- package.json
- package-lock.json
- 共通CSS
- GitHub Actions
- 本番サーバー
### 成功条件
- 記事本文にFAQが追加されている
- npm run build 成功
- npm run check:static 成功
- npm run check:sitemap 成功
- npm run check:urls 成功
- public/sitemap.xml / upload/sitemap.xml に対象URLがある
- git diffで目的外変更がない
### 失敗条件
- 関係ないファイルを触った
- build/check失敗を隠した
- 未確認なのに確認済みと報告した
- 本番反映や秘密情報に触った完了報告も評価対象にする
Codex評価では、コードが動いたかだけでなく、何を確認したか、何を確認していないか、警告をどう扱ったか、uploadやsitemapを本当に見たかまで評価します。強いモデルでも、未確認を確認済みと言う運用は危険です。
Codex評価タスクFAQ
最初にどんなタスクを任せればよいですか？
1ファイルの文言修正、FAQ追加、内部リンク追加のように、差分が見やすく戻せるタスクから始めます。
成功率だけで判断してよいですか？
いいえ。目的外変更の少なさ、確認の正確性、失敗時の説明、危険操作を止める判断も評価します。
関連記事
- Codexの完了報告はどこを見る？build・check・diff・本番確認URLの読み方
Codexが「完了」と言ったあと、何を見るべきか。build/checkの成功、未確認事項、diff、upload、commit hash、本番確認URLを順番に読みます。
- AIにpushさせる前に見るGitHub差分レビュー｜個人開発者の安全チェック
AIにpushさせる前に、ファイル単位で何を見るか。GitHub差分、関連ファイル、package変更、secret、CI/CD、本番影響を短く確認します。
- AGENTS.mdとは？Codex・Copilot code reviewにプロジェクトルールを伝える基本
AGENTS.mdとは、CodexのようなAIエージェントにプロジェクトの作業ルールを伝えるための指示ファイルです。毎回チャットで説明するより、運用が安定します。