自分のリポジトリでCodexを評価する方法：小さなベンチマークタスクの作り方

結論：公開ベンチマークより、自分のrepoで小さく試す

SWE-benchで高いスコアのモデルでも、手元のリポジトリの構造、ビルド、記事生成、upload同期、文体、AGENTS.mdを理解するとは限りません。最初は失敗しても戻せる小さな評価タスクを作り、差分、確認、報告の正確さまで見ます。

比較の前に、同じ開始条件を作る

自分が把握しているリポジトリから、メタデータの食い違い、範囲を限定した1ファイルの不具合、入力と期待結果を言える既存動作の回帰を選びます。本番変更、秘密情報、課金、外部送信、大きな移行は評価対象にしません。比較する試行ごとに開始commit、作業領域、OS・実行環境・既存依存の状態、ツールとモデルの識別子・版、許可範囲、リポジトリの指示書、利用する確認コマンドを記録します。環境や指示が違えば同じ条件の試行として集計しません。新しい依存の導入や破壊的なresetを評価手順に含めないでください。

合格条件は、AIがコードを書く前に決める

要件、入力値、期待する結果、境界条件、禁止する変更、検証方法を先に書き、生成後に合格条件を都合よく変えません。受け入れ条件は生成されたコードやAIの説明から作らず、issue、利用者の期待、既存仕様などコード外の根拠から決めます。作業開始前に確認できる既存の挙動を記録すると、修正後との比較ができます。

Codex評価タスクテンプレ

## 記録カード

### 実行前に記入
- タスクID / 目的: [ ]
- タスクの種類: [メタデータ / 1ファイルの不具合 / 既存動作の回帰 / その他]
- 対象リポジトリと開始commit: [ ]
- 作業領域 / 開始時の状態: [ ]
- OS・実行環境・既存依存: [ ]
- ツール・モデル・版: [ ]
- 許可範囲・リポジトリの指示・依頼文: [ ]
- 受け入れ条件を決めた時点と根拠: [ ]
- 検証コマンドと期待結果: [ ]
- 総試行予算: [初回を含む試行数と時間上限]
- 再試行の上限: [初回の後に許す回数]

### 実行後に記入
- 初回の結果: [PASS / FAIL / BLOCKED / NOT RUN] - 証拠: [ ]
- 再試行回数 / 理由 / 変えた条件: [ ]
- 使用試行数 / 総試行予算: [ ]
- AIの実行時間: [ ]
- 人のレビュー時間: [ ]
- レビュー込みの合計時間: [ ]
- 確認できた利用量と証拠の出どころ: [値と単位 / unavailable]
- 費用: [請求などで確認できた値 / unavailable]
- 失敗分類: [環境 / 探索 / 実装 / 検証 / 報告の正確さ / なし]
- 差分・生成HTML・未確認事項: [ ]
- 次の判断: [環境を整える / 記録カードを直す / 範囲を絞る / 採用する / 終了]

## 結果記録表
| タスク・固定条件 | 初回・再試行・予算 | 実行時間＋人のレビュー | 確認できた利用量・費用 | 結果・失敗分類 |
| --- | --- | --- | --- | --- |
| [ID、commit、ツール/版] | [初回: ] / [再試行: ] / [予算: ] | [実行: ] + [レビュー: ] | [利用量: ] / [費用: ] | [結果: ] / [分類: ] |

初回・再試行・時間・利用量を分けて記録する

初回の結果は、再試行前の記録として保存します。再試行した場合は回数、理由、変えた条件を記し、初回の結果は書き換えません。再試行の上限と、初回を含む総試行予算も別々に決めます。作業時間はAIの実行時間と、人が差分や出力を確認した時間に分け、合計も残します。提供元が利用量を示す場合は単位と確認元を添え、確認できない利用量や請求額は「未確認」と記録します。token数を金額や品質の代わりに扱わないでください。

結果から安全に次の一手を決める

環境の都合で止まった試行は、コード修正の失敗に数えません。条件を整えた後は新しい試行として記録します。合格条件が曖昧だった場合も、結果を見て後から通すのではなく、記録カードを直して別に試します。受け入れ条件を満たしても、まずは対象範囲やレビュー手順の改善に活用し、本番操作を任せる根拠にはしません。一律の最低タスク数はありません。異なるタスク、環境、許可範囲を混ぜた成功率やモデル順位は作らず、条件つきの観察として扱います。

完了報告も評価対象にする

Codex評価では、コードが動いたかだけでなく、何を確認したか、何を確認していないか、警告をどう扱ったか、uploadやsitemapを本当に見たかまで評価します。強いモデルでも、未確認を確認済みと言う運用は危険です。