AIベンチマークの汚染とは？SWE-bench-Live・SWE-MERAからスコアを信じすぎない読み方
ベンチマーク汚染、公開タスクの古さ、弱いテスト、live-updatable benchmarkの意味を、SWE-rebench、SWE-bench-Live、SWE-MERAから整理します。
公開 2026.06.27 / 更新 2026.06.30
この記事のポイント
- benchmark contaminationは、公開済み問題や解答がtraining dataに入る可能性を含む
- SWE-bench-LiveやSWE-rebenchは新鮮なタスクで過信を減らす方向
- live benchmarkにも環境依存や評価設計の限界があるため、自分のrepo評価と組み合わせる
結論：ベンチマーク汚染はスコアを読む時の前提条件
benchmark contaminationとは、評価に使う問題、解答、関連issue、テスト、解説が、モデルのtraining dataや開発中の調整に入り、未知タスクの実力より高く見える可能性を指します。公開ベンチマークは便利ですが、時間がたつほどこの問題が重くなります。
| 問題 | 起きること | 読み方 |
|---|---|---|
| 公開タスクが古い | 解法やパターンが広まる | fresh / live評価を見る |
| training data混入 | 未知問題より高く見える | 汚染対策の説明を読む |
| テストが弱い | 正しく直していなくても通る | 検証の質を見る |
| live benchmarkの限界 | 環境差や再現性が揺れる | スコアだけで断定しない |
モデル比較記事で避けたい言い方
- SWE-benchで高いので完全自動化できる、と言わない。
- 最新スコアだけで最強と断定しない。
- 古い公開タスクと新鮮タスクを同列に扱わない。
- 自分のrepoでの確認なしに乗り換えをすすめない。
ベンチマーク汚染FAQ
SWE-benchのスコアは信用できないのですか？
信用できないのではなく、条件を読んで使います。古さ、汚染対策、対象repo、テスト品質、自分の作業との近さを見ます。
SWE-bench-Liveは何を解決しますか？
新しいissueや更新可能な評価で、古い公開タスクへの過適合や混入リスクを減らす方向の試みです。ただしlive評価にも環境依存があります。
関連記事
- SWE-bench系ベンチマークを信じすぎない｜AIコーディングエージェント評価の読み方
ベンチマーク順位は便利ですが、現場性能そのものではありません。汚染、言語偏り、タスク粒度、既存repo文脈を分けて読みます。