SWE-bench-Liveの記事一覧

SWE-bench-Liveに関する使い方、比較、注意点を個人開発者目線で整理します。

• SWE-bench・SWE-rebench・SWE-bench-Live・SWE-MERAの違い：AIコーディング評価はなぜ更新され続けるのか

  SWE-bench系ベンチマークが増え続ける理由を、汚染、古いissue、弱いテスト、多言語化、live-updatable評価の観点から整理します。

• AIベンチマークの汚染とは？SWE-bench-Live・SWE-MERAからスコアを信じすぎない読み方

  ベンチマーク汚染、公開タスクの古さ、弱いテスト、live-updatable benchmarkの意味を、SWE-rebench、SWE-bench-Live、SWE-MERAから整理します。