MarketBenchの記事一覧

MarketBenchに関する使い方、比較、注意点を個人開発者目線で整理します。

• AIエージェントのベンチマーク完全ガイド：SWE-benchだけでCodexの実力は分からない理由

  SWE-bench、Dialogue SWE-Bench、SWE-Skills-Bench、MarketBench、TerminalWorld、OSWorld、AgentHarmを分けて読み、Codexに任せる範囲と人間確認の残し方を整理します。

• AIエージェントの自己評価はどこまで信用できる？MarketBenchで見る成功確率とtoken見積もりのズレ

  MarketBenchをもとに、AIエージェントの成功確率、token usage、完了見込みの自己申告をログ・テスト・差分で補正する運用を整理します。