OpenRouter ClassifiersとProvider Performanceとは？AIエージェントのコストと速度を測る

同じmodel名でも、provider endpointが違えば待ち時間、生成速度、uptime、quantizationの影響が変わります。Classifiersはこの性能を直接上げる機能ではなく、どんなrequestがどれだけ費用を使ったかを分類する観測面です。測定と分類をrouting policyへ戻すと、AIエージェントを感覚だけで運用しにくくなります。

『最速provider』は固定の王者ではない

latencyはtime to first token、throughputは生成中のoutput tokens/secです。短いチャットはlatency、長いコード生成はthroughput、ユーザー向け本番はp90・p99の尾、夜間バッチは総時間と料金を重く見るなど、同じ指標でも用途の重みが変わります。

Classifiersは観測であり、自動節約ではない

Classifiersはworkspaceでtaxonomyを作り、generationをdepartment、task type、engineering work、agent complexityなどへ分類します。公式ブログでは最大8 dimensions、分類model、sampling rate、Activityでの集計、request後の非同期処理、Beta提供が説明されています。分類modelのtokenは通常のgenerationと同じように課金されるため、100%分類が常に正解とは限りません。

• 費用を分けたいなら、task typeをcoding、agent workflow、data processingなど実際の判断軸にする
• 高い精度が必要な分類と、広い傾向を見る分類でsampling rateを分ける
• classifier promptへ秘密情報や不要な個人情報を渡さない設計を確認する
• workspace、administrative user、provider logging、retention、data policyを別に確認する

同じworkloadでproviderを比較する

公式leaderboardやmodel pageは候補を絞る入口です。採用判断では、同じmodel、同じprompt、同じ出力上限、同じtool条件、同じ時間帯で複数回測ります。1回だけのrequestでproviderを固定すると、混雑・fallback・quantizationの差を見落とします。

測定結果をrouting policyへ戻す最小例

OpenRouter公式ブログで示されているprovider.sortとmax_priceの構文を使ったserver-side例です。数値は実測値ではなく、上限を置く場所を示す例なので、現在のmodel pageと自分の予算から設定してください。

import os
from openrouter import OpenRouter

client = OpenRouter(api_key=os.environ["OPENROUTER_API_KEY"])
response = client.chat.send(
    model="MODEL_ID_FROM_OFFICIAL_MODEL_PAGE",
    messages=[{"role": "user", "content": "Write a SQL query to find duplicate rows."}],
    provider={
        "sort": "throughput",
        "max_price": {"prompt": 1, "completion": 2},
    },
)
print(response)

MODEL_ID_FROM_OFFICIAL_MODEL_PAGEは、利用時点のOpenRouter公式model pageに表示されるIDへ置き換えるプレースホルダーです。記事公開時点で特定modelの提供状態や性能を保証しないため、固定のmodel名を埋め込んでいません。

この例だけで『最速』や『最安』が決まるわけではありません。latencyを優先するならsortの条件を変え、providerのthresholdやquantizations、ignore、fallbackを公式仕様に沿って追加し、同じテストログで結果を比べます。thresholdは候補を完全に除外するのではなく、優先順位を下げる場合があるため、意図と実際のrouteを確認します。