推論トークンオーバーラン計算ツール

単一の通話あたりのコスト番号が推論モデルに関係する理由

非推論モデルはコストに関してほぼ決定論的です。N 個の入力トークンを送信し、M 個の出力トークンを返し、レートを乗算して完了です。推論モデルはそれを打破します。プロンプトと回答の間に、モデルはプライベートな思考の連鎖を実行します。 思考トークン — そして、それらが応答に表示されない場合でも、出力レートでそれらすべてに対して請求されます。重要なのは、カウントは データに依存する: 簡単な分類には数百ドル、厄介な複数ステップの証明やエージェント ツールの計画には数万ドルがかかる場合があります。つまり、コールあたりの本当のコストは数値ではなく分布であり、その中央値 (p50) だけを引用すると、実際に予算を使い果たす分布の部分、つまりテールが隠れてしまいます。

p50 / p99 スプレッドと税の根拠

通話あたりのコストは インプット×インプット価格 + (目に見えるアウトプット + 思考)×アウトプット価格。思考以外のすべてを固定しておくと、すべてがその 1 つの変数に基づいて回転します。通常の思考回数では、p50 のコストが得られます。ハードプロンプトの場合の思考にテールファクターを掛けると、p99 が得られます。強力な推論を使用すると、2 つは 3 ～ 5 倍離れて座ることができます。つまり、その月のプロンプトがどれだけ難しかったかに応じて、同じ月次ボリュームがその範囲のどこにいても請求される可能性があります。の 税金の理屈 — 送信した入力や受け取った回答ではなく、考えている請求書の一部 — ハードなワークロードでは、通常 70 ～ 80% をクリアします。あなたは主にスクラッチ作業に対して支払いを行っています。通常、そのシェアを確認するのは、チームが思考の上限を追加した瞬間です。

バンドを縮める方法

3本のレバーで動かします。尻尾が物理的に逃げられないように、推論の労力や最大思考トークンに制限を設けます。これにより、最も困難なプロンプトに対する回答の質が若干低下する代わりに、コストの厳しい上限が設定されます。難易度によるルーティング: 簡単な多数派を安価な非推論モデルに送信し、本当に必要なプロンプトのために推論モデルを予約します。また、平均ではなく p99 を監視します。これは、一連のハード プロンプトが平均を動かすずっと前に尾を上げているためです。ご了承ください プロンプトキャッシュ 入力側はカットしますが、思考側はカットしません。そのため、推論が多いトラフィックでは思考キャップが重要なレバーになります。これを フラット推論トークン計算機 点の推定と エージェント ループの予算計算ツール マルチステップの場合。