—
壁時計の時間—トークンの合計
—総コスト
—アイテム/時間
同時実行性がクロックを設定し、レート制限がそれを制限します
一括ジョブの実行時間は、合計トークン ÷ 結合スループットであるため、プロバイダーの TPM/RPM の上限に達するまで、より多くのワーカーがより速く終了します。このツールは時間とコストをまとめて表示します。天井を確認してください レート制限計算機 そして、 バッチ API 節約計算ツール.
パラレル ワーカーを使用した一括 LLM ジョブにかかる時間とコスト。
一括ジョブの実行時間は、合計トークン ÷ 結合スループットであるため、プロバイダーの TPM/RPM の上限に達するまで、より多くのワーカーがより速く終了します。このツールは時間とコストをまとめて表示します。天井を確認してください レート制限計算機 そして、 バッチ API 節約計算ツール.
無料のバッチ処理計算ツール — アイテム数、各トークン、実時間に対する速度と同時実行数、およびバルク LLM ジョブの総コスト。
合計トークン = アイテム × アイテムごとのトークン。合計スループット (ワーカーあたりの速度 × 並列ワーカーの数) で割ると、実時間の秒数が得られます。 60 トーク/秒の 10 人のワーカーが 600 トーク/秒を実行するため、800 万トークンのジョブには約 3.7 時間かかります (レート制限に引っかかる前に)。
仕事が時間に左右されない場合は、はい。バッチ エンドポイント (OpenAI、Anthropic、Gemini) は、トークンあたりの価格の約半額で 24 時間以内にジョブを非同期に実行します。即時のレイテンシを大幅な割引と引き換えに、埋め込みのバックフィル、評価、オフライン エンリッチメントに最適です。