Batch API は、ほとんどのチームの 50% が最も簡単に残せるものです。 リクエストのファイルを送信すると、一定の時間内 (最大 24 時間) で結果が返され、トークンごとの価格の約半分を支払います。作業が待つ限り、モデルについては何も変更されません。同じ品質、同じトークン、請求額の半分です。
モデル別のバッチコスト
同じワークロード、バッチ価格で、最も安い順にランク付けされています。
| モデル | 標準 / 月 | バッチ/月 |
|---|
バッチとは何か、そしてそうでないもの
バッチ API 取引 価格の割にレイテンシが高い。あなたはプロバイダーにリクエストのファイルを渡します。時間枠内 (多くの場合最大 24 時間) でそれらを処理し、およそ次の時点で結果のファイルを返します。 半分 入力と出力の両方における標準のトークンごとのレート。モデル、プロンプト、出力は同一です。「今」諦めているだけです。したがって、誰もスピナーを見つめていない作業には最適ですが、インタラクティブなものには役に立ちません。
何をバッチに移動するか
良い候補者: 夜間 要約、バルク 分類またはタグ付け, 埋め込み バックフィル、データセット ラベリング、オフライン 評価、およびスケジュールに従って生成されたレポート。リアルタイム API を維持します: ライブ チャット、ユーザーが待機しているもの、および遅延に敏感なツール呼び出し。一般的なパターンは、同じパイプラインを双方向で実行します (対話型パスの場合はリアルタイム、夜間の再処理の場合はバッチ)。バッチは半分静かに請求額のその部分を半分にします。積み重ねてください プロンプトキャッシュ 繰り返される文脈と節約効果について。
代わりに製品全体を見積もりますか?を使用します。 AI アプリのコスト見積りツール または プロンプトキャッシュ節約計算ツール。建築代理店？の AIエージェントのコスト計算ツール.