プロンプトから切り取られたすべてのトークンは、それを使用するすべての呼び出しから切り取られます。システム プロンプトと数ショットのサンプルをトリミングすると、月単位および年間単位でどれだけ節約できるかを確認してください。
肥大化したシステム プロンプトや冗長な数ショットのサンプルのスタックは、リクエストごとに再度料金が請求されるため、1 回限りの編集が大規模になれば大きな金額になります。固定プレフィックスをトリミングし、残ったものをキャッシュして、割引された読み取りレートで請求するようにします。それを確認してください プロンプトキャッシュ節約計算ツール、コール全体のサイズを決定します。 LLM トークンコスト計算ツールでモデルを比較します。 最も安価な LLM API ツール.
無料のプロンプト圧縮節約計算ツール - システム プロンプトと数ショットのサンプルをトリミングし、すべての API 呼び出しで節約される月次および年次のトークン コストを確認します。
プロンプトから削除したすべてのトークンは、それを使用するすべての呼び出しから削除されます。通話ごとに節約されるトークンに、毎月の通話量と 100 万トークンあたりの入力価格を掛けます。プロンプトのサイズは、リクエストごとに繰り返されるため、ほとんどのチームが想定しているよりもはるかに重要です。
圧縮は入力側にのみ適用され、出力トークンとその価格は変更されません。冗長な命令、冗長な数ショットの例、および重複したコンテキストをトリミングすると、通常は品質が維持されますが、あまりにも積極的にカットすると精度が損なわれる可能性があります。トリミングと安定したプレフィックスのプロンプト キャッシュを組み合わせて、残りの固定コンテキストが割引されたキャッシュ読み取りレートで請求されるようにします。
さまざまなボリュームでのコスト:
| 音量 | 毎月 | 毎年 |
|---|