—
$/会話—トークン/会話
—月あたり
—× vs コンテキストなし
会話コストは長さの二乗に応じて増加します
履歴を毎ターン再送信するということは、長いチャットに含まれる単語よりもはるかに多くのコストがかかることを意味します。キャッシングを使用して繰り返されるプレフィックスをカットします。損益分岐点を参照してください。 プロンプトキャッシュ計算ツール — そして、累計がウィンドウに適合することを確認してください。 コンテキストウィンドウ計算機.
毎ターン、チャットが再送信されます。長い会話には言葉よりもはるかにコストがかかる理由がわかります。
履歴を毎ターン再送信するということは、長いチャットに含まれる単語よりもはるかに多くのコストがかかることを意味します。キャッシングを使用して繰り返されるプレフィックスをカットします。損益分岐点を参照してください。 プロンプトキャッシュ計算ツール — そして、累計がウィンドウに適合することを確認してください。 コンテキストウィンドウ計算機.
無料の会話あたりのコスト計算ツール — ターンごとにコンテキストを再送信すると、複数ターンのチャットのコストが追加されるトークンよりもはるかに高くなる仕組みをモデル化します。
モデルはステートレスであるため、毎ターン、前の会話全体を入力として再送信します。 8 ターン目までに、最初のターンの料金を 8 倍支払うことになります。請求されるトークンの合計は、おおよそターン数の 2 乗に応じて増加するため、メッセージのサイズだけでなく長さもコストを左右します。
すべてを再送信するのではなく古いターンをトリミングまたは要約し、繰り返されるプレフィックスが割引料金で請求されるようにプロンプト キャッシュを使用し、会話の長さを制限し、単純なターンをより安価なモデルにルーティングします。これらは再送信されたコンテキストを攻撃し、長時間のチャットを高価にします。