RAG チャットボットのコストは、プロンプトに入力して取得したコンテキストによって決まります。、質問ではありません。各クエリ = 埋め込み + ベクトル ルックアップ + チャンクを運ぶ LLM 呼び出し。使用量を入力すると、毎月の請求書が表示されます。
クエリごとのコストの内訳
| 成分 | $ / クエリ | 全体の % |
|---|
取得されたコンテキストがコスト要因となる理由
人々は、この質問が RAG コストの原因になると考えています。そうではありません — 取得されたチャンク プロンプト do に貼り付けます。 500 個のトークンからなる 8 つのチャンクを取得すると、モデルが単語を書き込む前に、すべてのクエリに 4,000 個の入力トークンが含まれます。それが理由です より少ない、より小さい、より優れたチャンクを取得する 他の最適化に勝り、次に キャッシング 静的なシステム プロンプト。ベクトル ストアのサイズを指定します。 ベクトル データベースのコスト計算ツールでモデルを比較します。 AI API コスト計算ツール。非 RAG ボットについては、を参照してください。 チャットボットのコスト計算ツール.