—
月あたり—クエリごと
—検索単位/月
—年間
干し草の山ではなく、最終候補リストを再ランク付けする
リランカーは、小さな候補セットを供給すると、安価に RAG の品質を向上させます。クエリごとに何百もの再ランク付けを行うと、コストの罠が発生します。取り出し側のサイズを調整します。 RAG チャットボットのコスト計算ツール.
再ランキング: 小型モデル、実際の請求額
リランカーの価格は 1,000 検索あたり ($1 ～ $2)、またはスコア付けされたドキュメントあたりです。驚くべき計算は、月あたり 50,000 のクエリで 1,000 検索あたり 1 ドルのクエリあたり 100 人の候補を再ランク付けすると、50 ドルです。しかし、単純なパイプラインは、入力時に検索するキーストロークごとに再ランク付けを行い、クエリ量を 5 ～ 10 倍に増やします。最後のクエリのみをデバウンスして再ランク付けすると、正常な状態が復元されます。ただし、費用対効果のケースは強力です。RAG パイプラインの前にあるリランカーを使用すると、通常、より少ない、より優れたチャンクを取得できます。つまり、リランカー自体が元を取れるほど LLM 入力トークンが削減されます。トップ 20 の再ランキングとトップ 5 の生の取得をテストします。通常、トークンの節約が勝ちます。