クエリごとのドキュメントの増加に伴うコスト

上記と同じ割合で、クエリごとに再ランク付けされた平均ドキュメントは、代表的な範囲 (クエリ/月およびトークン サイズは固定) にわたって異なります。 Cohere ではドキュメント数が 100 の倍数を超えるたびに「崖」が現れるのに対し、Voyage AI と Jina AI ではトークンごとのスムーズな上昇に注目してください。

ドキュメント/クエリコヒア航海AIジナ・アイ最安

根本的に異なる 2 つのリランカーの請求形態

Cohereの再ランク 「検索ユニット」全体での使用量を計測します。1 つの検索ユニットは 1 つのクエリと最大 100 のドキュメントをカバーし、各ドキュメントの上限は 500 トークンです。クエリが 100 を超えるドキュメントを送信するか、いずれかのドキュメントが 500 トークンの上限を超える場合、オーバーフローは追加の検索単位全体に切り上げられます。そのため、101 個のドキュメントを再ランク付けするコストは、200 個のドキュメントを再ランク付けする場合とまったく同じになります。この計算ツールで使用する式は次のとおりです。 effectiveDocs = docs × ceil(tokensPerDoc / 500); units = ceil(effectiveDocs / 100); searches = queries × units; cost = searches / 1000 × rate (レート ≈ $2.00/1,000 の検索 (Rerank 3.5 および Rerank 4 Fast の場合)、≈ $2.50/1,000 (Rerank 4 Pro の場合))。 航海AI そして ジナ・アイ 代わりに、バンドルされたヘッドルームや丸めクリフなしで、実際に処理されたすべてのトークン (クエリ テキストとすべての候補ドキュメントのトークン) を請求します。 tokens = queries × (docs × tokensPerDoc + queryTokens); cost = tokens / 1,000,000 × rate (Voyage rerank-2.5 ≈$0.05/100 万トークン、rerank-2.5-lite ≈$0.02/100 万トークン、Jina jina-reranker-v2-base-multilingual ≈$0.02/100 万トークン、jina-reranker-v3.5 ≈$0.05/100 万トークン)。

実際の効果: ほとんどの RAG パイプラインは、Cohere の 100 ドキュメントの上限をはるかに下回る、クエリごとに 10 ~ 50 の候補チャンクの最終リストのみを再ランク付けします。つまり、たとえその一部を使用しているとしても、最大 100 ドキュメントに対応するサイズの完全な検索ユニットに対して料金を支払うことになり、通常はトークンベースのベンダーの方が安くなります。パイプラインが一貫して 100 ドキュメントの上限に近づいて再ランク付けされると、Cohere の競争力が高まります。その時点で、支払っているヘッドルームを実際に使用していることになるからです。 100の倍数(101、201、301…)をわずかに上回るドキュメント数に注目してください。Cohereのコストがトークンベースのベンダーと比較して最も大きく跳ね上がるのはこの部分です。見出しのユニットごとまたはトークンごとのレートを個別に比較するのではなく、上記の計算ツールを使用して独自のクエリ量とドキュメント数を実行します。

共有: 𝕏投稿 レディット
プロジェクトをホストします。DigitalOcean — $200 無料 ↗ホスティンガー VPS
RAG と微調整サイト検索 API のコスト