Coût à mesure que le nombre de documents par requête augmente

Mêmes taux que ci-dessus, la moyenne des documents reclassés par requête variait sur une plage représentative (requêtes/mois et tailles de jetons maintenues fixes). Observez la « falaise » chaque fois que le nombre de documents dépasse un multiple de 100 pour Cohere, par rapport à la montée en douceur par jeton pour Voyage AI et Jina AI.

Documents/requêteAdhérerVoyage IAJina IALe moins cher

Deux formes de facturation de reranker fondamentalement différentes

Cohérer le reclassement l'utilisation des compteurs en « unités de recherche » entières : une unité de recherche couvre une requête et jusqu'à 100 documents, chaque document étant limité à 500 jetons. Si une requête envoie plus de 100 documents, ou si un document dépasse la limite de 500 jetons, le dépassement de capacité est arrondi à une unité de recherche entière supplémentaire. Ainsi, le reclassement de 101 documents coûte exactement le même prix que le reclassement de 200. La formule utilisée par cette calculatrice est la suivante : effectiveDocs = docs × ceil(tokensPerDoc / 500); units = ceil(effectiveDocs / 100); searches = queries × units; cost = searches / 1000 × rate (tarif ≈ 2,00 $/1 000 recherches pour Rerank 3.5 et Rerank 4 Fast, ≈ 2,50 $/1 000 pour Rerank 4 Pro). Voyage IA et Jina IA à la place, facturez chaque jeton réellement traité (le texte de la requête plus les jetons de chaque document candidat) sans marge groupée ni falaise d'arrondi : tokens = queries × (docs × tokensPerDoc + queryTokens); cost = tokens / 1,000,000 × rate (Voyage rerank-2,5 ≈$0,05/1M de jetons, rerank-2,5-lite ≈$0,02/1M de jetons ; Jina jina-reranker-v2-base-multilingual ≈$0,02/1M de jetons, jina-reranker-v3.5 ≈$0,05/1M de jetons).

L'effet pratique : la plupart des pipelines RAG ne reclassent qu'une liste restreinte de 10 à 50 morceaux de candidats par requête, bien en dessous du plafond de 100 documents de Cohere - ce qui signifie que vous payez pour une unité de recherche complète pouvant contenir jusqu'à 100 documents, même si vous en utilisez une fraction, et les fournisseurs basés sur des jetons sont généralement moins chers. Cohere devient plus compétitif une fois qu'un pipeline se reclasse systématiquement près du plafond total de 100 documents, car à ce stade, vous utilisez réellement la marge pour laquelle vous payez. Regardez le nombre de documents qui se situe juste au-dessus d'un multiple de 100 (101, 201, 301…) – c'est là que le coût de Cohere augmente le plus par rapport aux fournisseurs basés sur des jetons. Exécutez votre propre volume de requêtes et nombre de documents via la calculatrice ci-dessus au lieu de comparer les taux globaux par unité ou par jeton de manière isolée.

Partager: 𝕏 Publier Reddit
Hébergez votre projet :DigitalOcean — 200 $ gratuits ↗VPS Hostinger
RAG vs réglage finCoût de l'API de recherche sur site