Il costo aumenta man mano che i documenti per query aumentano

Stessi tassi di cui sopra, la media dei documenti riclassificati per query variava in un intervallo rappresentativo (query/mese e dimensioni dei token mantenute fisse). Osserva il "precipizio" ogni volta che il conteggio dei documenti supera un multiplo di 100 per Cohere, rispetto alla salita fluida per token per Voyage AI e Jina AI.

Documenti/queryCoerenteViaggio IAJina AIIl più economico

Due forme di fatturazione di riclassificazione fondamentalmente diverse

Riclassificazione coerente misura l'utilizzo in intere "unità di ricerca": un'unità di ricerca copre una query più un massimo di 100 documenti, con ciascun documento limitato a 500 token. Se una query invia più di 100 documenti, o qualsiasi documento supera il limite di 500 token, l'overflow si arrotonda in un'intera unità di ricerca aggiuntiva, quindi riclassificare 101 documenti costa esattamente come riclassificarne 200. La formula utilizzata da questo calcolatore è effectiveDocs = docs × ceil(tokensPerDoc / 500); units = ceil(effectiveDocs / 100); searches = queries × units; cost = searches / 1000 × rate (tariffa ≈ $ 2,00/1.000 ricerche per Rerank 3.5 e Rerank 4 Fast, ≈ $ 2,50/1.000 per Rerank 4 Pro). Viaggio IA E Jina AI fattura invece ogni token effettivamente elaborato (il testo della query più i token di ogni documento candidato) senza margine di manovra in bundle e senza scogliera arrotondata: tokens = queries × (docs × tokensPerDoc + queryTokens); cost = tokens / 1,000,000 × rate (Voyage rirank-2,5 ≈$ 0,05/1 milione di token, rerank-2,5-lite ≈$ 0,02/1 milione di token; Jina jina-reranker-v2-base-multilingual ≈$ 0,02/1 milione di token, jina-reranker-v3.5 ≈$ 0,05/1 milione di token).

L'effetto pratico: la maggior parte delle pipeline RAG riclassificano solo una rosa di 10-50 blocchi candidati per query, ben al di sotto del tetto di 100 documenti di Cohere, il che significa che stai pagando per un'unità di ricerca completa dimensionata per un massimo di 100 documenti anche se ne stai utilizzando una frazione, e i fornitori basati su token di solito risultano più economici. Cohere diventa più competitivo una volta che una pipeline si riclassifica costantemente vicino al limite massimo di 100 documenti, poiché a quel punto stai effettivamente utilizzando il margine per cui stai pagando. Osserva il conteggio dei documenti che si collocano appena sopra un multiplo di 100 (101, 201, 301...): è qui che i costi di Cohere aumentano di più rispetto ai fornitori basati su token. Esegui il volume delle tue query e il conteggio dei documenti tramite la calcolatrice qui sopra invece di confrontare separatamente le tariffe per unità o per token del titolo.

Condividere: 𝕏 Pubblica Reddit
Ospita il tuo progetto:DigitalOcean: $ 200 gratis ↗Hostinger VPS
RAG vs Fine-TuningCosto dell'API di ricerca su sito