Costo a medida que crece el número de documentos por consulta

Mismas tasas que las anteriores, el promedio de documentos reclasificados por consulta varió en un rango representativo (consultas/mes y tamaños de tokens mantenidos fijos). Observe el "precipicio" cada vez que el recuento de documentos cruza un múltiplo de 100 para Cohere, en comparación con el suave ascenso por token de Voyage AI y Jina AI.

Documentos/consultaAdherirseViaje AIJina AIMás barato

Dos formas de facturación de reranker fundamentalmente diferentes

Reordenar Cohere mide el uso en "unidades de búsqueda" completas: una unidad de búsqueda cubre una consulta más hasta 100 documentos, y cada documento tiene un límite de 500 tokens. Si una consulta envía más de 100 documentos, o cualquier documento excede el límite de 500 tokens, el desbordamiento se redondea a una unidad de búsqueda completa adicional, por lo que reclasificar 101 documentos cuesta exactamente lo mismo que reclasificar 200. La fórmula que utiliza esta calculadora es effectiveDocs = docs × ceil(tokensPerDoc / 500); units = ceil(effectiveDocs / 100); searches = queries × units; cost = searches / 1000 × rate (tasa de ≈ $2,00/1000 búsquedas para Rerank 3.5 y Rerank 4 Fast, ≈$2,50/1000 para Rerank 4 Pro). Viaje AI y Jina AI en su lugar, facture cada token realmente procesado (texto de consulta más los tokens de cada documento candidato) sin margen de maniobra agrupado ni precipicio de redondeo: tokens = queries × (docs × tokensPerDoc + queryTokens); cost = tokens / 1,000,000 × rate (Voyage rerank-2.5 ≈$0.05/1 millón de tokens, rerank-2.5-lite ≈$0.02/1 millón de tokens; Jina jina-reranker-v2-base-multilingual ≈$0.02/1 millón de tokens, jina-reranker-v3.5 ≈$0.05/1 millón de tokens).

El efecto práctico: la mayoría de los canales RAG solo reclasifican una lista corta de 10 a 50 fragmentos de candidatos por consulta, muy por debajo del límite máximo de 100 documentos de Cohere, lo que significa que está pagando por una unidad de búsqueda completa con un tamaño de hasta 100 documentos, aunque esté usando una fracción de ella, y los proveedores basados ​​en tokens generalmente salen más baratos. Cohere se vuelve más competitivo una vez que un canal se reclasifica constantemente cerca del límite total de 100 documentos, ya que en ese punto en realidad estás utilizando el margen por el que estás pagando. Mire los recuentos de documentos que se ubican justo por encima de un múltiplo de 100 (101, 201, 301…): ahí es donde el costo de Cohere aumenta más en relación con los proveedores basados ​​en tokens. Ejecute su propio volumen de consultas y recuento de documentos a través de la calculadora anterior en lugar de comparar las tasas de títulos por unidad o por token de forma aislada.

Compartir: 𝕏 Publicar Reddit
Aloja tu proyecto:Océano Digital — $200 gratis ↗VPS Hostinger
RAG vs Ajuste FinoCosto de la API de búsqueda del sitio