Custo à medida que os documentos por consulta aumentam

Com as mesmas taxas acima, a média de documentos reclassificados por consulta variou em uma faixa representativa (consultas/mês e tamanhos de token mantidos fixos). Observe o "penhasco" toda vez que a contagem de documentos ultrapassa um múltiplo de 100 para Cohere, em comparação com a subida suave por token para Voyage AI e Jina AI.

Documentos/consultaCoerenteViagem IAJina IAMais barato

Duas formas de faturamento de reclassificador fundamentalmente diferentes

Reclassificação Cohere mede o uso em "unidades de pesquisa" inteiras: uma unidade de pesquisa cobre uma consulta mais até 100 documentos, com cada documento limitado a 500 tokens. Se uma consulta enviar mais de 100 documentos, ou qualquer documento exceder o limite de 500 tokens, o estouro será arredondado para uma unidade de pesquisa inteira adicional - portanto, reclassificar 101 documentos custa exatamente o mesmo que reclassificar 200. A fórmula que esta calculadora usa é effectiveDocs = docs × ceil(tokensPerDoc / 500); units = ceil(effectiveDocs / 100); searches = queries × units; cost = searches / 1000 × rate (taxa ≈ $ 2,00/1.000 pesquisas para Reclassificação 3,5 e Reclassificação 4 Rápida, ≈$ 2,50/1.000 para Reclassificação 4 Pro). Viagem IA e Jina IA em vez disso, fature cada token realmente processado - texto de consulta mais os tokens de cada documento candidato - sem margem de manobra agrupada e sem arredondamento: tokens = queries × (docs × tokensPerDoc + queryTokens); cost = tokens / 1,000,000 × rate (Voyage rerank-2,5 ≈$0,05/1M tokens, rerank-2,5-lite ≈$0,02/1M tokens; Jina jina-reranker-v2-base-multilingual ≈$0,02/1M tokens, jina-reranker-v3.5 ≈$0,05/1M tokens).

O efeito prático: a maioria dos pipelines RAG reclassifica apenas uma lista restrita de 10 a 50 pedaços de candidatos por consulta, bem abaixo do teto de 100 documentos de Cohere – o que significa que você está pagando por uma unidade de pesquisa completa dimensionada para até 100 documentos, mesmo que você esteja usando uma fração dela, e os fornecedores baseados em token geralmente saem mais baratos. O Cohere se torna mais competitivo quando um pipeline é reclassificado consistentemente perto do limite total de 100 documentos, já que nesse ponto você está realmente usando o espaço pelo qual está pagando. Observe as contagens de documentos que ficam logo acima de um múltiplo de 100 (101, 201, 301…) — é aí que o custo da Cohere aumenta mais em relação aos fornecedores baseados em tokens. Execute seu próprio volume de consulta e contagem de documentos por meio da calculadora acima, em vez de comparar as taxas de título por unidade ou por token isoladamente.

Compartilhar: 𝕏 Postar Reddit
Hospede seu projeto:DigitalOcean – $ 200 grátis ↗VPS da Hostinger
RAG vs ajuste finoCusto da API de pesquisa de sites