Стоимость по мере роста числа документов на запрос

Те же показатели, что и выше, среднее число документов, переоцененных за запрос, варьировалось в репрезентативном диапазоне (запросы в месяц и размеры токенов оставались фиксированными). Наблюдайте за «обрывом» каждый раз, когда количество документов превышает 100 для Cohere, по сравнению с плавным подъемом на каждый токен для Voyage AI и Jina AI.

Документы/запросСогласоватьВояж ИИДжина А.И.Самый дешевый

Две принципиально разные формы выставления счетов за реранкинг

Совместное изменение ранга использование счетчиков в целых «единицах поиска»: одна единица поиска охватывает один запрос плюс до 100 документов, при этом каждый документ ограничен 500 токенами. Если запрос отправляет более 100 документов или какой-либо документ превышает ограничение в 500 токенов, переполнение округляется до дополнительной целой единицы поиска — поэтому изменение ранжирования 101 документа стоит точно так же, как изменение ранжирования 200. Формула, которую использует этот калькулятор: effectiveDocs = docs × ceil(tokensPerDoc / 500); units = ceil(effectiveDocs / 100); searches = queries × units; cost = searches / 1000 × rate (ставка ≈ 2,00 доллара США/1000 поисков для Rerank 3.5 и Rerank 4 Fast, ≈ 2,50 доллара США/1000 для Rerank 4 Pro). Вояж ИИ и Джина А.И. вместо этого выставляйте счет за каждый фактически обработанный токен — текст запроса плюс токены каждого документа-кандидата — без объединенного запаса и без округления: tokens = queries × (docs × tokensPerDoc + queryTokens); cost = tokens / 1,000,000 × rate (Voyage rerank-2.5 ≈0,05$/1M токенов, rerank-2.5-lite ≈0,02$/1M токенов; Jina jina-reranker-v2-base-multilingual ≈0,02$/1M токенов, jina-reranker-v3.5 ≈0,05$/1M токенов).

Практический эффект: большинство конвейеров RAG переоценивают только короткий список из 10-50 блоков-кандидатов на каждый запрос, что значительно ниже потолка Cohere в 100 документов — это означает, что вы платите за полную единицу поиска, рассчитанную на 100 документов, даже если вы используете ее часть, а поставщики на основе токенов обычно выходят дешевле. Cohere становится более конкурентоспособным, когда конвейер постоянно меняет рейтинг, приближаясь к полному лимиту в 100 документов, поскольку в этот момент вы фактически используете тот запас, за который платите. Количество наблюдательных документов, кратное 100 (101, 201, 301…) — именно здесь стоимость Cohere скачет сильнее всего по сравнению с поставщиками, основанными на токенах. Проведите собственный объем запросов и количество документов с помощью калькулятора выше, вместо того, чтобы сравнивать ставки заголовков за единицу или за токен по отдельности.

Поделиться: - Post (Почта) Reddit
Разместите свой проект:DigitalOcean — 200 долларов бесплатно ↗Хостингер VPS
RAG против тонкой настройкиСтоимость API поиска по сайту