Чего стоит заполнять большое контекстное окно при каждом вызове.
Длинные контекстные окна продаются как функция; каждый из них представляет собой входные жетоны, за которые вы платите неоднократно. Обрезайте пересылаемые данные и кэшируйте остальное — см. быстрый калькулятор кэширования и Стоимость чат-бота RAG.
Обмены
Инструменты и хостинг
Бесплатный калькулятор стоимости контекстного окна — сколько стоит заполнение большого контекста (RAG, длинные документы) за звонок и в месяц.
Вы платите входную цену за каждый токен в контексте, за каждый отдельный вызов. Приглашение на 32 тыс. токенов по цене 2,50 доллара США за 1 миллион долларов составляет 0,08 доллара США, прежде чем модель что-либо запишет — и это повторяется при каждом запросе.
Получайте все меньше и меньше фрагментов, суммируйте историю и кэшируйте статическую часть приглашения. Размер контекста обычно является самым большим рычагом при составлении счета RAG или длинного документа.