Чего стоит заполнять большое контекстное окно при каждом вызове.
Длинные контекстные окна продаются как функция; каждый из них представляет собой входные жетоны, за которые вы платите неоднократно. Обрезайте пересылаемые данные и кэшируйте остальное — см. быстрый калькулятор кэширования и Стоимость чат-бота RAG.
The Калькулятор стоимости контекстного окна estimates what it costs to fill a large context window on each model call — the scenario behind ТРЯПКА конвейеры и подсказки для длинных документов. Это умножает ваш токены контекста на вызов по Входная цена за миллион токенов, добавляет свой выходные токены за вызов раз цена выпуска за миллиони масштабирует общую сумму по вашему звонков в месяц для отображения показателей за вызов и за месяц. Доминирующим фактором почти всегда является размер контекста: входные токены повторяются при каждом вызове, поэтому тяжелая полезная нагрузка извлечения или длинное системное приглашение устанавливают базовую стоимость намного выше, чем ответ, который вы получаете.
Ключевым компромиссом является глубина контекста и затраты. Удвоение найденных отрывков или дополнение подсказки дополнительными документами может увеличить ваш счет без улучшения ответов. С помощью калькулятора проверьте, обрезка контекста, ужесточение поиска или переход на более дешевый уровень ввода снижает общую сумму за месяц, и следите за количеством звонков при большом объеме — небольшие суммы на вызов быстро накапливаются при тысячах запросов.
Вы платите входную цену за каждый токен в контексте, за каждый отдельный вызов. Приглашение на 32 тыс. токенов по цене 2,50 доллара США за 1 миллион долларов составляет 0,08 доллара США, прежде чем модель что-либо запишет — и это повторяется при каждом запросе.
Получайте все меньше и меньше фрагментов, суммируйте историю и кэшируйте статическую часть приглашения. Размер контекста обычно является самым большим рычагом при составлении счета RAG или длинного документа.