—
накладные расходы на уплотнение—уплотнения
—накладные расходы
—общая стоимость пробега
Там, где уплотнение окупается — нажмите на курок
Компактируйте слишком рано, и вы создадите много событий; сжимать слишком поздно (или никогда), и каждый шаг перечитывает огромный контекст. Столбец общих затрат обычно имеет минимум посередине.
| Компактный при | Уплотнения | Накладные расходы | Общая стоимость запуска |
|---|
Уборка дома, на которую никто не рассчитывает
An autonomous agent has no long-term memory of its own run, so it keeps the whole working context in the prompt: the system instructions, the tool definitions, every tool result it has seen and every step it has taken. Этот контекст монотонно растет, и задолго до того, как он выйдет за пределы окна модели, агент должен компактный — передать весь контекст модели, получить обратно сжатое резюме и продолжить работу с ним. Сжатие — это то, что поддерживает работу многочасового агента, но оно не является бесплатным: суммирование контекста из 150 000 токенов требует 150 000 входных токенов за это одно событие, а запуск, который сжимается три или четыре раза, может потратить от пятой до трети общего количества токенов только на это. Это стоимость, которая никогда не отображается в цене за звонок и никогда не отображается в наивной символической оценке, и именно поэтому счета агентов оказываются выше, чем математические данные на обратной стороне конверта. Способ контролировать это — настроить время сжатия и размер сброса, а также выставить счет за повторное чтение со скидкой за счет кэширования или более дешевого сумматора. Размер многооборотной стороны на калькулятор стоимости многооборотного разговора, весь цикл на Калькулятор бюджета цикла агента, и выигрыш в кэшировании быстрый калькулятор экономии кэширования.
Часто задаваемые вопросы
Что такое сжатие контекста и почему оно стоит денег?
Длительно работающий агент накапливает контекст — результаты работы инструмента, сообщения, рассуждения — до тех пор, пока не приблизится к контекстному окну модели. Чтобы продолжить работу, он сжимается: он передает в модель весь текущий контекст и запрашивает сжатую сводку, а затем продолжает работу с этой сводкой вместо полной истории. Загвоздка в том, что суммирование означает перечитывание всего, поэтому каждое событие уплотнения учитывает весь контекст как входные токены плюс небольшой вывод для сводки. Одно сжатие контекста из 150 000 токенов стоит столько же, сколько 150 000 входных токенов, и длинный агент, который сжимает несколько раз, может потратить от пятой до трети своего общего количества токенов только на эту уборку.
Сколько раз мой агент будет сжиматься?
Это зависит от того, насколько быстро растет контекст и где находится триггер. Если каждый шаг добавляет несколько тысяч токенов вывода инструмента, а агент сжимается, когда достигает, скажем, 140 000 токенов, а затем сбрасывается до сводки в 25 000 токенов, он будет сжиматься примерно каждый раз, когда снова преодолевает этот разрыв. Запуск, который добавляет 8000 токенов за шаг и сжимает на уровне 140 000, будет запускать уплотнение примерно каждые пятнадцать шагов. Этот калькулятор шаг за шагом моделирует работу, подсчитывает уплотнения и отделяет производственные затраты от накладных расходов на уплотнение, чтобы вы могли увидеть разделение.
Как уменьшить затраты на уплотнение?
Три рычага перемещают его. Позднее уплотнение (более высокий триггер) означает меньшее количество уплотнений, более крупные, но более дорогостоящие продуктивные шаги, потому что контекст, который вы перечитываете каждый ход, больше — здесь есть настоящая золотая середина, а не «всегда чем выше, тем лучше». Сброс к меньшему значению позволяет увеличить промежуточную полосу между уплотнениями. А перенаправление самого суммирования на более дешевую модель или использование оперативного кэширования, при котором префикс повторного считывания оплачивается со скидкой, напрямую снижает затраты на каждое событие. В таблице на этой странице показан порог срабатывания, чтобы вы могли увидеть, как меняется общая стоимость, а также показано отсутствие сжатия вообще — обычно это худший вариант, потому что тогда контекст растет без ограничений, и каждый шаг окупается за это.
Дешевле ли уплотнение, чем просто использование контекстного окна большего размера?
Часто да, потому что альтернативой уплотнению является сохранение полной истории каждого отдельного шага, а затраты на вход растут пропорционально квадрату длины пробега, когда ничего не обрезается. Уплотнение ограничивает этот рост: после каждой сводки контекст каждого шага снова снижается, поэтому производственные затраты остаются примерно линейными, а не квадратичными. Вы платите единовременную сумму за каждое уплотнение, но избегаете перечитывания все более объемной расшифровки тысячи раз. Для очень коротких пробегов накладные расходы не окупаются; для долгосрочных автономных агентов он обычно окупается во много раз, что этот калькулятор позволяет вам подтвердить на ваших собственных цифрах.