| процентиль |
Шаги |
Стоимость / пробег |
Ежедневная стоимость автопарка |
Рекомендуемое максимальное количество шагов |
Почему средние затраты — это неправильный бюджет
Циклы агента не выполняют фиксированное количество шагов — они выполняются до тех пор, пока задача не будет выполнена или не будет достигнуто ограничение. Агент кодирования, который в среднем выполняет 8 вызовов инструментов, может увеличиться до 25 при сложном рефакторинге. Если вы планируете рассчитывать только на среднее значение, эти длинные прогоны либо провалятся в середине задачи, либо сведут на нет ваш ежемесячный счет.
Бюджет P95: охватывает 95 из каждых 100 пробегов. Подходит для некритических задач, где допустимы случайные перезапуски.
Бюджет P99: охватывает 99 из 100 пробегов. Право для производственных агентов, где невыполнение задач обходится дорого.
Максимальное количество шагов = P99: Если агент все еще работает со своим количеством шагов P99, он почти наверняка застрял в цикле. Здесь жесткое ограничение останавливает неконтролируемые затраты, не прерывая нормальное завершение строительства.
Сравните с Калькулятор стоимости ИИ-агента, стоимость решенного билета, и Планировщик бюджета API.
Калькулятор стоимости оценки LLMКалькулятор стоимости генерации синтетических данныхЛицензия на место AI и калькулятор стоимости APIКалькулятор времени и стоимости пакетной обработкиКалькулятор стоимости ИИ на пользователя
Как работает этот калькулятор
The Калькулятор бюджета цикла AI-агента оценивает, сколько стоит работа одного агента и насколько эта стоимость варьируется, когда количество шагов не определено. Вы вводите среднее количество шагов за прогон и стандартное отклонение шага, входные и выходные токены, потребляемые на каждом шаге, а также входные и выходные цены за миллион токенов. Инструмент умножает токены на цену по ожидаемому количеству шагов и моделирует спред, предоставляя отчеты. P50, P95 и P99 стоимость за запуск, а также ежедневные итоги ваших запусков в день и количество параллельных рабочих процессов. Основными факторами являются разница в количестве шагов, выходные токены (обычно самые дорогие) и количество прогонов, которые вы выполняете.
Ключевым компромиссом, на который стоит обратить внимание, является хвост. Цикл, который усредняет скромные затраты, все же может привести к редким запускам, которые выходят далеко за пределы среднего значения, поэтому составление бюджета только на P50 занижает реальные расходы. Ограничивайте размер и предупреждайте о P95 или P99, а также ограничивайте максимальное количество шагов, чтобы неконтролируемый цикл не мог незаметно увеличить ваш счет.
Часто задаваемые вопросы
Почему средней стоимости агента недостаточно для составления бюджета?
Циклы агента имеют высокую дисперсию количества шагов. Для задачи, которая в среднем состоит из 8 шагов, иногда может потребоваться 25. Если вы ограничите среднее значение, 5% прогонов будут прерваны раньше или увеличится ваш счет. Планирование P95/P99 дает вам запас прочности для реальных затрат в худшем случае.
Каков хороший бюджет max_steps для ИИ-агента?
Установите max_steps на количество шагов P99: avg_steps + 2,33 ×step_std. Это ограничивает 99% обычных запусков, позволяя им завершиться. Любой агент, превышающий этот предел, скорее всего, застрянет в цикле — жесткая остановка здесь экономит деньги, не нанося вреда обычным запускам.
Как работники параллельных агентов умножают затраты?
Каждый из параллельных рабочих процессов независимо запускает полные циклы агентов. Затраты масштабируются линейно: 10 рабочих = 10 × стоимость одного запуска. P99 для всего парка выше, потому что по крайней мере один из 10 рабочих, скорее всего, добьется успеха в долгосрочной перспективе.
Что такое цикл беглого агента?
Неуправляемый цикл — это когда агент неоднократно вызывает инструменты или самого себя, не добиваясь прогресса — часто из-за ошибки планирования или недостижимой цели. Без ограничения max_steps один прогон может стоить в 10–100 раз больше обычного забега. Всегда применяйте жесткие ограничения в производстве.
Как рассчитать стоимость P99 для агента?
Предполагая, что шаги следуют примерно нормальному распределению: шагов P99 ≈ avg_steps + 2,33 ×step_std. Стоимость P99 = P99_steps × tokens_per_step × (входная_цена + выходная_цена) / 1 миллион. Этот калькулятор выполняет эту математику, а также показывает ежедневный бюджет автопарка.