Ловушка с агентами: задача, которая выглядит как один вопрос, на самом деле — это 5–20 звонков LLM. Чат-бот отвечает один раз. Агент рассуждает, вызывает инструменты и на каждом шагу перечитывает собственный растущий контекст — поэтому та же модель, которая стоит доли цента за сообщение чата, может стоить в 10–50 раз дороже за задачу агента. Этот калькулятор правильно умножает это число.
Самые дешевые модели этого агента
Та же рабочая нагрузка, каждая модель ранжирована по ежемесячной стоимости.
| Модель | Стоимость / месяц | За задачу |
|---|
Как на самом деле складываются затраты на агентов
Формула задачи × шаги × (входные жетоны × входная цена + выходные токены × выходная цена). Множитель, о котором люди забывают, шаги: исследовательскому агенту может потребоваться 12 циклов, агенту-кодировщику 20+. А поскольку большинство агентов на каждом этапе повторно отправляют накопленный разговор, вводите жетоны за каждый шаг подъема по мере выполнения задания — число, которое вы вводите выше, — это среднее значение по всему циклу. Результат на каждый шаг обычно невелик (короткая мысль или вызов инструмента), поэтому вклад доминирует в счете агента — и почему кэширование подсказок и обрезка контекста здесь имеют большее значение, чем где-либо еще.
Как это разрезать
Четыре рычага в порядке воздействия: (1) маршрутизация модели — используйте небольшую модель для рутинных шагов, а пограничную модель — только для сложных; (2) ступенчатая крышка — остановить петли разгона; (3) обрезка контекста — не пересылать всю историю каждого шага; (4) оперативное кэширование для статического системного приглашения и определений инструментов. См. быстрое руководство по кэшированию и кэширование калькулятора экономии. Создаете чат-бота вместо агента? Используйте калькулятор стоимости чат-бота. Целое приложение? Оценщик стоимости приложения с искусственным интеллектом. Задействовать более одного агента для выполнения одной и той же задачи — разветвление, дебаты, супервизор или роевой шаблон? Этот калькулятор оценивает стоимость одного агента; использовать Калькулятор стоимости роя агентов ИИ чтобы увидеть множитель, который добавляют эти шаблоны оркестровки.