Калькулятор стоимости агента по использованию компьютера

Цикл создания скриншотов — это место, где умирают бюджеты на автоматизацию браузеров

Агент использования компьютера не читает DOM — он смотрит на экран. Каждый шаг каждой задачи представляет собой полный цикл действий: сделайте снимок экрана, отправьте его модели в качестве жетонов ввода изображения, получите в ответ действие щелчка, ввода или прокрутки, выполните его и сделайте снимок следующего снимка экрана. При примерно 1000–1600 токенах на скриншот (в зависимости от разрешения) и 10–30 шагах для рутинной задачи один только ввод изображения затмевает все остальное в запросе. Фактический текстовый вывод модели — координаты и краткое обоснование — по сравнению с этим тривиально мал. Такая инверсия застает команды врасплох: в рабочих нагрузках чата выходные токены являются самой дорогой частью; при использовании компьютера затраты обычно составляют 80–95% счета.

Накопление контекста — это множитель сверху. Если агент сохраняет каждый предыдущий снимок экрана в разговоре, шаг 15 повторно отправляет четырнадцать устаревших снимков экрана плюс текущий, а общее количество токенов снимков экрана увеличивается квадратично с длиной задачи — задача из 15 шагов с 1200 токенами на снимок экрана сжигает около 144 000 токенов снимков экрана с полной историей против примерно 50 000, сохраняющих только последние три. Эта единая настройка хранения изменяет доминирующий компонент затрат почти в 3 раза, поэтому эталонная реализация Anthropic по умолчанию обрезает старые снимки экрана. Та же математика с накоплением контекста для текстовых агентов описана в нашей статье. Калькулятор стоимости шагов ИИ-агента; скриншоты просто повышают ставки на порядок.

Два практических замечания. Во-первых, определите бюджет на повторные попытки: агенты, использующие компьютеры, терпят неудачу и повторно запускают задачи со значительной частотой (изменения пользовательского интерфейса, тайм-ауты, неправильные щелчки), и при любой честной оценке допускается 10–20 % повторных попыток. Во-вторых, разрешение является реальным рычагом: уменьшение масштаба захвата до эффективного разрешения модели перед отправкой позволяет избежать оплаты за пиксели, которые модель в любом случае повторно выбирает. Если ваша рабочая нагрузка представляет собой очистку, а не взаимодействие, сравните ее с обычным API веб-скрапинга: когда не требуется нажимать или печатать, снимки экрана — дорогой способ прочитать страницу.