Why is average agent cost not enough to budget?

Agent loops have high step-count variance. A task that averages 8 steps might occasionally need 25. If you cap at the average, 5% of runs get cut off early or spike your bill. P95/P99 planning gives you a safety margin for real worst-case costs.

What is a good max_steps budget for an AI agent?

Set max_steps at your P99 step count: avg_steps + 2.33 × step_std. This caps 99% of normal runs while letting them complete. Any agent exceeding this limit is likely stuck in a loop — a hard stop here saves money without harming normal runs.

How do parallel agent workers multiply cost?

Parallel workers each run full agent loops independently. Cost scales linearly: 10 workers = 10× the per-run cost. The P99 for the entire fleet is higher because at least one of 10 workers is very likely to hit a long run.

What is a runaway agent loop?

A runaway loop is when an agent repeatedly calls tools or itself without making progress — often due to a planning error or an unreachable goal. Without a max_steps cap, a single runaway can cost 10–100× a normal run. Always enforce a hard step cap in production.

How do I calculate P99 cost for an agent?

Assuming steps follow a roughly normal distribution: P99 steps ≈ avg_steps + 2.33 × step_std. P99 cost = P99_steps × tokens_per_step × (input_price + output_price) / 1M. This calculator does that math and also shows daily fleet budget.

Calculadora de orçamento do AI Agent Loop – Custo P50/P95/P99 por execução

Por que o custo médio é o orçamento errado

Os loops de agente não executam um número fixo de etapas — eles são executados até que a tarefa seja concluída ou um limite seja atingido. Um agente de codificação com média de 8 chamadas de ferramenta pode atingir 25 em uma refatoração complicada. Se você orçar apenas a média, essas execuções de cauda longa falharão no meio da tarefa ou estourarão sua fatura mensal.

Orçamento P95: cobre 95 de cada 100 execuções. Bom para tarefas não críticas onde reinicializações ocasionais são aceitáveis.

Orçamento P99: cobre 99 de 100 execuções. Ideal para agentes de produção onde tarefas incompletas são caras.

Limite máximo de passos = P99: Se um agente ainda estiver em execução na contagem de etapas P99, é quase certo que ele esteja preso em um loop. Um limite rígido aqui interrompe os custos excessivos sem interromper as conclusões normais.

Compare com Calculadora de custos do agente de IA, custo por ticket resolvido, e Planejador de orçamento de API.

Como funciona esta calculadora

O Calculadora de orçamento de loop de agente AI estima quanto custa a operação de um único agente e quanto esse custo varia quando o número de etapas é incerto. Você insere as etapas médias por execução e um desvio padrão da etapa, os tokens de entrada e saída consumidos em cada etapa e os preços de entrada e saída por milhão de tokens. A ferramenta multiplica os tokens por preço na contagem de passos esperada e modela o spread, reportando P50, P95 e P99 custo por execução, além dos totais diários de suas execuções por dia e contagem de trabalhadores paralelos. Os principais motivadores são a variação da contagem de passos, os tokens de saída (geralmente o lado mais caro) e quantas execuções você distribui.

A principal compensação a observar é a cauda. Um ciclo que calcula a média de um custo modesto ainda pode produzir execuções raras que ultrapassam muito a média, portanto, orçar apenas o P50 subestima o gasto real. Limite de tamanho e alertas em relação a P95 ou P99 e limite as etapas máximas para que um loop descontrolado não possa multiplicar silenciosamente sua conta.

Perguntas frequentes

Por que o custo médio do agente não é suficiente para o orçamento?

Os loops de agente têm alta variação na contagem de passos. Uma tarefa com média de 8 etapas pode ocasionalmente precisar de 25. Se você limitar a média, 5% das execuções serão interrompidas antecipadamente ou aumentarão sua conta. O planejamento P95/P99 oferece uma margem de segurança para os custos reais do pior caso.

Qual é um bom orçamento de max_steps para um agente de IA?

Defina max_steps em sua contagem de passos P99: avg_steps + 2,33 × step_std. Isso limita 99% das execuções normais e permite que elas sejam concluídas. Qualquer agente que exceda esse limite provavelmente ficará preso em um loop – uma parada brusca aqui economiza dinheiro sem prejudicar as corridas normais.

Como os trabalhadores de agentes paralelos multiplicam os custos?

Cada trabalhador paralelo executa loops completos de agente de forma independente. O custo é escalonado linearmente: 10 trabalhadores = 10× o custo por execução. O P99 para toda a frota é mais alto porque é muito provável que pelo menos um em cada 10 trabalhadores faça um longo percurso.

O que é um loop de agente em fuga?

Um loop descontrolado ocorre quando um agente chama repetidamente as ferramentas ou a si mesmo sem fazer progresso – geralmente devido a um erro de planejamento ou a uma meta inalcançável. Sem um limite de max_steps, uma única fuga pode custar de 10 a 100 vezes uma corrida normal. Sempre aplique um limite máximo de etapas na produção.

Como calculo o custo P99 para um agente?

Supondo que as etapas sigam uma distribuição aproximadamente normal: P99 etapas ≈ avg_steps + 2,33 × step_std. Custo P99 = P99_steps × tokens_per_step × (input_price + output_price) / 1M. Esta calculadora faz essas contas e também mostra o orçamento diário da frota.