Why is average agent cost not enough to budget?

Agent loops have high step-count variance. A task that averages 8 steps might occasionally need 25. If you cap at the average, 5% of runs get cut off early or spike your bill. P95/P99 planning gives you a safety margin for real worst-case costs.

What is a good max_steps budget for an AI agent?

Set max_steps at your P99 step count: avg_steps + 2.33 × step_std. This caps 99% of normal runs while letting them complete. Any agent exceeding this limit is likely stuck in a loop — a hard stop here saves money without harming normal runs.

How do parallel agent workers multiply cost?

Parallel workers each run full agent loops independently. Cost scales linearly: 10 workers = 10× the per-run cost. The P99 for the entire fleet is higher because at least one of 10 workers is very likely to hit a long run.

What is a runaway agent loop?

A runaway loop is when an agent repeatedly calls tools or itself without making progress — often due to a planning error or an unreachable goal. Without a max_steps cap, a single runaway can cost 10–100× a normal run. Always enforce a hard step cap in production.

How do I calculate P99 cost for an agent?

Assuming steps follow a roughly normal distribution: P99 steps ≈ avg_steps + 2.33 × step_std. P99 cost = P99_steps × tokens_per_step × (input_price + output_price) / 1M. This calculator does that math and also shows daily fleet budget.

Calcolatore del budget del loop dell'agente AI: costo per esecuzione P50/P95/P99

Perché il costo medio è il budget sbagliato

I cicli degli agenti non eseguono un numero fisso di passaggi: vengono eseguiti fino al completamento dell'attività o fino al raggiungimento di un limite. Un agente di codifica che ha in media 8 chiamate allo strumento può raggiungere 25 con un refactoring complicato. Se stabilisci un budget solo per la media, quelle corse a coda lunga falliscono a metà attività o fanno saltare la bolletta mensile.

Bilancio P95: copre 95 corse su 100. Utile per attività non critiche in cui sono accettabili riavvii occasionali.

Bilancio P99: copre 99 delle 100 corse. Ideale per gli agenti di produzione in cui le attività incomplete sono costose.

Limite max_passi = P99: Se un agente è ancora in esecuzione al conteggio dei passi P99, è quasi certamente bloccato in un ciclo. Un limite rigido qui ferma i costi fuori controllo senza interrompere i normali completamenti.

Confronta con Calcolatore dei costi dell'agente AI, costo per ticket risolto, E Pianificatore del budget API.

Come funziona questa calcolatrice

IL Calcolatore del budget del ciclo dell'agente AI stima i costi di gestione di un singolo agente e quanto tale costo varia quando il numero di passaggi è incerto. Inserisci i passaggi medi per esecuzione e una deviazione standard del passaggio, i token di input e output consumati in ogni passaggio e i prezzi di input e output per milione di token. Lo strumento moltiplica i token in base al prezzo in base al conteggio dei passi previsto e modella lo spread, generando report P50, P95 e P99 costo per corsa, più i totali giornalieri delle corse giornaliere e il conteggio dei lavoratori paralleli. I fattori principali sono la varianza del conteggio dei passi, i token di output (di solito il lato più costoso) e il numero di corse che si distribuiscono.

Il compromesso chiave da tenere d'occhio è il coda. Un ciclo che ha un costo medio modesto può comunque produrre esecuzioni rare che ripetono ben oltre la media, quindi il solo budget P50 sottostima la spesa reale. Limiti di dimensione e avvisi rispetto a P95 o P99 e limite massimo di passaggi in modo che un ciclo incontrollato non possa moltiplicare silenziosamente la bolletta.

Domande frequenti

Perché il costo medio dell'agente non è sufficiente per il budget?

I loop degli agenti presentano un'elevata varianza del conteggio dei passaggi. Un'attività che richiede in media 8 passaggi potrebbe occasionalmente richiederne 25. Se si fissa un limite alla media, il 5% delle esecuzioni verrà interrotto in anticipo o la bolletta aumenterà. La pianificazione P95/P99 offre un margine di sicurezza per i costi reali del caso peggiore.

Qual è un buon budget max_steps per un agente AI?

Imposta max_steps sul conteggio dei passi P99: avg_steps + 2,33 × step_std. Ciò limita il 99% delle corse normali consentendone il completamento. Qualsiasi agente che supera questo limite è probabilmente bloccato in un circolo vizioso: un arresto forzato in questo caso consente di risparmiare denaro senza danneggiare le corse normali.

Come moltiplicano i costi i lavoratori ad agenti paralleli?

Ciascun lavoratore parallelo esegue cicli completi di agenti in modo indipendente. Il costo scala in modo lineare: 10 lavoratori = 10× il costo per esecuzione. Il P99 per l'intera flotta è più alto perché è molto probabile che almeno uno su 10 lavoratori abbia un successo a lungo termine.

Cos'è un loop agente fuori controllo?

Un ciclo incontrollato si verifica quando un agente chiama ripetutamente gli strumenti o se stesso senza fare progressi, spesso a causa di un errore di pianificazione o di un obiettivo irraggiungibile. Senza un limite max_steps, una singola fuga può costare 10–100 volte una corsa normale. Applicare sempre un rigido limite massimo nella produzione.

Come posso calcolare il costo P99 per un agente?

Supponendo che i passi seguano una distribuzione più o meno normale: P99 passi ≈ avg_steps + 2,33 × step_std. Costo P99 = P99_passi × token_per_passo × (prezzo_input + prezzo_output) / 1 milione. Questo calcolatore esegue questi calcoli e mostra anche il budget giornaliero della flotta.