—compattazioni
—costo generale
—costo totale di gestione
Dove la compattazione dà i suoi frutti: spazzare via il grilletto
Compatta troppo presto e avvii molti eventi; compattarsi troppo tardi (o mai) e ogni passaggio rilegge un contesto enorme. La colonna del costo totale di solito ha un minimo al centro.
| Compatto a | Compattazioni | In testa | Costo totale di gestione |
|---|
Le pulizie per le quali nessuno ha un budget
Un agente autonomo non ha memoria a lungo termine della propria esecuzione, quindi mantiene l'intero contesto lavorativo nel prompt: le istruzioni del sistema, le definizioni degli strumenti, ogni risultato dello strumento che ha visto e ogni passo che ha compiuto. Quel contesto cresce in modo monotono e l'agente deve farlo molto prima che trabocchi la finestra del modello compatto - consegnare l'intero contesto al modello, ottenere un riepilogo compresso e proseguire dal riepilogo. La compattazione è ciò che mantiene in vita un agente che lavora per più ore, ma non è gratuita: riassumere un contesto di 150.000 token fattura 150.000 token di input per quell'unico evento e un'esecuzione che compatta tre o quattro volte può spendere da un quinto a un terzo dei suoi token totali solo su questo. È un costo che non appare mai nel prezzo per chiamata e non appare mai in una stima simbolica ingenua, motivo per cui le fatture degli agenti risultano più alte dei calcoli sul retro della busta. Il modo per controllarlo è ottimizzare il momento in cui si compatta e quanto piccolo si reimposta e fatturare la rilettura con uno sconto con la memorizzazione nella cache o un riepilogo più economico. Dimensionare il lato multigiro sul calcolatore dei costi di conversazione multigiro, l'intero ciclo su calcolatore del budget del loop dell'agentee la vittoria della memorizzazione nella cache su calcolatore rapido del risparmio di memorizzazione nella cache.
Come funziona questa calcolatrice
Simula la corsa passo dopo passo. Il contesto inizia dalla dimensione di base e cresce ad ogni passaggio; quando attraversa il trigger, viene attivata una compattazione (l'intero contesto viene fatturato come input più un output di riepilogo) e il contesto viene reimpostato. Somma il costo produttivo (leggendo il contesto per eseguire ogni passaggio) e il sovraccarico di compattazione separatamente, quindi analizza il trigger in modo da poter trovare il minimo del costo totale.
Domande frequenti
Cos’è la compattazione del contesto e perché costa denaro?
Un agente a lunga esecuzione accumula contesto (risultati dello strumento, messaggi, ragionamento) finché non si avvicina alla finestra di contesto del modello. Per andare avanti si compatta: fornisce l'intero contesto corrente al modello e richiede un riepilogo compresso, quindi continua da quel riepilogo anziché dalla cronologia completa. Il problema è che riassumere significa rileggere tutto, quindi ogni evento di compattazione fattura l'intero contesto come token di input più un piccolo output per il riepilogo. Una singola compattazione di un contesto da 150.000 token costa quanto 150.000 token di input e un agente lungo che effettua la compattazione più volte può spendere da un quinto a un terzo dei suoi token totali solo per queste operazioni di pulizia.
Quante volte il mio agente si compatterà?
Dipende dalla velocità con cui cresce il contesto e da dove si trova il fattore scatenante. Se ogni passaggio aggiunge qualche migliaio di token di output dello strumento e l'agente si compatta quando raggiunge, diciamo, 140.000 token e poi si reimposta su un riepilogo di 25.000 token, si compatta all'incirca ogni volta che supera nuovamente quel divario. Una corsa che aggiunge 8.000 token per passaggio e si compatta a 140k attiverà una compattazione circa ogni quindici passaggi. Questo calcolatore simula il ciclo passo dopo passo, conta le compattazioni e separa il costo produttivo dalle spese generali di compattazione in modo da poter vedere la suddivisione.
Come posso ridurre il sovraccarico di compattazione?
Tre leve lo muovono. Compattare più tardi (un trigger più alto) significa compattazioni minori e più grandi ma passaggi produttivi più costosi perché il contesto che rileggi ad ogni turno è più ampio: c'è un vero punto debole piuttosto che "sempre più alto è meglio". Il ripristino di un riepilogo più piccolo consente di acquistare più passaggio tra le compattazioni. E indirizzare il riepilogo stesso a un modello più economico, o utilizzare la memorizzazione nella cache in modo che il prefisso di rilettura venga fatturato con uno sconto, riduce direttamente il costo per evento. La tabella in questa pagina sposta la soglia di attivazione in modo da poter vedere come si piega il costo totale e viene mostrata anche la non compattazione: di solito l'opzione peggiore perché il contesto cresce senza limiti e ogni passaggio ne paga le conseguenze.
La compattazione è più economica rispetto al semplice utilizzo di una finestra di contesto più grande?
Spesso sì, perché l'alternativa alla compattazione è riportare l'intera cronologia di ogni singolo passaggio, e il costo dei fattori produttivi cresce con il quadrato della lunghezza della tiratura quando non viene mai tagliato nulla. La compattazione limita tale crescita: dopo ogni riepilogo il contesto per fase scende nuovamente verso il basso, quindi il costo produttivo rimane più o meno lineare anziché quadratico. Si paga una somma forfettaria ad ogni evento di compattazione, ma si evita di rileggere migliaia di volte una trascrizione sempre più grande. Per tirature molto brevi il sovraccarico non vale la pena; per gli agenti autonomi di lunga durata di solito si ripaga molte volte, cosa che questa calcolatrice ti consente di confermare per i tuoi numeri.