Come funziona questa calcolatrice
IL Calcolatore del pareggio della cache dei prompt stima il numero di riutilizzi di un prefisso prompt memorizzato nella cache necessari prima che la memorizzazione nella cache costi meno del pagamento dell'intero prezzo di input per ogni chiamata. Inserisci il token di prefisso memorizzati nella cache, IL prezzo base di input per milione di token, e due moltiplicatori: il moltiplicatore di scrittura nella cache (il premio che paghi la prima volta che il prefisso viene memorizzato) e il moltiplicatore di lettura della cache (il forte sconto su ogni colpo successivo). Contro il riutilizzi all'interno del TTL e il TTL in minuti, calcola il punto di pareggio: il numero di accessi al quale il premio di scrittura una tantum viene ripagato da letture più economiche. I fattori principali sono la dimensione del prefisso, il divario tra i moltiplicatori di scrittura e di lettura e la frequenza con cui riutilizzi effettivamente il prefisso prima che scada.
Il compromesso chiave è scrivere premium rispetto al risparmio in lettura con il ticchettio dell'orologio. La memorizzazione nella cache ripaga solo se lo stesso prefisso viene riutilizzato abbastanza volte prima della scadenza del TTL; un prefisso grande e raramente riutilizzato può costare di più rispetto alla mancata memorizzazione nella cache, perché si paga il premio di scrittura e si lascia scadere la voce prima che si accumulino le letture economiche. Controlla il traffico che arriva in tempi più brevi rispetto alle esigenze del conteggio dei riutilizzi: se le richieste si diffondono oltre il TTL, ognuna riattiva una scrittura. Un consiglio pratico: confronta prima la spaziatura reale delle richieste con il TTL, poiché un prefisso riutilizzato due volte all'interno della finestra spesso batte uno riutilizzato dieci volte durante le scadenze.
Domande frequenti
Quando la memorizzazione nella cache del prompt consente effettivamente di risparmiare denaro?
La memorizzazione nella cache addebita un sovrapprezzo una tantum per scrivere il prefisso (circa 1,25× input base su Anthropic) e quindi fattura le letture a circa il 10% della base. Si va in pareggio quando lo sconto derivante da un numero sufficiente di riutilizzi supera il premio di scrittura, spesso dopo solo uno o due successi. Al di sotto di questo valore, o se la cache scade (TTL predefinito di 5 minuti) prima di un riutilizzo, il premio di scrittura viene sprecato.
Cos'è il TTL della cache e perché è importante?
Il time-to-live è il periodo di tempo in cui un prefisso memorizzato nella cache rimane attivo: 5 minuti per impostazione predefinita, con un'opzione più lunga di 1 ora a costi di scrittura più elevati. Ogni riutilizzo lo resetta o lo estende. Se le tue richieste sono distanziate più del TTL, ogni chiamata riscrive la cache e paghi ripetutamente il premio invece della lettura economica, uccidendo il risparmio.