risparmio netto rispetto a nessuna cache
tassa di deposito
letture in pareggio
durata massima al minimo

Risparmio netto mantenendo la cache attiva più a lungo

Il risparmio in lettura è fissato in base al numero di letture servite; solo la tariffa di stoccaggio aumenta con la durata. Ogni riga mantiene le stesse letture ma un time-to-live più lungo: osserva la rete passare dal verde al rosso una volta che lo spazio di archiviazione supera il risparmio. La vita che hai scelto è segnata; l'ultima riga redditizia è il punto debole.

Tutta la vitaTassa di depositoLeggi il risparmioNetto

La tassa che i calcolatori della cache tralasciano

Ogni guida alla memorizzazione nella cache ti vende lo stesso titolo: le letture nella cache costano un decimo dell'input normale, quindi la memorizzazione nella cache riduce la bolletta del 90%. Questo è vero per le letture. Non è l'intero conto. La memorizzazione nella cache esplicita del contesto, il tipo in cui carichi deliberatamente un contesto di grandi dimensioni e ottieni un handle da riutilizzare, prevede una tariffa di archiviazione che viene eseguita in base a un orologio, non in base all'utilizzo. Gemini addebita circa 4,50 dollari per milione di token all'ora per mantenere nella cache i contenuti di 2.5 Pro, quindi un contesto di 100.000 token lasciato in vita per un giorno costa circa 10,80 dollari di spazio di archiviazione prima che qualcuno lo legga. Su una cache ben utilizzata va bene, perché il risparmio in lettura lo fa impallidire. Su una cache che rimane per lo più inattiva - un documento su cui qualcuno potrebbe chiedere, un contesto collegato a un generoso time-to-live "per ogni evenienza" - la linea di archiviazione diventa silenziosamente il numero più grande sulla fattura, e la cache perde denaro anche se ogni lettura sembra un affare. Le due domande che in realtà lo decidono sono quante letture sono necessarie prima che i risparmi coprano lo spazio di archiviazione e per quanto tempo puoi lasciare in vita la cache prima che il contatore superi tali risparmi. Questa calcolatrice risponde ad entrambi. Se il tuo contesto si ripete ad ogni chiamata anziché vivere in una cache esplicita, valuta il caso implicito con il calcolatore rapido del risparmio di memorizzazione nella cache; per valutare una vita breve rispetto a una vita lunga rispetto al tasso di successo, utilizzare il cache TTL e calcolatore del tasso di successo; e per vedere se il premio di scrittura viene mai ripagato, esegui il file calcolatore del pareggio di scrittura della cache.

Ospita il tuo progetto:DigitalOcean: $ 200 gratis ↗Hostinger VPS
Risparmio immediato nella cacheTTL della cache e tasso di successoBreak-even di scrittura nella cacheCosto della richiesta di sistemaCosto RAG