Utilizzo dell'API LLM
Costo della cache
| Metrico | Senza cache | Con cache |
|---|
Come funziona la memorizzazione nella cache semantica
Ogni query in arrivo viene convertita in un vettore di incorporamento. La cache controlla se esiste un vettore simile (somiglianza coseno ≥ soglia, tipicamente 0,92–0,97). In caso affermativo, la risposta archiviata viene restituita immediatamente: zero token LLM consumati. In caso negativo, la query viene inviata a LLM e il risultato viene archiviato per risultati futuri.
Da dove viene il tasso di successo: le query ripetitive (bot FAQ, assistenza clienti) raggiungono il 30-60%. Diverse query aperte (assistenti di codifica, scrittura creativa) vedono il 5-15%. Puoi aumentare la percentuale di successo abbassando la soglia di somiglianza, ma questo rischia di fornire risposte memorizzate nella cache leggermente errate.
Costo di incorporamento: Ogni query (incerta o mancata) costa una ricerca di incorporamento. A 0,02 dollari/1 milione di token, incorporare una query da 300 token costa 0,000006 dollari, un valore trascurabile a meno che tu non abbia milioni di query al giorno.
Vedi anche: Risparmio immediato nella cache · Calcolatore dei costi RAG · Costo del DB vettoriale
Domande frequenti
Cos'è una cache semantica per LLM?
Una cache semantica archivia le risposte LLM precedenti e utilizza la somiglianza di incorporamento per rilevare query semanticamente simili. Quando la somiglianza è superiore alla soglia, la risposta memorizzata nella cache viene restituita senza chiamare LLM, risparmiando l'intero costo del token per quella query.
Quale tasso di riscontro nella cache è realistico?
I bot dell'assistenza clienti con domande ripetitive registrano spesso percentuali di successo del 30-60%. I chatbot aperti o gli assistenti di codifica possono raggiungere il 5-15%. Una buona soglia di somiglianza (0,92–0,97 coseno) bilancia il tasso di successo con il degrado della qualità.
Qual è il tasso di successo del pareggio?
Break-even = costo della cache ÷ (query/mese × token × prezzo LLM/token). Se il tuo LLM costa $ 0,003/query e la cache costa $ 50/mese con 100.000 query/mese, per raggiungere il pareggio è necessario solo un tasso di successo dell'1,7%.
In che modo la memorizzazione nella cache semantica differisce dalla memorizzazione nella cache del prompt?
La memorizzazione nella cache dei prompt (cache_control Anthropic, memorizzazione nella cache automatica OpenAI) riutilizza il calcolo KV per prefissi token identici. La memorizzazione nella cache semantica è a livello di applicazione: fornisce risposte complete memorizzate nella cache quando le query sono semanticamente simili. Sono complementari.
Quali strumenti forniscono la memorizzazione nella cache semantica per i LLM?
Opzioni popolari: GPTCache (open source), Momento Vector Index (gestito), Zep (livello di memoria), LangChain CacheBackedEmbeddings, Redis con ricerca vettoriale. Le opzioni gestite costano dai 10 ai 200 dollari al mese; Redis self-hosted costa dai 5 ai 30 dollari al mese su una piccola macchina virtuale.