✓ Moltiplicativo, non additivo· Memorizzazione nella cache → Batch → Commesso· segnalare un problema →
Memorizzazione nella cache immediata, IL API batch e un sconto sulla spesa impegnata ognuno di essi ti riduce il conto, ma impilati ingenuamente sembrano risparmiare più di quanto spendi. Si compongono: sconti in batch sul prezzo già più economico memorizzato nella cache e lo sconto impegnato viene detratto da ciò che rimane. Questo costa il costo misto reale per milione di token, il reale fattura mensile, e a cascata da dove proviene effettivamente ogni dollaro di risparmio.
—
impilati / mese
—prezzo di listino/mese
—risparmio totale
—miscelato $/1 milione
Cascata di risparmio: ogni leva agisce su ciò che è rimasto dell'ultima
Inizia dal prezzo di listino, applica la memorizzazione nella cache immediata al lato di input, quindi l'API Batch alla condivisione in batch, quindi lo sconto impegnato sull'intera fattura rimanente. La colonna dei gradini è ciò che è stata rimossa solo da quella leva; la colonna corrente è ciò che rimane.
Palcoscenico
Salvato questo passaggio
Esecuzione mensile
Additivo vs moltiplicativo: la trappola
La somma dei tre sconti principali sovrastima il risparmio, a volte oltre il 100%. Lo stack reale moltiplica ciò che tieni ad ogni passaggio. Questo mostra il divario per i tuoi numeri.
Metodo
Risparmio dichiarato
Mensile
Tre sconti raramente lo rendono gratuito
Ogni guida alla riduzione dei costi LLM elenca le stesse leve: memorizza nella cache le tue richieste, raggruppa ciò che può aspettare, impegnati a spendere per uno sconto sul volume - e ognuna di esse cita una percentuale principale. L'errore è impilare quelle percentuali sommandole. Gli sconti non si aggiungono, ma si sommano: ognuno lavora solo con i soldi che il precedente ha lasciato indietro. Uno sconto sulla cache del 90% che tocca solo il lato di input, uno sconto batch del 50% sulla quota di traffico che tollera la latenza e uno sconto impegnato del 15% sulla fattura non si sommano al 155% di sconto: si moltiplicano fino a un numero reale che è sempre meno impressionante della somma e sempre maggiore di zero. Questo calcolatore li applica nell'ordine in cui si verificano - memorizzazione nella cache al momento della richiesta, batch all'invio, impegno alla fatturazione - e fa scendere il conto a cascata in modo da poter vedere cosa ciascuna leva ha effettivamente rimosso piuttosto che ciò che prometteva la sua brochure. Spiega anche le trappole nascoste dai numeri dei titoli: la memorizzazione nella cache sconta solo i token di input, quindi un carico di lavoro pesante in uscita lo sente a malapena; batch si applica solo al traffico che può attendere, quindi un prodotto interattivo instrada attraverso di esso una piccola parte del suo volume; e alcuni provider non ti consentiranno affatto di memorizzare nella cache e raggruppare la stessa richiesta. Valuta ogni leva singolarmente con il calcolatore di memorizzazione nella cache rapida, IL calcolatore API batch e il calcolatore della spesa impegnata - poi vieni qui per vedere cosa fanno veramente insieme e confronta il risultato con quello completo calcolatore di ottimizzazione dei costi.
Il prezzo di listino inizia dalla suddivisione dei token: token di input per prezzo di input più token di output per prezzo di output, diviso per un milione, per richieste al mese. La memorizzazione nella cache immediata agisce solo sul lato input: il prezzo di input effettivo diventa il prezzo di input moltiplicato per uno meno la frazione memorizzabile nella cache e riutilizzata per lo sconto di lettura della cache, quindi se il 70% dell'input viene riutilizzato e le letture memorizzate nella cache sono più economiche del 90%, si risparmia il 63% del costo di input mentre l'output rimane a prezzo pieno. Lo sconto API batch si applica alla quota di volume batch: la parte batch della fattura post-cache viene moltiplicata per uno meno lo sconto batch, il resto rimane invariato, perché il traffico in tempo reale non può essere batch. Infine, lo sconto per impegno di spesa è un moltiplicatore fisso sull'intera fattura rimanente. Il totale in pila è il prezzo di listino analizzato attraverso tutti e tre in quest'ordine; il costo misto per milione di token è il totale diviso per il totale dei token elaborati. La tabella additiva/moltiplicativa mette a confronto l’onesto risparmio composto con l’ingenua somma delle percentuali principali, che può superare il 100% ed è sempre sbagliata. La memorizzazione nella cache tocca solo l'input, il batch tocca solo la condivisione tollerante all'attesa e alcuni provider bloccano la memorizzazione nella cache sulle richieste in batch, quindi considera la cifra combinata come il caso migliore per il traffico in cui si applicano effettivamente tutti e tre.
Domande frequenti
Perché i risparmi LLM accumulati non si sommano semplicemente?
Ogni leva sconta ciò che è rimasto dall'ultima, quindi si somma invece di aggiungere. Mantieni il 60% dopo la memorizzazione nella cache, il 50% dopo il batch, l'80% dopo lo sconto impegnato e sei al 24% dell'elenco: un risparmio del 76%, non il 110% che ottieni aggiungendo 40, 50 e 20. Non puoi mai risparmiare più di quanto spendi, motivo per cui sommare le percentuali dei titoli è sempre sbagliato.
La memorizzazione nella cache dei prompt sconta solo i token di input?
SÌ. La memorizzazione nella cache riutilizza un prefisso dei token già inviati; l'output viene generato ogni volta e non viene mai memorizzato nella cache. Pertanto, un carico di lavoro RAG con un carico elevato di input risulta difficile da memorizzare nella cache, mentre un carico di lavoro di disegno con un carico pesante di output se ne accorge a malapena. Questo strumento applica lo sconto cache solo alla porzione di input e solo alla frazione riutilizzata.
L'ordine degli sconti modifica il totale?
Per le percentuali piatte, no: la moltiplicazione è commutativa, quindi 0,6 × 0,5 × 0,8 è lo stesso in qualsiasi ordine. L'ordine cambia solo la storia raccontata dalla cascata. Inizia a contare quando uno sconto non è fisso (un livello impegnato che si sblocca al di sopra di una soglia o un premio di scrittura nella cache) che questo strumento contrassegna anziché modellare esattamente.
Posso davvero impilarli tutti e tre in produzione?
La memorizzazione nella cache e gli sconti impegnati si accumulano in modo pulito. L'API Batch è il problema: i lavori batch sono asincroni, quindi solo il traffico con tolleranza alla latenza può utilizzarli e alcuni provider non offrono la memorizzazione nella cache delle richieste batch. Imposta la condivisione batch al di sotto del 100% per modellare la suddivisione e verifica che il tuo fornitore consenta l'unione delle leve prima di promettere di finanziare il numero combinato.