I token di output sono il conto. La generazione esegue un passaggio in avanti completo per token; prefill elabora l'intero prompt in parallelo per circa un decimo dell'energia per token. Un prompt breve con una risposta lunga costa molto di più di un prompt lungo con una risposta breve e la traccia nascosta di un modello di ragionamento conta come output.
—kg CO2e/mese
—per richiesta
—costo di compensazione/anno a 85 $/t
Stesso carico di lavoro, ogni classe di modello
Volume della richiesta e forma del token identici, instradati a livelli diversi. Il passaggio al livello di ragionamento non è incrementale: è il singolo fattore controllabile più grande in un bilancio di carbonio inferenziale.
| Classe modello | Wh / 1k di potenza in uscita tok | kWh/mese | kg CO2e/mese | Costo energetico/mese |
|---|
Stesso carico di lavoro, in ogni regione
Calcolo identico, energia identica: cambia solo la rete. Questa è la riduzione delle emissioni più economica disponibile per chiunque il cui fornitore gli consenta di scegliere una regione.
| Regione | gCO2e/kWh | kg CO2e/mese | tCO2e/anno | rispetto alla tua regione |
|---|
⚠️ Stima modellata, non una misurazione. L'energia per token non è pubblicata da nessuno dei principali fornitori di API, quindi i valori delle classi qui sono valori di riferimento dell'ordine di grandezza coerenti con le divulgazioni degli operatori e la ricerca pubblica sull'energia di inferenza; il consumo reale varia in base alle dimensioni del batch, alla lunghezza della sequenza, alla quantizzazione, alla generazione e all'utilizzo dell'hardware. I token di input vengono addebitati al 10% della tariffa di output per riflettere la precompilazione parallela. Le intensità di rete sono fattori di generazione medi nazionali e ignorano strumenti basati sul mercato come PPA e REC, motivo per cui la cifra riportata da un operatore sarà solitamente inferiore a questa. Utilizzare per scala e confronto, non per divulgazione normativa. ·
Suggerisci un fattore migliore →
Perché la suddivisione input/output è più importante del totale dei token
Quasi ogni tentativo di stimare l’energia dell’IA moltiplica i token totali per un singolo numero per token, e questo è sbagliato in un modo che conta. L'inferenza del trasformatore ha due fasi con profili di costo completamente diversi. La precompilazione legge l'intero prompt in un passaggio fortemente parallelo, quindi un prompt da 1.500 token costa poco più di uno da 150 token sui moderni stack di servizio. La decodifica genera un token alla volta, ciascuno dei quali richiede un passaggio completo sui pesi del modello, quindi la lunghezza di output ridimensiona l'energia in modo quasi lineare. La conseguenza pratica è che inserire più contesto in un prompt è relativamente economico e lasciare che un modello divaghi è costoso: l'esatto opposto dell'intuizione con cui la maggior parte dei team inizia, e l'opposto di come è strutturato il foglio dei prezzi, dal momento che anche i fornitori addebitano l'input con uno sconto ma neanche lontanamente vicino a uno 10×.
Il livello del ragionamento è dove le impronte vanno a morire
Viene prodotta la traccia del pensiero di un modello di ragionamento. Attraversa il decodificatore esattamente come fa la risposta visibile, semplicemente non raggiunge mai l'utente. Una richiesta che produce 200 token visibili dopo 2.000 token di deliberazione ha generato 2.200 token e se quel modello è anche un ordine di grandezza più grande per token rispetto all'alternativa di livello intermedio, l'energia per richiesta può essere cinquanta volte superiore a quella a cui la stessa attività ha risposto direttamente. Esegui la tabella delle classi del modello sopra con il tuo volume e l'aritmetica è dura. Questa è anche la leva più trattabile: instradare le richieste semplici a un livello più piccolo e riservare il ragionamento ai casi che lo richiedono, riducendo contemporaneamente sia i costi che l'ingombro. Dimensioni che commerciano con calcolatore del risparmio di routing del modelloe controlla quanto ti costano in dollari i gettoni pensanti con calcolatore del costo del token di ragionamento.
L’energia è un errore di arrotondamento rispetto a ciò che paghi – e questo è il punto
Gestire i numeri predefiniti e l'elettricità dietro due milioni di richieste di livello intermedio costa decine di dollari a fronte di una fattura API di migliaia. Nessuno cambia fornitore per salvarlo. La ragione per calcolarlo comunque è che il numero di carbonio, a differenza del costo energetico, finisce in un CSRD o in un questionario del cliente dove deve essere difendibile, e sempre più spesso nelle conversazioni sugli appalti in cui a un fornitore vengono chieste le emissioni per unità di servizio. La riga della regione è quella su cui agire: un calcolo identico in una rete a basso contenuto di carbonio emette un quindicesimo di quello che fa in una ad alto consumo di carbone, che nessuna quantità di ottimizzazione del modello può eguagliare. Se l’obbligo di divulgazione in sé è ciò che ti ha portato qui, valuta il programma di governance circostante con il Calcolatore dei costi di conformità alla legge sull'intelligenza artificiale dell'UE.
Costo di conformità alla legge UE sull'intelligenza artificialeRisparmi relativi al routing del modelloCosto di inferenza GPULLM self-hosted e APILLM VRAM e concorrenza
Come funziona questa calcolatrice
Questa calcolatrice stima il energia e impronta di carbonio del carico di lavoro di inferenza AI anziché della fattura API stessa. Inserisci le tue richieste mensili, la classe del modello e i token di input e output per richiesta per stabilire il volume totale dei token mensili, in cui viene convertito kilowattora consumati E chilogrammi di CO2e emessi. I fattori principali sono la classe del modello (i modelli più grandi assorbono più energia per token), il volume di output (ragionamenti e risposte lunghe moltiplicano l’impronta), il regione del data center e la sua intensità di carbonio nella griglia, e il PUE, che rappresenta il raffreddamento e le spese generali oltre ai chip. La tariffa elettrica industriale consente di prezzare l’energia sottostante e la bolletta mensile fornisce un punto di riferimento per il confronto.
Il compromesso che vale la pena guardare è token di output rispetto alla regione: un modello loquace o un ragionamento pesante possono dominare l’uso dell’energia, quindi tagliare la produzione non necessaria spesso taglia più di qualsiasi cambiamento infrastrutturale. Allo stesso tempo, lo stesso carico di lavoro viene eseguito in a regione a basso contenuto di carbonio possono emettere una frazione della CO2e di una rete ad alto consumo di carbone, anche a parità di kWh. Considera i numeri come stime direzionali, poiché il PUE reale, il mix di rete e l'energia per token variano in base al fornitore e all'ora, e usali per confrontare le opzioni anziché come misurazioni esatte.
Domande frequenti
Quanta energia consuma una chiamata API LLM?
Per un modello di medie dimensioni che produce poche centinaia di token di output, le stime pubblicate dagli operatori collocano una singola breve richiesta nell'ordine di pochi decimi di wattora, più o meno ciò che un laptop assorbe in venti secondi. Il numero è dominato dai token di output, perché la generazione esegue l'intero modello una volta per token mentre la precompilazione elabora l'input in parallelo a una piccola frazione del costo per token. Questo è il motivo per cui questo calcolatore valuta i token di input a circa un decimo del tasso di output e perché un prompt lungo con una risposta breve è molto più economico in termini energetici rispetto a un prompt breve con una risposta lunga.
Perché i modelli di ragionamento hanno un’impronta di carbonio così maggiore?
Perché viene emessa la traccia del ragionamento nascosto. Un modello di ragionamento che pensa per duemila token prima di scrivere una risposta di duecento token ha generato 2.200 token di output, non 200, e ognuno di essi costa un passaggio in avanti completo attraverso un modello di grandi dimensioni. Il passaggio di un carico di lavoro da un modello di medie dimensioni a un modello a catena di pensiero lunga con lo stesso volume di richieste in genere moltiplica l'energia per un ordine di grandezza, che è immediatamente visibile nella tabella di confronto delle classi di modelli in questa pagina. È anche il motivo per cui la riduzione delle emissioni di carbonio più economica disponibile per la maggior parte dei team consiste nell’indirizzare le richieste facili lontano dal livello di ragionamento piuttosto che modificare qualcosa nell’infrastruttura.
La regione del data center cambia davvero l'impronta di carbonio dell'intelligenza artificiale?
Più di ogni altro monocomando. L’intensità di carbonio della rete varia da circa 40 grammi di CO2e per kilowattora nelle reti ad alto impiego di energia nucleare e idroelettrica come Francia e Svezia fino a oltre 600 grammi nelle reti ad alto impiego di carbone: un fattore quindici per un calcolo identico. L’esecuzione dello stesso carico di lavoro in una regione a basse emissioni di carbonio riduce le emissioni di oltre il 90% senza toccare una riga di codice, mentre il lavoro di efficienza sul modello stesso raramente fornisce più di un fattore due o tre. Anche il PUE è importante, ma ha una diffusione molto più ristretta, poiché i moderni siti iperscalabili si collocano tra 1,1 e 1,2 mentre le sale aziendali più vecchie si avvicinano a 1,6.