Glossario dei costi AI e API

Come utilizzare questo glossario

Le pagine dei prezzi API e AI sono piene di gergo che nasconde ciò che pagherai effettivamente. Di seguito sono riportati 40 dei termini più comuni, raggruppati in Prezzi e token LLM, infrastruttura e self-hosting, E modelli di fatturazione. Ciascuna definizione è neutrale rispetto al fornitore e focalizzata sull'aspetto dei costi. Nuovo nella fatturazione LLM? Inizia con il nostro come funzionano i prezzi dell'API LLM guida, quindi stimare un numero reale con calcolatore del costo dei gettoni.

Prezzi e token LLM

Gettone

La piccola unità di testo che un LLM legge e scrive: in inglese circa ¾ di parola o circa 4 caratteri. La fatturazione è per token, quindi il conteggio dei token (non il numero di richieste) determina la fattura LLM.

Gettoni di input

I token che invii al modello: il tuo prompt, le istruzioni di sistema, la cronologia delle conversazioni e qualsiasi contesto allegato. Di solito sono le tariffe più economiche tra le due, ma si moltiplicano rapidamente quando si invia nuovamente il contesto a ogni chiamata.

Gettoni di uscita

I token generati dal modello nella sua risposta. L’output ha quasi sempre un prezzo più alto dell’input – solitamente 3–5× – perché generare testo costa più calcolo che leggerlo.

Finestra di contesto

Il numero massimo di token che un modello può considerare contemporaneamente (ad esempio 128K o 1M). È un limite di capacità, non di spazio libero: ogni gettone che metti nella finestra viene fatturato ad ogni chiamata.

Costo per milione di token

I prezzi LLM unitari standard sono espressi in (token $/1 milione), elencati separatamente per input e output. Moltiplicare il volume mensile dei token per queste tariffe è il modo più rapido per stimare la spesa.

Memorizzazione nella cache immediata

Memorizzazione di un prefisso di richiesta ripetuto, ovvero un lungo messaggio o documento di sistema, in modo che non venga rielaborato a ogni chiamata. L'input memorizzato nella cache viene fatturato con un forte sconto (spesso del 75-90%), riducendo i costi per i carichi di lavoro ripetitivi.

Segnalini di ragionamento

I gettoni "pensanti" nascosti che alcuni modelli generano prima della loro risposta visibile. Non li vedi, ma vengono fatturati come output: un fattore di costo importante e facilmente trascurato nei modelli di ragionamento.

Gettoni multimodali

Immagini, audio e video vengono convertiti in equivalenti token per la fatturazione. Una singola immagine ad alta risoluzione può costare centinaia o migliaia di token di input, quindi i prompt multimodali si sommano più velocemente del solo testo.

Tasso misto

Un unico prezzo medio per token che combina le tariffe di input e output in base al tuo mix tipico. Utile per stime rapide, anche se nasconde che la produzione rappresenta la metà costosa del conto.

API batch

Un endpoint asincrono che elabora lavori di grandi dimensioni entro una finestra di ritardo (spesso fino a 24 ore) in cambio di uno sconto, generalmente intorno al 50%. Ideale per lavori non urgenti come la classificazione in massa o gli incorporamenti.

Incorporamenti

Vettori numerici che rappresentano il significato di testo, immagini o altri dati in modo che possano essere ricercati per somiglianza. Sono economici da generare per token e supportano la ricerca semantica e il RAG.

Ritocchi

Addestrare ulteriormente un modello base sui propri esempi per specializzarne il comportamento. Aggiunge un costo di formazione iniziale e, sui modelli ospitati, spesso una velocità di inferenza per token più elevata rispetto al modello di base.

RAG (generazione aumentata di recupero)

Un modello che recupera solo i frammenti rilevanti da una base di conoscenza e li aggiunge al prompt, invece di inserire interi documenti nel contesto. Riduce i token di input mantenendo le risposte ancorate ai tuoi dati.

Livello del modello (ammiraglia/medio/nano)

I fornitori offrono famiglie di modelli con diverse capacità e livelli di prezzo: ammiraglia (il più capace, il più costoso), di fascia media (bilanciato) e nano/piccolo (il più economico, il più veloce). Far corrispondere il livello alla difficoltà dell'attività è la leva più importante sui costi.

Temperatura

Un'impostazione da 0 a circa 2 che controlla la casualità nell'output. Influisce sullo stile di risposta, non direttamente sul prezzo, ma valori più elevati possono produrre risposte più lunghe o più varie che spostano il costo del token di output.

Chiamata di funzioni/strumenti

Consentire al modello di restituire una richiesta strutturata per eseguire uno degli strumenti o delle API definiti. Le definizioni degli strumenti vengono inviate come token di input a ogni chiamata e i loop degli strumenti in più passaggi moltiplicano l'utilizzo totale dei token.

Streaming

Fornire l'output del modello token per token man mano che viene generato anziché in un blocco. Migliora la velocità percepita e riduce il tempo necessario per ottenere il primo token, ma non modifica il prezzo totale del token.

Distillazione

Addestrare un modello di "studente" più piccolo per imitare un modello di "insegnante" più grande. Il risultato è molto più economico per token pur mantenendo gran parte della qualità su una serie di attività mirate.

Quantizzazione

Ridurre la precisione numerica dei pesi di un modello (ad esempio da 16 bit a 4 bit) in modo che richieda meno memoria e venga eseguito più velocemente. Per gli self-hoster questo riduce i costi della GPU, di solito con un piccolo compromesso in termini di qualità.

Inferenza

Esecuzione di un modello addestrato per produrre un output: l'azione per cui paghi per ogni chiamata API. Il costo dell'inferenza varia in base ai token sulle API ospitate e al tempo di calcolo sulle GPU self-hosted.

Infrastruttura e self-hosting

Limite di velocità (RPM/TPM)

I massimali applicati da un provider per account: RPM sono richieste al minuto, TPM sono token al minuto. Il superamento di uno dei due restituisce un errore 429, quindi la scalabilità richiede il batching, l'accodamento o un livello superiore.

Limite di concorrenza

Il numero massimo di richieste consentite in volo contemporaneamente. Limita il numero di lavori paralleli che puoi eseguire e, su configurazioni self-hosted o con provisioning, dimensiona direttamente l'hardware per il quale devi pagare.

TTFT/latenza

TTFT (time-to-first-token) è quanto tempo passa prima che arrivi il primo token di output; la latenza è il tempo di risposta totale. Modellano l'esperienza dell'utente e, sulle GPU noleggiate, una latenza più lunga significa più calcolo fatturato per richiesta.

Produttività

Quanti token o richieste elabora un sistema al secondo. Un throughput più elevato serve più utenti sullo stesso hardware, riducendo il costo per richiesta quando si esegue l'hosting autonomo o si riserva capacità.

Banca dati vettoriale

Un negozio ottimizzato per contenere incorporamenti e cercarli per somiglianza. Alimenta RAG e la ricerca semantica e di solito viene valutato in base a vettori, dimensioni e query archiviati anziché in base al token.

GPU/VRAM

Il processore grafico e la relativa memoria video che eseguono l'inferenza del modello. Un modello deve adattarsi alla VRAM per essere caricato, quindi i modelli più grandi richiedono GPU più costose e con memoria più elevata: il costo principale del self-hosting.

Hosting autonomo

Esecuzione di un modello open-weight sul tuo hardware o su quello noleggiato invece di chiamare un'API ospitata. Rimuove le tariffe per token ma aggiunge costi fissi per GPU, progettazione e capacità inattiva che vengono ripagati solo in caso di volumi elevati.

Uscita/larghezza di banda

Il costo per i dati che lasciano la rete di un fornitore di servizi cloud. Facili da dimenticare nei budget per l’intelligenza artificiale, le tariffe in uscita possono essere significative quando si spostano set di dati, supporti o pesi di modelli di grandi dimensioni tra servizi o regioni.

Avvio a freddo (senza server)

Il ritardo con cui una funzione serverless o un contenitore di modelli si avvia dallo stato inattivo prima di poter rispondere. Aggiunge latenza e, per i modelli di grandi dimensioni con tempi di caricamento lunghi, può spingerti verso una capacità sempre attiva che costa di più.

Throughput assegnato

Prenotare una quantità fissa e garantita di capacità del modello per una tariffa oraria o mensile fissa invece di pagare per token. Stabilizza i costi e la latenza per un traffico costante ad alto volume, ma spreca denaro quando è inattivo.

Spot vs on-demand

Le istanze on-demand sono disponibili in qualsiasi momento a prezzo pieno; le istanze spot (prerilasciabili) utilizzano la capacità inutilizzata con un forte sconto ma possono essere recuperate con poco preavviso. Spot è adatto a processi batch interrompibili e non a servizi critici per la latenza.

Capacità ad uso impegnato/riservata

Uno sconto in cambio dell'impegno a una spesa minima o a un hardware specifico per un periodo da uno a tre anni. Riduce la tariffa effettiva per carichi di lavoro prevedibili ma ti blocca.

SLA (tempo di attività)

Un accordo sul livello di servizio è la promessa contrattuale di disponibilità del fornitore (ad esempio 99,9%) e i crediti dovuti in caso di mancato rispetto. Livelli di contratto di servizio più elevati in genere costano di più, ma sono importanti per l'affidabilità della produzione.

Modelli di fatturazione e prezzo

Prezzi per postazione e prezzi basati sull'utilizzo

Per postazione viene applicata una tariffa fissa per ciascun utente indipendentemente dall'attività; addebiti basati sull'utilizzo per ciò che effettivamente consumi (token, chiamate, elaborazione). I posti sono prevedibili; l'utilizzo varia in base alla domanda e può aumentare in modo imprevisto.

Crediti

Saldo prepagato acquistato e prelevato quando si utilizza un servizio. I crediti vengono fatturati regolarmente, ma possono scadere e il loro valore unitario a volte oscura il prezzo reale per token o per chiamata.

Eccesso

Utilizzo oltre la franchigia inclusa nel piano, fatturato a una tariffa separata, spesso più elevata. Gli addebiti per eccedenza sono una fonte comune di fatture a sorpresa quando il traffico supera il livello a cui ti sei iscritto.

Livello gratuito

Un bonus a costo zero (un credito mensile, chiamate limitate o un periodo di prova) per permetterti di valutare un servizio. È utile per i test ma raramente sufficiente per la produzione e si applicano limiti o date di scadenza.

TCO (costo totale di proprietà)

Il costo completo di gestione di una soluzione: non solo le tariffe API o GPU ma anche ingegneria, monitoraggio, archiviazione, uscita e spese generali. Il confronto tra hosting e self-hosting ha senso solo in termini di TCO, non di tariffe principali.

Costo per utente

La tua spesa totale per AI o API divisa per gli utenti attivi. Trasforma l'utilizzo grezzo in un'unità economica che puoi confrontare con le entrate o il prezzo di abbonamento per verificare se una funzionalità è redditizia.

Markup gateway/router

La tariffa che un gateway AI o un router modello aggiunge al prezzo del fornitore sottostante per routing, fallback, analisi o fatturazione unificata. Conveniente, ma il margine può aumentare in modo significativo il costo effettivo per token.

Continua ad imparare

Domande frequenti

Cos'è un gettone?

Un token è la piccola porzione di testo che un LLM legge e genera: in inglese circa ¾ di parola o circa 4 caratteri. I fornitori fatturano per token sia per il testo inviato (input) sia per il testo prodotto dal modello (output), motivo per cui il conteggio dei token, non il conteggio delle richieste, determina una fattura LLM.

Che cos'è la memorizzazione nella cache immediata?

La memorizzazione nella cache dei prompt consente a un provider di memorizzare un prefisso ripetuto, ad esempio un lungo prompt di sistema o un documento, in modo che non venga rielaborato a ogni chiamata. I token di input memorizzati nella cache vengono fatturati con un ampio sconto (spesso del 75-90%), riducendo i costi per i carichi di lavoro che inviano nuovamente lo stesso contesto.

Cosa significano TPM e RPM in un limite di velocità?

RPM sono richieste al minuto e TPM sono token al minuto: i due massimali che un provider applica al tuo account. Colpire uno dei due restituisce un errore 429, quindi le app ad alto volume devono eseguire batch, accodamenti o richiedere un livello superiore anziché assumere un throughput illimitato.