Una richiesta e un token non sono la stessa cosa
UN Richiesta API è una chiamata all'endpoint. Gettoni sono le unità di testo all'interno di quella chiamata. Una richiesta può contenere una manciata di token o centinaia di migliaia. I fornitori LLM fatturano in base a token; molte altre API (pagamenti, mappe, SMS) fatturano per richiesta o per azione. Mescolare i due è l’errore di budget più comune.
Dove si applica ciascun modello
| Tipo di API | Fatturato da |
|---|---|
| LLM/AI (OpenAI, Anthropic, ecc.) | Token (input + output) |
| Incorporamenti | Token (solo input) |
| Generazione di immagini | Per immagine/per passaggio |
| Mappe, ricerca, SMS, pagamenti | Per richiesta/per azione |
Come stimare prima di costruire
Per una funzionalità LLM, stima: token per chiamata × chiamate per utente × utenti. Una risposta in chat potrebbe essere di ~500 input + ~300 token di output; moltiplicalo per le conversazioni mensili per ottenere il volume del token, quindi valutalo. Questo è molto più accurato che indovinare "per richiesta", perché il conteggio dei token per richiesta varia notevolmente.
Costo gettoni →Costo della finestra di contesto →Continua ad imparare
Come funzionano i prezzi dell'API LLM →Limiti di velocità API →Glossario dei costi AI e API →Domande frequenti
Qual è la differenza tra un token e una richiesta API?
Una richiesta API è una singola chiamata all'endpoint; i token sono le unità di testo al suo interno. Una richiesta può contenere pochissimi token o centinaia di migliaia. Gli LLM fatturano per token, mentre molte altre API fatturano per richiesta.
Quanti token è un tipico messaggio di chatbot?
Un breve messaggio utente più un prompt di sistema corrisponde spesso a poche centinaia di token di input e una risposta a poche centinaia di token di output: circa 500-1.000 token per scambio, sebbene vari con la lunghezza del prompt e la verbosità della risposta.
Come posso stimare il mio utilizzo mensile di token?
Moltiplica i token per chiamata per le chiamate per utente per il numero di utenti. Stima separatamente i token di input e output poiché hanno un prezzo diverso, quindi esegui il totale tramite un calcolatore del costo dei token per il modello scelto.
Solo riferimento didattico: i prezzi sono stime; confermare le tariffe attuali sulla pagina dei prezzi di ciascun fornitore.