Jetons et demandes expliqués

Une requête et un jeton ne sont pas la même chose

Un Requête API est un appel au point final. Jetons sont les unités de texte à l'intérieur de cet appel. Une requête peut contenir une poignée de jetons ou des centaines de milliers. Les fournisseurs LLM facturent par jetons ; de nombreuses autres API (paiements, cartes, SMS) facturent par requête ou par action. Mélanger les deux est l’erreur budgétaire la plus courante.

Où chaque modèle s’applique

Comment estimer avant de construire

Pour une fonctionnalité LLM, estimez : jetons par appel × appels par utilisateur × utilisateurs. Une réponse de chat peut contenir environ 500 jetons d'entrée + environ 300 jetons de sortie ; multipliez par les conversations mensuelles pour obtenir le volume de jetons, puis évaluez-le. C'est beaucoup plus précis que de deviner "par requête", car le nombre de jetons par requête varie énormément.

Questions fréquemment posées

Quelle est la différence entre un token et une requête API ?

Une requête API est un appel unique au point de terminaison ; les jetons sont les unités de texte à l'intérieur. Une requête peut contenir très peu de jetons, voire des centaines de milliers. Les LLM facturent par jeton, tandis que de nombreuses autres API facturent par requête.

Combien de jetons représente un message de chatbot typique ?

Un court message utilisateur plus une invite système représentent souvent quelques centaines de jetons d'entrée et une réponse quelques centaines de jetons de sortie - environ 500 à 1 000 jetons par échange, bien que cela varie en fonction de la longueur de l'invite et de la verbosité de la réponse.

Comment puis-je estimer mon utilisation mensuelle de tokens ?

Multipliez les jetons par appel par les appels par utilisateur par le nombre d'utilisateurs. Estimez les jetons d'entrée et de sortie séparément, car leur prix est différent, puis exécutez le total via un calculateur de coût de jeton pour le modèle que vous avez choisi.