How do I convert a TPM limit into requests per minute?

Divide the tokens-per-minute (TPM) limit by the tokens used per request (input + output). For example a 30,000 TPM limit with 1,500 tokens per request allows about 20 requests per minute from the token side. Your real ceiling is the smaller of that number and the separate requests-per-minute (RPM) limit — whichever you hit first is the binding limit.

Why am I getting 429 errors below my RPM limit?

Because most LLM APIs enforce two limits at once: requests per minute (RPM) and tokens per minute (TPM). Long prompts or large outputs blow the TPM budget long before you reach the RPM count, so you get 429 rate-limit errors even though your request count looks fine. This calculator shows which of the two limits binds for your token size.

How many concurrent users can one API key support?

Take your effective requests-per-minute ceiling and divide by how many requests each active user sends per minute. If a key allows 20 effective RPM and each user sends 2 requests per minute, that's about 10 concurrent active users before requests start queueing. Scale by moving to a higher usage tier, batching, or spreading load across keys.

Calculateur de limite de taux LLM

✓ Dernière vérification : 2026-08-15· Source : page officielle des tarifs du fournisseur· Auto-surveillé - signaler un changement →

Limitation des API LLM deux limites à la fois : requêtes par minute (RPM) et jetons par minute (TPM). Entrez les limites d'un modèle et vos jetons par requête pour voir combien de requêtes et utilisateurs simultanés on sait vraiment servir, et qui limitent les bouchées en premier.

Pourquoi deux limites et pourquoi c'est important

Tous les principaux fournisseurs de LLM (OpenAI, Anthropic, Google, Mistral) vous mesurent requêtes par minute et jetons par minute simultanément. Le problème est que la limite de jetons est celle que la plupart des gens oublient. Un budget de 30 000 TPM semble important jusqu'à ce que vous envoyiez des invites de 4 000 jetons : cela ne représente qu'environ 7 requêtes par minute avant de commencer à recevoir 429 Too Many Requests, même si la limite de RPM peut en autoriser des centaines. Le correctif n'est presque jamais « envoyer plus rapidement » : il s'agit de réduire le contexte, de limiter la longueur de sortie ou de monter d'un niveau d'utilisation.

Cette calculatrice fait la division pour vous. Il prend à la fois les limites et vos jetons par demande, trouve le plafond le plus petit et le transforme en quelque chose que vous pouvez planifier : utilisateurs actifs simultanés. Si vous savez que chaque utilisateur déclenche environ deux requêtes par minute, le numéro d'utilisateur vous indique le nombre de personnes desservies par une clé avant la file d'attente des requêtes. Lorsque vous heurtez le mur, les options honnêtes sont : réduire l'invite (souvent le plus gros levier), raccourcir max_tokens, lots de travaux non urgents sur le API de lots asynchrones, ou bénéficiez d'un niveau supérieur en dépensant plus.

Une fois le débit dimensionné, évaluez-le : le Calculateur du coût des jetons LLM transforme ces jetons en dollars, et le Estimateur du coût des applications d'IA modélise la facture entière en fonction de votre nombre d'utilisateurs. Créer un produit de chat ? Le calculateur de coût de chatbot lie le volume de conversation au coût et au débit.

Comment l'utiliser

1. Choisissez un niveau prédéfini ou saisissez les limites RPM et TPM à partir du tableau de bord de votre fournisseur.
2. Entrez les jetons d'entrée et de sortie qu'une requête typique utilise (la sortie compte également dans le TPM).
3. Définissez le nombre de requêtes qu’un utilisateur actif envoie par minute.
4. Lisez les requêtes effectives par minute, les utilisateurs simultanés et quelle limite constitue le goulot d'étranglement.

Erreurs courantes

En comptant uniquement les jetons d'entrée. Les jetons de sortie sont également facturés et limités en débit : un modèle bavard avec de longues réponses brûle rapidement le TPM. Dimensionnement à la limite RPM. Si vos invites sont volumineuses, le TPM vous limite d'abord ; le numéro RPM n'a pas d'importance. En supposant que la limite soit fixée. Les niveaux augmentent automatiquement à mesure que vos dépenses augmentent, de sorte qu'un mur aujourd'hui pourrait disparaître le mois prochain. Ignorer les éclats. Les limites sont des moyennes par minute mais appliquées dans des fenêtres courtes, de sorte que le trafic ponctuel atteint 429 secondes en dessous de la moyenne.

Estimation seulement. Les limites de taux sont des chiffres de référence et varient selon le fournisseur, le modèle et le niveau de compte — vérifiez dans votre tableau de bord.

Comment fonctionne cette calculatrice

Le Calculateur de limite de taux LLM détermine le débit que votre niveau API peut réellement supporter, plutôt qu'un coût en dollars. Vous entrez un modèle Limite de régime (requêtes par minute) et Limite TPM (jetons par minute), alors votre jetons d'entrée et jetons de sortie par requête. Il les combine pour afficher votre plafond effectif : étant donné que chaque requête consomme à la fois un créneau de requête et un budget de jetons, l'outil signale la plus basse des deux limites et la traduit en requêtes supportables par minute et, en utilisant votre requêtes par utilisateur et par minute, une estimation de utilisateurs simultanés. Un niveau prédéfini facultatif remplit les limites publiées typiques.

Cela est important car les équipes dimensionnent souvent la capacité uniquement en fonction du RPM et sont plutôt limitées par le TPM, ou l'inverse. Le principal compromis à surveiller est poids du jeton par demande: les invites longues ou les complétions verbeuses génèrent des jetons par requête, donc votre Plafond TPM est atteint bien avant votre plafond de RPM, ce qui réduit considérablement le nombre d'utilisateurs que vous pouvez servir. Réduire la longueur de sortie ou raccourcir le contexte permet souvent d’obtenir une marge réelle plus importante que de demander un plafond de requêtes plus élevé.

Questions fréquemment posées

Comment convertir une limite TPM en requêtes par minute ?

Divisez la limite de jetons par minute (TPM) par les jetons utilisés par requête (entrée + sortie). Par exemple, une limite de 30 000 TPM avec 1 500 jetons par requête autorise environ 20 requêtes par minute du côté des jetons. Votre plafond réel est le plus petit de ce nombre et de la limite de requêtes par minute (RPM) distincte – celle que vous atteignez en premier est la limite contraignante.

Pourquoi est-ce que je reçois des erreurs 429 en dessous de ma limite de RPM ?

Parce que la plupart des API LLM appliquent deux limites à la fois : les requêtes par minute (RPM) et les jetons par minute (TPM). De longues invites ou des sorties volumineuses font exploser le budget TPM bien avant que vous n'atteigniez le nombre de RPM, vous obtenez donc 429 erreurs de limite de débit même si le nombre de demandes semble correct. Cette calculatrice indique laquelle des deux limites correspond à la taille de votre jeton.

Combien d’utilisateurs simultanés une clé API peut-elle prendre en charge ?

Prenez votre plafond effectif de requêtes par minute et divisez-le par le nombre de requêtes que chaque utilisateur actif envoie par minute. Si une clé autorise 20 RPM effectifs et que chaque utilisateur envoie 2 requêtes par minute, cela représente environ 10 utilisateurs actifs simultanés avant que les requêtes ne commencent à être mises en file d'attente. Évoluez en passant à un niveau d'utilisation plus élevé, en regroupant ou en répartissant la charge entre les clés.

Plafond RPM vs TPM à la taille de votre jeton