Questions fréquemment posées
Comment les limites TPM et RPM interagissent-elles ?
Les fournisseurs vous limitent à la fois aux jetons par minute (TPM) et aux requêtes par minute (RPM), et vous appuyez sur la première éventualité. Les petits appels fréquents atteignent généralement RPM ; les appels à grand contexte atteignent le TPM. Votre capacité réelle est la plus faible des deux, donc augmenter uniquement la limite non contraignante ne change rien.
Comment puis-je servir plus d’utilisateurs sans atteindre les limites de débit ?
Supprimez la limite de liaison : demandez un niveau plus élevé pour celui qui vous plafonne, regroupez ou combinez de petites requêtes pour faciliter le RPM et réduisez la taille de l'invite pour faciliter le TPM. La mise en cache du contexte répété et le débordement de routage vers une deuxième clé ou un deuxième modèle répartissent également la charge au-delà d'une seule limite.