¿Cuántos usuarios puede atender realmente un límite de velocidad de TPM/RPM a la vez?
TPM y RPM son dos techos, y sólo importa el más bajo; elevar el otro es un esfuerzo en vano. Pronostica hacia dónde te empuja el tráfico en la carretera Calculadora de previsión de costes APIy dimensionar los tokens detrás de cada llamada en el Calculadora de costos de tokens LLM.
Intercambios
Herramientas y alojamiento
Calculadora de capacidad de límite de velocidad gratuita: convierta un límite de velocidad de API de TPM y RPM en la cantidad de usuarios activos simultáneos que puede atender antes de que se limiten las solicitudes.
Los proveedores le limitan tanto los tokens por minuto (TPM) como las solicitudes por minuto (RPM), y usted alcanza lo que ocurra primero. Las llamadas pequeñas y frecuentes suelen alcanzar las RPM; Las llamadas de gran contexto afectan a TPM. Su capacidad real es la menor de las dos, por lo que aumentar sólo el límite no vinculante no cambia nada.
Eleve el límite vinculante: solicite un nivel más alto para el que lo limite, agrupe o combine solicitudes pequeñas para reducir el RPM y recorte el tamaño de la solicitud para reducir el TPM. El almacenamiento en caché del contexto repetido y el enrutamiento del desbordamiento a una segunda clave o modelo también distribuye la carga más allá de un límite único.