Cuánto tiempo lleva realmente una respuesta de LLM: tiempo hasta la primera generación del token más.
Los usuarios juzgan la velocidad en función de qué tan rápido aterriza la primera ficha y qué tan rápido fluye el resto. Esta herramienta separa ambos para que puedas elegir un modelo y una estrategia de transmisión que te parezca rápido. Tamaño del billete detrás de esa velocidad en el calculadora de costo simbólico.
Intercambios
Herramientas y alojamiento
Calculadora de latencia LLM gratuita: tokens de salida, velocidad de generación y tiempo hasta el primer token para obtener el tiempo de respuesta real que sentirán sus usuarios.
Dos cosas: tiempo hasta el primer token (TTFT), la espera antes de que comience la transmisión, generalmente de 0,3 a 2 segundos y más para los modelos de razonamiento, y tokens por segundo, la tasa de generación. Tiempo total = TTFT + (tokens de salida ÷ tokens por segundo). La longitud de entrada afecta principalmente a TTFT, la longitud de salida afecta a la generación.
Debido a que los usuarios leen los tokens a medida que los transmiten, la latencia percibida se acerca a TTFT en lugar del tiempo total. Las respuestas no transmitidas (JSON estructurado, llamadas a herramientas, trabajos por lotes) se bloquean hasta que la respuesta completa está lista, por lo que se siente el tiempo de respuesta completo. Transmita cualquier cosa que un humano espere.