Quanto tempo realmente leva uma resposta LLM – tempo até o primeiro token mais geração.
Os usuários avaliam a velocidade com base na rapidez com que o primeiro token chega e com que rapidez o restante flui. Esta ferramenta separa ambos para que você possa escolher um modelo e uma estratégia de streaming que pareça rápido. Dimensione a conta por trás dessa velocidade no calculadora de custo de token.
Trocas
Ferramentas e hospedagem
Calculadora de latência LLM gratuita – tokens de saída, velocidade de geração e tempo até o primeiro token para o tempo de resposta real que seus usuários sentirão.
Duas coisas: tempo até o primeiro token (TTFT) – a espera antes do início do streaming, normalmente 0,3–2s ou mais para modelos de raciocínio – e tokens por segundo, a taxa de geração. Tempo total = TTFT + (tokens de saída ÷ tokens por segundo). O comprimento de entrada afeta principalmente o TTFT, o comprimento de saída afeta a geração.
Como os usuários leem os tokens à medida que fazem streaming, a latência percebida é próxima do TTFT, e não do tempo total. As respostas não transmitidas (JSON estruturado, chamadas de ferramentas, trabalhos em lote) são bloqueadas até que toda a resposta esteja pronta, para que o tempo de resposta completo seja sentido. Transmita qualquer coisa que um humano espere.