What determines LLM response time?

Two things: time to first token (TTFT) — the wait before streaming begins, typically 0.3–2s and higher for reasoning models — and tokens per second, the generation rate. Total time = TTFT + (output tokens ÷ tokens per second). Input length mainly affects TTFT, output length affects generation.

Why does streaming feel faster than the number says?

Because users read tokens as they stream in, so perceived latency is close to TTFT rather than total time. Non-streamed responses (structured JSON, tool calls, batch jobs) block until the whole answer is ready, so the full response time is felt. Stream anything a human waits on.

APICostCalc

Modèles d'IA Calculatrice Outils Apprendre API d'IA Cryptomonnaie Paiements Toutes les API 🔔 Alertes Blogue

Calculateur de latence et de temps de réponse LLM

✓ Dernière vérification : 2026-07-15· Source : page officielle des tarifs du fournisseur· Auto-surveillé - signaler un changement →

Combien de temps prend réellement une réponse LLM : temps nécessaire pour obtenir le premier jeton et la génération.

Jetons de sortie par réponse

Vitesse de génération (jetons/sec)

Temps jusqu'au premier jeton (ms)

Requêtes par minute (1 flux)

—

temps de réponse total

—temps de génération

—temps jusqu'au premier jeton

—requêtes/min par flux

La latence est TTFT plus la génération, pas un chiffre

Les utilisateurs jugent la vitesse en fonction de la vitesse à laquelle le premier jeton atterrit et de la vitesse à laquelle le reste circule. Cet outil sépare les deux afin que vous puissiez choisir un modèle et une stratégie de streaming qui semblent rapides. Dimensionnez la facture derrière cette vitesse sur le calculateur de coût symbolique.

Hébergez votre projet :DigitalOcean — 200 $ gratuits ↗VPS Hostinger

Calculateur de coût RAG Calculateur de coût de base de données vectorielles Coût du jeton de raisonnement OpenAI Binance

Échanges

Bybit Binance OKX KuCoin Bitget Porte.io MEXIQUE

Outils et hébergement

📈TradingView 🔒NordVPN 💳 Révolution Océan Numérique $200 Hébergeur

Comment fonctionne cette calculatrice

Calculateur de latence LLM gratuit : jetons de sortie, vitesse de génération et temps d'obtention du premier jeton par rapport au temps de réponse réel que vos utilisateurs ressentiront.

Questions fréquemment posées

Qu'est-ce qui détermine le temps de réponse du LLM ?

Deux choses : le délai d'obtention du premier jeton (TTFT) – l'attente avant le début du streaming, généralement de 0,3 à 2 s et plus pour les modèles de raisonnement – et les jetons par seconde, le taux de génération. Temps total = TTFT + (jetons de sortie ÷ jetons par seconde). La longueur d'entrée affecte principalement TTFT, la longueur de sortie affecte la génération.

Pourquoi le streaming semble-t-il plus rapide que ce que dit le chiffre ?

Étant donné que les utilisateurs lisent les jetons au fur et à mesure de leur diffusion, la latence perçue est proche du TTFT plutôt que du temps total. Les réponses non diffusées (JSON structuré, appels d'outils, tâches par lots) se bloquent jusqu'à ce que la réponse complète soit prête, de sorte que le temps de réponse complet se fait sentir. Diffusez tout ce qu'un humain attend.