Wie lange dauert eine LLM-Antwort tatsächlich – Zeit bis zum ersten Token plus Generierung?
Benutzer beurteilen die Geschwindigkeit danach, wie schnell der erste Token landet und wie schnell der Rest fließt. Dieses Tool trennt beides, sodass Sie ein Modell und eine Streaming-Strategie auswählen können, die sich schnell anfühlt. Bemessen Sie die Rechnung hinter dieser Geschwindigkeit auf der Token-Kostenrechner.
Kostenloser LLM-Latenzrechner – Ausgabe-Token, Generierungsgeschwindigkeit und Zeit bis zum ersten Token bis hin zur tatsächlichen Antwortzeit, die Ihre Benutzer spüren werden.
Zwei Dinge: Zeit bis zum ersten Token (TTFT) – die Wartezeit, bevor das Streaming beginnt, typischerweise 0,3–2 Sekunden und mehr für Reasoning-Modelle – und Token pro Sekunde, die Generierungsrate. Gesamtzeit = TTFT + (Ausgabe-Tokens ÷ Tokens pro Sekunde). Die Eingabelänge beeinflusst hauptsächlich die TTFT, die Ausgabelänge beeinflusst die Generierung.
Da Benutzer Token beim Streamen lesen, entspricht die wahrgenommene Latenz eher der TTFT als der Gesamtzeit. Nicht gestreamte Antworten (strukturiertes JSON, Toolaufrufe, Batch-Jobs) blockieren, bis die gesamte Antwort fertig ist, sodass die volle Antwortzeit spürbar ist. Streamen Sie alles, worauf ein Mensch wartet.