Сколько времени на самом деле занимает ответ LLM — время до первого токена плюс генерация.
Пользователи судят о скорости по тому, как быстро приземляется первый токен и как быстро перетекают остальные. Этот инструмент разделяет и то, и другое, поэтому вы можете выбрать модель и стратегию потоковой передачи, которые кажутся быстрыми. Размер счета за эту скорость на калькулятор стоимости токена.
Обмены
Инструменты и хостинг
Бесплатный калькулятор задержки LLM — выходные токены, скорость генерации и время до первого токена, а также реальное время отклика, которое ощутят ваши пользователи.
Две вещи: время появления первого токена (TTFT) — время ожидания перед началом потоковой передачи, обычно 0,3–2 с и выше для моделей рассуждения — и токены в секунду, скорость генерации. Общее время = TTFT + (выходные токены ÷ токены в секунду). Входная длина в основном влияет на TTFT, выходная длина влияет на генерацию.
Поскольку пользователи считывают токены по мере их поступления, воспринимаемая задержка близка к TTFT, а не к общему времени. Непотоковые ответы (структурированный JSON, вызовы инструментов, пакетные задания) блокируются до тех пор, пока не будет готов весь ответ, поэтому ощущается полное время ответа. Транслируйте все, чего ждет человек.