Входные и выходные данные оцениваются по-разному — получите истинную эффективную ставку.
Разделение цен на вход/выход означает, что фиксированная ставка не является вашей ставкой — обычно доминирует результат. Ограничьте max_tokens, чтобы контролировать его. Превратите номер для каждого звонка в полный счет на Калькулятор стоимости токена LLM.
Обмены
Инструменты и хостинг
Бесплатный смешанный калькулятор цен LLM — входные и выходные цены, а также сочетание токенов с учетом реальной стоимости звонка и эффективной ставки за 1 миллион.
Генерация токенов требует больше вычислительных ресурсов, чем их чтение, поэтому поставщики оценивают выходные данные примерно в 3–5 раз выше, чем входные. В приглашении с обширным контекстом, но коротким ответом все равно могут доминировать несколько дорогих выходных токенов — или наоборот, в зависимости от вашего набора токенов.
Ваша истинная эффективная ставка после ввода и вывода взвешивается по тому, сколько из каждого из них вы фактически используете. Рекламируемые цены разделены; смешанная ставка показывает, сколько стоит реальный звонок за токен, и это то, что вы должны использовать для маржи и прогнозирования.