Доллар идет намного дальше на дешевых моделях
Если исходить из расчета токенов на доллар, то выбор модели становится очевидным: для объемной, некритической работы небольшая модель покупает в 10–20 раз больше токенов. Сравните количество звонков на Калькулятор стоимости токена LLM.
Токены за доллар: кросс-модель торговой единицы
Преобразование цены за миллион токенов в токены за доллар делает модель покупок конкретной: при цене 0,15 доллара за миллион входных токенов за один доллар можно купить 6,7 миллиона токенов — примерно 5 миллионов слов или пятьдесят романов контекста. При цене 15 долларов за миллион за тот же доллар можно купить 67 тысяч токенов. 100-кратный разброс между пограничной и бюджетной моделями — это полная возможность оптимизации затрат в большинстве приложений LLM: перенаправление 80% простых запросов на дешевую модель и резервирование дорогого для сложных случаев сокращает смешанные затраты в 5–10 раз с минимальной потерей качества. У большинства провайдеров стоимость выходных токенов в 2–5 раз превышает входную — соотношение имеет большее значение, чем любое число, для рабочих нагрузок с большим количеством чатов.