Направляйте легкие вызовы на дешевую модель, сложные — на модель премиум-класса — посмотрите смешанную стоимость.
Маршрутизация — самый важный рычаг в счете за LLM, потому что структура трафика однобокая — большинство запросов просты. Отправьте те дешевые, зарезервируйте модель Frontier для жесткого хвоста. Сравните модели на Калькулятор стоимости ИИ.
The Калькулятор стоимости маршрутизатора модели AI оценивает смешанную ежемесячную стоимость обслуживания вашего трафика API по двум моделям вместо одной. Вы вводите свой звонков в месяц, токены ввода и вывода за вызов, доля трафика, направляемая на дешевую модель, а также входные и выходные цены за миллион токенов как для дешевых, так и для премиальных моделей. Он применяет тарифы каждой модели к своей части запросов, суммирует затраты на входные и выходные токены и сообщает объединенный ежемесячный показатель вместе с экономией по сравнению с отправкой каждого вызова к премиальной модели. Основными факторами затрат являются общий объем вызовов, количество токенов за вызов, разделение маршрутизации и разница в ценах между двумя моделями.
Ключевым компромиссом, на который стоит обратить внимание, является качество против стоимости: направление большего трафика на дешевую модель снижает смешанный показатель, но только некоторые запросы достаточно просты, чтобы на них можно было хорошо ответить без модели премиум-класса. Потому что выходные токены обычно стоят дороже, чем входные токены, подробные ответы могут доминировать в общем объеме даже при благоприятном распределении, поэтому протестируйте дешевую модель на реальных подсказках и убедитесь, что ее ответы сохраняются, прежде чем повышать процент трафика.
Отправка каждого запроса самой дешевой модели, которая может его обработать — маленькая модель для простых звонков, пограничная модель для сложных. Решает классификатор или правила, и смешанная стоимость оказывается намного ниже всех премий.
Часто 50–80%, поскольку большая часть реального трафика — рутинная. Экономия зависит от того, сколько вы сможете безопасно отправить на дешевую модель без ущерба для качества.
📚 Впервые здесь? Узнайте, как работают цены на LLM API →
Стоимость при разных объемах:
| Объем | Ежемесячно | Ежегодно |
|---|