Сколько стоит каждый тариф маршрутизации
Больше трафика по дешевой модели = меньший счет — до тех пор, пока качество этих запросов не упадет.
| % к дешевке | Ежемесячная стоимость | Сохранено | Сокращение затрат |
|---|
Маршрутизация превосходит любую скидку
Команды гонятся за быстрым кэшированием, пакетными скидками и сделками с обязательством использования, но наибольшая экономия почти всегда достигается за счет более грубых шагов: перестаньте платить пограничные цены за тривиальную работу. Каскад моделей, также называемый маршрутизацией моделей, отправляет каждый запрос наименьшую модель, которая может выполнить задание. Классификация, короткие ответы, извлечение данных и простые вопросы и ответы — это дешевая модель, которая часто В 10–30 раз дешевле за токен; только действительно сложные запросы переходят к модели премиум-класса. Поскольку большая часть производственного трафика проста, перемещение 60–80% его на дешевый уровень обычно сокращает расходы вдвое или более — и этот калькулятор показывает точную цифру для твой раскол и цены, а не эмпирическое правило.
Принимающий решение маршрутизатор может быть таким же простым, как правило ключевого слова, порог длины, крошечный классификатор или проверка достоверности: пусть дешевая модель отвечает первой и только тогда, когда она сигнализирует о неопределенности. Стоимость самой маршрутизации незначительна, поэтому единственным реальным ограничением является качество: какой объем трафика может пройти по дешевой модели, прежде чем ответы ухудшатся. Сдвиньте сюда долю относительно долларовых сбережений, чтобы найти точку, в которой сделка перестает себя оправдывать.
После того, как вы определите размер разделения, точно оцените каждую ногу с учетом Калькулятор стоимости токена LLM, найдите самую дешевую модель легкого уровня с помощью самый дешевый ранкер LLM APIи поместите второй рычаг сверху с помощью быстрый калькулятор экономии кэширования — Соединение маршрутизации и кэширования. Для всей картины, Оценщик стоимости приложения с искусственным интеллектом объединяет все это в один ежемесячный счет.
Как его использовать
1. Выберите заранее заданную пару моделей или введите свои собственные цены ввода/вывода за миллион для обеих моделей.
2. Введите ежемесячные запросы и типичные токены ввода/вывода для каждого запроса.
3. Уменьшите долю трафика, которую вы можете безопасно направить на дешевую модель.
4. Прочтите смешанную стоимость, ежемесячную экономию и процент сокращения затрат; используйте таблицу, чтобы узнать, сколько стоят каждые дополнительные 10%.
Распространенные ошибки
Предполагая, что вам необходимо маршрутизировать только входные данные. Токены вывода обычно представляют собой дорогую половину: дешевая модель с дешевым выпуском — вот где большие выигрыши. Чрезмерная маршрутизация. Переход на 95% к дешевой модели выглядит великолепно с точки зрения затрат, но снижает качество запросов, которым требовалась большая модель; размер до той доли, которую терпят ваши оценки. Игнорирование стоимости эскалации. Если вы используете дешевую модель а потом премиум-запросы по жестким запросам платят дважды — здесь эскалации считаются премией. Забывая, цены движутся. Цены на дешевые модели резко упали; периодически перепроверяйте, потому что доля безубыточности меняется вместе с ними.
Часто задаваемые вопросы
Сколько обычно экономит маршрутизация модели?
Имея дешевую модель в 10–30 раз дешевле и к ней направляется 60–80% трафика, большинство команд сокращают расходы на 50–70%. Точная цифра равна разнице цен, умноженной на разницу — этот инструмент вычисляет ее.
Что такое модель каскада/роутера?
Система, которая сначала пробует самую дешевую подходящую модель и переходит к более крупной только при необходимости, используя правило, классификатор или проверку достоверности. Максимум качества за небольшую часть стоимости.
Добавляет ли маршрутизация задержку?
Маршрутизатор на основе правил практически ничего не добавляет. Схема «сначала дешевая модель, эскалация в случае неопределенности» может увеличить задержку для эскалированного меньшинства, поэтому по возможности направляйте трафик уверенно и легко напрямую.
Могу ли я объединить маршрутизацию с кэшированием и пакетной обработкой?
Да, они складываются. Перейдите к дешевой модели, кэшируйте повторяющийся контекст и пакетируйте несрочные задания. Каждый рычаг умножает другие; смоделируйте объединенный счет в оценщике.
Маршрутизация — это дешевая версия этой идеи; создание собственной студенческой модели обходится дорого. Оцените авансовое обязательство с помощью Калькулятор рентабельности инвестиций в модельную дистилляцию.
Только оценить. Цены на модели являются справочными и часто меняются — уточняйте текущие цены у каждого поставщика.