Верификатор запускается при каждом запросе, а не только при эскалации.
каскад / мес.
всегда-премиум / мес.
сбережения
эскалация безубыточности

Откуда берется стоимость каскада

Дешевая модель и верификатор оплачиваются по полному объёму; Премиум-модель оплачивается только по увеличенной доле. Для сравнения показаны всегда премиум-класс и простое разделение трафика.

КомпонентЕжемесячная стоимостьДелиться

Экономия за счет повышения ставок

Скорость эскалации является фактором колебания. Это сохраняет все остальное фиксированным и пошагово показывает, где каскад перестает биться всегда с премией — отмечен ряд безубыточности.

ЭскалацияКаскад / мес.ЭкономияВердикт

Дешевая модель в первую очередь — это не дешевый счет по умолчанию.

Привлекательность каскада очевидна: большинство запросов просты, небольшая модель выполняет их правильно, а платить больше за легкую работу — расточительство. Сначала запустите дешевую модель, сохраните ответы, прошедшие проверку, и эскалируйте только те, которые не прошли проверку — результат FrugalGPT показал, что это может соответствовать качеству передовой модели за небольшую часть затрат. Ловушка заключается в том, что дешевую модель рассматривают как полную стоимость. Вы платите его за каждый запрос, независимо от того, получен ответ или нет. Вы также платите верификатору за каждый запрос, потому что что-то должно решить, что будет обостряться, и это обычно является вызовом другой модели. А за долю, которую вы увеличиваете, вы платите премиальную модель сверх уже предпринятой дешевой попытки. Сложите все это, и картина изменится: каскад хорошо экономит, когда эскалация низкая, сокращается по мере роста эскалации, а после достижения уровня безубыточности это обходится дороже, чем просто вызов премиальной модели для всего — потому что вы заплатили дешевую модель и верификатор ни за что и все равно заплатили полную премиальную цену. Этот калькулятор оценивает все три ветви на основе количества и ставок ваших собственных токенов, сравнивает каскад с всегда премиальным и с простым разделением трафика, которое никогда не оплачивается дважды, и отмечает скорость эскалации, когда арифметика меняется. Если вы заранее направляете каждый запрос к одной модели, а не эскалируете его, оцените это с помощью Калькулятор модели маршрутизатора; чтобы разместить кэширование, пакетную обработку и другие рычаги сверху, используйте команду калькулятор оптимизации затрат; а чтобы сравнить две модели, см. сравнение моделей.

Разместите свой проект:DigitalOcean — 200 долларов бесплатно ↗Хостингер VPS
Модель МаршрутизаторОптимизация затратСамосогласованностьСравнение моделей