✓ Последняя проверка: 29 июля 2026 г.· Экономия в стиле GPT → проверка → эскалация· сообщить о проблеме →
А модельный каскад запускает сначала дешевая модель, проверяет ответ, и только обостряется те, которые ему не удается премиум-модель — шаблон FrugalGPT. Но вы платите за дешевую модель каждый запрос плюс проверяющий, плюс премия за повышенную акцию — так что это не бесплатно. Это цены на настоящие смешанные ежемесячная стоимость каскада против всегда-премий и простого разделения, и находит скорость эскалации где каскад перестает экономить.
Верификатор запускается при каждом запросе, а не только при эскалации.
—
каскад / мес.
—всегда-премиум / мес.
—сбережения
—эскалация безубыточности
Откуда берется стоимость каскада
Дешевая модель и верификатор оплачиваются по полному объёму; Премиум-модель оплачивается только по увеличенной доле. Для сравнения показаны всегда премиум-класс и простое разделение трафика.
Компонент
Ежемесячная стоимость
Делиться
Экономия за счет повышения ставок
Скорость эскалации является фактором колебания. Это сохраняет все остальное фиксированным и пошагово показывает, где каскад перестает биться всегда с премией — отмечен ряд безубыточности.
Эскалация
Каскад / мес.
Экономия
Вердикт
Дешевая модель в первую очередь — это не дешевый счет по умолчанию.
Привлекательность каскада очевидна: большинство запросов просты, небольшая модель выполняет их правильно, а платить больше за легкую работу — расточительство. Сначала запустите дешевую модель, сохраните ответы, прошедшие проверку, и эскалируйте только те, которые не прошли проверку — результат FrugalGPT показал, что это может соответствовать качеству передовой модели за небольшую часть затрат. Ловушка заключается в том, что дешевую модель рассматривают как полную стоимость. Вы платите его за каждый запрос, независимо от того, получен ответ или нет. Вы также платите верификатору за каждый запрос, потому что что-то должно решить, что будет обостряться, и это обычно является вызовом другой модели. А за долю, которую вы увеличиваете, вы платите премиальную модель сверх уже предпринятой дешевой попытки. Сложите все это, и картина изменится: каскад хорошо экономит, когда эскалация низкая, сокращается по мере роста эскалации, а после достижения уровня безубыточности это обходится дороже, чем просто вызов премиальной модели для всего — потому что вы заплатили дешевую модель и верификатор ни за что и все равно заплатили полную премиальную цену. Этот калькулятор оценивает все три ветви на основе количества и ставок ваших собственных токенов, сравнивает каскад с всегда премиальным и с простым разделением трафика, которое никогда не оплачивается дважды, и отмечает скорость эскалации, когда арифметика меняется. Если вы заранее направляете каждый запрос к одной модели, а не эскалируете его, оцените это с помощью Калькулятор модели маршрутизатора; чтобы разместить кэширование, пакетную обработку и другие рычаги сверху, используйте команду калькулятор оптимизации затрат; а чтобы сравнить две модели, см. сравнение моделей.
Она начинается со стоимости каждого запроса для каждой модели: входные токены, умноженные на входную цену, плюс выходные токены, умноженные на выходную цену, деленные на миллион. Дешевая модель и верификатор оплачиваются по полному объему запросов, поэтому их ежемесячная стоимость равна числу запросов, умноженному на количество запросов в месяц. В модели «Премиум» выставляются счета только за долю эскалации, поэтому ее ежемесячная стоимость равна сумме надбавок за каждый запрос, умноженной на запросы, умноженной на скорость эскалации. Ежемесячная стоимость каскада представляет собой сумму всех трех. Always-premium — это просто надбавка за каждый запрос, умноженная на полный объем; при простом разделении трафика, показанном для сравнения, оплачивается дешевая модель для нерасширенной доли и премиальная модель для расширенной доли, но не обе. Экономия — это один минус каскад по сравнению с всегда премиальной. Коэффициент эскалации безубыточности равен единице минус отношение стоимости одного запроса «дешево плюс верификатор» к стоимости премии за запрос: ниже этого значения каскад превосходит «всегда премиум», выше него «дешевая первая попытка плюс верификатор» становится мертвым грузом, а переход сразу к премиуму обходится дешевле. Модель предполагает, что эскалированные запросы используют одно и то же количество токенов в обеих моделях; Если ваши премиальные звонки длиннее, увеличьте количество премиальных токенов, чтобы отразить это.
Часто задаваемые вопросы
Что такое каскад LLM и как он экономит деньги?
Он отвечает на каждый запрос самой дешевой моделью, которая может его обработать: сначала запускается дешевая модель, верификатор решает, достаточно ли хорош ответ, и только сбои переходят к модели премиум-класса. Большинство запросов просты, поэтому дешевая модель обрабатывает их за небольшую часть стоимости. Экономия реальна, но вы все равно платите за дешевую модель и верификатору за каждый запрос плюс надбавку за повышенную долю.
Чем каскад отличается от маршрутизации между двумя моделями?
Маршрутизатор заранее выбирает одну модель, поэтому каждый запрос оплачивается по одной модели и никогда не оплачивается дважды, но при неправильном маршруте приходит неправильный ответ. Каскад запускает дешевую модель для всего и увеличивает количество ошибок, поэтому эскалированные запросы оплачиваются дешево, плюс проверяющий плюс надбавка, но каждый сложный запрос получает правильную вторую попытку. Этот инструмент показывает обе затраты с одинаковой скоростью эскалации.
При какой скорости эскалации каскад перестает экономить?
По коэффициенту эскалации безубыточности — единица минус отношение стоимости запроса «дешево плюс верификатор» к стоимости премии за запрос. Ниже него каскад бьет всегда-премиум; выше этого вы заплатили дешевую модель и верификатор за небольшую выгоду и все равно заплатили полную премию, поэтому прямой вызов премии обходится дешевле. Чем дешевле ваша маленькая модель и верификатор, тем выше может подняться эскалация, прежде чем каскад превратится в убыток.
Что считается стоимостью верификатора и почему это имеет значение?
Верификатор — это то, что решает отправить или эскалировать — небольшая модель оценки, этап самосогласованности или порог внедрения — и он запускается при каждом запросе, поэтому стоимость звонка, которая выглядит тривиальной, увеличивается в объеме. Он также устанавливает нижний предел: даже при нулевой эскалации вы платите дешевую модель плюс верификатор за весь объем. Этот калькулятор рассматривает его как первоклассный ввод, а не округляет до нуля.