Сколько стоит каждая резервная ставка
Те же токены, тот же трафик — меняется только частота триггеров «основной → резервный».
| Резервный курс | Ежемесячная стоимость | Накладные расходы и основные | Накладные расходы % |
|---|
Скрытая стоимость вашего уровня надежности
Цепочка резервных моделей — это стандартная схема шлюза искусственного интеллекта 2026 года: отправьте запрос на дешевую и быструю основную модель; если этот вызов ограничен по скорости или содержит ошибки, шлюз (OpenRouter, Portkey, LiteLLM или пользовательская оболочка) автоматически повторяет попытку, используя более дорогую и надежную резервную модель, а иногда и третий уровень, если резервный вариант также терпит неудачу. Это правильная архитектура для бесперебойной работы, но резервный уровень обычно стоит в 5–20 раз больше основного за токен именно потому, что основной был выбран из-за его низкой стоимости. Резервный уровень, который на информационной панели выглядит незначительным — 5%, даже 2% — может привести к значительному увеличению счета, чем предполагает этот процент.
Математика не является линейной, поскольку цены на два уровня неодинаковы. Смешанная стоимость за запрос = первичная_стоимость × (1 — p1) + резервная_стоимость × p1 × (1 — p2) + третичная_стоимость × p1 × p2, где p1 — частота запуска от первичного к резервному, а p2 — (гораздо более редкая) частота отката к третичному. При разнице в ценах между уровнями в 14 раз резервный коэффициент в 5 % может добавить 50–65 % к смешанному счету, даже несмотря на то, что 95 % запросов по-прежнему попадают на дешевый первичный трафик, поскольку за эти 5 % трафика приходится более половины общей стоимости в долларах.
Это совершенно иная форма затрат, чем преднамеренная маршрутизация модели (где вы выбираете разделение «дешево/дорого» по дизайну) или простой повторная попытка при неудаче стоимость (при повторной попытке той же модели). Здесь целью эскалации является другая, более дорогая модель, и она вызвана состоянием инфраструктуры — пропускной способностью, ограничениями скорости, — а не сложностью задачи.
Связанный: экономия на маршрутизации модели, Стоимость повторной попытки API, Стоимость миграции поставщика LLM, бюджет цикла агента.
Как его использовать
1. Выберите предустановленную цепочку или введите свои собственные цены за миллион для первичного, резервного и третичного уровней.
2. Введите ежемесячные запросы и типичные токены ввода/вывода для каждого запроса.
3. Установите наблюдаемые (или предполагаемые) частоты первичного → резервного и резервного → третичного триггеров.
4. Сравните смешанные ежемесячные затраты и накладные расходы с базовым уровнем чистой первичной продукции; используйте таблицу, чтобы увидеть, насколько чувствителен ваш счет к резервной ставке.
Распространенные ошибки
Предполагается, что резервные затраты масштабируются вместе с резервной ставкой. Это не так — он масштабируется пропорционально коэффициенту отката, умноженному на соотношение цен между уровнями, которое обычно намного больше. Игнорирование третичного уровня. Если ваш резервный вариант также дает сбой при постоянной нагрузке, третичный уровень (если таковой имеется) обычно стоит столько же, сколько и резервный, но добавляет риск задержки — смоделируйте его даже при низкой скорости. Выставление счетов за неудачные звонки. Большинство провайдеров не взимают плату за отказ от жесткого ограничения скорости; если у вас это так (частичная генерация до ошибки в середине потока), ваши реальные накладные расходы превышают эту оценку. В погоне за 100% безотказной работой с самым дорогим резервным вариантом. Резервный вариант среднего уровня часто восстанавливает большую часть надежности за небольшую часть затрат, связанных с прямым переходом на флагманскую модель.
Часто задаваемые вопросы
Что такое резервная цепочка модели ИИ?
Шаблон шлюза, в котором неудачный или ограниченный по скорости запрос автоматически повторяет попытку с использованием модели резервного копирования и, при необходимости, третьего уровня, если это также не удается. Используется OpenRouter, Portkey, LiteLLM и подобными инструментами.
Почему небольшая резервная ставка стоит так дорого?
Резервные модели обычно стоят намного выше основных за токен. Даже 5%-ная частота триггеров может добавить к счету более 50%, если резервный вариант будет стоить в 10–14 раз дороже за запрос.
Оплачивается ли отклоненный запрос?
Стандартная практика: за отказ от жесткого ограничения скорости 429 взимается 0 долларов США, поскольку токены не были сгенерированы. Этот калькулятор предполагает это соглашение.
Как мне дешево снизить резервный уровень?
Увеличьте лимит скорости основного уровня, добавьте отсрочку и повторную попытку на основном уровне перед эскалацией, распределите трафик между ключами/провайдерами или вставьте резервный вариант среднего уровня вместо перехода сразу к самой дорогой модели.
Только оценить. Цены на модели являются справочными и часто меняются — уточняйте текущие цены у каждого поставщика.