Do I get charged for API calls that return a 429 rate limit error?

No — 429 (Too Many Requests) errors are rejected before processing and you are not charged for them. However, you do pay for any tokens that were processed before the error (if the provider uses streaming and charges on partial output) and you waste the latency of the failed attempt. The real cost is the extra retry logic, delayed responses, and sometimes duplicate completions if retry logic has bugs.

What is exponential backoff and why does it increase latency cost?

Exponential backoff means waiting 1s, 2s, 4s, 8s... between retry attempts. For a time-sensitive API call, a single 429 with 2 retries adds 3–7 seconds of latency. If your users or downstream systems have SLAs, this hidden latency has real operational cost even if the token cost is zero.

How do retries cause duplicate charges?

If a request succeeds but times out before the response arrives, a naive retry will resend — and if the first succeeded, you pay for two completions. This is common with slow LLM responses on large context windows. Always use idempotency keys or check for existing results before retrying on timeout.

What is the average 429 rate for LLM APIs?

Rate limit hit rates depend heavily on your traffic pattern and tier. Bursty traffic (sending 100 requests at once) can hit 10–30% error rates. Steady traffic well below limits typically sees <0.1%. Most providers now use token-per-minute limits, which punish large-context requests more than request-count limits.

How do I reduce API retry costs?

Four approaches: (1) Rate limit locally — use a token bucket to stay under provider limits before sending. (2) Use a queue with controlled concurrency instead of parallel bursts. (3) Set up webhooks or async processing so retries happen in the background without user-facing latency. (4) Cache responses for identical prompts to avoid the API call entirely.

Калькулятор стоимости повторных попыток ограничения скорости API — скрытая стоимость ошибок 429

Что на самом деле стоит денег при повторных попытках?

Сами 429 ошибок бесплатны — токены не взимаются, если запрос ограничен по скорости до начала обработки. Реальные затраты составляют:

Повторить запросы — при каждой повторной попытке снова отправляется полное приглашение на ввод. Если повторная попытка успешна, вы платите за токены. Если вы вводите 2000 токенов, 3 повторные попытки для 3% запросов добавляют 0,09 дополнительных входных данных на каждый успешный запрос.
Дубликаты тайм-аута — когда запрос занимает слишком много времени и ваш код повторяет попытку, но оригинал действительно был обработан. Вы платите за два завершения. Это особенно дорого обходится при запросах с большой производительностью.
Неудачные запросы — если все повторные попытки исчерпаны и запрос не выполнен, вы теряете задержку и любую частичную стоимость входного токена, если поставщик взимает плату при получении.

Исправьте это: Используйте локальный ограничитель скорости передачи токенов в минуту (например, LangChain). ContextWindowExceededHandler или простое хранилище токенов) для сглаживания всплесков до того, как они попадут в API. Это исключает большинство 429 без увеличения стоимости.

Связанный: Планировщик бюджета API · Прогноз стоимости · Взлетно-посадочная полоса свободного уровня

Часто задаваемые вопросы

Взимается ли плата за вызовы API, которые возвращают ошибку ограничения скорости 429?

Нет — ошибки 429 отклоняются до обработки, и с вас не взимается плата за них. Реальная цена — это логика повторов, задержка ответов и иногда повторяющиеся завершения, если в логике повторов есть ошибки.

Что такое экспоненциальная задержка и почему она увеличивает стоимость задержки?

Экспоненциальная отсрочка означает ожидание 1 с, 2 с, 4 с, 8 с... между повторными попытками. Одиночный код 429 с двумя повторами добавляет задержку в 3–7 секунд. Если нижестоящие системы имеют соглашения об уровне обслуживания, это имеет реальные эксплуатационные расходы, даже если стоимость токена равна нулю.

Как повторные попытки приводят к дублированию платежей?

Если запрос успешен, но время ожидания ответа истекло, выполняется повторная попытка, а если первая успешная, вы платите за два завершения. Всегда используйте ключи идемпотентности или проверяйте существующие результаты перед повторной попыткой по тайм-ауту.

Какова средняя ставка 429 для API LLM?

Всплеск трафика может достигать 10–30% ошибок. Устойчивый трафик значительно ниже допустимых пределов обычно составляет менее 0,1%. Большинство провайдеров теперь используют ограничения на количество токенов в минуту, которые наказывают запросы с большим контекстом больше, чем ограничения на количество запросов.

Как снизить затраты на повторную попытку API?

Четыре подхода: (1) Локальное ограничение скорости с помощью корзины токенов. (2) Используйте очередь с контролируемым параллелизмом. (3) Настройте асинхронную обработку, чтобы повторные попытки происходили в фоновом режиме. (4) Кэшируйте ответы на идентичные запросы.