—против по требованию
—эффективный $/1 млн.
—используемая мощность
Эффективная цена по мере роста объема
Стоимость резервирования фиксирована, поэтому каждый дополнительный токен снижает эффективную цену за миллион — до тех пор, пока вы не достигнете потолка емкости и не переполните счета по требованию.
| Ежемесячный объем | Стоимость по требованию | Зарезервированная эффективная сумма $/1 млн. | Дешевле |
|---|
Резервная мощность только выше точки безубыточности
Предоставленная пропускная способность — PTU в Azure OpenAI, подготовленная пропускная способность в AWS Bedrock — заменяет счет за каждый токен на фиксированное ежемесячное резервирование выделенной мощности. Он обеспечивает предсказуемую задержку и фиксированную стоимость, но экономит деньги только тогда, когда ваш постоянный объем токенов достигает точки безубыточности: стоимость резервирования, деленная на цену по требованию за токен. Ниже вы платите за простаивающие устройства; выше этого фиксированная стоимость распространяется на большее количество токенов, и ваша эффективная цена за миллион продолжает падать, вплоть до потолка мощности в единицах × токенов в минуту × минут в месяц. Преодолевайте потолок и счета за переплату по полной ставке по требованию, незаметно сводя на нет скидку. Размер резервирования соответствует тому объему, который, как вы уверены, вы будете использовать каждый месяц, прогнозируйте рост на Калькулятор прогноза стоимости APIи сравните обязательства по расходам на Калькулятор скидок на совершенные расходы.
Как работает этот калькулятор
Калькулятор бесплатной выделенной пропускной способности — если вы зарезервируете выделенную емкость LLM (Azure OpenAI PTU, выделенную пропускную способность Bedrock) или останетесь на оплате по мере использования…
Часто задаваемые вопросы
Что такое предоставляемая пропускная способность и когда она того стоит?
Предоставленная пропускная способность — Azure OpenAI называет это PTU, AWS Bedrock называет это подготовленной пропускной способностью — означает аренду выделенной мощности модели за фиксированную ежемесячную плату вместо оплаты за токен. Вы резервируете несколько единиц, каждая из которых способна выдавать определенное количество жетонов в минуту, и платите одинаковую сумму независимо от того, используете ли вы ее полностью или нет. Он выигрывает только тогда, когда ваш постоянный объем токенов достаточно велик, чтобы эквивалентный счет с оплатой по факту превысил резервирование. Ниже этого уровня безубыточности вы платите за простаивающие мощности; выше него каждый дополнительный токен фактически бесплатен, пока вы не достигнете потолка пропускной способности.
Как мне найти безубыточность при резервировании PTU?
Разделите общую ежемесячную стоимость резервирования на цену по требованию за токен. Это дает количество токенов, при котором оплата по мере использования будет стоить точно так же, как резервирование. Обрабатывайте меньше токенов, а обработка по требованию обходится дешевле; обработайте больше, и резервирование выиграет — вплоть до потолка мощности, который равен единицам, умноженным на токены в минуту, умноженным на минуты в месяце. Этот калькулятор показывает как объем токена безубыточности, так и загрузку емкости, поэтому вы можете увидеть, недостаточно ли вы используете резервирование или скоро исчерпаете запас.
Что произойдет, если я превышу предоставленную мощность?
Запросы сверх зарезервированного количества токенов в минуту либо ограничиваются, либо, на большинстве платформ, переходят на оплату по факту использования излишка. Обычно это нормально для коротких периодов, но если ваш средний спрос регулярно превышает пропускную способность, вы платите полную ставку по требованию за переполнение сверх фиксированного резервирования, что аннулирует скидку. Калькулятор сигнализирует, когда ваш ежемесячный объем превышает зарезервированную емкость, чтобы вы знали, нужно ли добавлять единицы или оставлять переполнение по требованию намеренно, а не случайно.