Калькулятор сбережений LLM

Три скидки редко делают его бесплатным.

В каждом руководстве по сокращению затрат LLM перечислены одни и те же рычаги — кэшируйте запросы, группируйте то, что может подождать, обязуйтесь потратиться на оптовую скидку — и в каждом из них указывается процент в заголовке. Ошибка состоит в том, чтобы складывать эти проценты. Скидки не суммируются, а суммируются: каждый получает работу только на те деньги, которые оставил предыдущий. Скидка 90 % на кэш, которая касается только входной стороны, пакетная скидка 50 % на долю трафика, допускающего задержку, и гарантированная скидка 15 % на счет-фактуру не суммируются со скидкой в ​​155 % — они умножаются на действительное число, которое всегда менее впечатляюще, чем сумма, и всегда больше нуля. Этот калькулятор применяет их в том порядке, в котором они происходят — кэширование во время запроса, пакет при отправке, подтверждение при выставлении счета — и проводит расчет по водопаду, чтобы вы могли увидеть, что на самом деле удалил каждый рычаг, а не то, что обещала его брошюра. Это также раскрывает ловушки, скрытые за заголовками: кэширование только входных токенов снижает скидку, поэтому рабочая нагрузка с большим объемом вывода почти не ощущает этого; пакетная обработка применяется только к трафику, который может подождать, поэтому интерактивный продукт пропускает через него небольшую часть своего объема; а некоторые провайдеры вообще не позволяют кэшировать и пакетировать один и тот же запрос. Оцените каждый рычаг отдельно с помощью быстрый калькулятор кэширования, пакетный калькулятор API и Калькулятор запланированных расходов — тогда приходите сюда посмотреть, что они на самом деле делают вместе, и сравните результат с полным калькулятор оптимизации затрат.