Три рычага и почему они складываются
Большинство советов «сократите расходы на LLM на 90%» реальны — они применимы только к часть вашего трафика, а цифры в заголовках предполагают лучший случай. Этот калькулятор делает долю явной. Оперативное кэширование снижает повторяющийся префикс вашего ввода (системное приглашение, контекст RAG, длинный документ) до 10–50 % от скорости ввода; он ничего не делает для выходных токенов или для входных данных, которые изменяют каждый вызов. Пакетная обработка дает фиксированные 50% на любой запрос, который может выполняться асинхронно — отлично подходит для классификации, обобщения и создания отчетов, бесполезен для живого чата. Маршрутизация модели отправляет простые запросы на меньшую и гораздо более дешевую модель и сохраняет пограничную модель для сложных. Применительно к сегментам трафика, которые фактически может охватить каждый из них, они приводят к действительно значительному сокращению.
Почему эффективная скидка ниже, чем в заголовках
Если бы 90% кэширования, 50% пакетной обработки и 85% маршрутизации полностью покрывали ваш счет, вы бы почти ничего не заплатили, но это не так. Кэширование касается только кэшируемого ввода; пакетная обработка касается только асинхронного трафика; маршрутизация касается только запросов, которые может обработать более дешевая модель. Честно установите эти доли, и калькулятор вернет смешанный скидку на вашу реальную рабочую нагрузку. Это смешанное число — часто 40–70%, а не 90% — и должно быть заложено в бюджет. Проверьте отдельные рычаги с помощью быстрый калькулятор кэширования, калькулятор пакетной экономии и калькулятор маршрутизации модели.
Порядок действий имеет значение
Рычаги взаимодействуют: сначала кэширование снижает затраты на входные данные, затем к тому, что осталось, применяются пакетная обработка и маршрутизация, поэтому их объединение не является простым сложением. Этот инструмент применяет кэширование к кэшируемому входному срезу, а затем применяет скидки на пакеты и маршрутизацию к их долям в оставшийся тратить, поэтому объединенная скидка меньше суммы частей. Прежде чем приступать к оптимизации, определите базовые показатели с помощью Калькулятор стоимости токена LLM и найдите самую дешевую базовую модель с самый дешевый LLM API.
Как его использовать
1. Введите свои текущие ежемесячные расходы на LLM и примерно какую долю составляют входные и выходные токены.
2. Установите, какая часть вашего ввода повторяется/кэшируется, а также цену попадания в кеш вашего провайдера (10 % Anthropic, 25–50 % OpenAI).
3. Установите долю трафика, которую вы можете пакетировать, и долю, которую вы можете направить на более дешевую модель.
4. Прочтите оптимизированный счет и действующую скидку, а затем сначала используйте рычаги с самыми большими строками «Экономия».
Часто задаваемые вопросы
Совпадают ли кэширование и пакетная обработка?
Да, пакетный запрос также может использовать кэшированный префикс. Этот инструмент сначала применяет кэширование к входным данным, а затем группирует/маршрутизирует скидки к оставшимся расходам, поэтому комбинированный эффект является мультипликативным, а не аддитивным.
Какую цену попадания в кэш мне следует использовать?
Кэш антропных банкнот считывается со скоростью 10 % от скорости ввода; OpenAI на 25–50% в зависимости от модели; Кэширование контекста Google на уровне ~10%. Используйте цифру вашего провайдера для среза кэшируемого ввода.
Опасна ли маршрутизация для качества?
Только если вы маршрутизируете жесткие запросы к слабой модели. Безопасный шаблон — это уровень классификатора или правил, который отправляет простые/короткие запросы к дешевой модели и эскалирует остальные. Смоделируйте распределение расходов с помощью калькулятор маршрутизации.
Только оценить. Скидки зависят от вашего конкретного трафика и цен провайдера — проверьте текущие тарифы, прежде чем составлять бюджет.