Сколько пользователей может одновременно обслуживать ограничение скорости TPM/RPM.
TPM и RPM — это два потолка, и имеет значение только нижний из них, а повышение другого — напрасная трата усилий. Прогнозируйте, куда вас подталкивает трафик Калькулятор прогноза стоимости APIи определите размер токенов для каждого вызова на Калькулятор стоимости токена LLM.
Обмены
Инструменты и хостинг
Бесплатный калькулятор мощности ограничения скорости. Превратите ограничение скорости TPM и RPM API в количество одновременных активных пользователей, которых вы можете обслуживать, прежде чем запросы будут ограничены.
Провайдеры ограничивают вас как по количеству токенов в минуту (TPM), так и по количеству запросов в минуту (RPM), и вы выбираете то, что наступит раньше. Небольшие, частые звонки обычно приводят к увеличению числа оборотов в минуту; вызовы с большим контекстом попадают в TPM. Ваша реальная мощность — меньшая из двух, поэтому повышение только необязывающего предела ничего не меняет.
Снимите лимит привязки — запросите более высокий уровень для того, который вас ограничивает, группируйте или объединяйте небольшие запросы, чтобы упростить RPM, и уменьшите размер приглашения, чтобы упростить TPM. Кэширование повторяющегося контекста и перенаправление на второй ключ или модель также расширяют нагрузку за пределы одного предела.