—
同時ユーザー—有効所要量/分
—結合制限
—使用されたトークン/分
容量は最初に到達した制限によって設定されます
TPM と RPM には 2 つの上限があり、低い方のみが重要です。もう一方を上げるのは無駄な労力です。交通渋滞でどこに進むかを予測します。 APIコスト予測計算ツール、各呼び出しの背後にあるトークンのサイズを決定します。 LLM トークンコスト計算ツール.
TPM/RPM レート制限が実際に一度にサービスを提供できるユーザーの数。
TPM と RPM には 2 つの上限があり、低い方のみが重要です。もう一方を上げるのは無駄な労力です。交通渋滞でどこに進むかを予測します。 APIコスト予測計算ツール、各呼び出しの背後にあるトークンのサイズを決定します。 LLM トークンコスト計算ツール.
無料のレート制限容量計算ツール — TPM および RPM API レート制限を、リクエストが調整される前に処理できる同時アクティブ ユーザーの数に変換します。
プロバイダーは 1 分あたりのトークン数 (TPM) と 1 分あたりのリクエスト数 (RPM) の両方に制限を設けており、どちらか先に到達する必要があります。小規模で頻繁な呼び出しは通常、RPM に達します。大きなコンテキストの呼び出しは TPM にヒットします。実際の能力は 2 つのうち低い方であるため、拘束力のない制限だけを上げても何も変わりません。
バインディング制限を解除します。上限に応じてより高い階層をリクエストし、小さなリクエストをバッチまたは結合して RPM を緩和し、プロンプト サイズをトリミングして TPM を緩和します。繰り返されるコンテキストをキャッシュし、オーバーフローを 2 番目のキーまたはモデルにルーティングすると、単一の制限を超えて負荷が分散されます。