Quantos usuários um limite de taxa TPM/RPM pode realmente atender ao mesmo tempo.
TPM e RPM são dois limites máximos, e apenas o mais baixo importa – aumentar o outro é um esforço desperdiçado. Preveja onde o tráfego o empurra no Calculadora de previsão de custos de APIe dimensione os tokens por trás de cada chamada no Calculadora de custo de token LLM.
Trocas
Ferramentas e hospedagem
Calculadora de capacidade de limite de taxa gratuita – transforme um limite de taxa de API TPM e RPM no número de usuários ativos simultâneos que você pode atender antes que as solicitações sejam limitadas.
Os provedores limitam você em tokens por minuto (TPM) e solicitações por minuto (RPM), e você acerta o que ocorrer primeiro. Chamadas pequenas e frequentes geralmente atingem RPM; chamadas de grande contexto atingem o TPM. A sua capacidade real é a menor das duas, portanto, aumentar apenas o limite não vinculativo não altera nada.
Aumente o limite de vinculação - solicite um nível mais alto para qualquer um que o limite, agrupe ou combine pequenas solicitações para facilitar o RPM e reduza o tamanho do prompt para facilitar o TPM. O armazenamento em cache de contexto repetido e o estouro de roteamento para uma segunda chave ou modelo também espalham a carga além de um único limite.