Tokens versus solicitações explicadas

Uma solicitação e um token não são a mesma coisa

Um Solicitação de API é uma chamada para o endpoint. Fichas são as unidades de texto dentro dessa chamada. Uma solicitação pode conter alguns tokens ou centenas de milhares. Os provedores de LLM cobram por tokens; muitas outras APIs (pagamentos, mapas, SMS) cobram por solicitação ou por ação. Misturar os dois é o erro orçamentário mais comum.

Onde cada modelo se aplica

Como estimar antes de construir

Para um recurso LLM, estime: tokens por chamada × chamadas por usuário × usuários. Uma resposta de bate-papo pode ter aproximadamente 500 tokens de entrada + aproximadamente 300 tokens de saída; multiplique por conversas mensais para obter o volume de tokens e, em seguida, defina o preço. Isso é muito mais preciso do que adivinhar "por solicitação", porque a contagem de tokens por solicitação varia muito.

Perguntas frequentes

Qual é a diferença entre um token e uma solicitação de API?

Uma solicitação de API é uma chamada única para o endpoint; tokens são as unidades de texto dentro dele. Uma solicitação pode conter poucos ou centenas de milhares de tokens. LLMs cobram por token, enquanto muitas outras APIs cobram por solicitação.

Quantos tokens tem uma mensagem típica de chatbot?

Uma mensagem curta do usuário mais um prompt do sistema costuma ter algumas centenas de tokens de entrada e uma resposta, algumas centenas de tokens de saída – aproximadamente 500 a 1.000 tokens por troca, embora varie de acordo com o tamanho do prompt e o detalhamento da resposta.

Como faço para estimar meu uso mensal de tokens?

Multiplique tokens por chamada por chamadas por usuário por número de usuários. Estime os tokens de entrada e saída separadamente, uma vez que eles têm preços diferentes, e depois execute o total por meio de uma calculadora de custo de token para o modelo escolhido.