—tokens de entrada
—tokens de saída
—≈ palavras
Um dólar vai muito mais longe em modelos baratos
Pensar em tokens por dólar torna a escolha do modelo óbvia: para trabalhos em massa e não críticos, um modelo pequeno compra de 10 a 20 vezes os tokens. Compare por chamada no Calculadora de custo de token LLM.
Tokens por dólar: a unidade de compras multimodelo
A inversão do preço por milhão de tokens em tokens por dólar torna o modelo de compra concreto: a US$ 0,15 por milhão de tokens de entrada, um dólar compra 6,7 milhões de tokens – aproximadamente 5 milhões de palavras, ou cinquenta romances de contexto. A US$ 15 por milhão, o mesmo dólar compra 67 mil tokens. O spread de 100× entre os modelos de fronteira e de orçamento é toda a oportunidade de otimização de custos na maioria dos aplicativos LLM: encaminhar 80% das consultas fáceis para um modelo barato e reservar o caro para casos difíceis reduz o custo combinado de 5 a 10× com perda mínima de qualidade. Os tokens de saída custam de 2 a 5 vezes a entrada na maioria dos provedores – a proporção é mais importante do que qualquer número para cargas de trabalho com muito bate-papo.
Margem SaaS de IACusto por usuário ativoCusto por 1.000 palavrasCusto de tradução de IACusto OpenAI do Azure
Como funciona esta calculadora
O Calculadora de tokens por dólar calcula quanto texto você pode realmente processar com seu dinheiro em cada modelo de idioma. Você insere um orçamento, o preço de entrada por milhão de tokens, o preço de saída por milhão de tokens, e o participação de saída do total de seus tokens. Como a entrada e a saída geralmente têm preços diferentes, a ferramenta combina as duas taxas de acordo com essa parcela para encontrar um custo real por token e, em seguida, divide seu orçamento para mostrar quantos tokens de entrada e saída cada dólar compra. Os principais impulsionadores são os dois preços por milhão e o participação de saída, uma vez que os tokens de saída são normalmente o lado mais caro da conta.
Isso é importante porque os preços de etiqueta por milhão de tokens são difíceis de comparar entre os modelos, e uma taxa que parece mais barata pode ser perdida quando as cargas de trabalho com grande produção são ponderadas. modelos de classificação em tokens por dólar, a calculadora transforma o preço abstrato em um número de rendimento concreto que você pode comparar diretamente. A principal compensação a ser observada é o seu participação de saída: o resumo depende de muitas entradas, enquanto a geração depende de muitas saídas, portanto, defina a porcentagem para corresponder ao seu uso real antes de confiar na classificação.
Perguntas frequentes
Quantas fichas um dólar compra?
Depende do modelo e do seu mix de entrada/saída. US$ 1 compra aproximadamente 400.000 tokens em um modelo com entrada de US$ 2,50/1 milhão, mas muito mais em um modelo de US$ 0,15/1 milhão. Os tokens de saída custam várias vezes mais que os de entrada, portanto o mix é importante.
Por que a mixagem de entrada/saída muda isso?
A produção é geralmente 3–5× o preço de entrada. Um dólar é mais esticado no trabalho com muitos insumos (resumindo) do que no trabalho com muitos produtos (geração).