Um dólar vai muito mais longe em modelos baratos
Pensar em tokens por dólar torna a escolha do modelo óbvia: para trabalhos em massa e não críticos, um modelo pequeno compra de 10 a 20 vezes os tokens. Compare por chamada no Calculadora de custo de token LLM.
Tokens por dólar: a unidade de compras multimodelo
A inversão do preço por milhão de tokens em tokens por dólar torna o modelo de compra concreto: a US$ 0,15 por milhão de tokens de entrada, um dólar compra 6,7 milhões de tokens – aproximadamente 5 milhões de palavras, ou cinquenta romances de contexto. A US$ 15 por milhão, o mesmo dólar compra 67 mil tokens. O spread de 100× entre os modelos de fronteira e de orçamento é toda a oportunidade de otimização de custos na maioria dos aplicativos LLM: encaminhar 80% das consultas fáceis para um modelo barato e reservar o caro para casos difíceis reduz o custo combinado de 5 a 10× com perda mínima de qualidade. Os tokens de saída custam de 2 a 5 vezes a entrada na maioria dos provedores – a proporção é mais importante do que qualquer número para cargas de trabalho com muito bate-papo.