Un dólar vale mucho más en modelos baratos
Pensar en tokens por dólar hace que la elección del modelo sea obvia: para trabajos masivos y no críticos, un modelo pequeño compra entre 10 y 20 veces los tokens. Comparar por llamada en el Calculadora de costos de tokens LLM.
Fichas por dólar: la unidad de compra entre modelos
Invertir el precio por millón de tokens en tokens por dólar hace que la compra de modelos sea concreta: a 0,15 dólares por millón de tokens de entrada, un dólar compra 6,7 millones de tokens, aproximadamente 5 millones de palabras o cincuenta novelas de contexto. A 15 dólares por millón, el mismo dólar compra 67.000 tokens. La diferencia de 100 veces entre los modelos de frontera y de presupuesto es toda la oportunidad de optimización de costos en la mayoría de las aplicaciones LLM: enrutar el 80% de las consultas fáciles a un modelo barato y reservar el costoso para casos difíciles reduce el costo combinado entre 5 y 10 veces con una pérdida mínima de calidad. Los tokens de salida cuestan entre 2 y 5 veces la entrada en la mayoría de los proveedores; la proporción importa más que cualquier número para cargas de trabajo con mucho chat.