—fichas de entrada
—fichas de salida
—≈ palabras
Un dólar vale mucho más en modelos baratos
Pensar en tokens por dólar hace que la elección del modelo sea obvia: para trabajos masivos y no críticos, un modelo pequeño compra entre 10 y 20 veces los tokens. Comparar por llamada en el Calculadora de costos de tokens LLM.
Fichas por dólar: la unidad de compra entre modelos
Invertir el precio por millón de tokens en tokens por dólar hace que la compra de modelos sea concreta: a 0,15 dólares por millón de tokens de entrada, un dólar compra 6,7 millones de tokens, aproximadamente 5 millones de palabras o cincuenta novelas de contexto. A 15 dólares por millón, el mismo dólar compra 67.000 tokens. La diferencia de 100 veces entre los modelos de frontera y de presupuesto es toda la oportunidad de optimización de costos en la mayoría de las aplicaciones LLM: enrutar el 80% de las consultas fáciles a un modelo barato y reservar el costoso para casos difíciles reduce el costo combinado entre 5 y 10 veces con una pérdida mínima de calidad. Los tokens de salida cuestan entre 2 y 5 veces la entrada en la mayoría de los proveedores; la proporción importa más que cualquier número para cargas de trabajo con mucho chat.
Margen de SaaS de IACosto por usuario activoCosto por 1000 palabrasCosto de traducción de IACosto de Azure OpenAI
Cómo funciona esta calculadora
El Calculadora de tokens por dólar calcula cuánto texto puedes procesar realmente por tu dinero en cada modelo de idioma. Entras en un presupuesto, el precio de entrada por millón de tokens, el precio de salida por millón de tokens, y el participación en la producción de tus tokens totales. Debido a que los insumos y los productos generalmente tienen precios diferentes, la herramienta combina las dos tasas de acuerdo con esa participación para encontrar un costo real por token, luego divide su presupuesto para mostrar cuántos tokens de insumos y productos compra cada dólar. Los principales impulsores son los dos precios por millón y el participación en la producción, ya que los tokens de salida suelen ser la parte más cara de la factura.
Esto es importante porque los precios de etiqueta por millón de tokens son difíciles de comparar entre modelos, y una tasa que parezca más barata puede perder una vez que se ponderan las cargas de trabajo con gran producción. modelos de clasificación En tokens por dólar, la calculadora convierte los precios abstractos en un número de rendimiento concreto que puede comparar directamente. La contrapartida clave a tener en cuenta es su participación en la producción: el resumen se basa en gran cantidad de entradas, mientras que la generación se basa en gran cantidad de salidas, así que establezca el porcentaje para que coincida con su uso real antes de confiar en la clasificación.
Preguntas frecuentes
¿Cuántas fichas se compran con un dólar?
Depende del modelo y de su combinación de entrada/salida. 1 dólar compra ~400.000 tokens en un modelo con una entrada de 2,50 dólares/1 millón, pero mucho más en un modelo de 0,15 dólares/1 millón. Los tokens de salida cuestan varias veces más que los de entrada, por lo que la combinación es importante.
¿Por qué la mezcla de entrada/salida la cambia?
La producción suele ser entre 3 y 5 veces el precio de los insumos. Un dólar se estira más en trabajos con muchos insumos (resumir) que en trabajos con muchos productos (generación).