Dirige las llamadas fáciles a un modelo económico y las difíciles a un modelo premium; consulta el costo combinado.
El enrutamiento es la palanca más importante en una factura de LLM porque la combinación de tráfico es desigual: la mayoría de las solicitudes son fáciles. Envía esos baratos, reserva el modelo fronterizo para el hard tail. Compara modelos en el Calculadora de costos de IA.
Intercambios
Herramientas y alojamiento
Calculadora de costos de enrutador y modelo de IA gratuita: divida el tráfico entre un modelo económico y uno premium para ver los costos y ahorros mensuales combinados.
Enviar cada solicitud al modelo más barato que pueda manejarla: modelo pequeño para llamadas fáciles, modelo de frontera para llamadas difíciles. Un clasificador o reglas deciden, y el costo combinado queda muy por debajo del premium.
A menudo, entre un 50% y un 80%, ya que la mayor parte del tráfico real es rutinario. El ahorro depende de cuánto puede enviar de forma segura al modelo económico sin perjudicar la calidad.
Costo en diferentes volúmenes:
| Volumen | Mensual | Anual |
|---|