What does model distillation actually cost up front?

Three things, and only one of them is compute. First, teacher inference to generate the labelled training set — you pay full frontier-model rates on every example you label, so a 50,000-example set at typical rates runs a few hundred dollars. Second, the training run itself, which for a small student model is usually tens of GPU-hours and often the cheapest line on the list. Third, and almost always the largest, engineering time: building the eval harness, curating the set, and validating that the student is genuinely good enough. Teams that only budget the first two consistently underestimate the project by an order of magnitude.

How much cheaper is a distilled student model to serve?

Reported figures cluster around 5-20x lower cost per token, depending on how far you shrink the model and whether you serve it through a cheap hosted endpoint or your own GPUs. But the headline multiple is misleading on its own, because a distilled model rarely matches the teacher on every input. If you route the hard cases back to the teacher — which is what production systems do — your effective cost is a blend. At the default rates here, sending just 10% of traffic back to the teacher leaves that 10% responsible for roughly four fifths of everything you still pay. This calculator makes you enter that fallback rate rather than pretending it is zero.

When is distillation not worth it?

When the payback period is longer than the model generation. Frontier API prices have fallen repeatedly, and a distillation project that pays back in eighteen months is competing against a teacher model that may simply get cheaper or be replaced by a better small model before you break even. The rule of thumb that survives contact with reality: distillation makes sense for high-volume, narrow, stable tasks where the payback is measured in weeks or a couple of months. For low volume or a task definition that is still moving, prompt engineering and a cheaper off-the-shelf model win.

Calculadora de ROI de destilación modelo | Punto de equilibrio entre docentes y estudiantes

Calculadora de ROI de destilación de modelos

✓ Última verificación: 2026-07-23· Fuente: precios de proveedores públicos + tarifas de alquiler de GPU publicadas· reportar cambio →

Destilar un modelo de estudiante pequeño a partir de un maestro de frontera es la respuesta estándar en 2026 a un gran proyecto de ley de inferencias. La pregunta que nadie fija correctamente el precio es cuándo se amortiza y qué efecto tiene una tasa de retorno realista en la respuesta.

La tasa de retroceso es todo el juego. Un modelo destilado que maneja el 90% de su tráfico y dirige el resto de regreso al maestro no genera el título múltiple: el décimo escalado se factura a tarifas de frontera completa y generalmente representa la mayor parte de la factura restante. Ingrese un número honesto a continuación y observe cómo avanza el período de recuperación.

¿Qué efecto tiene la tasa de reserva en su retorno de la inversión?

El mismo modelo de estudiante, el mismo gasto inicial: solo cambia la proporción del tráfico que tiene que regresar al maestro. Esta es la variable que decide si un proyecto de destilación es un éxito de un trimestre o un error de redondeo.

Tasa de retroceso

Efectivo / mes

Ahorro / mes

Ahorro vs maestro

venganza

Por qué el número del titular "20 veces más barato" no es su ahorro

La destilación funciona, y los múltiplos publicados son reales: entrene a un estudiante pequeño para que imite a un maestro grande en una tarea limitada y el costo por porción de token generalmente se reduce entre cinco y veinte veces. Lo que esas cifras describen es el costo de una ficha que pasa por el estudiante en lugar del maestro. Lo que no describen es el costo de ejecutar un sistema de producción, que es una cantidad diferente, porque los sistemas de producción no dirigen el 100% del tráfico a un modelo que sea casi tan bueno. Dirigen los casos seguros al estudiante y escalan el resto, y el resto se cobra a la tarifa completa del profesor. Con una tasa de reserva del 10%, el profesor sigue manejando una décima parte de su volumen a 30 veces el precio del estudiante, lo que significa que sigue siendo responsable de la mayor parte de su factura restante. Modelar la destilación como un intercambio limpio es el error más común en estos casos de negocios.

El costo inicial es principalmente de personas, no de GPU

La línea de cálculo es casi siempre la parte más barata. Etiquetar 50.000 ejemplos a través del profesor cuesta unos cientos de dólares al precio habitual. Un ajuste fino para un estudiante pequeño equivale a decenas de horas de GPU; llámelo otros cien dólares a precios de alquiler de productos básicos. Luego viene la parte que no aparece en la calculadora de costos de ningún proveedor: alguien tiene que seleccionar el conjunto de capacitación, crear un arnés de evaluación que realmente pueda indicarle si el estudiante es lo suficientemente bueno, definir el umbral de confianza para el enrutador alternativo y validarlo frente al tráfico de producción antes de atreverse a transferir usuarios reales a él. Cuarenta horas de ingeniería es una estimación optimista para ese trabajo y, a cualquier ritmo combinado realista, domina todo lo demás en la columna inicial. Por eso la calculadora lo pide explícitamente en lugar de dejarlo silenciosamente en cero.

El reloj que estas corriendo

La última consideración es algo que ninguna hoja de cálculo le impone: los precios de frontera siguen cayendo. Un proyecto con una recuperación de la inversión en dos meses está a salvo de eso; un proyecto con una recuperación de dieciocho meses apuesta a que el precio del profesor y el panorama de los modelos pequeños se mantengan quietos durante un año y medio, lo que la historia reciente dice que no será así. Si la cifra de recuperación anterior supera un par de trimestres, la lectura honesta suele ser que debería buscar un modelo disponible más económico y solicitar primero la compresión o el almacenamiento en caché; consulte la calculadora de ahorro de almacenamiento en caché rápida y el calculadora de ahorro de enrutamiento modelo, los cuales ofrecen una fracción del ahorro por una fracción del compromiso. La destilación se gana la vida en tareas estables, estrechas y de gran volumen, y es castigada en todos los demás. Comparar con un ajuste fino directo con el calculadora de ajuste versus indicaciones, o en contra de ejecutar el modelo usted mismo con el Calculadora LLM vs API autohospedada.

Cómo funciona esta calculadora

Ingrese el volumen de solicitud mensual y la forma promedio del token, las tasas por millón de docentes y estudiantes, y los tres costos iniciales de un proyecto de destilación: etiquetado de docentes, computación de capacitación y tiempo de ingeniería. La calculadora combina el costo de servicio del estudiante con la proporción del tráfico que regresa al maestro, luego divide el gasto inicial por el ahorro mensual resultante para brindarle un período de recuperación en meses y una posición neta de doce meses.

Preguntas frecuentes

¿Cuánto cuesta realmente la destilación modelo por adelantado?

Tres cosas, y sólo una de ellas es la informática. Primero, la inferencia del maestro para generar el conjunto de capacitación etiquetado: usted paga tarifas completas del modelo de frontera en cada ejemplo que etiqueta, por lo que un conjunto de 50,000 ejemplos a tarifas típicas cuesta unos pocos cientos de dólares. En segundo lugar, la ejecución del entrenamiento en sí, que para un modelo de estudiante pequeño suele ser de decenas de horas de GPU y, a menudo, la línea más barata de la lista. En tercer lugar, y casi siempre el mayor tiempo, tiempo de ingeniería: construir el arnés de evaluación, seleccionar el conjunto y validar que el estudiante es realmente lo suficientemente bueno.

¿Cuánto más barato es servir un modelo de estudiante destilado?

Las cifras reportadas se agrupan entre 5 y 20 veces menos costo por token. Pero el múltiplo principal es engañoso por sí solo, porque un modelo destilado rara vez coincide con el profesor en cada entrada. Si devuelve los casos difíciles al maestro (que es lo que hacen los sistemas de producción), su costo efectivo es una combinación, y la porción escalada generalmente domina cualquier factura restante.

¿Cuándo no vale la pena la destilación?

Cuando el período de recuperación es mayor que la generación del modelo. Los precios de Frontier API han caído repetidamente, y un proyecto que se amortiza en dieciocho meses está compitiendo con un modelo docente que simplemente puede volverse más barato antes de alcanzar el punto de equilibrio. La destilación tiene sentido para tareas estables, estrechas y de gran volumen donde la recuperación se mide en semanas o un par de meses.