What does model distillation actually cost up front?

Three things, and only one of them is compute. First, teacher inference to generate the labelled training set — you pay full frontier-model rates on every example you label, so a 50,000-example set at typical rates runs a few hundred dollars. Second, the training run itself, which for a small student model is usually tens of GPU-hours and often the cheapest line on the list. Third, and almost always the largest, engineering time: building the eval harness, curating the set, and validating that the student is genuinely good enough. Teams that only budget the first two consistently underestimate the project by an order of magnitude.

How much cheaper is a distilled student model to serve?

Reported figures cluster around 5-20x lower cost per token, depending on how far you shrink the model and whether you serve it through a cheap hosted endpoint or your own GPUs. But the headline multiple is misleading on its own, because a distilled model rarely matches the teacher on every input. If you route the hard cases back to the teacher — which is what production systems do — your effective cost is a blend. At the default rates here, sending just 10% of traffic back to the teacher leaves that 10% responsible for roughly four fifths of everything you still pay. This calculator makes you enter that fallback rate rather than pretending it is zero.

When is distillation not worth it?

When the payback period is longer than the model generation. Frontier API prices have fallen repeatedly, and a distillation project that pays back in eighteen months is competing against a teacher model that may simply get cheaper or be replaced by a better small model before you break even. The rule of thumb that survives contact with reality: distillation makes sense for high-volume, narrow, stable tasks where the payback is measured in weeks or a couple of months. For low volume or a task definition that is still moving, prompt engineering and a cheaper off-the-shelf model win.

Modèle de calcul du retour sur investissement de la distillation | Seuil de rentabilité enseignant vs étudiant

Modèle de calcul du retour sur investissement de la distillation

✓ Dernière vérification : 2026-07-23· Source : tarifs des fournisseurs publics + tarifs de location de GPU publiés· signaler un changement →

Distiller un petit modèle d’élève à partir d’un enseignant frontière est la réponse standard pour 2026 à un gros projet de loi d’inférence. La question que personne n’évalue correctement est de savoir quand il rembourse – et quel effet un taux de repli réaliste apporte à la réponse.

Le taux de repli est tout le jeu de balle. Un modèle distillé qui gère 90 % de votre trafic et renvoie le reste à l'enseignant ne fournit pas le multiple global : le dixième augmenté est facturé au tarif frontière complet et représente généralement la majeure partie de la facture restante. Entrez un chiffre honnête ci-dessous et observez l’évolution de la période de récupération.

Quel est l'effet du taux de repli sur votre retour sur investissement

Même modèle d'étudiant, mêmes dépenses initiales : seule la part du trafic qui doit revenir à l'enseignant change. C'est la variable qui décide si un projet de distillation est une victoire d'un quart ou une erreur d'arrondi.

Taux de repli

Efficace / mois

Économie / mois

Épargnant contre enseignant

Remboursement

Pourquoi le titre "20 fois moins cher" ne vous permet pas d'économiser

La distillation fonctionne, et les multiples publiés sont réels : entraînez un petit étudiant à imiter un grand enseignant sur une tâche précise et le coût de service par jeton diminue généralement entre cinq et vingt fois. Ce que ces chiffres décrivent, c'est le coût d'un jeton passant par l'étudiant plutôt que par l'enseignant. Ce qu’ils ne décrivent pas, c’est le coût de fonctionnement d’un système de production, qui est une quantité différente, car les systèmes de production n’acheminent pas 100 % du trafic vers un modèle qui est tout simplement presque aussi bon. Ils acheminent les cas confidentiels vers l’étudiant et transmettent le reste – et le reste est facturé au tarif plein enseignant. Avec un taux de repli de 10 %, l'enseignant gère toujours un dixième de votre volume à 30 fois le prix de l'étudiant, ce qui signifie qu'il est toujours responsable de la majorité de votre facture restante. La modélisation de la distillation comme un échange propre est l’erreur la plus courante dans ces analyses de rentabilisation.

Le coût initial concerne principalement les personnes, pas les GPU

La ligne de calcul est presque toujours la partie la moins chère. L'étiquetage de 50 000 exemples par l'intermédiaire de l'enseignant coûte quelques centaines de dollars aux tarifs habituels. Un réglage fin pour un petit étudiant représente des dizaines d'heures GPU – appelons cela une centaine de dollars supplémentaires aux prix de location des produits de base. Vient ensuite la partie qui n'apparaît dans le calculateur de coûts d'aucun fournisseur : quelqu'un doit organiser l'ensemble de formation, construire un harnais d'évaluation qui peut réellement vous dire si l'étudiant est assez bon, définir le seuil de confiance pour le routeur de secours et le valider par rapport au trafic de production avant d'oser y transférer de vrais utilisateurs. Quarante heures d'ingénierie est une estimation optimiste pour ce travail, et quel que soit le taux pondéré réaliste, il domine tout le reste dans la colonne initiale. C’est pourquoi la calculatrice le demande explicitement au lieu de le laisser tranquillement à zéro.

L'horloge avec laquelle vous courez

La dernière considération ne vous est pas imposée par les feuilles de calcul : les prix frontières continuent de baisser. Un projet avec un retour sur investissement de deux mois est à l’abri de cela ; un projet avec un retour sur investissement de dix-huit mois parie que le prix du professeur et le paysage des petits modèles resteront tous deux stables pendant un an et demi, ce que l'histoire récente dit que ce ne sera pas le cas. Si le chiffre de retour sur investissement ci-dessus dépasse quelques trimestres, la lecture honnête est généralement que vous devriez opter pour un modèle standard moins cher, une compression rapide ou une mise en cache d'abord - voir le calculateur d'économies de mise en cache rapide et le calculateur d'économies de routage modèle, qui génèrent tous deux une fraction de l’économie pour une fraction de l’engagement. La distillation gagne sa place sur des tâches à volume élevé, étroites et stables, et est punie partout ailleurs. Comparez avec un réglage fin direct avec le calculateur de réglage fin et d'invite, ou contre l'exécution du modèle vous-même avec le calculateur LLM vs API auto-hébergé.

Comment fonctionne cette calculatrice

Entrez le volume de vos demandes mensuelles et la forme moyenne des jetons, les tarifs par million d'enseignants et d'étudiants, ainsi que les trois coûts initiaux d'un projet de distillation : l'étiquetage des enseignants, le calcul de la formation et le temps d'ingénierie. Le calculateur mélange le coût de service de l'étudiant avec la part du trafic qui revient à l'enseignant, puis divise les dépenses initiales par l'économie mensuelle qui en résulte pour vous donner une période de récupération en mois et une position nette sur douze mois.

Questions fréquemment posées

Combien coûte réellement la distillation modèle au départ ?

Trois choses, et une seule d’entre elles est le calcul. Premièrement, l'inférence de l'enseignant pour générer l'ensemble de formation étiqueté : vous payez les tarifs du modèle frontière pour chaque exemple que vous étiquetez, donc un ensemble de 50 000 exemples aux tarifs typiques coûte quelques centaines de dollars. Deuxièmement, la formation elle-même s'effectue, ce qui, pour un petit modèle d'étudiant, représente généralement des dizaines d'heures GPU et est souvent la ligne la moins chère de la liste. Troisième temps d'ingénierie, et presque toujours le plus long : construire le harnais d'évaluation, organiser l'ensemble et valider que l'étudiant est vraiment assez bon.

À quel point un modèle étudiant distillé coûte-t-il moins cher ?

Les chiffres rapportés regroupent un coût par jeton 5 à 20 fois inférieur. Mais le multiple du titre est trompeur en soi, car un modèle distillé correspond rarement à l’enseignant sur chaque contribution. Si vous renvoyez les cas difficiles à l’enseignant – ce que font les systèmes de production – votre coût effectif est un mélange, et la tranche augmentée domine généralement la facture restante.

Quand la distillation n’en vaut-elle pas la peine ?

Lorsque la période de récupération est plus longue que la génération du modèle. Les prix des API Frontier ont chuté à plusieurs reprises, et un projet qui rapporte en dix-huit mois est en concurrence avec un modèle d'enseignant qui peut simplement devenir moins cher avant d'atteindre le seuil de rentabilité. La distillation est judicieuse pour les tâches à volume élevé, étroites et stables, où le retour sur investissement se mesure en semaines ou en quelques mois.