What does model distillation actually cost up front?

Three things, and only one of them is compute. First, teacher inference to generate the labelled training set — you pay full frontier-model rates on every example you label, so a 50,000-example set at typical rates runs a few hundred dollars. Second, the training run itself, which for a small student model is usually tens of GPU-hours and often the cheapest line on the list. Third, and almost always the largest, engineering time: building the eval harness, curating the set, and validating that the student is genuinely good enough. Teams that only budget the first two consistently underestimate the project by an order of magnitude.

How much cheaper is a distilled student model to serve?

Reported figures cluster around 5-20x lower cost per token, depending on how far you shrink the model and whether you serve it through a cheap hosted endpoint or your own GPUs. But the headline multiple is misleading on its own, because a distilled model rarely matches the teacher on every input. If you route the hard cases back to the teacher — which is what production systems do — your effective cost is a blend. At the default rates here, sending just 10% of traffic back to the teacher leaves that 10% responsible for roughly four fifths of everything you still pay. This calculator makes you enter that fallback rate rather than pretending it is zero.

When is distillation not worth it?

When the payback period is longer than the model generation. Frontier API prices have fallen repeatedly, and a distillation project that pays back in eighteen months is competing against a teacher model that may simply get cheaper or be replaced by a better small model before you break even. The rule of thumb that survives contact with reality: distillation makes sense for high-volume, narrow, stable tasks where the payback is measured in weeks or a couple of months. For low volume or a task definition that is still moving, prompt engineering and a cheaper off-the-shelf model win.

Modelldestillations-ROI-Rechner | Breakeven zwischen Lehrer und Schüler

Modelldestillations-ROI-Rechner

✓ Zuletzt überprüft: 23.07.2026· Quelle: Preise öffentlicher Anbieter + veröffentlichte GPU-Mietpreise· Änderung melden →

Das Destillieren eines kleinen Schülermodells aus einem Grenzlehrer ist die Standardantwort im Jahr 2026 auf einen großen Inferenzentwurf. Die Frage, die sich niemand richtig stellt, ist, wann es sich auszahlt – und wie sich eine realistische Fallback-Rate auf die Antwort auswirkt.

Die Fallback-Rate ist das gesamte Ballspiel. Ein destilliertes Modell, das 90 % Ihres Datenverkehrs abwickelt und den Rest an den Lehrer zurückleitet, liefert nicht das Headline-Vielfache – das eskalierte Zehntel wird zu den vollen Grenztarifen abgerechnet und macht in der Regel den Großteil der verbleibenden Rechnung aus. Geben Sie unten eine ehrliche Zahl ein und beobachten Sie, wie sich die Amortisationszeit ändert.

Wie sich die Fallback-Rate auf Ihren ROI auswirkt

Gleiches Schülermodell, gleiche Vorabausgaben – nur der Anteil des Datenverkehrs, der an den Lehrer zurückfließen muss, ändert sich. Dies ist die Variable, die darüber entscheidet, ob es sich bei einem Destillationsprojekt um einen Viertelgewinn oder einen Rundungsfehler handelt.

Rückfallrate

Gültig / Mo

Sparen / Monat

Sparen vs. Lehrer

Rückzahlung

Warum die Schlagzeile „20x günstiger“ nicht Ihre Ersparnis ist

Die Destillation funktioniert, und die veröffentlichten Vielfachen sind real: Bringen Sie einem kleinen Schüler bei, einen großen Lehrer bei einer engen Aufgabe nachzuahmen, und die Bereitstellungskosten pro Token sinken normalerweise um das Fünf- bis Zwanzigfache. Was diese Zahlen beschreiben, sind die Kosten, die entstehen, wenn ein Token durch den Schüler und nicht durch den Lehrer geht. Was sie nicht beschreiben, sind die Kosten für den Betrieb eines Produktionssystems, was eine andere Größe darstellt, da Produktionssysteme nicht 100 % des Datenverkehrs an ein Modell weiterleiten, das nur annähernd genauso gut ist. Sie leiten die vertraulichen Fälle an den Schüler weiter und eskalieren den Rest – und für den Rest wird der volle Lehrersatz berechnet. Bei einer Fallback-Rate von 10 % verwaltet der Lehrer immer noch ein Zehntel Ihres Volumens zum 30-fachen des Schülerpreises, was bedeutet, dass er immer noch für den Großteil Ihrer verbleibenden Rechnung verantwortlich ist. Die Destillation als sauberen Swap zu modellieren, ist in diesen Geschäftsfällen der häufigste Fehler.

Die Vorabkosten fallen hauptsächlich für Menschen an, nicht für GPUs

Die Rechenleitung ist fast immer der günstigste Teil. Das Beschriften von 50.000 Beispielen durch den Lehrer kostet durchschnittlich ein paar hundert Dollar. Eine Feinabstimmung für einen kleinen Studenten kostet Dutzende GPU-Stunden – bei Standardmietpreisen sind es weitere hundert Dollar. Dann kommt der Teil, der im Kostenrechner eines Anbieters nicht auftaucht: Jemand muss den Trainingssatz kuratieren, einen Evaluierungsrahmen erstellen, der Ihnen tatsächlich sagen kann, ob der Student gut genug ist, den Vertrauensschwellenwert für den Fallback-Router definieren und ihn anhand des Produktionsverkehrs validieren, bevor Sie es wagen, echte Benutzer darauf zu verweisen. Vierzig Ingenieurstunden sind eine optimistische Schätzung für diese Arbeit, und bei jedem realistischen Mischaufwand dominiert sie alles andere in der ersten Spalte. Deshalb fragt der Rechner explizit danach, anstatt es stillschweigend bei Null zu belassen.

Die Uhr, die du läufst

Die letzte Überlegung ist eine, die Ihnen keine Tabellenkalkulation aufzwingt: Die Grenzpreise fallen weiter. Ein Projekt mit einer Amortisationszeit von zwei Monaten ist dagegen sicher; Ein Projekt mit einer Amortisationszeit von achtzehn Monaten setzt darauf, dass sowohl der Lehrerpreis als auch die Kleinmodelllandschaft eineinhalb Jahre lang stillstehen, was laut jüngster Geschichte nicht der Fall sein wird. Wenn die oben genannte Amortisationszahl ein paar Quartale übersteigt, ist die ehrliche Lesart normalerweise, dass Sie zu einem günstigeren Standardmodell greifen und zuerst Komprimierung oder Caching durchführen sollten – siehe Rechner für schnelle Caching-Einsparungen und die Sparrechner für Modellrouten, die beide einen Bruchteil der Ersparnis für einen Bruchteil der Verpflichtung liefern. Die Destillation verdient ihren Lebensunterhalt bei großvolumigen, engen und stabilen Aufgaben und wird überall sonst abgestraft. Vergleichen Sie mit einer geraden Feinabstimmung mit dem Feinabstimmung vs. Aufforderungsrechner, oder dagegen, das Modell selbst mit dem laufen zu lassen Selbstgehosteter LLM vs. API-Rechner.

So funktioniert dieser Rechner

Geben Sie Ihr monatliches Anfragevolumen und die durchschnittliche Tokenform, die Lehrer- und Schülerraten pro Million sowie die drei Vorlaufkosten eines Destillationsprojekts ein – Lehrerbeschriftung, Schulungsrechenaufwand und Entwicklungszeit. Der Rechner mischt die Betreuungskosten des Schülers mit dem Anteil des Datenverkehrs, der auf den Lehrer zurückfällt, und dividiert dann die Vorabausgaben durch die resultierende monatliche Ersparnis, um eine Amortisationszeit in Monaten und eine Nettoposition von zwölf Monaten zu erhalten.

Häufig gestellte Fragen

Was kostet die Modelldestillation eigentlich im Vorfeld?

Drei Dinge, und nur eines davon ist rechnerisch. Zuerst die Schlussfolgerung des Lehrers, um den gekennzeichneten Trainingssatz zu generieren – Sie zahlen für jedes Beispiel, das Sie beschriften, die vollen Frontier-Modell-Tarife, sodass ein Satz mit 50.000 Beispielen zu typischen Preisen ein paar hundert Dollar kostet. Zweitens der Trainingslauf selbst, der für ein kleines Studentenmodell normalerweise Dutzende GPU-Stunden in Anspruch nimmt und oft die günstigste Zeile auf der Liste darstellt. Der dritte und fast immer größte Zeitaufwand für die Entwicklung besteht darin, den Bewertungsrahmen aufzubauen, das Set zu kuratieren und zu bestätigen, dass der Student wirklich gut genug ist.

Wie viel günstiger ist ein destilliertes Studentenmodell?

Die gemeldeten Zahlen belaufen sich auf etwa 5- bis 20-mal niedrigere Kosten pro Token. Aber das Schlagzeilenmultiplikator allein ist irreführend, da ein destilliertes Modell selten bei jeder Eingabe mit dem Lehrer übereinstimmt. Wenn Sie die schwierigen Fälle an den Lehrer zurückleiten – was Produktionssysteme tun – sind Ihre effektiven Kosten eine Mischung, und der eskalierte Anteil dominiert normalerweise die verbleibende Rechnung.

Wann lohnt sich die Destillation nicht?

Wenn die Amortisationszeit länger ist als die Modellgeneration. Die Preise für Frontier-APIs sind wiederholt gefallen, und ein Projekt, das sich innerhalb von achtzehn Monaten amortisiert, konkurriert mit einem Lehrermodell, das möglicherweise einfach billiger wird, bevor Sie die Gewinnschwelle erreichen. Die Destillation ist für hochvolumige, eng begrenzte und stabile Aufgaben sinnvoll, bei denen die Amortisation in Wochen oder einigen Monaten gemessen wird.