Die selbstgehosteten Inferenzkosten betragen GPU-Zeit pro Token. Durch die spekulative Dekodierung werden die Token pro Sekunde erhöht, ohne dass sich die Ausgabe ändert, sodass die Kosten pro Token sinken – allerdings nur, wenn der Entwurf genau genug ist, dass die Anzahl der akzeptierten Token die Anzahl der zusätzlichen Entwurfsdurchgänge übersteigt. Auf der Rechnung steht die Nettobeschleunigung, nicht die Schlagzeile.
Basislinie vs. spekulativ
Bei der einfachen autoregressiven Dekodierung handelt es sich um ein Token pro Zieldurchlauf. Durch die spekulative Dekodierung wird der Durchsatz durch die Nettobeschleunigung erhöht, und die Kosten pro Token sinken damit – vorausgesetzt, die Nettobeschleunigung wird um das 1-fache ausgeglichen.
| Modus | Durchsatz (tok/s) | Kosten / 1 Mio | Kosten/Monat |
|---|
Empfindlichkeit gegenüber Akzeptanzrate
Die einzige Zahl, die alles entscheidet, ist, wie oft der Entwurf richtig geraten hat. Unterhalb der Break-Even-Akzeptanzrate für Ihre Entwurfstiefe und Ihren Overhead ist die spekulative Dekodierung ein Nettoverlust.
| Akzeptanzrate | Token / Pass | Nettobeschleunigung | Kosten/Monat |
|---|
Warum akzeptierte Vermutungen fast kostenlos sind
Das Dekodieren eines großen Modells mit jeweils einem Token wird durch die Speicherbandbreite eingeschränkt: Jeder einzelne Token erfordert das Streamen des gesamten Gewichtungssatzes über die GPU, und diese festen Kosten stellen die Arithmetik in den Schatten. Die clevere Beobachtung hinter der spekulativen Dekodierung ist die Überprüfung k Vorgeschlagene Token in einem Vorwärtsdurchlauf kosten fast das Gleiche wie das Dekodieren eines einzelnen Tokens – Sie streamen die Gewichte einmal in beide Richtungen. Wenn also ein günstiges Entwurfsmodell eine Handvoll Token vorschlägt und das große Modell die meisten davon akzeptiert, erhalten Sie mehrere Token zum Preis von einem. Die Ausgabe ist identisch mit der normalen Dekodierung, da das Ziel immer noch jedes Token prüft und alles zurückweist, was es nicht produziert hätte; lediglich der Durchsatz ändert sich. Bei selbst gehosteten Inferenzen, bei denen Ihre Rechnung im Wesentlichen aus GPU-Stunden dividiert durch produzierte Token besteht, sind mehr Token pro GPU-Sekunde sofort Geld.
Die Formel und der Overhead, der beißt
Mit einer Akzeptanzrate pro Token A und eine Entwurfstiefe k, die erwarteten Token, die das Ziel pro Überprüfungsdurchlauf ausgibt E = (1 − ak+1) ÷ (1 − a) – eine geometrische Reihe akzeptierter Vermutungen plus einen Bonusmarker. Das ist die pure Beschleunigung. Der Haken ist der Draft selbst: Er führt k kleine Vorwärtsdurchgänge pro Zyklus durch, wenn der Draft also nur einen Bruchteil kostet C des Ziels pro Durchgang kostet wirklich jeder Zyklus 1 + k·c Ziel-äquivalente Einheiten. Der Nettobeschleunigung ist E ÷ (1 + k·c)und die Kosten pro Token sinken 1 − 1 ÷ netSpeedup. Drücken Sie k zu hoch bei einer Arbeitslast, bei der a niedrig ist und E langsam wächst, während k·c linear wächst – die Nettobeschleunigung sinkt in Richtung 1× und darüber hinaus. Das ist der Fehlermodus, den dieses Tool schützt: Ein Entwurf, der eindeutig falsch ist, ist schlimmer als gar kein Entwurf.
Wo es passt
Bei der spekulativen Dekodierung handelt es sich um einen Self-Hosting-Hebel, nicht um einen API-Hebel – gehostete Anbieter haben ihn bereits im Preis einkalkuliert, sodass Sie ihn nur erfassen, wenn Sie die GPU ausführen. Kombinieren Sie es mit dem GPU-Cloud-Kostenrechner um die Hardware zu bepreisen, die Sie beschleunigen, die LLM VRAM- und Parallelitätsrechner um zu sehen, wie die Stapelverarbeitung damit interagiert, und die Selbstgehosteter vs. API-Rechner um zu entscheiden, ob das Betreiben eines eigenen Modells überhaupt besser ist als die Zahlung pro Token. Ein verwandter Trick, Destillation eines kleineren Modells, senkt die eigenen Kosten des Ziels, anstatt sie zu beschleunigen – die beiden stapeln sich.
So funktioniert dieser Rechner
Es berechnet die erwarteten Token pro Zielüberprüfungsdurchlauf, E = (1 − ak+1)/(1 − a), aus Ihrer Akzeptanzrate a und Tiefgangstiefe k, dann die Nettobeschleunigung E/(1 + k·c) nach dem Tiefgang-Overhead c pro Durchlauf. Die Basiskosten pro Million betragen GPU$/Stunde ÷ (Durchsatz × 3600) × 1.000.000; Die spekulativen Kosten dividieren diese durch die Nettobeschleunigung. Die monatlichen Kosten entsprechen Ihrem Output-Token-Volumen bei jeder Rate, die Ersparnis ist die Differenz und jede Konfiguration, deren Netto-Beschleunigung unter 1x fällt, wird als Nettoverlust gekennzeichnet.
Häufig gestellte Fragen
Was ist spekulative Dekodierung und warum spart sie Geld?
Ein kleines Entwurfsmodell schlägt Token vor, die das große Modell in einem Durchgang überprüft. Akzeptierte Schätzungen gehen von einem nahezu freien Durchsatz aus. Bei selbstgehosteter Inferenz betragen die Kosten die GPU-Zeit pro Token, sodass ein höherer Durchsatz niedrigere Kosten pro Million bedeutet – bei identischer Ausgabe, da das Ziel jedes Token prüft.
Wie wird die Nettobeschleunigung berechnet?
Erwartete Token pro Überprüfungsdurchlauf E = (1 − a^(k+1))/(1 − a) geteilt durch den Draft-Overhead 1 + k·c. Die Kosten pro Token sinken um 1 − 1/netSpeedup.
Wann verliert es Geld?
Wenn die Akzeptanz niedrig und die Draft-Tiefe hoch ist, kosten die k zusätzlichen Draft-Durchgänge mehr als die akzeptierten Token-Einsparungen, wodurch die Nettogeschwindigkeit unter 1x sinkt. Dieses Tool markiert diesen Fall.