How do I calculate cost per token on my own GPU?

Take the GPU hourly price and divide by how many tokens it actually serves per hour. That is throughput (tokens/sec) times 3600, scaled by your real utilisation. A GPU billed continuously but half-idle serves half the tokens, so its cost per token doubles versus the datasheet throughput.

Why is my self-hosted cost higher than expected?

Almost always utilisation and batching. Benchmark throughput assumes full, batched load; real traffic is bursty, so the GPU sits idle between requests while the meter runs. Continuous batching, right-sizing the GPU, and consolidating traffic onto fewer, busier GPUs are the main ways to bring the per-token cost down.

GPU-Inferenzkostenrechner

Die GPU-Leerlaufzeit ist der tatsächliche Inferenzaufwand

Die Kosten pro Token sind die GPU-Miete dividiert durch die tatsächlich bereitgestellten Token – die Auslastung und nicht die reine Geschwindigkeit bestimmt also Ihre Rechnung. Entscheiden Sie, ob Selbsthosting besser ist als ein Anbieter Self-Host vs. API-Rechner, und bepreisen Sie die zugrunde liegende Hardware GPU-Cloud-Kostenrechner.

Den Serving-Stack selbst betreiben und nicht nur die rohe GPU mieten? DigitalOcean – 200 $ Guthaben Und Hostinger VPS Beide verwalten die davor liegende API/Proxy-Schicht kostengünstig.

So funktioniert dieser Rechner

Der GPU-Inferenzkostenrechner konvertiert drei Eingaben – Ihre GPU-Preis pro Stunde, Modell Durchsatz in Token pro Sekunde, und a realistischer Auslastungsprozentsatz – ins Wahre Kosten pro Million Token für ein selbst gehostetes Modell. Die Grundidee ist einfach: Für eine Stunde GPU-Zeit wird eine feste Anzahl an Token gekauft. Wenn man also die stündlichen Kosten durch die tatsächlich produzierten Token dividiert, erhält man den Preis pro Token. Der Durchsatz legt fest, wie viele Token die Hardware pro Sekunde generiert, während die Auslastung diesen Wert reduziert, um Leerlaufzeiten, Batch-Lücken und Datenverkehr widerzuspiegeln, der die GPU selten voll auslastet.

Der wichtigste Kompromiss ist Verwendung. Der Benchmark-Durchsatz geht von einer ständig ausgelasteten GPU aus, aber tatsächliche Arbeitslasten bleiben zwischen Anfragen im Leerlauf, sodass eine gemietete GPU, die stündlich abgerechnet wird, pro Token weitaus mehr kosten kann, als die Schlagzeile vermuten lässt. Schätzen Sie Ihre Kosten, bevor Sie sich zum Selbsthosting verpflichten WAHR Machen Sie die Nutzung ehrlich und vergleichen Sie das Ergebnis mit den API-Preisen pro Token – geringer, spitzen Datenverkehr begünstigt oft eine API, während ein konstant hohes Volumen den Besitz der Hardware belohnt.

Häufig gestellte Fragen

Wie berechne ich die Kosten pro Token auf meiner eigenen GPU?

Nehmen Sie den GPU-Stundenpreis und dividieren Sie ihn durch die Anzahl der Token, die tatsächlich pro Stunde bereitgestellt werden. Das ist der Durchsatz (Tokens/Sek.) mal 3600, skaliert durch Ihre tatsächliche Auslastung. Eine GPU, die kontinuierlich abgerechnet wird, sich aber im Halbleerlauf befindet, stellt die Hälfte der Token bereit, sodass sich ihre Kosten pro Token im Vergleich zum Datenblattdurchsatz verdoppeln.

Warum sind meine selbst gehosteten Kosten höher als erwartet?

Fast immer Nutzung und Batchierung. Beim Benchmark-Durchsatz wird eine vollständige, gebündelte Auslastung vorausgesetzt. Der tatsächliche Datenverkehr ist stoßweise, sodass die GPU zwischen den Anforderungen im Leerlauf bleibt, während der Zähler läuft. Kontinuierliches Batching, die richtige Dimensionierung der GPU und die Konsolidierung des Datenverkehrs auf weniger, ausgelastete GPUs sind die wichtigsten Möglichkeiten, die Kosten pro Token zu senken.