—
Einsparungen durch GPU-Miete im Vergleich zu verwalteter API—Kosten für verwaltete Anbieter
—GPU-Mietkosten
—Benötigte GPU-Stunden
Verwaltete Anbietertarife im Vergleich zur GPU-Miete, je nach Datensatzgröße
Dieselbe Trainings-Token-Anzahl wie oben (Datensatz × durchschnittliche Token × Epochen), berechnet nach dem veröffentlichten LoRA-Tarif jedes verwalteten Anbieters, neben Ihren GPU-Mieteinstellungen.
| Option | Rate | Schulungskosten |
|---|
Kosten nach Datensatzgröße
Alles andere wird auf den oben genannten Werten gehalten, über die Datensatzgröße hinweg gewischt (Trainingsbeispiele) und die ausgewählte verwaltete Rate mit Ihren GPU-Mieteinstellungen verglichen. Die hervorgehobene Zeile kommt Ihrer aktuellen Datensatzgröße am nächsten.
| Beispiele | Trainingsmarken | Verwaltete Kosten | GPU-Kosten | Günstigere Option |
|---|
Wie dies mit anderen Tools verbunden ist
Dieser Rechner berechnet eine bestimmte Entscheidung: ob Sie den Pro-Token-Preis eines verwalteten Anbieters für die LoRA/QLoRA-Schulung zahlen oder selbst eine GPU mieten und den Job direkt ausführen möchten. Wenn Ihr Job ein ist voll Feinabstimmung – Aktualisierung jedes Parameters, nicht eines kleinen Satzes von Adaptern mit niedrigem Rang – das ist eine völlig andere Kostenform, deren Preis im Vergleich zu den eigenen Trainings-Token-Tarifen von OpenAI, Google und Mistral auf der Website liegt Kostenrechner für die Feinabstimmung; Informationen zu den vollständigen Kosten für die Feinabstimmung dieser Anbieter finden Sie in diesem Tool statt in diesem. Wenn Sie eine Feinabstimmung abwägen oder einfach nur ein Basismodell auffordern möchten, dann ist das die richtige Wahl Prompt vs. Feinabstimmungsrechner Und RAG vs. Feinabstimmung Auf den folgenden Seiten wird diese frühere Entscheidung behandelt. Und sobald ein auf LoRA abgestimmtes Modell trainiert ist, stellt sich die Frage, ob es langfristig genutzt werden kann: Bauen oder Kaufen Selbstgehosteter LLM vs. API-Rechner Preise für die laufende Inferenzentscheidung werden auf die gleiche Weise bewertet wie auf dieser Seite die einmalige Trainingsentscheidung.
So funktioniert dieser Rechner
Der LoRA / QLoRA-Feinabstimmung: Managed API vs. GPU-Mietrechner geht vom gesamten Trainingspensum aus: Datensatzgröße (Trainingsbeispiele) × Durchschnittliche Token pro Beispiel × Epochen ergibt die Summe Trainingsmarken Der Job muss verarbeitet werden – in der Standardeinstellung sind 50.000 × 512 × 2 51.200.000 Trainingstoken. Auf der verwalteten Seite wird diese Token-Anzahl durch 1.000.000 geteilt und mit dem Wert des ausgewählten Anbieters multipliziert Rate pro 1 Mio. Trainingstoken gibt die Kosten für verwaltete Anbieter – 24,58 $ bei der Together AI-Standardeinstellung. Auf der Seite der GPU-Vermietung wird die gleiche Trainingstoken-Anzahl geteilt durch (Trainingsdurchsatz in Tokens/Sek. × 3.600) ergibt die GPU-Stunden benötigt, was mit dem multipliziert wird GPU-Rate pro Stunde gibt die rohen Rechenkosten an; hinzufügen Aufbaustunden × Ihr Stundensatz (optional, standardmäßig $0) ergibt den vollständigen Wert GPU-Mietkosten – ca. 1,79 $ bei der A100-Standardeinstellung mit 0 $ Einrichtungskosten.
Wenn man die GPU-Kosten von den verwalteten Kosten abzieht, erhält man Folgendes: Ersparnisse Wenn Sie selbst eine GPU mieten und diese durch die verwalteten Kosten dividieren, erhalten Sie die Kostenlücke Prozentsatz – etwa 92,7 % günstiger über die GPU-Miete bei den Standardeinstellungen. Dies kann sich negativ auswirken: Wenn Ihre Durchsatzschätzung zu niedrig, Ihre GPU-Rate zu hoch ist oder Sie einen Stundensatz ungleich Null für genügend Einrichtungsstunden festlegen, kann die verwaltete API günstiger ausfallen, und dieser Rechner zeigt dies ehrlich, anstatt davon auszugehen, dass DIY immer gewinnt. Der Trainingsdurchsatz Das Feld ist die empfindlichste Eingabe – sie variiert enorm je nach Anzahl der Modellparameter, sodass der Standardwert von 15.000 Token/Sek. nur eine Anfangsschätzung ist; Ersetzen Sie es durch eine Zahl, die sich an der Größe Ihres tatsächlichen Modells und Ihrer GPU orientiert, bevor Sie sich für eine echte Budgetentscheidung auf die Dollarausgabe verlassen.
Häufig gestellte Fragen
Ist die LoRA-Feinabstimmung über die API oder das Mieten einer GPU günstiger?
Bei typischen Datensatzgrößen ist die Anmietung einer GPU selbst und die direkte Ausführung des LoRA/QLoRA-Trainingsjobs in reinen Dollarbeträgen in der Regel weitaus günstiger als die Zahlung der Trainingsrate pro Token eines verwalteten Anbieters. Bei den Standardeinstellungen dieses Rechners (50.000 Beispiele, 512 Token/Beispiel, 2 Epochen) kostet ein verwalteter LoRA-Job auf Together AI (0,48 USD pro 1 Mio. Trainingstoken) etwa 24,58 USD, während die gleichen 51,2 Millionen Trainingstoken auf einem gemieteten A100 80 GB bei 1,89 USD/Stunde und 15.000 Token/Sek. Durchsatz etwa kosten 1,79 $ – über 90 % weniger. Bei dieser Lücke handelt es sich jedoch um einen Vergleich der reinen Rechenkosten und nicht um einen Vergleich der vollständigen Gesamtbetriebskosten: Ihre Zeit für die Einrichtung der Trainingspipeline, die Bearbeitung von Checkpoints oder das Debuggen von Fehlern ist darin nicht enthalten, was Sie mit einer verwalteten API nicht tun müssen. Ob die GPU-Miete für Sie tatsächlich günstiger ist, hängt davon ab, wie viel Wert Sie auf diese Einrichtungszeit legen. Deshalb verfügt dieser Rechner über ein optionales Feld für die Einrichtungsstunden, das Sie über Null erhöhen können, um die Bildveränderung zu sehen.
Welche GPU benötige ich für die LoRA-Feinabstimmung?
Für die meisten LoRA/QLoRA-Jobs auf Modellen mit bis zu etwa 13B-34B-Parametern reicht eine einzelne 80-GB-GPU – ein A100 80 GB oder ein H100 80 GB – aus, da LoRA nur einen kleinen Satz zusätzlicher Low-Rank-Adaptergewichte trainiert und nicht das vollständige Modell, und QLoRA quantisiert die eingefrorenen Basisgewichte auf 4 Bit, um den Speicher weiter zu verkleinern, sodass der gesamte Job auf eine Karte statt auf den Multi-GPU-Cluster a passt Eine vollständige Feinabstimmung wäre erforderlich. Größere Basismodelle oder längere Kontextfenster erhöhen den Speicherbedarf und erfordern möglicherweise eine kleinere Stapelgröße, eine aggressivere Quantisierung oder eine größere GPU, und der tatsächliche Trainingsdurchsatz (Tokens/Sekunde) variiert stark je nach Parameteranzahl. Als veranschaulichende Schätzung ist dieser Rechner standardmäßig auf 15.000 Token/Sek. eingestellt. Sie sollten ihn jedoch auf einen Wert anpassen, der auf der Größe Ihres eigenen Modells und Ihrer GPU basiert, bevor Sie sich auf die Dollarausgabe verlassen.
Warum gibt es eine so große Kostenlücke zwischen Managed und DIY?
Verwaltete LoRA-Trainings-APIs wie Together AI und Fireworks berechnen nicht nur reine GPU-Sekunden – der Preis pro Token bündelt Infrastrukturzuverlässigkeit, Job-Orchestrierung, automatische Prüfpunkte, Warteschlangen und Wiederholungsversuche sowie ein Support-Team, an das Sie eskalieren können, wenn ein Trainingslauf mittendrin fehlschlägt. Sie erhalten nichts davon, wenn Sie selbst eine reine GPU-Instanz mieten. Dieses Paket weist einen echten Aufschlag auf die zugrunde liegenden Rechenkosten auf, und da ein gemieteter A100 oder H100, der stundenweise abgerechnet wird, über die eigene Marge des Cloud-Anbieters hinaus keinen solchen Aufschlag hat, kann die Lücke zwischen den beiden enorm erscheinen, wenn man nur die Rechenkostenlinie vergleicht. Der ehrliche Vorbehalt ist, dass DIY nicht so kostenlos ist, wie dieser Vergleich es erscheinen lässt – jemand muss das Trainingsskript schreiben und debuggen, Checkpointing verwalten und Fehler behandeln, ohne dass eine Support-Hotline angerufen werden muss, was in Echtzeit geschieht, auch wenn es nie als Gebühr pro Token angezeigt wird.
Was ist der Unterschied zwischen LoRA und den vollständigen Kosten für die Feinabstimmung?
Durch die vollständige Feinabstimmung werden alle Parameter im Modell aktualisiert. Aus diesem Grund modelliert unser Rechner zur vollständigen Feinabstimmung die Trainingskosten als Datensatz-Tokens mal Epochen mal die Trainingsrate eines Anbieters zusätzlich zu einem Basismodell, das Sie vollständig modifizieren – und benötigt normalerweise genügend GPU-Speicher (oder verwaltetes Trainingsbudget), um Gradienten und den Optimiererstatus für die gesamte Parameteranzahl zu speichern, was bei jeder realen Modellgröße teuer ist. LoRA und QLoRA frieren stattdessen das Basismodell ein und trainieren eine kleine Anzahl zusätzlicher Adaptergewichtungen mit niedrigem Rang, sodass der Rechen- und Speicherbedarf – und damit die Kosten sowohl auf der Seite der verwalteten API als auch der GPU-Miete – nur einen kleinen Bruchteil der vollständigen Feinabstimmung für einen vergleichbaren Datensatz ausmachen. Aus diesem Grund verwenden dieser Rechner und der Rechner für die vollständige Feinabstimmung unterschiedliche Kostenformen: Die Kosten für die vollständige Feinabstimmung werden in erster Linie anhand der Schulungssätze der Anbieter berechnet, da eine vollständige Feinabstimmung in Eigenregie auf einer einzelnen gemieteten GPU selten praktikabel ist, während LoRA/QLoRA günstig und klein genug ist, dass die Anmietung einer einzelnen GPU selbst eine realistische, oft weitaus günstigere Alternative zu einer verwalteten API darstellt.