Wie lange dauert ein LLM-Massenauftrag – und was kostet er – mit Parallelarbeitern?
Die Laufzeit eines Massenauftrags besteht aus den gesamten Tokens und dem kombinierten Durchsatz, sodass mehr Mitarbeiter schneller fertig werden – bis die TPM-/RPM-Obergrenze des Anbieters erreicht ist. Dieses Tool zeigt Zeit und Kosten zusammen an. Überprüfen Sie die Decke Rate-Limit-Rechner und der Rabatt auf die Batch-API-Einsparungsrechner.
Kostenloser Batch-Verarbeitungsrechner – Artikelanzahl, jeweils Token, Geschwindigkeit und Parallelität zur Gesamtzeit und Gesamtkosten eines LLM-Massenauftrags.
Gesamtzahl der Token = Artikel × Token pro Artikel. Teilen Sie durch den kombinierten Durchsatz (Geschwindigkeit pro Arbeiter × Anzahl paralleler Arbeiter), um Sekunden in Sekundenschnelle zu erhalten. Zehn Arbeiter mit 60 Token/s liefern 600 Token/s, sodass ein 8-M-Token-Auftrag etwa 3,7 Stunden dauert – bevor Sie durch Ratenbeschränkungen gedrosselt werden.
Wenn der Job nicht zeitkritisch ist, ja. Batch-Endpunkte (OpenAI, Anthropic, Gemini) führen Jobs asynchron innerhalb eines 24-Stunden-Fensters zum etwa halben Preis pro Token aus. Sie tauschen sofortige Latenz gegen einen großen Rabatt – ideal für Einbettungen, Backfills, Auswertungen und Offline-Anreicherung.