Die drei Hebel und warum sie stapeln
Die meisten Ratschläge „Reduzieren Sie Ihre LLM-Kosten um 90 %“ sind real – sie gelten nur für Teil Ihres Traffics, und die Schlagzeilenzahlen gehen vom besten Fall aus. Dieser Rechner macht den Anteil explizit. Sofortiges Caching reduziert das wiederholte Präfix Ihrer Eingabe (Systemaufforderung, RAG-Kontext, ein langes Dokument) auf 10–50 % der Eingaberate; Es hat keine Auswirkung auf Ausgabetokens oder Eingaben, die sich bei jedem Aufruf ändern. Stapelverarbeitung gewährt pauschal 50 % auf jede Anfrage, die asynchron ausgeführt werden kann – ideal für Klassifizierung, Zusammenfassung und Berichterstellung, nutzlos für einen Live-Chat. Modellrouting sendet die einfachen Anfragen an ein kleineres, weitaus günstigeres Modell und behält das Grenzmodell für die anspruchsvollen. Auf die Verkehrsanteile angewendet, die jeder tatsächlich erreichen kann, ergeben sie eine wirklich große Reduzierung.
Warum der effektive Rabatt niedriger ist als die Schlagzeilen
Wenn 90 % Caching, 50 % Batch und 85 % Routing Ihre gesamte Rechnung belasten, zahlen Sie fast nichts – aber das ist nicht der Fall. Beim Caching werden nur zwischenspeicherbare Eingaben berührt. Batch berührt nur asynchronen Datenverkehr; Routing berührt nur Anforderungen, die ein günstigeres Modell bewältigen kann. Stellen Sie diese Anteile ehrlich ein und der Rechner gibt die zurück vermischt Rabatt auf Ihr tatsächliches Arbeitspensum. Diese gemischte Zahl – oft 40–70 % statt 90 % – ist diejenige, die in ein Budget aufgenommen werden muss. Bestätigen Sie die einzelnen Hebel mit dem Prompt-Caching-Rechner, Die Batch-Einsparungsrechner und die Modell-Routing-Rechner.
Die Reihenfolge der Operationen ist wichtig
Die Hebel wirken zusammen: Caching reduziert zuerst die Eingabekosten, dann werden Batch- und Routing-Vorgänge auf den Rest angewendet, sodass das Stapeln dieser Elemente keine einfache Ergänzung ist. Dieses Tool wendet Caching auf den zwischenspeicherbaren Eingabe-Slice an und wendet dann Batch- und Routing-Rabatte auf deren Anteile an übrig ausgeben, weshalb der Gesamtrabatt geringer ist als die Summe der Teile. Stellen Sie vor der Optimierung Ihre Grundlinie mit dem richtig ein LLM-Token-Kostenrechner und finden Sie das günstigste Basismodell mit günstigste LLM-API.
Wie man es benutzt
1. Geben Sie Ihre aktuellen monatlichen LLM-Ausgaben und den ungefähren Anteil von Input- und Output-Tokens ein.
2. Legen Sie fest, wie viel Ihrer Eingabe wiederholt/cachebar ist und wie hoch der Cache-Hit-Preis Ihres Anbieters ist (10 % Anthropic, 25–50 % OpenAI).
3. Legen Sie den Anteil des Datenverkehrs fest, den Sie bündeln können, und den Anteil, den Sie an ein günstigeres Modell weiterleiten können.
4. Lesen Sie die optimierte Rechnung und den effektiven Rabatt – und setzen Sie dann zuerst die Hebel mit den größten „Einsparungen“-Zeilen um.
FAQ
Stapeln Caching und Batching?
Ja – eine Batch-Anfrage kann auch ein zwischengespeichertes Präfix verwenden. Dieses Tool wendet das Caching zuerst auf die Eingabe an und dann auf die verbleibenden Ausgaben Batch-/Routing-Rabatte, sodass der kombinierte Effekt multiplikativ und nicht additiv ist.
Welchen Cache-Hit-Preis sollte ich verwenden?
Anthropic Bills Cache liest mit 10 % der Eingaberate; OpenAI bei 25–50 %, je nach Modell; Google-Kontext-Caching bei ca. 10 %. Verwenden Sie die Zahl Ihres Anbieters für den zwischenspeicherbaren Eingabe-Slice.
Ist das Routing qualitätsgefährdend?
Nur wenn Sie harte Anfragen an ein schwaches Modell weiterleiten. Das sichere Muster ist ein Klassifikator oder eine Regelschicht, die einfache/kurze Anfragen an das billige Modell sendet und den Rest eskaliert. Modellieren Sie die Ausgabenaufteilung mit dem Routing-Rechner.
Nur Schätzung. Rabatte hängen von Ihrem genauen Traffic-Mix und den Anbieterpreisen ab – prüfen Sie vor der Budgetierung die aktuellen Tarife.