Was Prompt-Caching eigentlich ist
Die meisten LLM-Apps senden zu Beginn jeder Anfrage denselben Textblock – eine lange Systemaufforderung, eine Reihe von Tooldefinitionen, ein paar Beispiele oder einen Teil des Referenzkontexts. Normalerweise zahlen Sie den vollen Betrag Eingabe-Token Preis für diesen Block bei jedem einzelnen Anruf, auch wenn er sich nie ändert.
Sofortiges Caching lässt den Anbieter das stabil speichern Präfix Nach dem ersten Anruf und bei späteren Anrufen, die mit genau demselben Text beginnen, berechnen wir Ihnen einen kleinen Bruchteil des normalen Tarifs – oft etwa um den Betrag 10% (ca. 90 % Rabatt). Sie zahlen immer noch den vollen Preis für den Teil, der sich bei jedem Anruf ändert (die eigentliche Frage des Benutzers), aber der feste Overhead wird fast kostenlos.
Rechner für schnelle Caching-Einsparungen →Wie es anbieterübergreifend funktioniert
Es gibt zwei große Geschmacksrichtungen, und der Unterschied ist für Ihre Rechnung von Bedeutung.
Explizites Caching (z. B. Anthropic)
Sie markieren, wo das zwischenspeicherbare Präfix endet. Der erste Anruf schreibt den Cache und kostet ein wenig mehr als ein normales Eingabetoken – üblicherweise etwa 1.25× die Eingaberate – da der Anbieter das verarbeitete Präfix speichern muss. Jeder spätere Aufruf, der es wiederverwendet, ist ein Cache lesen, ungefähr abgerechnet 0.1× die Eingaberate. Der Cache hat eine Lebensdauer (TTL) – oft ein paar Minuten –, die bei jedem Aufruf aktualisiert werden, so dass ein stetiger Verkehrsstrom dafür sorgt, dass es warm bleibt.
Automatisches Caching (z. B. OpenAI und andere)
Der Anbieter erkennt für Sie wiederholte Präfixe und gewährt einen Rabatt ohne Cache-Write-Aufschlag und ohne Codeänderungen. Es ist einfacher, aber Sie haben weniger Kontrolle: Sie können einen langlebigen Cache nicht erzwingen, und die Rabatt- und Berechtigungsregeln werden vom Anbieter festgelegt (normalerweise treten sie in Kraft, sobald ein Präfix eine Mindestlänge überschreitet).
| Expliziter Cache | Automatischer Cache | |
|---|---|---|
| Wer entscheidet, was zwischengespeichert wird? | Sie (markieren Sie das Präfix) | Anbieter (erkennt Wiederholungen) |
| Kosten für Cache-Schreibvorgänge | ~1,25× Eingabe, einmal | Keiner |
| Cache-Lesekosten | ~0,1× Eingang | Ermäßigt (Anbieter-Set) |
| Kontrolle über TTL | Ja | NEIN |
Multiplikatoren sind typische veröffentlichte Werte und variieren je nach Modell und Anbieter – bestätigen Sie dies immer auf der Preisseite des Anbieters.
Der Kompromiss zwischen Schreiben und Lesen – wenn er sich auszahlt
Bei einem expliziten Cache zahlen Sie eine kleine einmalige Prämie für das Schreiben und erhalten dann einen großen Rabatt auf jeden Lesevorgang. Caching zahlt sich also erst einmal aus Verwenden Sie das Präfix so oft wieder, dass die Schreibkosten ausgeglichen werden. Der Break-Even ist schnell erreicht: Die Schreibprämie beträgt nur etwa das 0,25-fache des zusätzlichen Inputs, während jeder Lesevorgang etwa das 0,9-fache des Inputs einspart – Sie liegen also ungefähr nach vorne zwei Wiederverwendungen mit dem gleichen Präfix. Danach ist jeder Treffer eine nahezu reine Ersparnis.
Die Zutaten, die Caching zu einem klaren Erfolg machen:
- Ein großes wiederholtes Präfix — Je mehr feste Token vorhanden sind, desto größer ist der Rabatt in absoluten Zahlen.
- Hohes Anrufaufkommen – Viele Anfragen verwenden innerhalb des TTL-Fensters dasselbe Präfix.
- Ein stabiles Präfix — Der wiederverwendete Block ist bei jedem Aufruf Byte für Byte identisch.
Abruf-erweiterte Apps, Codierungsassistenten mit großen Systemaufforderungen und Multi-Turn-Chat passen alle in diese Form. Sehen Sie sich die umfassenderen Taktiken im an Leitfaden zum Reduzieren Ihrer LLM-API-Rechnung.
Ein gelungenes Beispiel
Angenommen, Sie haben ein 2.000-Token-Systemaufforderung (Anleitungen + Werkzeugdefinitionen + ein paar Beispiele), die jeder Anfrage beiliegen, die Sie stellen 100.000 Anrufe. Gehen Sie von einem Eingabepreis von aus 3 $ pro Million Token, eine Cache-Leserate von 0,1× ($0,30/M) und eine Cache-Schreibrate von 1,25× ($3,75/M). Wir ignorieren hier die Benutzerfrage und -ausgabe pro Anruf, da das Caching diese nicht ändert.
Ohne Caching
Bei jedem Anruf wird der volle Preis für alle 2.000 Präfix-Tokens gezahlt:
100.000 × 2.000 = 200.000.000 Token × 3 $/M = $600.
Mit Caching
Das Präfix wird einmal geschrieben und bei den anderen 99.999 Aufrufen gelesen (in der Praxis wird es jedes Mal neu geschrieben, wenn die TTL abläuft, aber bei stetigem Datenverkehr ist das vernachlässigbar):
- 1 Schreiben: 2.000 Token × 3,75 $/M ≈ $0.0075
- 99.999 Lesevorgänge: ~200.000.000 Token × 0,30 $/M ≈ $60
Gesamt ≈ $60 im Vergleich zu 600 $ – a ~90 % Schnitt auf dem wiederholten Teil der Rechnung zum Preis einer Zeile, die markiert, wo das Präfix endet. Bei realen Workloads ist das Präfix oft größer und die Anrufe häufiger, sodass die absolute Einsparung noch größer ist.
Token-Kostenrechner →Schätzen Sie Ihre Ersparnisse →Fallstricke, die es zu beachten gilt
- Vor dem Wechselteil muss alles identisch sein. Zwischenspeichern von Übereinstimmungen mit einem genauen Präfix. Ein Zeitstempel, ein Benutzername oder eine gemischte Beispielbestellung oben macht die Übereinstimmung ungültig und Sie zahlen stillschweigend den vollen Preis.
- TTL-Ablauf. Wenn der Datenverkehr spärlich ist und die Lücke zwischen den Aufrufen die Lebensdauer des Caches überschreitet, läuft das Präfix ab und der nächste Aufruf zahlt erneut die Schreibkosten. Hohe Arbeitslasten mit geringem Arbeitsaufkommen profitieren am wenigsten.
- Kleine Präfixe lohnen sich nicht. Unterhalb der minimalen zwischenspeicherbaren Länge eines Anbieters – oder wenn der feste Block nur ein paar Hundert Token umfasst – sind die Einsparungen gering und die Schreibprämie kann dazu führen, dass Sie etwas schlechter dastehen.
- Stellen Sie das stabile Zeug zuerst. Strukturieren Sie Eingabeaufforderungen so, dass die unveränderlichen Systemeingabeaufforderungen, Tools und Kontexte vor der flüchtigen Benutzereingabe stehen. Das Caching kann nur den führenden Lauf identischer Token abdecken.
Häufig gestellte Fragen
Wie viel spart Prompt-Caching?
Bei einem Cache-Lesevorgang berechnen die meisten Anbieter die zwischengespeicherten Tokens mit etwa 10 % der normalen Eingaberate – ein Rabatt von 90 % auf den wiederholten Teil Ihrer Eingabeaufforderung. Der genaue Wert variiert je nach Anbieter, aber ein großes, stabiles Präfix, das über viele Anrufe hinweg wiederverwendet wird, ist die größte Ersparnis.
Kostet die Einrichtung von Prompt Caching zusätzliche Kosten?
Bei expliziten Caches (wie dem von Anthropic) kostet der erste Aufruf, der den Cache schreibt, etwas mehr als ein normales Eingabe-Token – üblicherweise etwa das 1,25-fache der Eingaberate. Diese Schreibprämie erhalten Sie zurück, sobald Sie das Präfix ein paar Mal wiederverwenden. Danach wird jeder Treffer mit der stark reduzierten Leserate abgerechnet.
Wann lohnt sich Prompt-Caching nicht?
Caching hilft nur, wenn ein großes Präfix bei allen Aufrufen identisch ist und wiederverwendet wird, bevor der Cache abläuft. Ein kurzes Präfix, eine Eingabeaufforderung, die sich bei jedem Anruf ändert, oder ein geringes Anrufvolumen bedeuten, dass die Schreibkosten nie wieder hereingeholt werden – in diesen Fällen erhöht das Caching den Overhead, anstatt Geld zu sparen.
Nur als pädagogische Referenz – Cache-Raten, TTLs und Mindestlängen sind Schätzungen; Bestätigen Sie die aktuellen Bedingungen auf der Preisseite jedes Anbieters.