Prompt Caching: So senken Sie die Kosten für wiederholte Anrufe

Was Prompt-Caching tatsächlich bewirkt

Wenn ein Modell Ihre Eingabe verarbeitet, erfolgt die meiste Arbeit an den Eingabetokens, bevor es ein einziges Ausgabewort generiert. Beim Prompt-Caching wird der Verarbeitungsstatus eines Präfixes Ihres Prompts gespeichert, sodass identische Präfixe beim nächsten Aufruf nicht erneut verarbeitet werden müssen.

Das Schlüsselwort ist Präfix. Das Caching funktioniert vom Anfang Ihrer Eingabeaufforderung bis zu dem Punkt, an dem sich der Inhalt zu unterscheiden beginnt. Wenn die ersten 5.000 Token jeder Anfrage identisch sind (z. B. ein fester Anweisungsblock plus ein Referenzdokument), können diese Token zwischengespeichert werden, während die eindeutige Benutzerfrage am Ende normal verarbeitet wird.

Warum es Geld spart

Für aus dem Cache gelesene Token berechnen Anbieter deutlich weniger als für frisch verarbeitete Token. Eine übliche Struktur besteht darin, dass zwischengespeicherte Eingabetokens einen kleinen Bruchteil der normalen Eingaberate kosten, oft etwa ein Zehntel, obwohl der genaue Rabatt je nach Anbieter variiert.

Hier ist ein anschauliches Beispiel (zur Verdeutlichung erfundene Tarife). Angenommen, die Eingabe kostet normalerweise 3 US-Dollar pro Million Token und zwischengespeicherte Lesevorgänge kosten 0,30 US-Dollar pro Million. Wenn Sie bei 1.000 Anrufen eine feste Aufforderung mit 10.000 Token senden, kostet die frische Verarbeitung jedes Mal 10.000 x 1.000 = 10 Millionen Token x 3 $ = 30 $. Beim Caching zahlt der erste Aufruf den vollen Preis und der Rest wird aus dem Cache gelesen: ungefähr 10.000 x 3 $/Million + 9,99 Millionen x 0,30 $/Million, also fast 3 $. Das ist der Umfang, in dem sich wiederholende Präfixe gespeichert werden können.

Normalerweise fallen Schreibkosten und ein Zeitlimit an

Caching ist nicht völlig kostenlos. Die meisten Anbieter verlangen einen kleinen Aufschlag schreiben Inhalte beim ersten Mal in den Cache zu laden, manchmal etwa 25 % über der normalen Eingaberate für diese Token. Sie stellen dies bei nachfolgenden Lesevorgängen wieder her, sodass sich das Caching nur auszahlt, wenn dasselbe Präfix oft genug wiederverwendet wird.

Caches verfallen ebenfalls. Eine typische Lebensdauer beträgt einige Minuten Inaktivität, wobei einige Anbieter gegen Aufpreis eine längere Aufbewahrung anbieten. Wenn Ihre Anrufe zeitlich weit auseinander liegen, kann es sein, dass der Cache zwischen ihnen abläuft und Sie den Vorteil verlieren. Caching belohnt eine stoßweise, hochfrequente Wiederverwendung desselben Inhalts.

Wenn sich Caching lohnt

Prompt Caching zeigt sich in bestimmten Mustern:

• Lange, feste Systemaufforderungen für viele Benutzer oder Anfragen wiederverwendet werden.
• Fragen und Antworten zum Dokument Dabei wird ein großes Dokument mehrmals in einer Sitzung abgefragt.
• Eingabeaufforderung für wenige Schüsse mit einem großen Block von Beispielen, der sich nie ändert.
• Chatbots wobei die ersten Gesprächsrunden konstant bleiben, während neue Gesprächsrunden angehängt werden.

Es lohnt sich nicht, wenn jede Anfrage einzigartig ist, wenn Ihr festes Präfix klein ist (einige hundert Token) oder wenn Anrufe selten und weit voneinander entfernt sind, sodass der Cache ständig abläuft.

So strukturieren Sie Eingabeaufforderungen für das Caching

Die goldene Regel lautet: Stellen Sie den stabilen Inhalt zuerst und den variablen Inhalt zuletzt ein. Ordnen Sie Ihre Eingabeaufforderung so an, dass die unveränderlichen Systemanweisungen, Referenzmaterialien und Beispiele oben stehen und die spezifische Frage des Benutzers unten steht. Da das Caching mit dem gemeinsamen Präfix funktioniert, unterbricht jede Variation in der Nähe des Starts den Cache für alles, was darauf folgt.

Vermeiden Sie es, dynamische Werte (Zeitstempel, Benutzernamen, zufällige IDs) in den frühen Teil der Eingabeaufforderung einzustreuen. Selbst ein einziges zu Beginn geändertes Zeichen kann den Cache ungültig machen. Behalten Sie diese dynamischen Bits am Ende der Anfrage, wo sie hingehören.

Schätzung der Auszahlung

Um zu entscheiden, ob Caching hilfreich ist, vergleichen Sie zwei Zahlen: die Größe Ihres festen Präfixes in Token und wie oft Sie es innerhalb des Cache-Fensters wiederverwenden. Je mehr Token das Präfix enthält und je öfter Sie es wiederverwenden, desto größer ist der Gewinn. Ein winziges Präfix, das zweimal wiederverwendet wird, spart fast nichts; Ein 20.000-Token-Präfix, das hunderte Male pro Stunde wiederverwendet wird, ist der Punkt, an dem Caching Ihre Rechnung verändert.

Sie können beide Szenarien im LLM-Kostenrechner modellieren, indem Sie einen Lauf, dessen Preis vollständig zum Standard-Eingabepreis berechnet wird, mit einem Lauf vergleichen, bei dem die meisten Eingabe-Tokens zum zwischengespeicherten Preis berechnet werden. Wenn man die beiden Summen nebeneinander betrachtet, wird die Entscheidung deutlich, und die Modellvergleichsseiten zeigen, welche Anbieter Preise für zwischengespeicherte Token veröffentlichen.

Lernen Sie weiter

Verwandte Tools

Häufig gestellte Fragen

Ändert das Prompt-Caching die Ausgabe des Modells?

Nein. Beim Caching wird nur der verarbeitete Eingabestatus wiederverwendet, um Kosten und Latenz zu sparen. Das Modell erzeugt die gleiche Ausgabe wie ohne Caching, da die zugrunde liegenden Token identisch sind.

Wie lange bleibt eine zwischengespeicherte Eingabeaufforderung gültig?

Dies variiert je nach Anbieter, aber ein häufiger Standardwert ist, dass der Cache einige Minuten lang inaktiv ist, bevor er abläuft. Einige Anbieter bieten gegen eine zusätzliche Gebühr eine verlängerte Aufbewahrung an. Durch häufige Wiederverwendung bleibt der Cache warm.

Besteht ein Risiko bei der Zwischenspeicherung sensibler Daten?

Zwischengespeicherte Inhalte sind an Ihr Konto gebunden und werden nur zur Bearbeitung Ihrer eigenen wiederholten Anfragen verwendet. Sie sollten jedoch dennoch die Datenrichtlinien Ihres Anbieters befolgen und vermeiden, Inhalte zwischenzuspeichern, die Sie nicht speichern dürfen.