Kontextfenster und warum lange Eingabeaufforderungen teuer werden

Was für ein Kontextfenster ist

Das Kontextfenster ist der Arbeitsspeicher des Modells für eine einzelne Anfrage, gemessen in Token. Es muss alles auf einmal enthalten, was das Modell berücksichtigt: Ihre Systemeingabeaufforderung, alle von Ihnen eingefügten Dokumente oder Beispiele, den Gesprächsverlauf, die aktuelle Frage und den für die Antwort des Modells reservierten Platz. Zusammen müssen diese innerhalb des Token-Limits des Fensters liegen.

Modelle bewerben Fenster unterschiedlicher Größe, von einigen tausend Token bis hin zu Hunderttausenden oder mehr. Durch ein größeres Fenster können Sie mehr auf einmal eingeben, ein ganzes Buch, eine große Codebasis, aber es ändert nichts an der grundlegenden Abrechnungsregel: Sie zahlen für das, was Sie eingeben.

Sie zahlen für das gesamte Fenster, das Sie nutzen, bei jedem Anruf

Hier ist der Teil, der die Leute überrascht. Ein 200.000-Token-Fenster bedeutet nicht, dass Sie für 200.000 Token bezahlen. Es bedeutet dich dürfen Verwenden Sie bis zu dieser Anzahl, und Ihnen wird bei jedem einzelnen Anruf die Anzahl in Rechnung gestellt, die Sie tatsächlich enthalten.

Wenn Sie also 150.000 Dokumenten-Tokens in das Fenster stopfen und 10 Fragen stellen, zahlen Sie zehnmal für etwa 150.000 Eingabe-Tokens, 1,5 Millionen Tokens, nicht einmal. Das Fenster ist eine Decke, kein Abonnement. Langer Kontext ist leistungsstark, wird jedoch kontinuierlich pro Anruf abgerechnet.

Warum lange Eingabeaufforderungen schnell teuer werden

Da Eingabetoken pro Anruf abgerechnet werden, vervielfacht sich die Länge der Eingabeaufforderung mit dem Anrufvolumen. Eine 10-mal längere Eingabeaufforderung kostet bei gleicher Anzahl an Anrufen etwa 10-mal mehr Eingabetoken. Zwei Gewohnheiten drücken lange, ohne dass die Leute es merken, Aufforderungen aus:

• Wachsender Chatverlauf, auf Schritt und Tritt vollständig verärgert, sodass verspätete Nachrichten in einem langen Gespräch das gesamte Transkript enthalten.
• Abruf (RAG), wobei Sie große abgerufene Dokumente in die Eingabeaufforderung einfügen, um dem Modell einen Kontext zu geben. Wenn Sie zu viel abrufen, zahlt sich jede Abfrage für alles aus.

Beides ist nicht falsch, aber beides braucht Disziplin, denn die Kosten bleiben still, bis die Rechnung eintrifft.

Eine gearbeitete Illustration

Anschauliches Beispiel (erfundener Satz von 3 $ pro Million Input-Token). Angenommen, jede Abfrage enthält einen abgerufenen Kontext mit 50.000 Token. Eine Abfrage kostet allein für die Eingabe 50.000 / 1.000.000 x 3 $ = 0,15 $. Führen Sie 100.000 solcher Abfragen pro Monat aus, und das sind 15.000 US-Dollar allein für den Kontext, den Sie erneut senden, vor Ausgabekosten.

Reduzieren Sie nun den abgerufenen Kontext durch selektiveres Abrufen auf 10.000 Token. Dieselben 100.000 Abfragen kosten 3.000 US-Dollar, ein Fünftel so viel, für Kontext, der oft genauso nützlich ist, da das Modell ohnehin in den zusätzlichen 40.000 Token untergeht. Aus diesem Grund ist Kontextdisziplin eine der wirkungsvollsten Kostenkontrollen, die Sie haben.

Auch ein langer Kontext kann der Qualität schaden

Mehr Kontext führt nicht immer zu besseren Antworten. Modelle können mitten in einer sehr langen Eingabeaufforderung den Überblick über versteckte Details verlieren, ein Muster, bei dem Informationen am Anfang und am Ende gut genutzt werden, die Mitte jedoch vernachlässigt wird. Ein aufgeblähtes Kontextfenster kann also mehr kosten Und zu schlechteren Ergebnissen führen.

Wenn dem Modell nur das relevanteste Material zugeführt wird, verbessert sich häufig sowohl die Rechnung als auch die Antwort. Präzision schlägt Volumen: Ein enger, gut ausgewählter 4.000-Token-Kontext übertrifft häufig einen ausgedehnten 100.000-Token-Dump.

So halten Sie den Kontext schlank

Praktische Taktiken zur Kontrolle der Kontextkosten:

• Gezielt abrufen. Geben Sie in RAG nur die obersten paar relevantesten Teile zurück, nicht alles, was vage übereinstimmt.
• Fassen Sie alte Wendungen zusammen. Ersetzen Sie ein lange zurückliegendes Gespräch durch eine kurze Zusammenfassung, anstatt das vollständige Transkript erneut zu senden.
• Den festen Teil zwischenspeichern. Wenn sich ein großer Teil des Kontexts über mehrere Anrufe hinweg wiederholt, kann Prompt-Caching (siehe diese Anleitung) die Kosten für das erneute Senden senken.
• Passen Sie die Fenstergröße an. Wählen Sie ein Modell, dessen Fenster Ihren tatsächlichen Bedürfnissen entspricht, anstatt standardmäßig das größte verfügbare Fenster zu verwenden.

Um zu sehen, wie sich die Prompt-Länge für jedes Modell auf echtes Geld auswirkt, geben Sie Ihre Token-Anzahl in den LLM-Kostenrechner ein und überprüfen Sie die Preise pro Modellfenster auf den Modellvergleichs- und /models-Seiten.

Lernen Sie weiter

Verwandte Tools

Häufig gestellte Fragen

Zahle ich für das vollständige Kontextfenster des Modells?

Nein. Sie zahlen nur für die Token, die Sie tatsächlich in jede Anfrage einschließen, bis zum Limit des Fensters. Das Fenster hat eine maximale Kapazität und jeder darin verwendete Token wird bei jedem Anruf in Rechnung gestellt.

Kostet ein größeres Kontextfenster mehr pro Token?

Nicht unbedingt pro Token, aber ein größeres Fenster verleitet Sie dazu, weitaus mehr Text einzufügen, und da jeder Token pro Anruf abgerechnet wird, treiben größere Eingabeaufforderungen die Gesamtsumme in die Höhe. Einige Anbieter verlangen ab bestimmten Kontextlängen auch höhere Tarife.

Ist mehr Kontext immer besser für die Qualität?

Nein. Modelle können Details übersehen, die in sehr langen Eingabeaufforderungen verborgen sind, sodass übermäßiger Kontext sowohl die Kosten erhöhen als auch die Antwortqualität beeinträchtigen kann. Ein kleinerer, gut ausgewählter Kontext bringt oft die bessere Leistung.