—Verdichtungen
—Gemeinkosten
—Gesamtlaufkosten
Wo sich Verdichtung auszahlt – den Abzug betätigen
Wenn Sie zu früh verdichten, lösen Sie viele Ereignisse aus. kompakt zu spät (oder nie) und jeder Schritt liest einen riesigen Kontext neu. Die Spalte „Gesamtkosten“ weist in der Regel ein Minimum in der Mitte auf.
| Kompakt bei | Verdichtungen | Overhead | Gesamtlaufkosten |
|---|
Für die Haushaltsführung hat niemand ein Budget
An autonomous agent has no long-term memory of its own run, so it keeps the whole working context in the prompt: the system instructions, the tool definitions, every tool result it has seen and every step it has taken. Dieser Kontext wächst monoton, und lange bevor er das Modellfenster überläuft, muss der Agent dies tun kompakt – Übergeben Sie den gesamten Kontext an das Modell, erhalten Sie eine komprimierte Zusammenfassung zurück und fahren Sie mit der Zusammenfassung fort. Die Komprimierung hält einen mehrstündigen Agenten am Leben, sie ist jedoch nicht kostenlos: Das Zusammenfassen eines 150.000-Token-Kontexts stellt 150.000 Eingabe-Tokens für dieses eine Ereignis in Rechnung, und ein Lauf, der drei- oder viermal komprimiert, kann allein dafür ein Fünftel bis ein Drittel seiner gesamten Token ausgeben. Es handelt sich um Kosten, die niemals im Preis pro Anruf und auch nie in einer naiven Schätzung auftauchen, und das ist genau der Grund, warum die Rechnungen der Makler höher ausfallen als auf der Rückseite des Umschlags angegeben. Die Möglichkeit, dies zu steuern, besteht darin, den Zeitpunkt der Komprimierung und die Größe des Zurücksetzens anzupassen und das erneute Lesen mit einem Rabatt durch Caching oder einen günstigeren Summierer in Rechnung zu stellen. Passen Sie die Multiturn-Seite an Kostenrechner für Multi-Turn-Gespräche, die ganze Schleife auf der Agentenschleifen-Budgetrechner, und der Caching-Gewinn auf dem Rechner für schnelle Caching-Einsparungen.
So funktioniert dieser Rechner
Es simuliert den Lauf Schritt für Schritt. Der Kontext beginnt bei der Basisgröße und wächst mit jedem Schritt; Wenn es den Auslöser überschreitet, wird eine Komprimierung ausgelöst – der gesamte Kontext wird als Eingabe plus eine zusammenfassende Ausgabe abgerechnet – und der Kontext wird zurückgesetzt. Es summiert die produktiven Kosten (Lesen des Kontexts für jeden Schritt) und den Komprimierungsaufwand separat und durchsucht dann den Auslöser, damit Sie das Gesamtkostenminimum ermitteln können.
Häufig gestellte Fragen
Was ist Kontextkomprimierung und warum kostet sie Geld?
Ein Agent mit langer Laufzeit sammelt Kontext – Toolergebnisse, Nachrichten, Argumentation – bis er sich dem Kontextfenster des Modells nähert. Um weiterzumachen, führt es eine Komprimierung durch: Es speist den gesamten aktuellen Kontext in das Modell ein und fordert eine komprimierte Zusammenfassung an. Anschließend fährt es mit dieser Zusammenfassung statt mit dem vollständigen Verlauf fort. Der Haken daran ist, dass beim Zusammenfassen alles erneut gelesen werden muss, sodass bei jedem Komprimierungsereignis der gesamte Kontext als Eingabetoken plus eine kleine Ausgabe für die Zusammenfassung abgerechnet wird. Eine einzelne Komprimierung eines 150.000-Token-Kontexts kostet genauso viel wie 150.000 Eingabe-Tokens, und ein Long-Agent, der mehrmals komprimiert, kann allein für diese Verwaltung ein Fünftel bis ein Drittel seiner gesamten Token ausgeben.
Wie oft wird mein Agent verdichten?
Es hängt davon ab, wie schnell der Kontext wächst und wo der Auslöser sitzt. Wenn bei jedem Schritt ein paar Tausend Token an Werkzeugausgabe hinzugefügt werden und der Agent eine Verdichtung durchführt, wenn er beispielsweise 140.000 Token erreicht, und dann auf eine Zusammenfassung von 25.000 Token zurückgesetzt wird, wird er ungefähr jedes Mal verdichten, wenn er diese Lücke erneut übersteigt. Ein Lauf, der 8.000 Token pro Schritt hinzufügt und bei 140.000 verdichtet, löst etwa alle fünfzehn Schritte eine Verdichtung aus. Dieser Rechner simuliert den Lauf Schritt für Schritt, zählt die Verdichtungen und trennt die Produktionskosten vom Verdichtungsaufwand, sodass Sie die Aufteilung sehen können.
Wie reduziere ich den Komprimierungsaufwand?
Drei Hebel bewegen es. Eine spätere Komprimierung (ein höherer Auslöser) bedeutet weniger, größere Komprimierungen, aber teurere Produktionsschritte, da der Kontext, den Sie jede Runde erneut lesen, größer ist – es gibt einen echten Sweet Spot und nicht immer „höher ist besser“. Durch das Zurücksetzen auf eine kleinere Zusammenfassung wird mehr Landebahn zwischen den Verdichtungen eingekauft. Und die Weiterleitung der Zusammenfassung selbst an ein günstigeres Modell oder die Verwendung von Prompt-Caching, sodass das erneut gelesene Präfix mit einem Rabatt abgerechnet wird, senkt die Kosten pro Ereignis direkt. In der Tabelle auf dieser Seite wird der Auslöseschwellenwert durchsucht, sodass Sie sehen können, wie sich die Gesamtkosten ändern. Außerdem wird überhaupt keine Komprimierung angezeigt – normalerweise die schlechteste Option, da der Kontext dann unbegrenzt wächst und sich jeder Schritt auszahlt.
Ist die Komprimierung günstiger als nur die Verwendung eines größeren Kontextfensters?
Oftmals ja, denn die Alternative zur Komprimierung besteht darin, bei jedem einzelnen Schritt den vollständigen Verlauf mitzuführen, und die Eingabekosten steigen mit dem Quadrat der Lauflänge, wenn nie etwas getrimmt wird. Durch die Komprimierung wird dieses Wachstum begrenzt: Nach jeder Zusammenfassung sinkt der Kontext pro Schritt wieder, sodass die Produktionskosten ungefähr linear statt quadratisch bleiben. Sie zahlen bei jeder Verdichtungsveranstaltung einen Pauschalbetrag, vermeiden aber, ein immer umfangreicheres Transkript tausende Male erneut zu lesen. Bei sehr kurzen Läufen lohnt sich der Mehraufwand nicht; Bei langen autonomen Agenten rechnet es sich in der Regel um ein Vielfaches, was Sie mit diesem Rechner für Ihre eigenen Zahlen bestätigen können.