Was es kostet, bei jedem Aufruf ein großes Kontextfenster zu füllen.
Lange Kontextfenster werden als Feature vermarktet; Bei jedem handelt es sich um Eingabe-Tokens, für die Sie wiederholt bezahlen. Schneiden Sie das, was Sie erneut senden, und speichern Sie den Rest im Cache – siehe Prompt-Caching-Rechner Und RAG-Chatbot-Kosten.
Der Kontextfenster-Kostenrechner schätzt, was es kostet, bei jedem Modellaufruf ein großes Kontextfenster zu füllen – das Szenario dahinter LAPPEN Pipelines und Eingabeaufforderungen für lange Dokumente. Es vervielfacht Ihre Kontext-Tokens pro Aufruf durch die Eingabepreis pro Million Token, fügt Ihr hinzu Ausgabetoken pro Aufruf mal die Produktionspreis pro Million, und skaliert die Gesamtsumme nach Ihrem Anrufe pro Monat um sowohl Zahlen pro Anruf als auch monatliche Zahlen anzuzeigen. Der dominierende Treiber ist fast immer die Kontextgröße: Eingabetokens werden bei jedem Aufruf wiederholt, sodass eine große Abrufnutzlast oder eine lange Systemaufforderung die Grundkosten weitaus höher ausfallen lässt als die Antwort, die Sie zurückerhalten.
Der wichtigste Kompromiss besteht zwischen Kontexttiefe und Ausgaben. Das Verdoppeln der abgerufenen Passagen oder das Auffüllen der Eingabeaufforderung mit zusätzlichen Dokumenten kann Ihre Rechnung vervielfachen, ohne die Antworten zu verbessern. Testen Sie mit dem Rechner, ob Kontext trimmen, die Verschärfung des Abrufs oder der Wechsel zu einer günstigeren Eingabestufe senkt die monatliche Gesamtsumme. Achten Sie bei hohem Volumen auf die Anzahl pro Anruf – kleine Beträge pro Anruf summieren sich schnell über Tausende von Anfragen.
Sie zahlen den Eingabepreis für jeden Token im Kontext, jeden einzelnen Anruf. Eine 32.000-Token-Eingabeaufforderung bei 2,50 $/1 Mio. beträgt 0,08 $ Eingabe, bevor das Modell etwas schreibt – und das wiederholt sich bei jeder Anfrage.
Rufen Sie weniger und kleinere Blöcke ab, fassen Sie den Verlauf zusammen und speichern Sie den statischen Teil der Eingabeaufforderung im Cache. Die Kontextgröße ist normalerweise der größte Einzelhebel einer RAG- oder Long-Doc-Rechnung.