Was es kostet, bei jedem Aufruf ein großes Kontextfenster zu füllen.
Lange Kontextfenster werden als Feature vermarktet; Bei jedem handelt es sich um Eingabe-Tokens, für die Sie wiederholt bezahlen. Schneiden Sie das, was Sie erneut senden, und speichern Sie den Rest im Cache – siehe Prompt-Caching-Rechner Und RAG-Chatbot-Kosten.
Kostenloser Kostenrechner für Kontextfenster – wie viel das Füllen eines großen Kontexts (RAG, lange Dokumente) pro Anruf und pro Monat kostet.
Sie zahlen den Eingabepreis für jeden Token im Kontext, jeden einzelnen Anruf. Eine 32.000-Token-Eingabeaufforderung bei 2,50 $/1 Mio. beträgt 0,08 $ Eingabe, bevor das Modell etwas schreibt – und das wiederholt sich bei jeder Anfrage.
Rufen Sie weniger und kleinere Blöcke ab, fassen Sie den Verlauf zusammen und speichern Sie den statischen Teil der Eingabeaufforderung im Cache. Die Kontextgröße ist normalerweise der größte Einzelhebel einer RAG- oder Long-Doc-Rechnung.