Token vs. Anfragen erklärt

Eine Anfrage und ein Token sind nicht dasselbe

Ein API-Anfrage ist ein Aufruf an den Endpunkt. Token sind die Texteinheiten innerhalb dieses Aufrufs. Eine Anfrage kann eine Handvoll oder Hunderttausende Token enthalten. LLM-Anbieter rechnen per Token ab; Viele andere APIs (Zahlungen, Karten, SMS) berechnen pro Anfrage oder pro Aktion. Beides zu verwechseln ist der häufigste Fehler bei der Budgetierung.

Wo jedes Modell gilt

So schätzen Sie vor dem Bau ab

Schätzen Sie für eine LLM-Funktion: Token pro Anruf × Anrufe pro Benutzer × Benutzer. Eine Chat-Antwort könnte etwa 500 Eingabe- und etwa 300 Ausgabe-Tokens umfassen. Multiplizieren Sie es mit den monatlichen Gesprächen, um das Token-Volumen zu erhalten, und bewerten Sie es dann. Dies ist weitaus genauer als die Schätzung „pro Anfrage“, da die Anzahl der Token pro Anfrage stark schwankt.

Häufig gestellte Fragen

Was ist der Unterschied zwischen einem Token und einer API-Anfrage?

Eine API-Anfrage ist ein einzelner Aufruf an den Endpunkt; Token sind die darin enthaltenen Texteinheiten. Eine Anfrage kann nur sehr wenige oder Hunderttausende Token enthalten. LLMs rechnen pro Token ab, während viele andere APIs pro Anfrage abrechnen.

Wie viele Token enthält eine typische Chatbot-Nachricht?

Eine kurze Benutzernachricht plus Systemaufforderung umfasst häufig einige hundert Eingabe-Tokens und eine Antwort einige hundert Ausgabe-Tokens – ungefähr 500–1.000 Tokens pro Austausch, obwohl dies je nach Länge der Aufforderung und Ausführlichkeit der Antwort variiert.

Wie schätze ich meine monatliche Token-Nutzung?

Multiplizieren Sie die Token pro Anruf mit den Anrufen pro Benutzer und der Anzahl der Benutzer. Schätzen Sie die Input- und Output-Tokens getrennt, da sie unterschiedliche Preise haben, und berechnen Sie dann die Gesamtsumme mit einem Token-Kostenrechner für das von Ihnen gewählte Modell.