So funktioniert dieser Rechner
Kostenloser Rechner für Einsparungen bei der Prompt-Komprimierung – kürzen Sie Ihre System-Prompt- und Few-Shot-Beispiele und sehen Sie, welche monatlichen und jährlichen Token-Kosten Sie bei jedem API-Aufruf einsparen.
Häufig gestellte Fragen
Wie viel spart das Kürzen meiner Eingabeaufforderung tatsächlich?
Jeder Token, den Sie von einer Eingabeaufforderung entfernen, wird von jedem einzelnen Aufruf entfernt, der ihn verwendet. Multiplizieren Sie die pro Anruf eingesparten Token mit Ihrem monatlichen Anrufvolumen und dem Eingabepreis pro Million Token. Eine Reduzierung um 1.000 Token bei einem Prompt, der eine Million Mal im Monat bei 3 US-Dollar pro Million ausgeführt wird, spart monatlich 3.000 US-Dollar – die Größe des Prompts ist weitaus wichtiger, als die meisten Teams annehmen, da er bei jeder Anfrage erneut auftritt.
Beeinflusst die sofortige Komprimierung die Ausgabekosten oder die Qualität?
Die Komprimierung betrifft nur die Eingabeseite – Ausgabetoken und deren Preis bleiben unverändert. Durch das Kürzen redundanter Anweisungen, ausführlicher Beispiele mit wenigen Bildern und dupliziertem Kontext bleibt die Qualität normalerweise erhalten, aber zu aggressives Schneiden kann die Genauigkeit beeinträchtigen. Kombinieren Sie das Trimmen mit Prompt-Caching für stabile Präfixe, sodass der verbleibende feste Kontext mit der ermäßigten Cache-Leserate abgerechnet wird.