Der Token-Overhead der Tool-/Funktionsdefinitionen bei jedem Aufruf.
Werkzeugdefinitionen werden bei jeder Anfrage als Eingabe-Token mitgeführt. Zehn ausführliche Tools können pro Anruf, für den Sie ständig bezahlen, tausend Token hinzufügen. Cachen Sie sie – siehe Prompt-Caching-Rechner.
Der Kostenrechner für Funktionsaufrufe schätzt die monatlichen API-Ausgaben, die durch die Tooldefinitionen, die Sie mit jeder Anfrage senden, hinzugefügt werden. Jeder Aufruf, der Funktionsaufrufschemata enthält, trägt diese Werkzeugdefinitionstoken zusätzlich zu Ihren anderen Eingabe-Tokens, und Sie bezahlen diese bei jeder einzelnen Anfrage. Anhand Ihrer Eingaben – Aufrufe pro Monat, Werkzeugdefinitions-Tokens pro Aufruf, andere Eingabe-Tokens pro Aufruf, Ausgabe-Tokens pro Aufruf und die Eingabe- und Ausgabepreise pro Million Tokens – multipliziert es die Eingabe-Tokens mit der Eingaberate und die Ausgabe-Tokens mit der Ausgaberate und skaliert dann nach Anrufvolumen, um die Gesamtkosten anzuzeigen und insbesondere, wie viel allein der Werkzeugdefinitions-Overhead dazu beiträgt.
Der wichtigste Kompromiss, den es zu beobachten gilt, ist dieser Werkzeugdefinitionen sind feste Gemeinkosten, die bei jedem Anruf vergütet werdenDaher steigen ihre Kosten direkt mit dem Anforderungsvolumen, selbst wenn das Modell nie ein Tool aufruft. Durch das Beschneiden ungenutzter Funktionen, das Kürzen von Beschreibungen oder das Aufteilen großer Tool-Sets, sodass jede Anfrage nur die Schemata enthält, die sie benötigt, können diese wiederkehrenden Kosten gesenkt werden. Modellieren Sie hier den Unterschied, bevor Sie sich verpflichten: bei hohem Anrufaufkommen ein paar Hundert mehr Definitionstoken pro Anfrage kann Ihre Rechnung ruhig dominieren.
Ja. Das JSON-Schema für Ihre Tools wird bei jeder Anfrage als Eingabetoken gesendet, unabhängig davon, ob ein Tool verwendet wird oder nicht. Bei vielen Tools oder ausführlichen Beschreibungen ist dieser Mehraufwand bei hohem Volumen erheblich.
Stellen Sie nur die Tools zur Verfügung, die ein Anruf möglicherweise benötigt, halten Sie die Beschreibungen knapp und speichern Sie den statischen Toolblock mit Prompt-Caching zwischen, sodass Ihnen nicht jedes Mal der volle Preis für das erneute Senden in Rechnung gestellt wird.