Der Token-Overhead der Tool-/Funktionsdefinitionen bei jedem Aufruf.
Werkzeugdefinitionen werden bei jeder Anfrage als Eingabe-Token mitgeführt. Zehn ausführliche Tools können pro Anruf, für den Sie ständig bezahlen, tausend Token hinzufügen. Cachen Sie sie – siehe Prompt-Caching-Rechner.
Kostenloser Kostenrechner für Funktionsaufrufe – Tooldefinitionen fügen jeder Anfrage Token hinzu; Sehen Sie, was dieser Overhead kostet.
Ja. Das JSON-Schema für Ihre Tools wird bei jeder Anfrage als Eingabetoken gesendet, unabhängig davon, ob ein Tool verwendet wird oder nicht. Bei vielen Tools oder ausführlichen Beschreibungen ist dieser Mehraufwand bei hohem Volumen erheblich.
Stellen Sie nur die Tools zur Verfügung, die ein Anruf möglicherweise benötigt, halten Sie die Beschreibungen knapp und speichern Sie den statischen Toolblock mit Prompt-Caching zwischen, sodass Ihnen nicht jedes Mal der volle Preis für das erneute Senden in Rechnung gestellt wird.