La surcharge de jetons des définitions d’outils/fonctions à chaque appel.
Les définitions d'outils sont accompagnées sous forme de jetons d'entrée à chaque requête. Dix outils détaillés peuvent ajouter un millier de jetons par appel que vous payez en permanence. Mettez-les en cache – voir le calculateur de mise en cache rapide.
Échanges
Outils et hébergement
Calculateur gratuit de coût d'appel de fonction : les définitions d'outils ajoutent des jetons à chaque requête ; voyez ce que coûtent ces frais généraux.
Oui. Le schéma JSON de vos outils est envoyé sous forme de jetons d'entrée à chaque requête, qu'un outil soit utilisé ou non. Avec de nombreux outils ou descriptions détaillées, cette surcharge est importante en cas de volume élevé.
Exposez uniquement les outils dont un appel pourrait avoir besoin, gardez les descriptions concises et mettez en cache le bloc d'outils statique avec une mise en cache rapide afin que vous ne soyez pas facturé au prix fort pour le renvoyer à chaque fois.