La surcharge de jetons des définitions d’outils/fonctions à chaque appel.
Les définitions d'outils sont accompagnées sous forme de jetons d'entrée à chaque requête. Dix outils détaillés peuvent ajouter un millier de jetons par appel que vous payez en permanence. Mettez-les en cache – voir le calculateur de mise en cache rapide.
Le Calculateur de coût d'appel de fonction estime les dépenses mensuelles en API ajoutées par les définitions d'outils que vous envoyez avec chaque demande. Chaque appel incluant des schémas d'appel de fonctions porte ceux-ci. jetons de définition d'outil en plus de vos autres jetons d'entrée, et vous les payez à chaque demande. À l'aide de vos entrées (appels par mois, jetons de définition d'outil par appel, autres jetons d'entrée par appel, jetons de sortie par appel et prix d'entrée et de sortie par million de jetons), il multiplie les jetons d'entrée par le taux d'entrée et les jetons de sortie par le taux de sortie, puis évolue en fonction du volume d'appels pour afficher le coût total et, en particulier, la contribution de la surcharge de définition de l'outil à elle seule.
Le principal compromis à surveiller est que les définitions d'outils sont des frais généraux fixes payés à chaque appel, leur coût augmente donc directement avec le volume des requêtes, même lorsque le modèle n'appelle jamais d'outil. Supprimer les fonctions inutilisées, raccourcir les descriptions ou diviser les grands ensembles d'outils afin que chaque requête ne transporte que les schémas dont elle a besoin peut réduire ces frais récurrents. Modélisez la différence ici avant de vous engager : en cas de volumes d'appels élevés, quelques centaines supplémentaires jetons de définition par demande peut tranquillement dominer votre facture.
Oui. Le schéma JSON de vos outils est envoyé sous forme de jetons d'entrée à chaque requête, qu'un outil soit utilisé ou non. Avec de nombreux outils ou descriptions détaillées, cette surcharge est importante en cas de volume élevé.
Exposez uniquement les outils dont un appel pourrait avoir besoin, gardez les descriptions concises et mettez en cache le bloc d'outils statique avec une mise en cache rapide afin que vous ne soyez pas facturé au prix fort pour le renvoyer à chaque fois.