Chaque tour renvoie le chat – voyez pourquoi une longue conversation coûte bien plus que ses mots.
Renvoyer l’historique à chaque tour signifie que les longues discussions coûtent bien plus cher que les mots qu’elles contiennent. Supprimez le préfixe répété avec la mise en cache – voir le seuil de rentabilité sur le calculateur de cache rapide - et vérifiez que le total cumulé correspond à la fenêtre du calculatrice de fenêtre contextuelle.
Le Calculateur de coût par conversation estime le coût réel d'une discussion à plusieurs tours, et pas seulement le prix du nouveau texte saisi par un utilisateur. Vous entrez dans le tours par conversation, le nouveaux jetons par tour, ton conversations par mois, et un prix mixte par million de jetons. Étant donné que la plupart des systèmes de chat renvoient l'historique croissant des conversations à chaque tour, chaque tour paie à nouveau tous les tours précédents. Le calculateur additionne ce contexte répété au fil des tours pour produire un coût par conversation et un total mensuel, montrant pourquoi une conversation peut coûter bien plus que les jetons qu'elle ajoute visiblement.
Le principal compromis à surveiller est durée de la conversation. À mesure que le contexte de ressentiment s'accumule, le coût augmente plus rapidement que ne le suggère le seul nombre de tours, de sorte que les longs threads dominent votre facture. Une étape pratique consiste à limiter l'historique, à résumer les tours plus anciens ou à démarrer de nouvelles sessions pour garder le contexte actuel petit.
Parce que le modèle est apatride : à chaque tour, vous renvoyez l’intégralité de la conversation précédente en entrée. Au huitième tour, vous payez huit fois le premier tour. Le nombre total de jetons facturés augmente à peu près avec le carré du nombre de tours, de sorte que la longueur, et pas seulement la taille du message, détermine le coût.
Coupez ou résumez les anciens tours au lieu de tout renvoyer, utilisez la mise en cache des invites pour que le préfixe répété soit facturé à prix réduit, limitez la durée de la conversation et acheminez les tours simples vers un modèle moins cher. Ceux-ci attaquent le contexte renvoyé qui rend les longues discussions coûteuses.