Chaque tour renvoie le chat – voyez pourquoi une longue conversation coûte bien plus que ses mots.
Renvoyer l’historique à chaque tour signifie que les longues discussions coûtent bien plus cher que les mots qu’elles contiennent. Supprimez le préfixe répété avec la mise en cache – voir le seuil de rentabilité sur le calculateur de cache rapide - et vérifiez que le total cumulé correspond à la fenêtre du calculatrice de fenêtre contextuelle.
Échanges
Outils et hébergement
Calculateur gratuit du coût par conversation : modélisez comment le renvoi du contexte à chaque tour fait qu'une discussion à plusieurs tours coûte bien plus cher que les jetons qu'elle ajoute.
Parce que le modèle est apatride : à chaque tour, vous renvoyez l’intégralité de la conversation précédente en entrée. Au huitième tour, vous payez huit fois le premier tour. Le nombre total de jetons facturés augmente à peu près avec le carré du nombre de tours, de sorte que la longueur, et pas seulement la taille du message, détermine le coût.
Coupez ou résumez les anciens tours au lieu de tout renvoyer, utilisez la mise en cache des invites pour que le préfixe répété soit facturé à prix réduit, limitez la durée de la conversation et acheminez les tours simples vers un modèle moins cher. Ceux-ci attaquent le contexte renvoyé qui rend les longues discussions coûteuses.