Ce qu'il en coûte pour remplir une grande fenêtre contextuelle à chaque appel.
Les longues fenêtres contextuelles sont commercialisées comme une fonctionnalité ; chacun est un jeton d'entrée que vous payez à plusieurs reprises. Coupez ce que vous renvoyez et mettez le reste en cache – voir le calculateur de mise en cache rapide et Coût du chatbot RAG.
Échanges
Outils et hébergement
Calculateur gratuit de coût de fenêtre contextuelle : combien coûte le remplissage d'un grand contexte (RAG, documents longs) par appel et par mois.
Vous payez le prix d'entrée sur chaque jeton dans le contexte, pour chaque appel. Une invite de 32 000 jetons à 2,50 $/1 million représente 0,08 $ d'entrée avant que le modèle n'écrive quoi que ce soit - et cela se répète à chaque requête.
Récupérez des morceaux moins nombreux et plus petits, résumez l'historique et mettez en cache la partie statique de l'invite. La taille du contexte est généralement le plus grand levier sur une facture RAG ou long-doc.