Calculateur du coût de stockage du cache contextuel

La taxe laissée de côté par les calculateurs de mise en cache

Chaque guide de mise en cache des invites vous vend le même titre : les lectures en cache coûtent un dixième du prix normal, donc la mise en cache réduit votre facture de 90 %. C'est vrai pour les lectures. Ce n'est pas tout le projet de loi. La mise en cache de contexte explicite – celle dans laquelle vous téléchargez délibérément un gros contexte et récupérez une poignée à réutiliser – s'accompagne de frais de stockage qui s'exécutent sur une horloge et non sur l'utilisation. Gemini facture environ 4,50 dollars par million de jetons et par heure pour conserver le contenu 2.5 Pro en cache, donc un contexte de 100 000 jetons laissé en vie pendant une journée coûte environ 10,80 dollars en stockage avant que quiconque ne le lise. Sur un cache bien utilisé, c'est bien, car les économies en lecture l'éclipsent. Sur un cache qui reste pour la plupart inactif – un document sur lequel quelqu'un pourrait poser des questions, un contexte lié à une durée de vie généreuse « juste au cas où » – la ligne de stockage devient discrètement le plus grand chiffre sur la facture, et le cache perd de l'argent même si chaque lecture ressemble à une bonne affaire. Les deux questions qui déterminent réellement le nombre de lectures dont vous avez besoin avant que les économies ne couvrent le stockage et combien de temps vous pouvez laisser le cache actif avant que le compteur ne dépasse ces économies. Cette calculatrice répond aux deux. Si votre contexte se répète à chaque appel plutôt que de vivre dans un cache explicite, évaluez le cas implicite avec le calculateur d'économies de mise en cache rapide; pour évaluer la durée de vie courte ou longue par rapport à votre taux de réussite, utilisez le cache TTL et calculateur de taux de réussite; et pour voir si la prime d'écriture est un jour rentable, exécutez le calculateur de seuil de rentabilité en écriture de cache.