Comment fonctionne cette calculatrice
Le Calculateur de seuil de rentabilité du cache d'invite estime le nombre de réutilisations d'un préfixe d'invite mis en cache nécessaires avant que la mise en cache coûte moins cher que le prix total d'entrée à chaque appel. Vous entrez dans le jetons de préfixe mis en cache, le prix de base des intrants par million de jetons, et deux multiplicateurs : le multiplicateur d'écriture en cache (la prime que vous payez la première fois que le préfixe est stocké) et le multiplicateur de lecture du cache (la remise importante sur chaque coup ultérieur). Contre le réutilisations dans le TTL et le TTL en quelques minutes, il calcule le seuil de rentabilité – le nombre de hits auquel la prime d'écriture unique est remboursée par des lectures moins chères. Les principaux facteurs sont la taille du préfixe, l'écart entre les multiplicateurs d'écriture et de lecture et la fréquence à laquelle vous réutilisez réellement le préfixe avant son expiration.
Le compromis clé est écrire des primes plutôt que lire des économies sous un temps compté. La mise en cache n'est payante que si le même préfixe est réutilisé suffisamment de fois avant l'expiration de la durée de vie ; un préfixe volumineux et rarement utilisé peut coûter plus cher que ne pas être mis en cache du tout, car vous payez la prime d'écriture et laissez l'entrée expirer avant que les lectures bon marché ne s'accumulent. Surveillez le trafic qui arrive en rafales plus courtes que ce dont votre nombre de réutilisations a besoin : si les requêtes se propagent au-delà de la durée de vie, chacune d'elles déclenche à nouveau une écriture. Un conseil pratique : comparez d'abord l'espacement réel de vos requêtes au TTL, car un préfixe réutilisé deux fois dans la fenêtre bat souvent un préfixe réutilisé dix fois au fil des expirations.
Questions fréquemment posées
Quand la mise en cache des invites permet-elle réellement d’économiser de l’argent ?
La mise en cache facture une prime unique pour écrire le préfixe (environ 1,25 × l'entrée de base chez Anthropic), puis facture les lectures à environ 10 % de la base. Vous atteignez le seuil de rentabilité une fois que la remise résultant d'un nombre suffisant de réutilisations dépasse la prime d'écriture, souvent après seulement un ou deux accès. En dessous, ou si le cache expire (TTL par défaut de 5 minutes) avant une réutilisation, la prime d'écriture est gaspillée.
Qu’est-ce que la durée de vie du cache et pourquoi est-ce important ?
La durée de vie correspond à la durée pendant laquelle un préfixe mis en cache reste chaud : 5 minutes par défaut, avec une option plus longue d'une heure à un coût d'écriture plus élevé. Chaque réutilisation le réinitialise ou l’étend. Si vos requêtes sont plus espacées que la durée de vie, chaque appel réécrit le cache et vous payez la prime à plusieurs reprises au lieu de la lecture bon marché, ce qui annule les économies.