Questions fréquemment posées
Quand la mise en cache des invites permet-elle réellement d’économiser de l’argent ?
La mise en cache facture une prime unique pour écrire le préfixe (environ 1,25 × l'entrée de base chez Anthropic), puis facture les lectures à environ 10 % de la base. Vous atteignez le seuil de rentabilité une fois que la remise résultant d'un nombre suffisant de réutilisations dépasse la prime d'écriture, souvent après seulement un ou deux accès. En dessous, ou si le cache expire (TTL par défaut de 5 minutes) avant une réutilisation, la prime d'écriture est gaspillée.
Qu’est-ce que la durée de vie du cache et pourquoi est-ce important ?
La durée de vie correspond à la durée pendant laquelle un préfixe mis en cache reste chaud : 5 minutes par défaut, avec une option plus longue d'une heure à un coût d'écriture plus élevé. Chaque réutilisation le réinitialise ou l’étend. Si vos requêtes sont plus espacées que la durée de vie, chaque appel réécrit le cache et vous payez la prime à plusieurs reprises au lieu de la lecture bon marché, ce qui annule les économies.