Utilisation de l'API LLM
Coût du cache
| Métrique | Sans cache | Avec cache |
|---|
Comment fonctionne la mise en cache sémantique
Chaque requête entrante est convertie en un vecteur d'intégration. Le cache vérifie si un vecteur similaire existe (similarité cosinus ≥ seuil, généralement 0,92 à 0,97). Si oui, la réponse stockée est renvoyée instantanément : aucun jeton LLM consommé. Si non, la requête est transmise au LLM et le résultat est stocké pour de futurs appels.
D'où vient le taux de réussite : les requêtes répétitives (bots FAQ, support client) voient 30 à 60 %. Diverses requêtes ouvertes (assistants de codage, écriture créative) voient 5 à 15 %. Vous pouvez augmenter le taux de réussite en abaissant le seuil de similarité, mais cela risque de générer des réponses en cache légèrement erronées.
Coût d'intégration : Chaque requête (hit ou miss) coûte une recherche intégrée. À 0,02 $/1 million de jetons, l'intégration d'une requête de 300 jetons coûte 0,000006 $ – négligeable à moins que vous n'ayez des millions de requêtes par jour.
Voir aussi : Économies de mise en cache rapides · Calculateur de coût RAG · Coût de la base de données vectorielle
Questions fréquemment posées
Qu'est-ce qu'un cache sémantique pour les LLM ?
Un cache sémantique stocke les réponses LLM précédentes et utilise la similarité d'intégration pour détecter les requêtes sémantiquement similaires. Lorsque la similarité est supérieure au seuil, la réponse mise en cache est renvoyée sans appeler le LLM, ce qui permet d'économiser le coût total du jeton pour cette requête.
Quel taux de réussite du cache est réaliste ?
Les robots du support client qui posent des questions répétitives enregistrent souvent des taux de réussite de 30 à 60 %. Les chatbots ouverts ou les assistants de codage peuvent voir 5 à 15 %. Un bon seuil de similarité (0,92 à 0,97 cosinus) équilibre le taux de réussite et la dégradation de la qualité.
Quel est le taux d’atteinte du seuil de rentabilité ?
Seuil de rentabilité = coût du cache ÷ (requêtes/mois × jetons × prix LLM/jeton). Si votre LLM coûte 0,003 $/requête et que le cache coûte 50 $/mois avec 100 000 requêtes/mois, vous n'avez besoin que d'un taux de réussite de 1,7 % pour atteindre le seuil de rentabilité.
En quoi la mise en cache sémantique diffère-t-elle de la mise en cache rapide ?
La mise en cache des invites (Anthropic cache_control, mise en cache automatique OpenAI) réutilise le calcul KV pour des préfixes de jetons identiques. La mise en cache sémantique se situe au niveau de l'application : elle fournit des réponses entièrement mises en cache lorsque les requêtes sont sémantiquement similaires. Ils sont complémentaires.
Quels outils fournissent une mise en cache sémantique pour les LLM ?
Options populaires : GPTCache (open source), Momento Vector Index (géré), Zep (couche mémoire), LangChain CacheBackedEmbeddings, Redis avec recherche vectorielle. Les options gérées coûtent entre 10 $ et 200 $/mois ; Redis auto-hébergé coûte entre 5 $ et 30 $/mois sur une petite VM.