Les trois leviers et pourquoi ils s'empilent
La plupart des conseils « réduisez vos coûts de LLM de 90 % » sont réels : ils ne s'appliquent qu'aux partie de votre trafic, et les chiffres principaux supposent le meilleur des cas. Ce calculateur rend le partage explicite. Mise en cache rapide réduit le préfixe répété de votre saisie (invite système, contexte RAG, document long) à 10 à 50 % du taux de saisie ; il ne fait rien pour les jetons de sortie ou pour les entrées qui modifient chaque appel. Traitement par lots donne un forfait de 50 % sur toute demande pouvant s'exécuter de manière asynchrone – idéal pour la classification, la synthèse et la génération de rapports, inutile pour un chat en direct. Routage du modèle envoie les requêtes faciles vers un modèle plus petit et beaucoup moins cher et conserve le modèle frontière pour les plus difficiles. Appliqués aux tranches de trafic que chacun peut réellement atteindre, ils se traduisent par une réduction véritablement importante.
Pourquoi la remise effective est inférieure aux gros titres
If 90% caching, 50% batch and 85% routing all hit your whole bill you'd pay almost nothing — but they don't. La mise en cache ne touche que les entrées pouvant être mises en cache ; le lot ne touche que le trafic asynchrone ; routing only touches requests a cheaper model can handle. Set those shares honestly and the calculator returns the mélangé réduction sur votre charge de travail réelle. Ce chiffre pondéré – souvent 40 à 70 % au lieu de 90 % – est celui à inscrire dans un budget. Validez les leviers individuels avec le calculateur de mise en cache rapide, le calculateur d'économies par lots et le calculateur de routage modèle.
L’ordre des opérations est important
Les leviers interagissent : la mise en cache réduit d'abord le coût des intrants, puis le lot et le routage s'appliquent à ce qui reste, donc les empiler n'est pas un simple ajout. Cet outil applique la mise en cache à la tranche d'entrée pouvant être mise en cache, puis applique des remises par lots et de routage à leurs parts du restant dépenser, c'est pourquoi la remise combinée est inférieure à la somme des parties. Avant d'optimiser, établissez votre base de référence avec le Calculateur du coût des jetons LLM et trouvez le modèle de base le moins cher avec API LLM la moins chère.
Comment l'utiliser
1. Entrez vos dépenses LLM mensuelles actuelles et approximativement quelle part représente les jetons d'entrée par rapport aux jetons de sortie.
2. Définissez la quantité de vos entrées qui est répétée/mise en cache et le prix d'accès au cache de votre fournisseur (10 % Anthropic, 25 à 50 % OpenAI).
3. Définissez la part de trafic que vous pouvez regrouper et la part que vous pouvez acheminer vers un modèle moins cher.
4. Lisez la facture optimisée et la remise effective, puis mettez d'abord en œuvre les leviers comportant les lignes « Économies » les plus importantes.
FAQ
La mise en cache et le traitement par lots s'empilent-ils ?
Oui : une requête par lots peut également utiliser un préfixe mis en cache. Cet outil applique d'abord la mise en cache aux entrées, puis les remises par lots/routage aux dépenses restantes, de sorte que l'effet combiné est multiplicatif et non additif.
Quel prix d'accès au cache dois-je utiliser ?
Le cache des factures anthropiques lit à 10 % du taux d'entrée ; OpenAI à 25-50 % selon le modèle ; Mise en cache du contexte Google à environ 10 %. Utilisez le chiffre de votre fournisseur pour la tranche d'entrée pouvant être mise en cache.
Le routage est-il risqué pour la qualité ?
Uniquement si vous acheminez les requêtes difficiles vers un modèle faible. Le modèle sécurisé est un classificateur ou une couche de règles qui envoie des requêtes simples/courtes au modèle bon marché et fait remonter le reste. Modélisez la répartition des dépenses avec le calculateur de routage.
Estimation seulement. Les remises dépendent de la répartition exacte de votre trafic et des tarifs de vos fournisseurs : vérifiez les tarifs actuels avant de budgétiser.