Comment fonctionne cette calculatrice
Le Calculateur rapide des économies de compression estime combien vous économisez sur les coûts d'entrée de l'API lorsque vous réduisez une invite répétée. Vous entrez votre jetons d'invite actuels par appel, le jetons d'invite compressés par appel après avoir coupé l'invite de votre système et quelques exemples, votre nombre de appels par mois, et votre prix d'entrée par million de jetons. Il multiplie la réduction de jetons par appel par votre volume d'appels mensuel et votre tarif d'entrée pour afficher le coût mensuel que vous évitez, puis l'annualise. Parce qu'une invite système et ses exemples sont envoyés chaque demande, même une modeste réduction par appel se traduit par un chiffre significatif à grande échelle, ce que cet outil rend visible.
Le principal compromis à surveiller est que moins de jetons peut signifier moins de contexte pour le modèle. Le découpage des instructions ou la suppression d'exemples de quelques plans peuvent réduire la précision, augmenter les tentatives ou produire des sorties plus longues - et les jetons de sortie sont généralement plus chers et sont plus chers. pas compté ici, puisque ce calculateur modélise uniquement les économies d’intrants. Utilisez-le pour donner la priorité à la compression sur vos points de terminaison les plus volumineux, là où la même modification rapporte le plus, mais valider la qualité après chaque coupe avant de supposer que les économies sont réelles. Une invite moins chère par appel mais nécessitant une deuxième tentative peut coûter globalement plus cher, alors mesurez la qualité de la réponse en fonction du nombre de jetons plutôt que d'optimiser les jetons de manière isolée.
Questions fréquemment posées
Combien économise réellement le fait de couper mon invite ?
Chaque jeton que vous supprimez d'une invite est supprimé de chaque appel qui l'utilise. Multipliez les jetons économisés par appel par votre volume d'appels mensuel et le prix d'entrée par million de jetons. Une réduction de 1 000 jetons sur une invite exécutée un million de fois par mois à 3 $ par million permet d'économiser 3 000 $ par mois – la taille de l'invite est bien plus importante que la plupart des équipes ne le pensent, car elle revient à chaque demande.
La compression rapide affecte-t-elle le coût ou la qualité de la production ?
La compression ne touche que le côté entrée – les jetons de sortie et leur prix restent inchangés. Supprimer les instructions redondantes, les exemples verbeux et le contexte dupliqué conserve généralement la qualité intacte, mais couper de manière trop agressive peut nuire à la précision. Combinez le découpage avec la mise en cache rapide pour les préfixes stables afin que le contexte fixe restant soit facturé au tarif réduit de lecture du cache.