Comment fonctionne cette calculatrice
Le Calculateur de prix LLM mixte calcule le coût réel d'un seul appel d'API et le taux effectif par million de jetons cela résulte du mélange des jetons d’entrée et de sortie. Vous saisissez quatre valeurs : celle du modèle prix d'entrée par million de jetons, c'est prix de sortie par 1 million de jetons, et le jetons d'entrée et de sortie utilisés par appel. L'outil multiplie chaque nombre de jetons par son taux de correspondance et additionne les deux, de sorte que le coût par appel dépend à la fois des prix publiés et de votre combinaison réelle de jetons. Étant donné que les jetons de sortie coûtent généralement plusieurs fois plus cher que les jetons d’entrée, un appel qui contient beaucoup de texte généré peut coûter bien plus cher que ne le suggère sa seule longueur d’entrée.
Le taux mixte est important car un prix unique cache ce que vous paierez réellement. Un modèle avec des intrants bon marché mais une production coûteuse peut finir par être plus cher qu'un rival une fois votre ratio de jetons réel est appliqué. Le conseil pratique : faites correspondre le nombre de jetons à un appel représentatif plutôt qu'au meilleur des cas, puis comparez les modèles sur le taux mixte par million au lieu du prix global des intrants. Surveillez de plus près le côté sortie : réduire les réponses verbeuses ou limiter la longueur de la sortie réduit souvent les coûts plus que la réduction de l'invite.
Questions fréquemment posées
Pourquoi la production coûte-t-elle plus cher que l’entrée ?
La génération de jetons nécessite plus de calcul que leur lecture, de sorte que les fournisseurs évaluent la production environ 3 à 5 fois plus élevée que l'entrée. Une invite avec un contexte énorme mais une réponse courte peut toujours être dominée par les quelques jetons de sortie coûteux – ou l'inverse, en fonction de votre combinaison de jetons.
Qu’est-ce qu’un prix symbolique mixte ?
Votre véritable taux effectif une fois l'entrée et la sortie est pondéré par la quantité de chacun que vous utilisez réellement. Les prix annoncés sont divisés ; le taux mixte vous indique le coût réel d'un appel par jeton, ce que vous devez utiliser pour la marge et les prévisions.