—jetons d'entrée
—jetons de sortie
—≈ mots
Un dollar va beaucoup plus loin sur les modèles bon marché
Thinking in tokens-per-dollar makes model choice obvious: for bulk, non-critical work a small model buys 10–20× the tokens. Comparez par appel sur le Calculateur du coût des jetons LLM.
Jetons par dollar : l'unité d'achat cross-modèle
L'inversion du prix par million de jetons en jetons par dollar rend le shopping de modèles concret : à 0,15 $ par million de jetons d'entrée, un dollar achète 6,7 millions de jetons, soit environ 5 millions de mots, soit cinquante romans contextuels. À 15 $ par million, le même dollar achète 67 000 jetons. L'écart de 100 × entre les modèles frontaliers et budgétaires constitue l'intégralité de l'opportunité d'optimisation des coûts dans la plupart des applications LLM : acheminer 80 % des requêtes faciles vers un modèle bon marché et réserver le modèle coûteux aux cas difficiles réduit le coût mixte de 5 à 10 fois avec une perte de qualité minimale. Les jetons de sortie coûtent 2 à 5 fois l'entrée sur la plupart des fournisseurs – le ratio compte plus que l'un ou l'autre nombre pour les charges de travail lourdes en matière de chat.
Marge SaaS IACoût par utilisateur actifCoût pour 1 000 motsCoût de traduction de l'IACoût Azure OpenAI
Comment fonctionne cette calculatrice
Le Calculateur de jetons par dollar détermine la quantité de texte que vous pouvez réellement traiter pour votre argent sur chaque modèle de langue. Vous entrez un budget, le prix d'entrée par million de jetons, le prix de sortie par million de jetons, et le part de production de votre total de jetons. Étant donné que les prix des entrées et des sorties sont généralement différents, l'outil mélange les deux taux en fonction de cette part pour trouver un coût réel par jeton, puis divise votre budget pour montrer combien de jetons d'entrée et de sortie chaque dollar achète. Les principaux moteurs sont les deux prix par million et le part de production, puisque les jetons de sortie sont généralement le côté le plus cher de la facture.
Cela est important car les prix des autocollants par million de jetons sont difficiles à comparer entre les modèles, et un tarif moins cher peut perdre une fois que les charges de travail lourdes sont prises en compte. modèles de classement sur les jetons par dollar, le calculateur transforme la tarification abstraite en un chiffre de débit concret que vous pouvez comparer directement. Le principal compromis à surveiller est votre part de production: la synthèse privilégie les entrées lourdes, tandis que la génération privilégie les sorties, alors définissez le pourcentage en fonction de votre utilisation réelle avant de vous fier au classement.
Questions fréquemment posées
Combien de jetons un dollar achète-t-il ?
Cela dépend du modèle et de votre mix entrée/sortie. 1 $ permet d'acheter environ 400 000 jetons sur un modèle à 2,50 $/1 M d'entrée, mais bien plus sur un modèle de 0,15 $/1 M. Les jetons de sortie coûtent plusieurs fois plus cher que les jetons d’entrée, la combinaison est donc importante.
Pourquoi le mix entrée/sortie le change-t-il ?
La production est généralement de 3 à 5 fois le prix des intrants. Un dollar s'étend plus loin sur le travail exigeant beaucoup d'intrants (résumé) que sur le travail exigeant beaucoup de résultats (génération).