Un dollar va beaucoup plus loin sur les modèles bon marché
Thinking in tokens-per-dollar makes model choice obvious: for bulk, non-critical work a small model buys 10–20× the tokens. Comparez par appel sur le Calculateur du coût des jetons LLM.
Jetons par dollar : l'unité d'achat cross-modèle
L'inversion du prix par million de jetons en jetons par dollar rend le shopping de modèles concret : à 0,15 $ par million de jetons d'entrée, un dollar achète 6,7 millions de jetons, soit environ 5 millions de mots, soit cinquante romans contextuels. À 15 $ par million, le même dollar achète 67 000 jetons. L'écart de 100 × entre les modèles frontaliers et budgétaires constitue l'intégralité de l'opportunité d'optimisation des coûts dans la plupart des applications LLM : acheminer 80 % des requêtes faciles vers un modèle bon marché et réserver le modèle coûteux aux cas difficiles réduit le coût mixte de 5 à 10 fois avec une perte de qualité minimale. Les jetons de sortie coûtent 2 à 5 fois l'entrée sur la plupart des fournisseurs – le ratio compte plus que l'un ou l'autre nombre pour les charges de travail lourdes en matière de chat.