Comment fonctionne cette calculatrice
Le Calculateur de temps et de coûts de traitement par lots estime deux choses pour un travail LLM en masse : le heure de l'horloge murale il faut pour finir et le coût total de la course. Il multiplie le nombre d'articles par les jetons générés par article pour obtenir le volume total de jetons, puis applique votre prix par million de jetons pour produire le chiffre en dollars. Le temps d'exécution provient de la répartition du travail de jetons entre vos travailleurs : la vitesse par travailleur en jetons par seconde et le nombre de travailleurs parallèles ensemble, le débit est défini, de sorte qu'une concurrence plus élevée raccourcit le temps écoulé même si la facture du jeton reste la même.
Le compromis clé est que la simultanéité réduit le temps mais pas les coûts. Doubler les travailleurs réduit environ de moitié la durée de l'horloge murale, mais vous payez toujours pour chaque jeton généré. Avant de passer à l'échelle supérieure, vérifiez si l'estimation du nombre de jetons par article est réaliste, car longueur de sortie est le principal facteur de temps et de dépenses. Réduisez d’abord les sorties détaillées, puis augmentez le nombre de travailleurs pour respecter votre délai.
Questions fréquemment posées
Comment puis-je estimer la durée d'un travail LLM en masse ?
Total de jetons = éléments × jetons par élément. Divisez par le débit combiné (vitesse par travailleur × nombre de travailleurs parallèles) pour obtenir les secondes d'horloge murale. Dix travailleurs à 60 tok/s fournissent 600 tok/s, donc un travail de 8 millions de jetons prend environ 3,7 heures – avant que les limites de débit ne vous limitent.
Dois-je plutôt utiliser l’API batch ?
Si le travail n’est pas urgent, oui. Les points de terminaison par lots (OpenAI, Anthropic, Gemini) exécutent des tâches de manière asynchrone dans une fenêtre de 24 heures pour environ la moitié du prix par jeton. Vous échangez une latence immédiate contre une remise importante – idéal pour les remplissages intégrés, les évaluations et l’enrichissement hors ligne.