Combien coûte l'exécution d'une suite d'évaluation LLM en tant que juge par exécution.
Les évaluations LLM en tant que juge paient pour générer et noter, de sorte que les jetons s'accumulent rapidement dans CI. Un juge bon marché et un ensemble doré serré le rendent abordable. Dimensionnez les appels sous-jacents sur le Calculateur du coût des jetons LLM.
Échanges
Outils et hébergement
Calculateur gratuit du coût de l'évaluation LLM : cas de test, modèles comparés et jetons de jugement au coût d'une exécution d'évaluation.
Le coût correspond aux cas de test multipliés par les modèles multipliés par les jetons par cas, y compris le modèle de juge lisant chaque réponse. Un LLM en tant que juge double à peu près les jetons car chaque réponse générée est également notée. L’exécution de la suite à chaque commit multiplie cela au cours du mois.
Utilisez un modèle plus petit et moins cher comme juge, conservez un ensemble d'or ciblé plutôt que des milliers de cas et exécutez la suite complète tous les soirs avec un ensemble de fumée rapide à chaque commit. Vous n'avez pas besoin d'évaluer chaque modèle à chaque poussée.