Qu'est-ce qui génère des lignes de formation synthétiques avec un LLM coûte.
La production en masse est bon marché ; les jetons perdus à cause des lignes rejetées et en double constituent la dépense réelle. Une invite serrée et un générateur bon marché gagnent. Dimensionnez les appels sur le Calculateur du coût des jetons LLM et comparer avec réglage fin.
Le Calculateur du coût de génération de données synthétiques estime ce qu'il en coûte pour produire un ensemble de données artificielles avec un modèle de langage. Vous entrez dans le nombre de lignes à générer, le jetons par ligne (invite plus sortie), et le prix pour 1 million de jetons, et il les multiplie pour projeter les dépenses totales. Il tient également compte d'un pourcentage de rejet/nouvelle tentative, puisque les lignes générées qui échouent à la validation ou aux contrôles de qualité doivent être régénérées, en ajoutant les jetons pour lesquels vous payez réellement. Les principaux facteurs de coûts sont donc le nombre de lignes, le poids des jetons par ligne, le prix du modèle et la fréquence des nouvelles tentatives de sortie.
Le compromis clé est qualité versus coût. Les modèles moins chers réduisent le taux par jeton mais augmentent souvent le taux de rejet, de sorte que les nouvelles tentatives peuvent effacer les économies. Avant de générer à grande échelle, exécutez un petit échantillon pour mesurer votre pourcentage de rejet réel, puis réduisez la longueur de l'invite et resserrez les schémas de sortie pour réduire le nombre de jetons par ligne. Les petits changements s’accumulent considérablement sur des milliers de lignes.
Lignes multipliées par jetons par ligne multiplié par le taux du modèle, plus les jetons brûlés sur les générations rejetées que vous filtrez. Un modèle bon marché à un dollar par million de jetons génère des dizaines de milliers de lignes pour quelques dollars – le taux de rejet/nouvelle tentative est ce qui fait varier le nombre.
Utilisez un modèle petit et bon marché pour la génération en masse et réservez un modèle plus puissant pour la validation, resserrez l'invite afin que moins de lignes soient rejetées et supprimez les duplications. Le gaspillage concerne les tentatives et les lignes quasi-dupliquées, et non la génération de base.