Ce qu'il en coûte pour exécuter des milliers de PDF via un LLM.
Transférer des documents entiers dans le modèle est facile et coûteux. Récupérez d’abord les pages pertinentes. Pour le coût de récupération, voir le Calculateur de coût du chatbot RAG.
Le Traitement PDF avec le calculateur de coûts AI estime ce qu'il en coûte pour exécuter chaque mois un lot de documents PDF via un grand modèle de langage. Cela multiplie votre PDF par mois par pages par PDF et jetons par page pour obtenir le nombre total de jetons d'entrée, puis ajoute le jetons de sortie par PDF le modèle génère en retour. Ces deux totaux de jetons sont évalués séparément par rapport à votre entrée $/1M et production $/1M taux et additionnés en un chiffre mensuel. Les principaux facteurs de coûts sont le volume des documents, la densité des pages et la quantité de texte apportée par chaque page : les PDF longs ou riches en images comptent rapidement des jetons push.
Le principal compromis à surveiller est l’écart entre les prix des intrants et ceux des extrants. Les jetons de sortie coûtent généralement plusieurs fois plus par million, donc une charge de travail qui ne extraits les champs courts restent bon marché, tandis que celui qui réécrit ou résume les documents complets peuvent être dominés par le coût de production. Avant de vous engager, estimez les jetons par page à partir d'un échantillon réel plutôt que de deviner, et vérifiez si la réduction de la longueur de réponse ou le traitement de moins de pages par document diminuent davantage le total mensuel que le fait de changer de modèle.
Coût par PDF = pages × jetons/page × prix d'entrée + jetons de sortie × prix de sortie. L'alimentation de documents entiers nécessite beaucoup de saisie, donc le nombre de pages et le nombre de pages que vous envoyez déterminent la facture plus que la longueur de la réponse.
N'envoyez pas des documents entiers à l'aveugle : extrayez ou récupérez uniquement les pages pertinentes, fragmentez les longs PDF et mettez en cache les invites système répétées. La saisie d’un document complet constitue le coût le plus important et le plus évitable.