Lo que cuesta ejecutar miles de archivos PDF a través de un LLM.
Volcar documentos completos en el modelo es fácil y costoso. Recupere las páginas relevantes primero. Para conocer el costo de recuperación, consulte el Calculadora de costes del chatbot RAG.
Herramientas y alojamiento
El Procesamiento de PDF con calculadora de costos de IA estima lo que cuesta ejecutar un lote de documentos PDF a través de un modelo de lenguaje grande cada mes. multiplica tu PDF por mes por páginas por PDF y fichas por página para obtener el total de tokens de entrada, luego agrega el tokens de salida por PDF el modelo genera de nuevo. Esos dos totales de tokens tienen un precio por separado según su entrada $/1 millón y producción $/1 millón tasas y se resumen en una cifra mensual. Los principales factores de costo son el volumen de documentos, la densidad de páginas y la cantidad de texto que aporta cada página: los PDF largos o con muchas imágenes se cuentan rápidamente.
La contrapartida clave a tener en cuenta es la brecha entre los precios de los insumos y los productos. Los tokens de salida suelen costar varias veces más por millón, por lo que una carga de trabajo que sólo extractos Los campos cortos siguen siendo baratos, mientras que los que reescribe o resume Los documentos completos pueden estar dominados por el costo de producción. Antes de comprometerse, calcule los tokens por página a partir de una muestra real en lugar de adivinar, y verifique si recortar la longitud de la respuesta o procesar menos páginas por documento reduce el total mensual más que cambiar de modelo.
Costo por PDF = páginas × tokens/página × precio de entrada + tokens de salida × precio de salida. Alimentar documentos completos requiere mucho ingreso, por lo que el número de páginas y la cantidad que envía aumentan la factura más que la longitud de la respuesta.
No envíe documentos completos a ciegas: extraiga o recupere solo las páginas relevantes, fragmente archivos PDF largos y guarde en caché las indicaciones repetidas del sistema. La entrada de documentos completos es el coste más grande y evitable.