Cuánto cuesta ejecutar una suite de evaluación de LLM como juez por ejecución.
Las evaluaciones de LLM como juez pagan por generar y calificar, por lo que los tokens se acumulan rápidamente en CI. Un juez barato y un conjunto dorado ajustado lo mantienen asequible. Dimensionar las llamadas subyacentes en el Calculadora de costos de tokens LLM.
Intercambios
Herramientas y alojamiento
Calculadora de costos de evaluación de LLM gratuita: casos de prueba, comparación de modelos y evaluación de tokens según el costo de una ejecución de evaluación.
El costo es casos de prueba multiplicados por modelos multiplicados por tokens por caso, incluido el modelo de juez que lee cada respuesta. Un juez de LLM aproximadamente duplica los tokens porque cada respuesta generada también se califica. Ejecutar la suite en cada confirmación lo multiplica a lo largo del mes.
Utilice un modelo más pequeño y económico como juez, mantenga un conjunto dorado enfocado en lugar de miles de casos y ejecute el conjunto completo todas las noches con un rápido conjunto de humo en cada confirmación. No es necesario evaluar todos los modelos en cada impulso.