Configuraciones compartidas
Variante A (control)
Variante B (desafiador)
| Métrico | Variante A | Variante B |
|---|
Cómo presupuestar una prueba LLM A/B
A menudo se pasa por alto el costo de un experimento modelo. Para aplicaciones de mucho tráfico, incluso una prueba 50/50 de 7 días con un modelo premium puede costar cientos de dólares más que permanecer en control. Calcular el delta antes comience la prueba y luego decida si la calidad de la señal vale la pena el gasto adicional.
Regla práctica: Se necesitan al menos entre 200 y 500 muestras por variante para obtener una señal de calidad significativa (80 % de potencia, p = 0,05, detectando una diferencia del 5 al 10 %). Para una aplicación de 10 000 solicitudes por día, incluso una división del tráfico del 10 % ofrece más de 500 muestras por día; una prueba de 3 días es suficiente. Solo ejecute más tiempo si está buscando fallas raras en casos extremos.
Prueba de sombra primero: Antes de activar A/B, ejecute la variante B en modo sombra (misma entrada, salidas descartadas). Esto cuesta dinero pero no tiene impacto para el usuario y le permite detectar fallas catastróficas antes de que afecten a los usuarios reales.
Relacionado: Calculadora de costos de evaluación de LLM · Rastreador de gastos de IA · Planificador de presupuesto API
Preguntas frecuentes
¿Cuánto cuesta realizar una prueba A/B de dos modelos LLM?
Costo = (solicitudes × tráfico_split × tokens_per_request × precio_per_token) para cada variante. Una división 50/50 con 10 000 solicitudes diarias, 1000 tokens cada una y modelos a $3/$15 frente a $0,15/$0,60 por 1 millón de tokens costaría ~$90/día frente a ~$3,75/día para una prueba de 7 días.
¿Cuál es el tamaño de muestra mínimo para una prueba LLM A/B estadísticamente válida?
Para la mayoría de las métricas de calidad de LLM, se necesitan al menos 200 a 500 muestras por variante para detectar una diferencia del 5 al 10 % con un poder del 80 % en p = 0,05. Para diferencias más estrechas (2–3%), es posible que necesite entre 1000 y 2000 muestras por variante.
¿Cómo elijo una división de tráfico para las pruebas LLM A/B?
Comience con 10/90 o 20/80 si el nuevo modelo no se ha probado. Pase al 50/50 una vez que esté seguro de que el nuevo modelo no es peor. Nunca pongas el 100% en el nuevo modelo sin antes realizar una prueba de sombra.
¿Debería realizar una prueba A/B de indicaciones o modelos primero?
Pruebe primero las indicaciones: se pueden cambiar libremente y pueden afectar drásticamente la calidad. Una vez que tenga un mejor mensaje estable para cada modelo, compare los modelos.
¿Qué métricas debo seguir en una prueba LLM A/B?
Seguimiento: tasa de éxito de la tarea, latencia (p50/p95), duración de la salida, costo por salida exitosa y una muestra de evaluación humana. Evite utilizar un LLM para juzgar a otro de la misma familia; utilice un modelo de juez diferente o evaluadores humanos.