Reclasificar la lista corta, no el pajar
Un reranker mejora la calidad de RAG de forma económica si le proporcionas un pequeño conjunto de candidatos. Reclasificar cientos por consulta es la trampa de los costos. Dimensione el lado de recuperación en el Calculadora de costes del chatbot RAG.
Reclasificación: modelo pequeño, billete real
El precio de los rerankers es por cada 1000 búsquedas (entre 1 y 2 dólares) o por documento puntuado. La multiplicación que sorprende: reclasificar 100 candidatos por consulta a 1 dólar/1.000 búsquedas con 50.000 consultas mensuales cuesta 50 dólares, está bien. Pero los canales ingenuos se reclasifican con cada pulsación de tecla de búsqueda a medida que se escribe, multiplicando el volumen de consultas entre 5 y 10 veces. Eliminar rebotes y reclasificar solo la consulta final restaura la cordura. Sin embargo, el argumento de rentabilidad es sólido: un reranker frente a una canalización RAG generalmente le permite recuperar menos y mejores fragmentos, reduciendo los tokens de entrada de LLM lo suficiente como para que el reranker se pague por sí mismo. Pruebe la reclasificación de los 20 primeros frente a la recuperación sin procesar de los 5 primeros; los ahorros simbólicos suelen ganar.