Reclassez la liste restreinte, pas la botte de foin
Un reranker améliore la qualité du RAG à moindre coût si vous lui fournissez un petit ensemble de candidats. Reclasser des centaines par requête est le piège des coûts. Dimensionner le côté récupération sur le Calculateur de coût du chatbot RAG.
Reclassement : petit modèle, vraie facture
Prix Rerankers pour 1 000 recherches (1 $ à 2 $) ou par document noté. La multiplication qui surprend : reclasser 100 candidats par requête à 1 $/1 000 recherches avec 50 000 requêtes mensuelles revient à 50 $ – très bien. Mais les pipelines naïfs se reclassent à chaque frappe de recherche au fur et à mesure de la frappe, multipliant le volume de requêtes par 5 à 10 fois. L'anti-rebond et le reclassement de la requête finale rétablissent la raison. L'argument en termes de rentabilité est cependant solide : un reclasseur devant un pipeline RAG vous permet généralement de récupérer moins de morceaux, de meilleure qualité, ce qui réduit suffisamment les jetons d'entrée LLM pour que le reclasseur soit rentabilisé. Testez le reclassement du top 20 par rapport à la récupération brute du top 5 ; les économies symboliques gagnent généralement.