Ordnen Sie die Auswahlliste neu, nicht den Heuhaufen
Ein Reranker verbessert die RAG-Qualität kostengünstig, wenn Sie ihm einen kleinen Kandidatensatz zuführen. Das Neuranking von Hunderten pro Abfrage ist eine Kostenfalle. Bemessen Sie die Entnahmeseite auf der RAG-Chatbot-Kostenrechner.
Neubewertung: kleines Modell, echte Rechnung
Reranker-Preis pro 1.000 Suchanfragen (1–2 US-Dollar) oder pro bewertetem Dokument. Die Vervielfachung überrascht: Das Neuranking von 100 Kandidaten pro Suchanfrage bei 1.000 $ Suchanfragen mit 50.000 monatlichen Suchanfragen kostet 50 $ – in Ordnung. Aber naive Pipelines rangieren bei jedem Tastendruck der Suche während der Eingabe neu und vervielfachen das Abfragevolumen um das Fünf- bis Zehnfache. Das Entzerren und Neuranking nur der letzten Abfrage stellt die Vernunft wieder her. Der Kosteneffektivitätsaspekt ist jedoch überzeugend: Mit einem Reranker vor einer RAG-Pipeline können Sie in der Regel weniger, bessere Chunks abrufen – und so die LLM-Eingabetoken so weit reduzieren, dass sich der Reranker amortisiert. Testen Sie das Top-20-Reranking im Vergleich zum Top-5-Rohabruf; Die Token-Ersparnisse gewinnen normalerweise.