Riclassifica la rosa dei candidati, non il pagliaio
Un reranker migliora la qualità del RAG in modo economico se gli si fornisce un piccolo set di candidati. Riclassificare centinaia per query è la trappola dei costi. Dimensionare il lato di recupero sul Calcolatore dei costi del chatbot RAG.
Riclassificazione: modello piccolo, fattura reale
Prezzo di riclassificazione per 1.000 ricerche ($ 1–$ 2) o per documento valutato. La moltiplicazione che sorprende: riclassificare 100 candidati per query a $ 1/1k di ricerche con 50.000 query mensili costa $ 50 - va bene. Ma le pipeline ingenue si riclassificano a ogni pressione di un tasto della ricerca durante la digitazione, moltiplicando il volume delle query di 5-10 volte. Rimbalzare e riclassificare solo la query finale ripristina la sanità mentale. Tuttavia, il rapporto costo-efficacia è forte: un riclassificazione di fronte a una pipeline RAG in genere consente di recuperare meno blocchi migliori, tagliando i token di input LLM in modo tale che il riclassificazione si ripaghi da solo. Prova la riclassificazione dei primi 20 rispetto al recupero grezzo dei primi 5; i risparmi simbolici di solito vincono.
Come funziona questa calcolatrice
IL Calcolatore dei costi API di riclassificazione stima la fattura mensile per l'utilizzo di un'API di riclassificazione, che riordina i documenti recuperati in base alla pertinenza rispetto a una query. Moltiplica il tuo query al mese dal documenti riclassificati per query per trovare il volume totale, quindi lo converte in fatturabile unità di ricerca e applica il tuo prezzo per 1.000 unità di ricerca. I principali fattori di costo sono semplici: quanto spesso si riclassifica (volume di query) e quanti documenti si passano attraverso il modello ogni volta. Poiché entrambi gli input si moltiplicano insieme, l’aumento di uno dei due aumenta i costi in modo proporzionale e l’aumento rapido di entrambi i composti.
Il compromesso chiave da tenere d’occhio è dimensione del set di candidati. L'invio di più documenti per query può migliorare la qualità dei risultati, ma ogni documento aggiuntivo si aggiunge al conteggio delle unità di ricerca e alla fattura. Un consiglio pratico è quello di utilizzare un Retriever di primo passaggio economico per restringere i candidati, quindi riclassificare solo i migliori anziché tutto. Testare dove la qualità si stabilizza: spesso i primi 20-50 documenti catturano quasi tutti i vantaggi, quindi riclassificare oltre ciò aggiunge principalmente costi senza migliorare le risposte.
Domande frequenti
Come viene valutato il riclassificazione?
Di solito per unità di ricerca: circa un'unità per documento valutata rispetto a una query. Costo = query × documenti riclassificati × prezzo unitario. La riclassificazione di un enorme set di candidati per query si moltiplica rapidamente.
La riclassificazione vale il costo?
Spesso sì: migliora notevolmente la qualità delle risposte RAG riordinando i blocchi recuperati. Il trucco sta nel riclassificare solo i migliori candidati (diciamo 20-50), non centinaia, per mantenere i costi sostenibili.