Reclassifique a lista, não o palheiro
Um reclassificador melhora a qualidade do RAG de forma barata se você alimentá-lo com um pequeno conjunto de candidatos. Reclassificar centenas por consulta é a armadilha dos custos. Dimensione o lado de recuperação no Calculadora de custos do chatbot RAG.
Reclassificação: modelo pequeno, nota real
Preço dos reclassificadores por 1.000 pesquisas ($ 1–$ 2) ou por documento pontuado. A multiplicação que surpreende: reclassificar 100 candidatos por consulta em pesquisas de US$ 1/1 mil com 50 mil consultas mensais custa US$ 50 – tudo bem. Mas os pipelines ingênuos são reclassificados a cada pressionamento de tecla da pesquisa conforme você digita, multiplicando o volume de consulta de 5 a 10×. Debouncing e reclassificar apenas a consulta final restaura a sanidade. O caso de custo-benefício é forte: um reclassificador na frente de um pipeline RAG normalmente permite recuperar menos pedaços melhores – cortando tokens de entrada LLM o suficiente para que o reclassificador se pague por si mesmo. Teste a reclassificação dos 20 primeiros versus a recuperação bruta dos 5 primeiros; as economias simbólicas geralmente vencem.