Измените рейтинг шорт-листа, а не стога сена
Реранкер дешево улучшает качество RAG, если вы снабжаете его небольшим набором кандидатов. Изменение рейтинга сотен запросов за один запрос — это ловушка затрат. Размер стороны извлечения на Калькулятор стоимости чат-бота RAG.
Ререйтинг: маленькая модель, реальная купюра
Цена реранкера за 1000 поисковых запросов (1–2 доллара США) или за оцененный документ. Умножение, которое удивляет: переоценка 100 кандидатов на каждый запрос при поиске стоимостью 1/1 тысяча долларов США с 50 тысячами ежемесячных запросов стоит 50 долларов США — отлично. Но наивные конвейеры меняют ранжирование при каждом нажатии клавиши поиска по мере ввода, умножая объем запроса в 5–10 раз. Устранение и изменение ранжирования только последнего запроса восстанавливает здравомыслие. Тем не менее, аргументы в пользу экономической эффективности убедительны: программа реранкинга перед конвейером RAG обычно позволяет получить меньше фрагментов лучшего качества — сокращая входные токены LLM настолько, что программа реранкинга окупает себя. Протестируйте повторное ранжирование топ-20 по сравнению с необработанным поиском топ-5; экономия жетонов обычно выигрывает.