Сколько стоит запуск оценочного пакета LLM в качестве судьи за один запуск.
Оценки LLM в качестве судьи платят за создание и выставление оценок, поэтому токены быстро накапливаются в CI. Дешевый судья и плотный золотой комплект делают его доступным. Размер базовых вызовов на Калькулятор стоимости токена LLM.
Обмены
Инструменты и хостинг
Бесплатный калькулятор стоимости оценки LLM — тестовые примеры, сравнение моделей и оценка токенов стоимости одного прогона оценки.
Стоимость — это тестовые примеры, умноженные на модели, умноженные на жетоны на каждый случай, включая модель судьи, читающую каждый ответ. Судья LLM примерно удваивает количество жетонов, поскольку каждый сгенерированный ответ также оценивается. Запуск пакета при каждом коммите умножает это значение в течение месяца.
Используйте меньшую и более дешевую модель в качестве судьи, держите сфокусированный золотой набор, а не тысячи дел, и запускайте полный набор каждую ночь с быстрым набором дыма для каждого коммита. Вам не нужно проверять каждую модель при каждом нажатии.