Quanto custa a execução de um conjunto de avaliação LLM como juiz por execução.
As avaliações LLM como juiz pagam para gerar e avaliar, de modo que os tokens se acumulam rapidamente no CI. Um juiz barato e um conjunto dourado justo mantêm-no acessível. Dimensione as chamadas subjacentes no Calculadora de custo de token LLM.
Trocas
Ferramentas e hospedagem
Calculadora gratuita de custos de avaliação LLM – casos de teste, modelos comparados e tokens de julgamento para o custo de uma execução de avaliação.
O custo é composto pelos casos de teste vezes os modelos vezes os tokens por caso, incluindo o modelo do juiz que lê cada resposta. Um LLM como juiz quase dobra os tokens porque cada resposta gerada também é pontuada. Executar o pacote em cada commit multiplica isso ao longo do mês.
Use um modelo menor e mais barato como juiz, mantenha um conjunto dourado focado em vez de milhares de casos e execute o conjunto completo todas as noites com um rápido conjunto de fumaça em cada commit. Você não precisa avaliar todos os modelos a cada push.