Calculadora de custo por resposta correta

O desconto que custa dinheiro

Cada painel de seleção de modelo classifica por preço por milhão de tokens, e cada um deles está respondendo à pergunta errada. O custo que cai na sua conta não é o custo de uma ligação, é o custo de uma ligação que você pode realmente usar – e no momento em que sua tarefa tem uma resposta certa e uma errada, esses dois números se separam. Um modelo que é 30% mais barato por ligação, mas dez pontos menos preciso, não é 30% mais barato; depois de tentar novamente ou descartar seus erros, você estará comprando mais tentativas por resultado utilizável, e a aritmética pode inverter totalmente a classificação. A solução é uma divisão: pegue o custo de uma tentativa e divida-o pela probabilidade de a tentativa ser boa e compare os modelos sobre isso. O ponto de equilíbrio que esta calculadora imprime é a decisão completa em um único número – a precisão que um modelo mais barato tem de compensar antes que seu desconto seja real, em vez de um imposto que você paga em novas tentativas. Isso pressupõe que você possa distinguir o certo do errado e simplesmente executar novamente as falhas, que é exatamente a situação quando você tem um conjunto de testes, um verificador ou uma revisão humana; se respostas ruins forem enviadas sem serem detectadas, o modelo barato é ainda pior, porque agora você também paga o custo de estar errado no futuro. Defina o preço de uma única chamada primeiro com o calculadora de custo de token, compare os preços brutos do modelo no página de comparação de modelos, e se você estiver encadeando chamadas em um agente, dimensione a gravação do token de tarefa completa com o Calculadora de custos do agente de IA.