Encaminhe chamadas fáceis para um modelo barato, e as difíceis para um modelo premium – consulte o custo combinado.
O roteamento é a maior alavanca em um projeto de LLM porque o mix de tráfego é desequilibrado – a maioria das solicitações é fácil. Mande aqueles baratos, reserve o modelo fronteira para o hard tail. Compare modelos no Calculadora de custos de IA.
O Calculadora de custos do roteador modelo AI estima o custo mensal combinado de servir o tráfego da API em dois modelos em vez de um. Você insere seu ligações por mês, o tokens de entrada e saída por chamada, o parcela do tráfego direcionado para o modelo barato, e os preços de entrada e saída por milhão de tokens para os modelos barato e premium. Ele aplica as taxas de cada modelo à sua parte das solicitações, soma as cobranças de token de entrada e saída e relata um valor mensal combinado juntamente com a economia versus o envio de cada chamada para o modelo premium. Os principais fatores de custo são o volume total de chamadas, os tokens por chamada, a divisão de roteamento e a diferença de preço entre os dois modelos.
A principal compensação a observar é qualidade versus custo: direcionar mais tráfego para o modelo barato reduz o valor combinado, mas apenas algumas solicitações são simples o suficiente para serem respondidas bem sem o modelo premium. Porque os tokens de saída geralmente têm preços mais altos do que os tokens de entrada, as respostas detalhadas podem dominar o total, mesmo em uma divisão favorável, portanto, teste o modelo barato em seus prompts reais e confirme se as respostas são válidas antes de aumentar a porcentagem de tráfego.
Enviando cada solicitação para o modelo mais barato que possa atendê-la - modelo pequeno para chamadas fáceis, modelo de fronteira para chamadas difíceis. Um classificador ou regras decidem, e o custo combinado fica muito abaixo do totalmente premium.
Frequentemente 50–80%, já que a maior parte do tráfego real é rotineiro. A economia depende de quanto você pode enviar com segurança para o modelo barato sem prejudicar a qualidade.
📚 Novidade por aqui? Saiba como funciona o preço da API LLM →
Custo em diferentes volumes:
| Volume | Mensal | Anual |
|---|