Encaminhe chamadas fáceis para um modelo barato, e as difíceis para um modelo premium – consulte o custo combinado.
O roteamento é a maior alavanca em um projeto de LLM porque o mix de tráfego é desequilibrado – a maioria das solicitações é fácil. Mande aqueles baratos, reserve o modelo fronteira para o hard tail. Compare modelos no Calculadora de custos de IA.
Trocas
Ferramentas e hospedagem
Calculadora de custo de roteador modelo de IA gratuita – divida o tráfego entre um modelo barato e um modelo premium para ver custos mensais combinados e economias.
Enviando cada solicitação para o modelo mais barato que possa atendê-la - modelo pequeno para chamadas fáceis, modelo de fronteira para chamadas difíceis. Um classificador ou regras decidem, e o custo combinado fica muito abaixo do totalmente premium.
Frequentemente 50–80%, já que a maior parte do tráfego real é rotineiro. A economia depende de quanto você pode enviar com segurança para o modelo barato sem prejudicar a qualidade.
Custo em diferentes volumes:
| Volume | Mensal | Anual |
|---|