Alugue uma GPU ou pague por token – veja quais ganhos no seu volume e onde eles se cruzam.
A auto-hospedagem só vence quando você mantém a GPU ocupada o suficiente para superar a taxa por token. Modele a conta bruta da GPU no Calculadora de custos de nuvem GPU e a verdadeira taxa por token que você atingiria no Calculadora de custos de inferência de GPU.
Trocas
Ferramentas e hospedagem
Calculadora gratuita de auto-hospedagem versus API – compare o aluguel de uma GPU para executar um modelo aberto com o preço de API por token e encontre o volume mensal em que a auto-hospedagem vence.
Somente em volume alto e constante. Uma GPU alugada tem um custo fixo 24 horas por dia, 7 dias por semana, por isso compensa quando a taxa de transferência do token a preenche. Abaixo do volume de equilíbrio, a API por token é mais barata porque você paga apenas pelo que usa; acima dela, uma GPU bem utilizada supera o preço medido.
A utilização é o grande problema: uma GPU faturada 24 horas por dia, mas usada 30% do tempo, triplica seu custo efetivo por token. Além disso, chega a hora da engenharia, escalonamento automático para picos, lacunas de qualidade do modelo em relação às APIs de fronteira e confiabilidade. Fatore-os antes de mudar para salvar o adesivo.