Transforme o aluguel e a taxa de transferência da GPU em um custo real por milhão de tokens auto-hospedados.
O custo por token é o aluguel da GPU dividido pelos tokens realmente servidos – portanto, a utilização, e não a velocidade bruta, define sua conta. Decida se a auto-hospedagem supera um provedor no calculadora de auto-host vs APIe definir o preço do hardware subjacente no Calculadora de custos de nuvem GPU.
Trocas
Ferramentas e hospedagem
Calculadora gratuita de custos de inferência de GPU – converta o preço por hora, a taxa de transferência e a utilização da GPU no custo real por milhão de tokens para um modelo auto-hospedado.
Pegue o preço por hora da GPU e divida por quantos tokens ela realmente atende por hora. Isso é a taxa de transferência (tokens/s) vezes 3.600, dimensionada de acordo com sua utilização real. Uma GPU faturada continuamente, mas meio ociosa, atende metade dos tokens, portanto, seu custo por token dobra em relação ao rendimento da folha de dados.
Quase sempre utilização e lote. A taxa de transferência do benchmark pressupõe carga completa em lote; o tráfego real é intermitente, então a GPU fica ociosa entre as solicitações enquanto o medidor é executado. O lote contínuo, o dimensionamento correto da GPU e a consolidação do tráfego em menos GPUs e mais ocupadas são as principais maneiras de reduzir o custo por token.