How do I calculate cost per token on my own GPU?

Take the GPU hourly price and divide by how many tokens it actually serves per hour. That is throughput (tokens/sec) times 3600, scaled by your real utilisation. A GPU billed continuously but half-idle serves half the tokens, so its cost per token doubles versus the datasheet throughput.

Why is my self-hosted cost higher than expected?

Almost always utilisation and batching. Benchmark throughput assumes full, batched load; real traffic is bursty, so the GPU sits idle between requests while the meter runs. Continuous batching, right-sizing the GPU, and consolidating traffic onto fewer, busier GPUs are the main ways to bring the per-token cost down.

Calculadora de custos de inferência de GPU

O tempo ocioso da GPU é o custo real de inferência

O custo por token é o aluguel da GPU dividido pelos tokens realmente servidos – portanto, a utilização, e não a velocidade bruta, define sua conta. Decida se a auto-hospedagem supera um provedor no calculadora de auto-host vs APIe definir o preço do hardware subjacente no Calculadora de custos de nuvem GPU.

Executando você mesmo a pilha de serviços, e não apenas alugando a GPU bruta? DigitalOcean – crédito de $ 200 e VPS da Hostinger ambos lidam com a camada API/proxy na frente dela de forma barata.

Como funciona esta calculadora

O Calculadora de custos de inferência de GPU converte três entradas - seu Preço da GPU por hora, modelo taxa de transferência em tokens por segundo, e um porcentagem de utilização realista - para o verdadeiro custo por milhão de tokens para um modelo auto-hospedado. A ideia central é simples: uma hora de GPU compra um número fixo de tokens, portanto, dividir o custo por hora pelos tokens realmente produzidos dá o preço por token. A taxa de transferência define quantos tokens o hardware gera a cada segundo, enquanto os descontos de utilização refletem o tempo ocioso, lacunas de lote e tráfego que raramente mantém a GPU totalmente carregada.

A principal compensação é utilização. A taxa de transferência de referência pressupõe uma GPU constantemente ocupada, mas as cargas de trabalho reais ficam ociosas entre as solicitações, portanto, uma GPU alugada cobrada por hora pode custar muito mais por token do que o número do título sugere. Antes de se comprometer com a auto-hospedagem, estime seu verdadeiro utilisation honestly and compare the result against per-token API pricing — low, spiky traffic often favors an API, while steady high volume rewards owning the hardware.

Perguntas frequentes

Como calculo o custo por token na minha própria GPU?

Pegue o preço por hora da GPU e divida por quantos tokens ela realmente atende por hora. Isso é a taxa de transferência (tokens/s) vezes 3.600, dimensionada de acordo com sua utilização real. Uma GPU faturada continuamente, mas meio ociosa, atende metade dos tokens, portanto, seu custo por token dobra em relação ao rendimento da folha de dados.

Por que meu custo de auto-hospedagem é maior do que o esperado?

Quase sempre utilização e lote. A taxa de transferência do benchmark pressupõe carga completa em lote; o tráfego real é intermitente, então a GPU fica ociosa entre as solicitações enquanto o medidor é executado. O lote contínuo, o dimensionamento correto da GPU e a consolidação do tráfego em menos GPUs e mais ocupadas são as principais maneiras de reduzir o custo por token.