Convierta el alquiler y el rendimiento de la GPU en un costo real por millón de tokens autohospedados.
El costo por token es el alquiler de GPU dividido por los tokens realmente servidos, por lo que la utilización, no la velocidad bruta, determina tu factura. Decida si el autohospedaje supera a un proveedor en el mercado calculadora de autohospedaje vs APIy fijar el precio del hardware subyacente en el Calculadora de costos de nube de GPU.
Intercambios
Herramientas y alojamiento
Calculadora de costos de inferencia de GPU gratuita: convierta el precio por hora, el rendimiento y la utilización de la GPU en el costo real por millón de tokens para un modelo autohospedado.
Tome el precio por hora de la GPU y divídalo por la cantidad de tokens que realmente sirve por hora. Esto es un rendimiento (tokens/seg) multiplicado por 3600, escalado según su utilización real. Una GPU facturada continuamente pero medio inactiva sirve la mitad de los tokens, por lo que su costo por token se duplica en comparación con el rendimiento de la hoja de datos.
Casi siempre utilización y procesamiento por lotes. El rendimiento de referencia supone una carga completa y por lotes; El tráfico real está en ráfagas, por lo que la GPU permanece inactiva entre solicitudes mientras se ejecuta el medidor. El procesamiento por lotes continuo, el tamaño adecuado de la GPU y la consolidación del tráfico en menos GPU y más ocupadas son las principales formas de reducir el costo por token.