Las GPU inactivas son el costo oculto
Alquilar una GPU es barato por hora y caro por hora de inactividad. Supera a las API sólo cuando la utilización es alta y constante. Compare con el precio por token en el calculadora autohospedada vs API.
Alquiler de GPU: la utilización es el precio real
Los Cloud H100 se alquilan por entre 2 y 10 dólares por hora, según el nivel del proveedor: los hiperescaladores en la parte superior y los mercados básicos en la parte inferior. Pero la tarifa cotizada importa menos que su utilización: una GPU de $3/hora que ejecuta trabajos de capacitación el 20 % del tiempo cuesta $15 por hora productiva. Los precios al contado/interruptibles se reducen entre un 50% y un 70% para cargas de trabajo controlables. El cruce entre construcción y alquiler: un servidor GPU de 30.000 dólares con depreciación de 3 años supera los alquileres de 2,50 dólares por hora con aproximadamente un 40 % de utilización sostenida, antes de contar la carga de operaciones. Para inferir específicamente, las ofertas de GPU sin servidor por token generalmente superan los alquileres brutos por debajo de unos pocos millones de solicitudes mensuales.