Les GPU inactifs sont le coût caché
La location d'un GPU coûte peu cher à l'heure et coûte cher à l'heure d'inactivité. Il ne surpasse les API que lorsque leur utilisation est élevée et constante. Comparez avec les prix par jeton sur le calculateur auto-hébergé vs API.
Location de GPU : l'utilisation est le vrai prix
Les Cloud H100 sont loués entre 2 $ et 10 $/heure selon le niveau du fournisseur : les hyperscalers en haut, les marchés nus en bas. Mais le tarif indiqué compte moins que votre utilisation : un GPU à 3 $/h exécutant des tâches de formation 20 % du temps coûte 15 $ par heure productive. Les tarifs ponctuels/interruptibles sont réduits de 50 à 70 % pour les charges de travail pouvant être contrôlées. Le crossover construction/location : un serveur GPU de 30 000 $ avec une dépréciation sur 3 ans dépasse les locations de 2,50 $/heure avec une utilisation soutenue d'environ 40 %, avant de compter la charge opérationnelle. À titre d’inférence spécifiquement, les offres de GPU sans serveur par jeton dépassent généralement les locations brutes inférieures à quelques millions de requêtes mensuelles.