Louez un GPU ou payez par jeton : voyez lesquels gagnent selon votre volume et où ils se croisent.
L'auto-hébergement ne gagne que lorsque vous gardez le GPU suffisamment occupé pour battre le taux par jeton. Modélisez la facture brute du GPU sur le Calculateur de coût du cloud GPU et le véritable taux par jeton que vous obtiendriez sur le Calculateur de coût d'inférence GPU.
Échanges
Outils et hébergement
Calculateur gratuit d'auto-hébergement et d'API : comparez la location d'un GPU pour exécuter un modèle ouvert avec la tarification de l'API par jeton et trouvez le volume mensuel où l'auto-hébergement gagne.
Uniquement à volume élevé et constant. Un GPU loué représente un coût fixe 24h/24 et 7j/7, il est donc rentable une fois que le débit de vos jetons le remplit. En dessous du seuil de rentabilité, l'API par jeton est moins chère car vous ne payez que pour ce que vous utilisez ; au-dessus, un GPU bien utilisé bat le prix mesuré.
L'utilisation est le problème le plus important : un GPU facturé 24 heures sur 24 mais utilisé 30 % du temps triple votre coût effectif par jeton. À cela s’ajoutent le temps d’ingénierie, la mise à l’échelle automatique des pics, les écarts de qualité des modèles par rapport aux API frontières et la fiabilité. Tenez compte de ceux-ci avant de passer à la sauvegarde des autocollants.