Transformez la location et le débit du GPU en un coût réel par million de jetons auto-hébergés.
Le coût par jeton correspond au loyer du GPU divisé par les jetons réellement servis – donc l'utilisation, et non la vitesse brute, fixe votre facture. Décidez si l'auto-hébergement bat un fournisseur sur le calculateur auto-hébergé vs API, et évaluez le matériel sous-jacent sur le Calculateur de coût du cloud GPU.
Échanges
Outils et hébergement
Calculateur gratuit du coût d'inférence GPU : convertissez le prix horaire, le débit et l'utilisation du GPU en coût réel par million de jetons pour un modèle auto-hébergé.
Prenez le prix horaire du GPU et divisez-le par le nombre de jetons qu'il sert réellement par heure. Cela correspond au débit (jetons/s) multiplié par 3 600, adapté à votre utilisation réelle. Un GPU facturé en continu mais à moitié inactif sert la moitié des jetons, de sorte que son coût par jeton double par rapport au débit de la feuille de données.
Presque toujours utilisation et mise en lots. Le débit de référence suppose une charge complète et par lots ; le trafic réel est intense, de sorte que le GPU reste inactif entre les requêtes pendant que le compteur fonctionne. Le traitement par lots continu, le dimensionnement correct du GPU et la consolidation du trafic sur des GPU moins nombreux et plus occupés sont les principaux moyens de réduire le coût par jeton.