Indirizza le chiamate facili a un modello economico, quelle difficili a un modello premium: visualizza il costo combinato.
Il routing è la leva più importante su una fattura LLM perché il mix di traffico è sbilanciato: la maggior parte delle richieste sono facili. Invia quelli economici, prenota il modello di frontiera per la coda dura. Confronta i modelli su Calcolatore dei costi dell'IA.
Strumenti e hosting
IL Calcolatore dei costi del router modello AI stima il costo mensile combinato relativo alla gestione del traffico API su due modelli anziché su uno. Inserisci il tuo chiamate al mese, IL token di input e output per chiamata, IL quota di traffico indirizzata al modello economicoe i prezzi di input e output per milione di token sia per i modelli economici che per quelli premium. Applica le tariffe di ciascun modello alla rispettiva porzione di richieste, somma i costi dei token di input e output e riporta una cifra mensile combinata insieme al risparmio rispetto all'invio di ogni chiamata al modello premium. I principali fattori di costo sono il volume totale delle chiamate, i token per chiamata, la suddivisione del routing e il divario di prezzo tra i due modelli.
Il compromesso chiave da tenere d’occhio è qualità rispetto al costo: indirizzare più traffico al modello economico riduce la cifra combinata, ma solo alcune richieste sono abbastanza semplici da rispondere bene senza il modello premium. Perché i token di output hanno generalmente un prezzo più alto rispetto ai token di input, le risposte dettagliate possono dominare il totale anche con una ripartizione favorevole, quindi prova il modello economico sulle tue richieste effettive e conferma che le sue risposte reggono prima di aumentare la percentuale di traffico.
Inviando ogni richiesta al modello più economico in grado di gestirla: modello piccolo per chiamate facili, modello di frontiera per quelle difficili. Un classificatore o delle regole decidono e il costo combinato è molto al di sotto di tutti i premi.
Spesso il 50–80%, poiché la maggior parte del traffico reale è di routine. Il risparmio dipende da quanto puoi tranquillamente inviare al modello economico senza compromettere la qualità.
📚 Nuovo qui? Scopri come funzionano i prezzi dell'API LLM →
Costo a diversi volumi:
| Volume | Mensile | Annuale |
|---|