L'overhead del token delle definizioni di strumento/funzione su ogni chiamata.
Le definizioni degli strumenti vengono eseguite come token di input su ogni richiesta. Dieci strumenti dettagliati possono aggiungere mille token per chiamata per cui paghi costantemente. Memorizzali nella cache: vedi calcolatore di memorizzazione nella cache rapida.
Strumenti e hosting
IL Calcolatore dei costi delle chiamate alle funzioni stima la spesa API mensile aggiunta dalle definizioni dello strumento inviate con ogni richiesta. Ogni chiamata che include schemi di chiamata di funzioni li trasporta token di definizione dello strumento oltre agli altri token di input e li paghi per ogni singola richiesta. Utilizzando i tuoi input (chiamate al mese, token di definizione dello strumento per chiamata, altri token di input per chiamata, token di output per chiamata e prezzi di input e output per milione di token) moltiplica i token di input per la velocità di input e i token di output per la velocità di output, quindi ridimensiona in base al volume delle chiamate per mostrare il costo totale e, in particolare, quanto contribuisce il solo sovraccarico di definizione dello strumento.
Il compromesso chiave da tenere d’occhio è questo le definizioni degli strumenti sono spese generali fisse pagate per ogni chiamata, quindi il loro costo cresce direttamente con il volume della richiesta anche quando il modello non richiama mai uno strumento. Tagliare le funzioni inutilizzate, abbreviare le descrizioni o suddividere set di strumenti di grandi dimensioni in modo che ogni richiesta contenga solo gli schemi necessari può ridurre questo addebito ricorrente. Modella qui la differenza prima di impegnarti: con volumi di chiamate elevati, qualche centinaio in più token di definizione per richiesta può tranquillamente dominare la tua fattura.
SÌ. Lo schema JSON per i tuoi strumenti viene inviato come token di input a ogni richiesta, indipendentemente dal fatto che uno strumento venga utilizzato o meno. Con molti strumenti o descrizioni dettagliate, il sovraccarico è significativo in caso di volume elevato.
Esponi solo gli strumenti di cui una chiamata potrebbe aver bisogno, mantieni le descrizioni concise e memorizza nella cache il blocco degli strumenti statici con memorizzazione nella cache tempestiva in modo da non dover pagare il prezzo intero per inviarlo nuovamente ogni volta.