Quanto costa effettivamente la messa a punto

La messa a punto prevede tre livelli di costo

Il costo totale della messa a punto non è un singolo numero. Si divide in tre parti distinte:

• Costo della formazione, un addebito una tantum per l'esecuzione del processo di ottimizzazione, in genere calcolato per token nel set di dati di training, a volte moltiplicato per il numero di passaggi (epoche) sui dati.
• Costo di inferenza, quello che paghi ogni volta che richiami successivamente il modello perfezionato. Questo è spesso più alto per token rispetto al modello base.
• Costo della preparazione dei dati, lo sforzo umano per costruire, pulire e formattare un set di formazione di alta qualità. Questo è spesso il costo più grande e non risulta in nessuna fattura.

Saltare uno di questi porta ad una brutta sorpresa in seguito.

La tassa di formazione

L'addestramento viene fatturato in base al volume di dati immessi. Se il tuo set di dati è di 1 milione di token e il modello si addestra per 3 epoche, ti verranno addebitati come se avessi elaborato 3 milioni di token alla tariffa di addestramento. Pertanto, sia la dimensione del set di dati che il conteggio delle epoche determinano il conto.

Ecco un esempio illustrativo (tasso inventato). Con un prezzo di training di 8 dollari per milione di token, un set di dati da 1 milione di token in 3 epoche costa 3 x 8 dollari = 24 dollari per l'esecuzione del training. Quella parte è spesso più economica di quanto le persone si aspettino. La fregatura è ciò che viene dopo.

Il premio di inferenza in corso

L'esecuzione di un modello ottimizzato di solito costa di più per token rispetto al modello base da cui è stato creato. Questo è il costo che non si ferma mai. Se effettui milioni di chiamate al mese, una velocità di inferenza più elevata può sminuire di molto il costo una tantum della formazione.

Esempio illustrativo: se un modello base costa $ 1 per milione di token di input ma la versione ottimizzata costa $ 3 per milione, allora ad alto volume pagherai il triplo per ogni singola chiamata, per sempre. Prima della messa a punto, modella sempre il costo dell'inferenza continua in base al volume di chiamate previsto, non solo al costo della formazione. Il calcolatore dei costi LLM e le pagine di confronto dei modelli ti aiutano ad affiancare la tariffa base e una tariffa ottimizzata.

Il costo nascosto: la preparazione dei dati

La messa a punto della qualità vive o muore sui dati di addestramento. In genere sono necessarie centinaia o migliaia di coppie di esempi di alta qualità, ciascuna delle quali mostra l'input e l'output ideale. Produrre questi esempi e rivederne la correttezza e la coerenza è un lavoro umano qualificato che può richiedere giorni o settimane.

Questo sforzo appare raramente nelle stime dei costi, ma spesso rappresenta la spesa reale più grande. Una messa a punto addestrata su dati disordinati o incoerenti può funzionare peggio del modello base, il che significa che hai pagato per la formazione e hai ottenuto un downgrade. Budget di tempo umano realistico per la cura dei dati, altrimenti non iniziare.

Quando vale la pena perfezionarsi e quando no

La messa a punto tende a ripagare quando è necessario un stile, formato o comportamento coerenti che è difficile da specificare in un prompt, quando si desidera abbreviare i prompt (un modello ottimizzato potrebbe non richiedere lunghe istruzioni o esempi, salvando token di input a ogni chiamata) o quando si ha un'attività ristretta e ad alto volume in cui un modello più piccolo e ottimizzato può sostituirne uno più grande e costoso.

Di solito non ne vale la pena quando il tuo compito cambia spesso (ogni cambiamento significa riqualificazione), quando hai troppo pochi buoni esempi o quando un'attenta sollecitazione più il recupero ti portano già a quel punto. Per la maggior parte dei team, il primo passo onesto è esaurire i prompt e la memorizzazione nella cache dei prompt prima di procedere alla messa a punto.

Confronta il costo totale di entrambi i percorsi

Il confronto equo è il costo totale rispetto al tuo orizzonte di utilizzo reale. Percorso A: modello base con un prompt più lungo e attentamente progettato, token di input per chiamata più elevati ma nessun costo di formazione e tariffe di inferenza standard. Percorso B: modello ottimizzato con istruzioni più brevi ma un costo di addestramento più una velocità di inferenza più elevata.

Somma ogni percorso nel corso, ad esempio, di un anno di chiamate previste. A volte vincono i suggerimenti più brevi di una messa a punto; spesso il percorso del modello base con un buon suggerimento è più economico e molto più flessibile. Esegui entrambi attraverso il calcolatore dei costi LLM utilizzando i tuoi conteggi di token prima di impegnarti, perché la risposta cambia a seconda del volume.

Continua ad imparare

Strumenti correlati

Domande frequenti

La messa a punto è un costo una tantum?

No. La formazione prevede un addebito una tantum, ma il modello ottimizzato in genere costa di più per token rispetto al modello base, quindi continui a pagare un premio per ogni chiamata per tutto il tempo in cui lo utilizzi.

Di quanti dati di allenamento ho bisogno?

Dipende dall'attività, ma l'intervallo comune è compreso tra centinaia e poche migliaia di coppie di esempi di alta qualità. La qualità e la coerenza contano molto più della quantità grezza e la preparazione dei dati rappresenta spesso il costo reale maggiore.

Dovrei perfezionare o semplicemente migliorare il mio prompt?

Prova prima con il prompt, con gli esempi di poche riprese e con il recupero. La regolazione fine vale soprattutto per la formattazione coerente o per attività ristrette ad alto volume in cui prompt più brevi compensano la velocità di inferenza più elevata.