Costo corpus una tantum per fornitore
Stesso corpus, ogni modello di incorporamento è stato classificato per primo come il più economico.
| Modello | Gettoni da $/1 milione | Si attenua | Costo del corpo |
|---|
Incorporare il corpus è la parte economica
Il primo istinto è quello di temere il costo derivante dall’integrazione di una grande base di conoscenze. Rilassati: i moderni modelli di incorporamento lo sono straordinariamente economico per gettone - spesso da due a tredici centesimi per milione di gettoni. Incorporare 100.000 blocchi da 500 token equivale a 50 milioni di token, che si collocano da qualche parte tra $ 1 e $ 7 come costo una tantum sulla maggior parte dei fornitori. Per i corpora tipici l'incorporamento una tantum è un errore di arrotondamento. I costi che effettivamente si sommano vivono altrove ed è facile non notarli quando si effettua una stima.
I due costi che la gente dimentica
Primo, anche ogni query viene incorporata. Un prodotto di ricerca che incorpora 500.000 query al mese paga una piccola tariffa ricorrente che, nell'arco di un anno, può tranquillamente superare il costo una tantum del corpus. Secondo, cambiando il modello di incorporamento o la suddivisione in blocchi si reincorpora tutto - passa da un modello piccolo a uno grande, o ricomponilo per un migliore recupero, e pagherai nuovamente l'intero costo del corpus. I team che ripetono la qualità del recupero si reintegrano più volte prima di essere soddisfatti. Imposta qui sopra i reincorporamenti previsti per anno per vedere quanto costa realmente tale iterazione.
Lo storage è la bolletta che non si ferma mai
Gli incorporamenti sono vettori e memorizzarne milioni in un database vettoriale gestito (Pinecone, Qdrant Cloud, Weaviate) è solitamente la soluzione la più grande linea in corso, facendo impallidire l'API di incorporamento stessa. I modelli di dimensione superiore (1536, 3072) costano di più da archiviare e cercare rispetto a quelli compatti, quindi il modello di incorporamento più economico per token non è automaticamente il sistema più economico. Dai un prezzo allo spazio di archiviazione e alle query sul lato calcolatore dei costi del database vettoriale, quindi mettere insieme l'intera pipeline su Calcolatore dei costi RAG.
Strumenti e guide correlati
Calcolatore dei costi del database vettoriale · Calcolatore dei costi RAG · Calcolatore dei costi di ottimizzazione · Calcolatore del costo del token LLM · Tutte le API AI