—
incorporamento completo iniziale—abbandono mensile
—anno 1 totale
—una reindicizzazione completa
Costo annuale per abbandono mensile
Il tasso di abbandono è il driver che manca alla maggior parte delle persone. Un corpus che fattura oltre il 20% al mese costa molto di più da mantenere aggiornato rispetto a quanto suggerito dall'incorporamento una tantum, prima di qualsiasi migrazione del modello.
| Abbandono mensile | Documenti re-incorporati/mese | Anno 1 totale |
|---|
Il costo che arriva dopo il lancio
I progetti di generazione aumentata con recupero quasi sempre vengono costati allo stesso modo: conta i documenti, moltiplica per i token e il prezzo di incorporamento, ed ecco il tuo numero. Quel numero è reale, ma è solo il costo per incorporare il corpus una volta. Una knowledge base non è un museo: gli articoli di supporto vengono riscritti, i documenti dei prodotti vengono aggiornati e ogni settimana arrivano nuovi contenuti. Ognuna di queste modifiche deve essere reintegrata, e se un decimo del tuo corpus cambia ogni mese, stai tranquillamente pagando per reintegrare un decimo di tutto, mese dopo mese. Su un corpus di grandi dimensioni, la fattura ricorrente può rivaleggiare con quella iniziale entro un anno e non compare mai nella stima di lancio.
Poi c’è il dirupo migratorio. I vettori di incorporamento di modelli diversi non sono intercambiabili, quindi il giorno in cui passi a un modello di incorporamento più nuovo o più economico, devi incorporare nuovamente l'intero corpus in una sola volta: una reindicizzazione completa. Quel singolo evento può costare più di un anno intero di abbandono ordinario, motivo per cui i team rimandano gli aggiornamenti dei modelli che dovrebbero apportare. Il budget anticipato trasforma una spaventosa sorpresa in un elemento pubblicitario. Per mantenere basso il numero in corso, incorpora nuovamente solo ciò che è realmente cambiato monitorando gli hash del documento, suddividelo finemente in modo che una piccola modifica non reincorpori nuovamente un intero file e raggruppa i lavori per qualsiasi sconto. Dimensionare il resto della pipeline con il file Calcolatore dei costi RAG, IL calcolatore dei costi degli incorporamenti e il calcolatore dei costi del database vettoriale. I prezzi sono stime di riferimento modificabili: conferma la tariffa attuale nei documenti del tuo fornitore.
Come funziona questa calcolatrice
IL Calcolatore dei costi di re-incorporamento della Knowledge Base stima il costo annuale corrente per mantenere aggiornato l'indice vettoriale di un sistema RAG, non solo il costo una tantum dell'esecuzione iniziale dell'incorporamento. Moltiplica il tuo documenti nel corpus di token medi per documento per dimensionare l'intera base di conoscenza, quindi applica il file prezzo di incorporamento per 1 milione di token. Da lì si stratifica nel lavoro ricorrente: abbandono mensile (la percentuale di documenti che cambiano e devono essere reintegrati), reindicizzazioni complete all'anno (ricostruzioni complete, ad esempio dopo aver cambiato modello di incorporamento) e a reinserire in alto percentuale che tiene conto dei tentativi, della suddivisione in blocchi e della rielaborazione. Il risultato è un totale annuale realistico piuttosto che un singolo numero anticipato.
L’intuizione chiave è questa L’abbandono, non la dimensione del corpus, di solito determina il conto a lungo termine. Una base di conoscenza ampia ma statica costa poco da mantenere, mentre una base più piccola con un elevato tasso di abbandono mensile può tranquillamente superare il costo di incorporamento iniziale entro un anno. Guarda il compromesso tra reindicizzare la frequenza e freschezza: le ricostruzioni complete garantiscono coerenza ma moltiplicano la spesa dei token, quindi riservatele per modifiche autentiche del modello e altrimenti affidatevi agli aggiornamenti incrementali del tasso di abbandono. Modifica la cifra in testa in modo che corrisponda alla tua pipeline reale, poiché i nuovi tentativi e il re-chunking sono facili da sottovalutare.
Domande frequenti
Perché una knowledge base RAG costa denaro ogni mese e non solo una volta?
Perché i documenti cambiano. Il costo una tantum che la maggior parte dei team prevede è quello di incorporare l'intero corpus una volta, ma una vera e propria base di conoscenza si è modificata: nuovi documenti aggiunti, quelli esistenti modificati, e ogni documento modificato deve essere reintegrato per rimanere ricercabile. Se il 10% di un corpus di grandi dimensioni cambia ogni mese, incorporerai nuovamente il 10% dell'intero corpus ogni mese, per sempre. Quella linea ricorrente è invisibile nella maggior parte delle stime dei costi RAG e questo calcolatore la rende esplicita insieme al costo iniziale una tantum.
Che cos'è una reindicizzazione completa e perché è così costosa?
Una reindicizzazione completa consiste nel reincorporare l'intero corpus da zero, in genere perché sei passato a un modello di incorporamento diverso o più recente. Gli incorporamenti di modelli diversi non sono compatibili: non è possibile mescolare i vettori di un modello vecchio e di uno nuovo nello stesso indice, quindi l'aggiornamento del modello costringe a incorporare nuovamente tutto in una volta. Su un corpus di grandi dimensioni che può far impallidire un intero anno di abbandono incrementale in un’unica fattura. Questo strumento mostra separatamente il costo di una reindicizzazione completa in modo da poter pianificare le migrazioni dei modelli invece di rimanerne sorpresi.
Come posso ridurre i costi di re-incorporamento in corso?
Tre leve. Innanzitutto, incorpora nuovamente solo ciò che è effettivamente cambiato: tieni traccia degli hash del documento in modo che un file invariato non venga mai incorporato nuovamente e incorpora nuovamente a livello di blocco in modo che la modifica di un paragrafo non incorpori nuovamente un intero libro. In secondo luogo, scegli un modello di incorporamento più economico o una dimensione più piccola dove la qualità del recupero lo consente; i prezzi di incorporamento variano ampiamente. In terzo luogo, raggruppa i processi di re-incorporamento per utilizzare qualsiasi sconto API batch. Il calcolatore ti consente di comporre il tasso di abbandono e il prezzo per vedere quanto ciascuna leva risparmia prima di costruire la pipeline.