Coût unique du corpus par fournisseur
Même corpus, chaque modèle d'intégration est classé en premier.
| Modèle | Jetons $/1M | Atténue | Coût du corpus |
|---|
L'intégration du corpus est la partie la moins chère
Le premier réflexe est de craindre le coût de l’intégration d’une grande base de connaissances. Détendez-vous : les modèles d'encastrement modernes sont extrêmement bon marché par jeton – souvent de deux à treize cents par million de jetons. L'intégration de 100 000 morceaux de 500 jetons équivaut à 50 millions de jetons, ce qui se situe quelque part entre 1$ et 7$ comme coût unique pour la plupart des fournisseurs. Pour les corpus typiques, l'intégration unique est une erreur d'arrondi. Les coûts qui s'additionnent réellement se situent ailleurs, et il est facile de les ignorer lorsque vous effectuez une estimation.
Les deux coûts que les gens oublient
D'abord, chaque requête est également intégrée. Un produit de recherche intégrant 500 000 requêtes par mois paie de petits frais récurrents qui, sur un an, peuvent tranquillement dépasser le coût unique du corpus. Deuxième, changer votre modèle d'intégration ou segmenter réintègre tout - passez d'un petit modèle à un grand, ou recoupez-le pour une meilleure récupération, et vous payez à nouveau le coût total du corpus. Les équipes qui itèrent sur la qualité de la récupération se réintègrent plusieurs fois avant d'être satisfaites. Définissez ci-dessus vos réintégrations attendues par an pour voir ce que coûte réellement cette itération.
Le stockage est la facture qui ne s'arrête jamais
Les intégrations sont des vecteurs, et le stockage de millions d'entre eux dans une base de données de vecteurs gérée (Pinecone, Qdrant Cloud, Weaviate) est généralement la meilleure solution. la plus grande ligne en cours, éclipsant l'API d'intégration elle-même. Les modèles de plus grande dimension (1536, 3072) coûtent plus cher à stocker et à rechercher que les modèles compacts, de sorte que le modèle d'intégration le moins cher par jeton n'est pas automatiquement le système le moins cher. Évaluez le côté stockage et requêtes du côté calculateur de coût de base de données vectorielle, puis assemblez l'ensemble du pipeline sur le Calculateur de coût RAG.
Outils et guides associés
Calculateur de coût de base de données vectorielles · Calculateur de coût RAG · Calculateur de coûts de mise au point · Calculateur du coût des jetons LLM · Toutes les API d'IA