Custo único do corpus por provedor
Mesmo corpus, cada modelo de incorporação foi classificado como mais barato primeiro.
| Modelo | Tokens de US$/1 milhão | Escurece | Custo do corpus |
|---|
Incorporar o corpus é a parte barata
O primeiro instinto é temer o custo de incorporar uma grande base de conhecimento. Relaxe: os modelos de incorporação modernos são extraordinariamente barato por token – geralmente de dois a treze centavos por milhão de tokens. Incorporar 100.000 pedaços de 500 tokens equivale a 50 milhões de tokens, o que fica em algum lugar entre $ 1 e $ 7 como um custo único na maioria dos provedores. Para corpora típicos, a incorporação única é um erro de arredondamento. Os custos que realmente somam estão em outro lugar e são fáceis de perder quando você está fazendo uma estimativa.
Os dois custos que as pessoas esquecem
Primeiro, cada consulta também é incorporada. Um produto de pesquisa que incorpora 500.000 consultas por mês está pagando uma pequena taxa recorrente que, ao longo de um ano, pode exceder discretamente o custo único do corpus. Segundo, alterar seu modelo de incorporação ou fragmentar reincorpora tudo - mude de um modelo pequeno para um grande ou reorganize-o para melhor recuperação e você pagará novamente o custo total do corpus. As equipes que iteram na qualidade da recuperação são reincorporadas várias vezes antes de ficarem satisfeitas. Defina acima as reintegrações esperadas por ano para ver quanto essa iteração realmente custa.
Armazenamento é a conta que nunca para
Embeddings são vetores, e armazenar milhões deles em um banco de dados de vetores gerenciado – Pinecone, Qdrant Cloud, Weaviate – geralmente é a solução. maior linha em andamento, diminuindo a própria API de incorporação. Os modelos de dimensão superior (1536, 3072) custam mais para armazenar e pesquisar do que os compactos, portanto, o modelo de incorporação mais barato por token não é automaticamente o sistema mais barato. Defina o preço do armazenamento e da consulta no calculadora de custos de banco de dados vetorial, em seguida, coloque todo o pipeline junto no Calculadora de custos RAG.
Ferramentas e guias relacionados
Calculadora de custos de banco de dados vetorial · Calculadora de custos RAG · Calculadora de custos de ajuste fino · Calculadora de custo de token LLM · Todas as APIs de IA