Quanto custa preencher uma grande janela de contexto a cada chamada.
Janelas de contexto longas são comercializadas como um recurso; cada um deles são tokens de entrada pelos quais você paga repetidamente. Corte o que você reenvia e armazene em cache o resto - veja o calculadora de cache imediata e Custo do chatbot RAG.
Trocas
Ferramentas e hospedagem
Calculadora gratuita de custos de janela de contexto - quanto custa preencher um contexto grande (RAG, documentos longos) por chamada e por mês.
Você paga o preço de entrada em cada token no contexto, em cada chamada. Um prompt de 32 mil tokens a US$ 2,50/1 milhão equivale a US$ 0,08 de entrada antes que o modelo escreva qualquer coisa – e isso se repete em cada solicitação.
Recupere pedaços cada vez menores, resuma o histórico e armazene em cache a parte estática do prompt. O tamanho do contexto é geralmente a maior alavanca em um RAG ou projeto de lei de documento longo.