Cada turno reenvia o bate-papo – veja por que uma conversa longa custa muito mais do que suas palavras.
Reenviar o histórico a cada turno significa que longos bate-papos custam muito mais do que as palavras neles contidas. Corte o prefixo repetido com cache - veja o ponto de equilíbrio no calculadora de cache imediata - e verifique se o total acumulado se ajusta à janela do calculadora de janela de contexto.
Trocas
Ferramentas e hospedagem
Calculadora gratuita de custo por conversa - modele como o reenvio de contexto a cada turno faz com que um bate-papo multiturno custe muito mais do que os tokens que ele adiciona.
Porque o modelo não tem estado: a cada turno você reenvia toda a conversa anterior como entrada. No turno oito você está pagando pelo primeiro turno oito vezes. O total de tokens faturados cresce aproximadamente com o quadrado da contagem de turnos, portanto, o comprimento, e não apenas o tamanho da mensagem, determina o custo.
Corte ou resuma curvas antigas em vez de reenviar tudo, use o cache de prompt para que o prefixo repetido seja cobrado com desconto, limite a duração da conversa e encaminhe curvas simples para um modelo mais barato. Eles atacam o contexto reenviado que torna caros os bate-papos longos.