Cada turno reenvia o bate-papo – veja por que uma conversa longa custa muito mais do que suas palavras.
Reenviar o histórico a cada turno significa que longos bate-papos custam muito mais do que as palavras neles contidas. Corte o prefixo repetido com cache - veja o ponto de equilíbrio no calculadora de cache imediata - e verifique se o total acumulado se ajusta à janela do calculadora de janela de contexto.
O Calculadora de custo por conversa estima quanto realmente custa um bate-papo multiturno para ser executado, não apenas o preço do novo texto que um usuário digita. Você entra no turnos por conversa, o novas fichas por turno, seu conversas por mês, e um preço combinado por milhão de tokens. Como a maioria dos sistemas de bate-papo reenvia o histórico crescente de conversas a cada turno, cada turno paga novamente por todos os turnos anteriores. A calculadora soma esse contexto repetido entre os turnos para produzir um custo por conversa e um total mensal, mostrando por que um bate-papo pode custar muito mais do que os tokens que adiciona visivelmente.
A principal compensação a observar é duração da conversa. Como o contexto de reenvio se acumula, o custo aumenta mais rápido do que a contagem de turnos sugere, portanto, threads longos dominam sua conta. Um passo prático é limitar o histórico, resumir os turnos mais antigos ou iniciar novas sessões para manter pequeno o contexto reenviado.
Porque o modelo não tem estado: a cada turno você reenvia toda a conversa anterior como entrada. No turno oito você está pagando pelo primeiro turno oito vezes. O total de tokens faturados cresce aproximadamente com o quadrado da contagem de turnos, portanto, o comprimento, e não apenas o tamanho da mensagem, determina o custo.
Corte ou resuma curvas antigas em vez de reenviar tudo, use o cache de prompt para que o prefixo repetido seja cobrado com desconto, limite a duração da conversa e encaminhe curvas simples para um modelo mais barato. Eles atacam o contexto reenviado que torna caros os bate-papos longos.