Cada turno se reenvía el chat: vea por qué una conversación larga cuesta mucho más que sus palabras.
Reenviar el historial cada vez significa que los chats largos cuestan mucho más que las palabras que contienen. Elimine el prefijo repetido con el almacenamiento en caché: vea el punto de equilibrio en el calculadora de caché rápida - y verifique que el total acumulado se ajuste a la ventana del calculadora de ventana de contexto.
Intercambios
Herramientas y alojamiento
Calculadora gratuita de costo por conversación: modele cómo el reenvío de contexto en cada turno hace que un chat de varios turnos cueste mucho más que los tokens que agrega.
Porque el modelo no tiene estado: en cada turno reenvías toda la conversación anterior como entrada. Al llegar al octavo turno, pagarás ocho veces el primer turno. El total de tokens facturados crece aproximadamente con el cuadrado del conteo de turnos, por lo que la longitud, no solo el tamaño del mensaje, determina el costo.
Recorte o resuma los turnos antiguos en lugar de reenviar todo, use el almacenamiento en caché de avisos para que el prefijo repetido se facture con un descuento, limite la duración de la conversación y enrute los turnos simples a un modelo más económico. Estos atacan el contexto reenviado que encarece las conversaciones largas.