Lo que cuesta llenar una gran ventana de contexto en cada llamada.
Las ventanas de contexto largas se comercializan como una característica; cada uno son tokens de entrada por los que pagas repetidamente. Recorta lo que reenvías y guarda en caché el resto; consulta la calculadora de almacenamiento en caché rápida y Costo del chatbot RAG.
Intercambios
Herramientas y alojamiento
Calculadora gratuita de costos de ventana de contexto: cuánto cuesta llenar un contexto grande (RAG, documentos largos) por llamada y por mes.
Paga el precio de entrada por cada token en el contexto, en cada llamada. Un aviso de 32.000 tokens a 2,50 USD/1 millón supone 0,08 USD de entrada antes de que el modelo escriba algo, y eso se repite en cada solicitud.
Recupere menos fragmentos y más pequeños, resuma el historial y almacene en caché la parte estática del mensaje. El tamaño del contexto suele ser el factor más importante en un RAG o en una factura de documentos largos.