Cómo funciona esta calculadora
El Calculadora de punto de equilibrio de caché rápida estima cuántas reutilizaciones de un prefijo de aviso almacenado en caché se necesitan antes de que el almacenamiento en caché cueste menos que pagar el precio total de entrada en cada llamada. Entras en el tokens de prefijo almacenados en caché, el precio base de entrada por millón de tokens, y dos multiplicadores: el multiplicador de escritura de caché (la prima que paga la primera vez que se almacena el prefijo) y la multiplicador de lectura de caché (el gran descuento en cada visita posterior). Contra el reutilizaciones dentro del TTL y el TTL en minutos, calcula el punto de equilibrio: la cantidad de visitas en las que la prima única de escritura se reembolsa mediante lecturas más baratas. Los principales factores son el tamaño del prefijo, la brecha entre los multiplicadores de escritura y lectura y la frecuencia con la que se reutiliza el prefijo antes de que caduque.
La compensación clave es escribir prima versus leer ahorros bajo el tic-tac del reloj. El almacenamiento en caché solo vale la pena si el mismo prefijo se reutiliza suficientes veces antes de que caduque el TTL; un prefijo grande y rara vez reutilizado puede costar más que no almacenar en caché, porque se paga la prima de escritura y se deja que la entrada caduque antes de que se acumulen las lecturas baratas. Observe el tráfico que llega en ráfagas más cortas de lo que necesita su recuento de reutilización: si las solicitudes se extienden más allá del TTL, cada una vuelve a activar una escritura. Un consejo práctico: compare primero el espaciado de su solicitud real con el TTL, ya que un prefijo reutilizado dos veces dentro de la ventana a menudo supera a uno reutilizado diez veces a lo largo de los vencimientos.
Preguntas frecuentes
¿Cuándo realmente el almacenamiento en caché rápido ahorra dinero?
El almacenamiento en caché cobra una prima única por escribir el prefijo (aproximadamente 1,25 veces la entrada base en Anthropic) y luego las facturas leen aproximadamente el 10% de la base. Se alcanza el punto de equilibrio una vez que el descuento de suficientes reutilizaciones supera la prima de escritura, a menudo después de solo uno o dos éxitos. Por debajo de eso, o si el caché caduca (TTL predeterminado de 5 minutos) antes de una reutilización, la prima de escritura se desperdicia.
¿Qué es el TTL de caché y por qué es importante?
El tiempo de vida es el tiempo que un prefijo almacenado en caché permanece activo: 5 minutos de forma predeterminada, con una opción más larga de 1 hora con un mayor costo de escritura. Cada reutilización lo restablece o lo amplía. Si sus solicitudes están espaciadas más que el TTL, cada llamada reescribe el caché y usted paga la prima repetidamente en lugar de la lectura barata, lo que acaba con los ahorros.