Quantas reutilizações são necessárias para que o cache imediato realmente economize dinheiro - gravação premium, desconto de leitura e TTL de 5 minutos incluído.
Um prefixo em cache só compensa se você acertá-lo novamente antes que expire. Para um prompt de sistema compartilhado ocupado, isso é uma certeza; para chamadas ocasionais, pode custar mais do que não armazenar em cache. Esta calculadora mostra exatamente onde está o seu ponto de equilíbrio. Compare com a planície calculadora de economia de cache imediata e economia em lote.
Trocas
Ferramentas e hospedagem
Calculadora de ponto de equilíbrio de cache imediata gratuita — o cache de gravação de cache premium e barato lê o número de reutilizações antes que o armazenamento em cache compense, incluindo TTL.
O cache cobra um prêmio único para escrever o prefixo (cerca de 1,25× entrada base na Anthropic) e então fatura as leituras em aproximadamente 10% da base. Você atinge o ponto de equilíbrio quando o desconto de reutilizações suficientes supera o prêmio de gravação - geralmente depois de apenas um ou dois acertos. Abaixo disso, ou se o cache expirar (TTL padrão de 5 minutos) antes da reutilização, o prêmio de gravação será desperdiçado.
O tempo de vida é quanto tempo um prefixo em cache permanece quente – 5 minutos por padrão, com uma opção mais longa de 1 hora com custo de gravação mais alto. Cada reutilização o redefine ou amplia. Se suas solicitações estiverem mais espaçadas do que o TTL, cada chamada reescreverá o cache e você pagará o prêmio repetidamente em vez da leitura barata, eliminando a economia.