Quantas reutilizações são necessárias para que o cache imediato realmente economize dinheiro - gravação premium, desconto de leitura e TTL de 5 minutos incluído.
Um prefixo em cache só compensa se você acertá-lo novamente antes que expire. Para um prompt de sistema compartilhado ocupado, isso é uma certeza; para chamadas ocasionais, pode custar mais do que não armazenar em cache. Esta calculadora mostra exatamente onde está o seu ponto de equilíbrio. Compare com a planície calculadora de economia de cache imediata e economia em lote.
O Calculadora de ponto de equilíbrio de cache imediato estima quantas reutilizações de um prefixo de prompt armazenado em cache são necessárias antes que o armazenamento em cache custe menos do que pagar o preço total de entrada por cada chamada. Você entra no tokens de prefixo armazenados em cache, o preço base de entrada por milhão de tokens, e dois multiplicadores: o multiplicador de gravação em cache (o prêmio que você paga na primeira vez que o prefixo é armazenado) e o multiplicador de leitura de cache (o grande desconto em cada acerto subsequente). Contra o reutiliza dentro do TTL e o TTL em minutos, calcula o ponto de equilíbrio – o número de acessos em que o prêmio único de gravação é reembolsado por leituras mais baratas. Os principais fatores são o tamanho do prefixo, a lacuna entre os multiplicadores de gravação e leitura e a frequência com que você realmente reutiliza o prefixo antes que ele expire.
A principal compensação é gravação premium versus economia de leitura em um relógio. O armazenamento em cache só compensa se o mesmo prefixo for reutilizado várias vezes antes que o TTL expire; um prefixo grande e raramente reutilizado pode custar mais do que não armazenar nenhum cache, porque você paga o prêmio de gravação e deixa a entrada expirar antes que as leituras baratas se acumulem. Observe o tráfego que chega em rajadas menores do que as necessidades de contagem de reutilização — se as solicitações se espalharem além do TTL, cada uma delas acionará novamente uma gravação. Uma dica prática: compare primeiro o espaçamento real da sua solicitação com o TTL, já que um prefixo reutilizado duas vezes dentro da janela geralmente supera um reutilizado dez vezes ao longo dos vencimentos.
O cache cobra um prêmio único para escrever o prefixo (cerca de 1,25× entrada base na Anthropic) e então fatura as leituras em aproximadamente 10% da base. Você atinge o ponto de equilíbrio quando o desconto de reutilizações suficientes supera o prêmio de gravação - geralmente depois de apenas um ou dois acertos. Abaixo disso, ou se o cache expirar (TTL padrão de 5 minutos) antes da reutilização, o prêmio de gravação será desperdiçado.
O tempo de vida é quanto tempo um prefixo em cache permanece quente – 5 minutos por padrão, com uma opção mais longa de 1 hora com custo de gravação mais alto. Cada reutilização o redefine ou amplia. Se suas solicitações estiverem mais espaçadas do que o TTL, cada chamada reescreverá o cache e você pagará o prêmio repetidamente em vez da leitura barata, eliminando a economia.