economia líquida vs sem cache
taxa de armazenamento
leituras de equilíbrio
vida útil máxima ociosa

Economia líquida à medida que você mantém o cache ativo por mais tempo

A economia de leitura é determinada por quantas leituras você atende; apenas a taxa de armazenamento aumenta com o tempo de vida. Cada linha mantém as mesmas leituras, mas com uma vida útil mais longa. Observe a rede passar de verde para vermelho quando o armazenamento ultrapassar a economia. A vida que você escolheu está marcada; a última linha lucrativa é o ponto ideal.

VidaTaxa de armazenamentoLeia as economiasLíquido

O imposto que as calculadoras de cache deixam de fora

Cada guia de cache rápido vende o mesmo título: leituras em cache custam um décimo da entrada normal, então o cache reduz sua conta em 90%. Isso é verdade para as leituras. Não é toda a conta. O cache de contexto explícito – o tipo em que você carrega deliberadamente um grande contexto e recebe de volta um identificador para reutilizá-lo – vem com uma taxa de armazenamento que funciona de acordo com o relógio, não com base no uso. Gemini cobra cerca de 4,50 dólares por milhão de tokens por hora para manter o conteúdo 2,5 Pro em cache, portanto, um contexto de 100.000 tokens mantido ativo por um dia custa cerca de 10,80 dólares em armazenamento antes que alguém o leia. Em um cache bem usado, tudo bem, porque a economia de leitura o supera. Em um cache que fica praticamente ocioso – um documento sobre o qual alguém pode perguntar, um contexto conectado a um generoso tempo de vida “por precaução” – a linha de armazenamento silenciosamente se torna o maior número na fatura, e o cache perde dinheiro mesmo que cada leitura pareça uma pechincha. As duas questões que realmente decidem são quantas leituras você precisa antes que a economia cubra o armazenamento e por quanto tempo você pode deixar o cache ativo antes que o medidor ultrapasse essa economia. Esta calculadora responde a ambos. Se o seu contexto se repetir em todas as chamadas, em vez de permanecer em um cache explícito, avalie o caso implícito com o valor calculadora de economia de cache imediata; para pesar um tempo de vida curto versus longo em relação à sua taxa de acerto, use o cache TTL e calculadora de taxa de acerto; e para ver se o prêmio de gravação será compensado, execute o calculadora de ponto de equilíbrio de gravação em cache.

Hospede seu projeto:DigitalOcean – $ 200 grátis ↗VPS da Hostinger
Economia imediata de cacheTTL de cache e taxa de acertosPonto de equilíbrio de gravação em cacheCusto de prompt do sistemaCusto RAG