чистая экономия по сравнению с отсутствием кэша
плата за хранение
показатели безубыточности
максимальный срок службы в простое

Чистая экономия, поскольку вы дольше поддерживаете кэш

Экономия на чтениях зависит от количества операций чтения, которые вы обслуживаете; только плата за хранение растет с возрастом. Каждая строка сохраняет одни и те же данные чтения, но имеет более длительный срок жизни — наблюдайте, как цвет сети меняется с зеленого на красный, как только хранилище превышает экономию. Выбранная вами жизнь отмечена; последний прибыльный ряд – это золотая середина.

Продолжительность жизниПлата за хранениеЧитать экономиюСеть

Налог, который не учитывают кэширующие калькуляторы

В каждом руководстве по кэшированию подсказок звучит один и тот же заголовок: чтение из кэша стоит десятую часть обычного ввода, поэтому кэширование сокращает ваши счета на 90%. Это верно для чтения. Это еще не весь счет. Явное кэширование контекста — тип, при котором вы намеренно загружаете большой контекст и возвращаете его дескриптор для повторного использования — предполагает плату за хранение, которая рассчитывается по тактовой частоте, а не по мере использования. Gemini взимает примерно 4,50 доллара за миллион токенов в час за кэширование контента версии 2.5 Pro, поэтому контекст из 100 000 токенов, оставленный активным в течение дня, стоит около 10,80 долларов в хранилище, прежде чем кто-либо его прочитает. Для хорошо используемого кэша это нормально, потому что экономия на чтении затмевает это. В кэше, который в основном простаивает (документ, о котором кто-то может спросить, контекст, привязанный к щедрому времени жизни «на всякий случай»), строка хранения незаметно становится самой большой цифрой в счете, и кэш теряет деньги, хотя каждое чтение выглядит как выгодная сделка. Два вопроса, которые на самом деле решают это: сколько операций чтения вам нужно, прежде чем экономия покроет хранилище, и как долго вы можете оставить кэш активным, прежде чем счетчик превысит эту экономию. Этот калькулятор отвечает на оба вопроса. Если ваш контекст повторяется при каждом вызове, а не находится в явном кеше, оцените неявный случай с помощью быстрый калькулятор экономии кэширования; чтобы сопоставить короткую и длительную продолжительность жизни с показателем результативности, используйте TTL кэша и калькулятор скорости попадания; и чтобы увидеть, окупится ли когда-нибудь премия за запись, запустите калькулятор безубыточности при записи в кэш.

Разместите свой проект:DigitalOcean — 200 долларов бесплатно ↗Хостингер VPS
Оперативная экономия при кэшированииTTL кэша и частота попаданийБезубыточность записи в кэшСтоимость подсказки системыСтоимость Тряпки