How do I know my real prompt-cache hit rate?

You derive it from how often requests arrive versus how long the cache lives. A cached prefix survives only if the next request comes in before the TTL expires. If your idle gap between requests is exponentially distributed with an average of g minutes and the cache TTL is T minutes, the steady-state hit rate is 1 − e^(−T/g). So the same code can have a 10% hit rate on a 5-minute cache and a 95% hit rate on a 1-hour cache purely because of traffic timing — you don't guess the number, you compute it from your gap.

Is the 1-hour prompt cache worth the higher write cost?

It depends on your idle gap. The 1-hour cache costs more to write (about 2x the base token price versus 1.25x for the 5-minute cache), but a longer TTL means far fewer expensive cache-miss writes because the cache survives longer gaps. When requests are spaced minutes apart, the 1-hour tier usually wins overall despite the higher write premium; when requests arrive in tight bursts seconds apart, the cheaper 5-minute write is enough and the 1-hour premium is wasted. This calculator computes both and tells you which is cheaper for your pattern.

Why did my prompt-caching bill go up in 2026?

Because the default cache lifetime got shorter. When a provider moves the standard TTL from around an hour down to five minutes, any traffic with idle gaps longer than a few minutes starts missing the cache and paying the write premium again instead of the cheap read rate — quietly raising bills by 30–60% for spaced-out workloads. The fix is either to keep requests warm within the shorter window or to opt into a longer-TTL tier if the write premium pays for itself, which is exactly the trade-off this tool models.

プロンプトキャッシュ TTL とヒットレートの計算ツール — 5 分と 1 時間

プロンプトキャッシュTTLおよびヒット率計算ツール

✓ 最終確認日: 2026-07-24· 出典: プロバイダープロンプトキャッシュの料金乗数· 自動監視 — 変更報告→

ほとんどのプロンプトキャッシュ計算ツールでは、推測にすぎないヒット率を入力する必要があります。これです 派生します トラフィックパターンからのヒット率 (リクエストの到着間隔とキャッシュの存続期間) を考慮して、最も安価な TTL 層を選択します。

キャッシュは、次のリクエストが時間を超える場合にのみ役立ちます。 リクエスト間の平均アイドルギャップが g 分、キャッシュ TTL は T 分、定常状態のヒット率は次のようになります。 1 − e^−T/g。まったく同じコードの 5 分間のキャッシュと 1 時間のキャッシュでは、純粋にタイミングが原因でヒット率が大きく異なる可能性があり、ミスすると、安価な読み取りではなく書き込みプレミアムが発生します。

キャッシュなし、TTL 5 分、TTL 1 時間

同じトラフィック、3 つの戦略。ヒット率はアイドルギャップから計算されます。ミスの場合は書き込みプレミアム (5 分間で 1.25 倍、1 時間で 2.0 倍) が発生し、ヒットの場合は読み取り速度が発生します。

戦略

キャッシュヒット率

費用・ご要望

月額料金

vs キャッシュなし

ヒット率が推測ではなくタイミングの問題である理由

3 つの州で請求書を迅速にキャッシュします: キャッシュ書き込み (プレフィックスが初めて表示されたとき、またはプレフィックスの有効期限が切れた後) 基本トークン価格よりも割増料金がかかります。 キャッシュ読み取り (プレフィックスはまだ生きています) は大幅な割引価格で、キャッシュされていないプレーントークンは定価で販売されます。特定のリクエストでどの状態になるかは、次の 1 つのことによって決まります。つまり、前のリクエストがキャッシュされたプレフィックスがまだ生きているほど最近発生したかどうかです。リクエスト間のアイドルギャップをメモリレス (独立した到着の標準的な仮定) としてモデル化し、ギャップが TTL より短い確率をモデル化します。 T まさに 1 − e^−T/g、どこ g はあなたの平均ギャップです。それがあなたの命中率です。数分ごとに 1 つのメッセージを処理するサポートボットが、同じコードを実行した場合、1 時間のキャッシュでは高いヒット率が得られるのに、5 分のキャッシュではヒット率が低くなるのはこのためです。

5 分と 1 時間のトレードオフ

1 時間キャッシュのほうが厳密に優れているわけではありません。コストが高くなります。書く (基本約 2.0 倍、5 分ティアの場合は 1.25 倍)。問題は、寿命が長いことで、より高価な書き込みに支払うのに十分なコストのかかるミスを節約できるかどうかです。アイドルギャップが 5 分と比較して小さい場合 (タイトバースト)、安価な 5 分間の書き込みですでに 100% に近いヒット率が得られ、1 時間の割増料金はまったくの無駄です。ギャップが数分である場合、5 分のキャッシュは常に期限切れになり、ほぼすべてのリクエストで書き込み料金が再支払われますが、1 時間のキャッシュはウォーム状態を維持します。そのため、書き込み乗数が高くても、1 時間枠の方が安くなります。クロスオーバーは完全にあなた次第です gフラットなヒット率を推測すると誤解を招くのはこのためです。このツールは、数値のクロスオーバーを見つけます。

2026 年の変化とその対応

プロバイダーがデフォルトのキャッシュ有効期間を短縮すると (広く認識されている約 1 時間から 5 分への短縮)、リクエストの間隔が空いたワークロードは、ほとんど読み取りのみからほとんど書き込みのみに静かに移行し、コードを変更することなく請求額が 30 ～ 60% 増加します。 2 つの応答が機能します。短いウィンドウ内で軽量のハートビートリクエストを使用してキャッシュをウォーム状態に保つか、書き込みプレミアムの元がとれる場合は長い TTL 層を明示的に選択します。上記の実際のアイドルギャップとリクエストボリュームを実行してどちらを決定し、それと比較してください。プロンプトキャッシュ節約計算ツールフラットヒットレートビューの場合、キャッシュ書き込み損益分岐点計算ツールワンショット再利用の場合。

この計算機の仕組み

平均アイドルギャップ g と各層の TTL T (5 分または 60 分) から定常状態のキャッシュヒット率を 1 − e^(−T/g) として計算し、キャッシュされたプレフィックスに対するキャッシュ読み取り (ヒット) とキャッシュ書き込み (ミス) の混合としてすべてのリクエストの価格を計算し、キャッシュされていないトークンの全額を加えます。キャッシュなし、5 分枠、1 時間枠を比較し、トラフィックとボリュームに応じて最も安い料金をレポートします。

よくある質問

実際のプロンプトキャッシュヒット率を知るにはどうすればよいですか?

これは、リクエストが到着する頻度とキャッシュの存続期間から導き出されます。平均アイドルギャップが g 分、キャッシュ TTL が T 分の場合、定常状態のヒット率は 1 − e^(−T/g) です。同じコードでも、純粋にタイミングが原因で、5 分間のキャッシュでは 10% のヒット率が得られ、1 時間のキャッシュでは 95% のヒット率になる可能性があります。

1 時間のプロンプトキャッシュには、より高い書き込みコストを払う価値がありますか?

それはあなたのアイドルギャップによって異なります。 1 時間のキャッシュでは、5 分間の書き込み速度が約 1.25 倍であるのに対し、基本速度は約 2 倍になりますが、TTL が長いため、コストのかかるミスが回避されます。通常、数分間隔のリクエストでは 1 時間枠が優先されます。安価な 5 分間の書き込みでは、数秒間隔のタイトなバーストは問題ありません。

2026 年にプロンプトキャッシングの請求額が上昇したのはなぜですか?

デフォルトのキャッシュ有効期間が短くなったためです。標準 TTL を約 1 時間から約 5 分に変更すると、アイドル状態のギャップが数分を超えるトラフィックはキャッシュを逃し、書き込みプレミアムを再度支払うことになり、間隔をあけたワークロードの料金が静かに 30 ～ 60% 引き上げられます。