What does an AI gateway actually charge for?

An AI gateway or LLM router sits between your app and the model providers, giving you one API for many models, automatic fallback, caching, logging and spend controls. It pays for that by adding cost in one of three ways: a percentage markup on the underlying token price, a flat fee per request, or a monthly platform subscription — and some combine all three. A pure percentage markup scales directly with your token spend, so it stays cheap on light traffic but grows without limit as you scale. A per-request fee punishes high request counts with small payloads. A flat monthly fee is fixed regardless of volume, so it is expensive when you are small and negligible once you are large. This calculator adds up whichever apply and shows the real overhead.

Is a gateway markup worth paying?

It depends on what the overhead buys you and how big it is. On low volume, a few percent markup is trivial and the reliability, unified billing and instant model-switching are easily worth it. At scale the same percentage can become thousands of dollars a month, at which point self-hosting an open-source proxy such as LiteLLM and calling providers directly often pays for an engineer's time many times over. The decision hinges on the effective markup this tool reports: compare that annual figure against the engineering cost of running your own routing and caching.

How do I cut gateway overhead without losing the features?

Route only the traffic that needs the gateway's features through it and send high-volume, stable calls directly to the provider. Turn on caching so repeated prompts never reach the metered path. Watch for gateways that mark up cached tokens at the full rate. And once your percentage-based overhead crosses the cost of a self-hosted open-source proxy, migrate the heavy routes off the paid gateway while keeping it for the long tail of models you rarely call. The cumulative overhead table below shows exactly when that crossover is worth the migration effort.

AI ゲートウェイマークアップ計算ツール

✓ 最終確認日: 2026-07-15· 出典: 公式プロバイダーの料金ページ· 自動監視 — 変更報告→

LLM ルーターとリセラーゲートウェイは、生のトークンの価格に加えて、パーセント値上げ、リクエストごとの料金、またはフラットプラットフォーム料金を追加します。実際の毎月のオーバーヘッド、実質的なマークアップ、およびプロバイダーに直接電話した場合と比べて、利便性によって年間でどのくらいの費用がかかるかを確認してください。

拡張時のオーバーヘッド

定額料金は、量が増えるにつれて請求額に占める割合が小さくなります。それに応じてマークアップの割合も増加します。オーバーヘッドが独自のプロキシの実行コストを超える部分に注意してください。

毎月のリクエスト

直接費

ゲートウェイの合計

オーバーヘッド

利便性レイヤーには、ユーザーに応じた価格が設定されています

LLM ゲートウェイは実際のもの (多くのプロバイダーにわたる 1 つの API、モデルがダウンしたときの自動フォールバック、キャッシュ、ロギング、一元化された支出制限) を購入し、それらに対してトークンの値上げ率、リクエストごとの料金、定額の月額プラットフォーム料金、またはその組み合わせとして課金します。落とし穴は、小規模な場合はパーセンテージのマークアップが見えず、大規模な場合は非常に大きくなるということです。200 ドルの請求書の 5% は四捨五入誤差ですが、40,000 ドルの請求書の 5% はフルタイムエンジニアの年間給与に相当し、オープンソースプロキシでセルフホストできる機能に費やされます。この計算ツールは、プロバイダーの生のコストとゲートウェイのカットを分離するため、有効なマークアップと年間オーバーヘッドを 1 か所で確認し、ルートごとに決定できます。生のトークンの価格を比較します。モデルの価格比較、繰り返しのプロンプト支出を回収します。プロンプトキャッシュ、そして請求書全体をモデル化します。 APIスタックコスト計算ツール.

よくある質問

AI ゲートウェイの実際の料金はいくらですか?

AI ゲートウェイまたは LLM ルーターはアプリとモデルプロバイダーの間に配置され、多くのモデルに 1 つの API、自動フォールバック、キャッシュ、ロギング、支出制御を提供します。その費用は、基礎となるトークン価格の値上げ率、リクエストごとの定額料金、または月次プラットフォームのサブスクリプションの 3 つの方法のいずれかでコストを追加することで支払われます。また、3 つすべてを組み合わせたものもあります。純粋なパーセンテージのマークアップはトークンの支出に応じて直接スケールされるため、トラフィックが少ない場合は安価なままですが、スケールするにつれて無制限に増加します。リクエストごとの料金は、ペイロードが小さい場合にリクエスト数が多い場合に罰則を与えます。月額料金はボリュームに関係なく定額なので、小さいうちは高くつきますが、大きくなると無視できます。この計算機は、適用されるものを合計し、実際のオーバーヘッドを示します。

ゲートウェイのマークアップには支払う価値がありますか?

それは諸経費が何をもたらすか、そしてそれがどれくらい大きいかによって決まります。少量の場合、数パーセントの値上げは取るに足らないものであり、信頼性、統一請求、即時のモデル切り替えにはそれだけの価値があります。大規模になると、同じ割合が月額数千ドルになる可能性があり、その時点で、LiteLLM などのオープンソースプロキシをセルフホスティングしてプロバイダーを直接呼び出すと、エンジニアの時間の何倍もの費用がかかることがよくあります。決定は、このツールがレポートする有効なマークアップにかかっています。その年間数値を、独自のルーティングとキャッシュを実行するエンジニアリングコストと比較してください。

機能を失わずにゲートウェイのオーバーヘッドを削減するにはどうすればよいですか?

ゲートウェイの機能を必要とするトラフィックのみをゲートウェイ経由でルーティングし、大量の安定した通話をプロバイダーに直接送信します。キャッシュをオンにして、繰り返しのプロンプトが従量制パスに到達しないようにします。キャッシュされたトークンをフルレートでマークアップするゲートウェイに注意してください。そして、パーセンテージベースのオーバーヘッドがセルフホスト型オープンソースプロキシのコストを超えたら、めったに呼び出さないモデルのロングテール用に維持しながら、重いルートを有料ゲートウェイから移行します。以下の累積オーバーヘッドの表は、そのクロスオーバーが移行作業に値する時期を正確に示しています。