—
月あたり—1日あたり
—推論ごとに
—時間/月
アイドル状態の GPU が隠れたコストとなる
GPU のレンタルは 1 時間当たりの料金は安く、アイドル時間当たりの料金は高くなります。使用率が高く安定している場合にのみ、API に勝ります。のトークンごとの価格と比較します。 セルフホスト型と API の計算ツール.
GPU レンタル: 使用率が実際の価格です
Cloud H100 のレンタル料金は、ベンダー層に応じて 1 時間あたり 2 ～ 10 ドルです (上位はハイパースケーラー、下位はベアメタル マーケットプレイス)。ただし、見積もられたレートは使用率ほど重要ではありません。1 時間あたり 3 ドルの GPU がトレーニング ジョブを 20% 実行すると、生産時間あたり 15 ドルのコストがかかります。スポット/中断可能な料金設定により、チェックポイント可能なワークロードが 50 ～ 70% 削減されます。構築とレンタルのクロスオーバー: 3 年間の減価償却が適用される 30,000 ドルの GPU サーバーは、運用の負担を考慮する前に、約 40% の継続使用率で 2.50 ドル/時間のレンタルを上回ります。具体的に推論すると、通常、トークンごとのサーバーレス GPU サービスは、毎月数百万リクエスト未満の未加工のレンタルを上回ります。