すべての GPU を好きな時間に利用できる
上記の時間数と GPU 数に応じた月額料金 (オンデマンドとスポットを並べたもの)。
| GPU | VRAM | オンデマンド $/h | スポット $/h | 毎月（あなたのレベル） |
|---|
レンタルした GPU は、電源を入れる 1 時間ごとに請求されます
API から独自の GPU に移行するチームが驚くのは、メーターが決して一時停止しないことです。トラフィックが静かなときは、トークンごとの API にコストはかかりません。レンタルした H100 は、稼働率ではなく時間に対して料金を支払うため、飽和状態であっても、使用率が 2% のままであっても、料金は同じです。だからこそ、請求書の最大の要因は選択した GPU ではなく、GPU の数です。 時間 あなたはそれを実行し続けます。 1 日 8 時間だけ必要な H100 のコストは、24 時間稼働し続ける H100 の 3 分の 1 です。この計算ツールはそれを明確にします。理論上の最大値ではなく実際の時間を設定し、月ごとの数値の推移を観察します。クイックセットのドロップダウンには、常時稼働の推論、平日のトレーニング ボックス、週末のバッチ実行などの一般的なパターンが含まれています。
Tier は 2 番目のレバーです。 On-demand capacity is guaranteed for as long as you hold it and priced at a premium; spot, community and interruptible instances are spare capacity sold 20–50% cheaper, with the catch that the provider can take them back. For checkpointed training or fault-tolerant batch jobs, spot is close to free money; for an inference endpoint that can't blink, the on-demand premium buys you stability. The table shows both rates for every card so the trade-off is in front of you. Once you have the rental number, the real question is whether owning GPU-hours actually beats paying per token — work that out with the セルフホスト型 LLM と API の計算ツール次に、モデルが提供する帯域幅の価格を決定します。 クラウド出口計算機 そして推論エンドポイント自体は、 サーバーレス機能のコスト計算ツール.
使い方
1. GPU を選択します。通常のオンデマンド レートとスポット レートが自動的にロードされます。
2. オンデマンドまたはスポットを選択し、実行する GPU の数を設定します。
3. 月ごとの時間を設定するか、一般的なデューティ サイクルのクイック設定ドロップダウンを使用します。
4. 月額コストとスポット節約を読み取り、表内のすべての GPU を比較します。
よくある間違い
常時接続を前提としています。 730 時間は最大値であり、使用量ではありません。ほとんどのワークロードではこれよりもはるかに短い時間が必要です。 アイドル時間の請求を忘れます。 ジョブ間で GPU を実行したままにしても、フルレートのコストがかかります。シャットダウンするか、自動スケーリングを使用してください。 一番大きなカードを選ぶ。 L4 または 4090 は、多くの場合、GPU をモデルに合わせて、H100 の数分の 1 のコストで小型モデルに対応します。 ストレージと出力を無視します。 ボリューム、スナップショット、データ転送は別個の項目です。上記のストレージを追加し、下り料金を別途設定します。
よくある質問
私のモデルにはどの GPU が必要ですか?
おおよそ: 7 ～ 13B モデルは L4、RTX 4090 または A100 40GB に適合します。 70B クラス モデルには、A100/H100 80GB または複数のカードが必要です。小さいカードで負荷を処理できる場合、大きいほど安くはなりません。VRAM をモデルとバッチ サイズに合わせてください。
「常時接続」とは何時間ですか?
約 730 — つまり、24 × 365 ÷ 12 です。コストはそれに比例して増加するため、連続使用以外の場合は実際の時間を設定する必要があります。
なぜプロバイダーによって価格がこれほど異なるのでしょうか?
スペシャリスト クラウド (RunPod、Vast.ai、Lambda) とコミュニティ/スポット マーケットは、同じシリコンでもハイパースケーラーを大きく下回ります。ここでの料金は中間市場の混合料金です。プロバイダーの実際の価格が重要です。
これにはモデル API 自体のコストが含まれますか?
いいえ、これは生の GPU のレンタルです。レンタルとセルフホスティングをトークンごとの API と比較するには、 セルフホスト型と API の計算ツール.
見積もりのみ。 GPU の料金は常に変動しており、プロバイダーや地域によって異なります。料金に依存する前に、最新の料金を確認してください。