GPU のレンタルとスループットを、100 万個のセルフホスト トークンあたりの実際のコストに換算します。
トークンあたりのコストは、GPU の使用料を実際に提供されるトークンで割ったものです。そのため、実際の速度ではなく使用率によって料金が決まります。セルフホスティングがプロバイダーに勝るかどうかを判断します。 セルフホストと API の計算ツール、および基盤となるハードウェアの価格を設定します。 GPUクラウドコスト計算ツール.
生の GPU をレンタルするだけでなく、自分でサービング スタックを実行しますか? DigitalOcean — $200 クレジット そして ホスティンガー VPS どちらも、その前の API/プロキシ層を安価に処理します。
の GPU 推論コスト計算ツール 3 つの入力を変換します。 1時間あたりのGPU価格、 モデル 1 秒あたりのトークン単位のスループット、そして 現実的な使用率 — 真実へ 100万トークンあたりのコスト 自己ホスト型モデルの場合。中心となるアイデアはシンプルです。1 時間の GPU 時間で固定数のトークンが購入されるため、時間当たりのコストを実際に生成されたトークンで割ると、トークンごとの価格が求められます。スループットは、ハードウェアが 1 秒あたりに生成するトークンの数を設定します。一方、使用率は、アイドル時間、バッチ処理のギャップ、および GPU をフルロード状態に保つことがほとんどないトラフィックを反映する割引になります。
重要なトレードオフは、 利用。ベンチマークのスループットは、GPU が常にビジー状態であることを前提としていますが、実際のワークロードはリクエスト間でアイドル状態にあるため、時間単位で請求されるレンタル GPU のトークンあたりのコストは、見出しの数字が示すよりもはるかに高くなる可能性があります。セルフホスティングに取り組む前に、 真実 使用率を正直に評価し、その結果をトークンごとの API 価格と比較します。多くの場合、トラフィックが少なくスパイクが多い場合は API が有利ですが、ハードウェアを所有することで安定した大量の報酬が得られます。
GPU の時間当たりの価格を、1 時間あたりに実際に提供されるトークンの数で割ります。これは、実際の使用率に応じてスループット (トークン/秒) の 3600 倍になります。 GPU は継続的に課金されますが、半分アイドル状態でトークンの半分を提供するため、トークンあたりのコストはデータシートのスループットと比較して 2 倍になります。
ほとんどの場合、使用とバッチ処理が行われます。ベンチマークのスループットは、バッチ処理された完全な負荷を想定しています。実際のトラフィックはバースト的であるため、メーターの実行中、GPU はリクエスト間でアイドル状態になります。継続的なバッチ処理、GPU の適切なサイズ設定、少数のより負荷の高い GPU へのトラフィックの統合が、トークンあたりのコストを下げる主な方法です。