トレーニングとランニングの月ごとの比較
より長いプロンプトを使用して基本モデルにとどまることに対する、微調整されたパス (トレーニング + 高度な推論) の累積コスト。
| 月 | 微調整(累積) | ベースモデル(累計) | 先に? |
|---|
微調整の請求書が2回届く
誰もが引用する数字は 研修費用: データセット トークン × エポック × プロバイダーのトークンごとのトレーニング レート。それは本物ですが、小さい半分です。合成される半分は 推論 — 微調整されたモデルは次の料金で請求されます。 基本モデルよりも高いトークンあたりのレート、多くの場合、実行している限り、すべての単一リクエストで約 2 倍になります。ボリュームが少ない場合は、トレーニング料金が大半を占めます。大音量では、推理プレミアムが静かに物語全体になります。月に数百万件の通話に対応するモデルでは、より多くの料金を支払うことができます。 プレミアム これまでのトレーニング費用よりも優れています。
その見返りは短いプロンプトです
微調整は、次のことが可能になると効果を発揮します。 長い数ショットのプロンプトを削除する。適切な形式を取得するためにすべての呼び出しに 600 個の例のトークンを詰め込んでいて、微調整されたモデルが 1 行の命令からその形式を生成する場合、それらの入力トークンを永久に保存することになります。上で「プロンプト トークンの保存」を設定すると、計算機はその節約がより高いレートに対してクレジットされます。これが、計算で求められる損益分岐点になります。節約額がプレミアムを上回る場合、微調整は使用するほど安くなります。そうでない場合は、その特権に対して通話ごとに多くの料金を支払うことになります。
微調整する前に、より安価なパスを試してください
微調整はメンテナンスです。データのドリフト、バージョン管理、評価時の再トレーニングです。多くの場合、 優れたプロンプトを備えた大型のベースモデル または 検索 (RAG) トレーニングコストも維持する必要もなく、すでに品質基準に達しています。そのパスの価格は、 RAG コスト計算ツール、再利用可能なシステム プロンプトがどのように入力コストを削減するかをご覧ください。 プロンプトキャッシュ節約計算ツールで基本モデルの料金を比較します。 LLM トークンコスト計算ツール.
関連ツールとガイド
LLM トークンコスト計算ツール · 埋め込みコスト計算ツール · RAG コスト計算ツール · 即時キャッシュによる節約 · すべての AI API