微調整とプロンプト計算の比較

実際のトレードオフ: 通話ごとに支払うか、1 回だけ支払うか

狭いタスクでモデルを動作させるには、通常、プロンプトを表示することから始まります。プロンプトに手順、いくつかの動作例、場合によってはスタイル ガイドを詰め込み、リクエストごとにそのプリアンブルを送信します。それは機能しますが、永久にレンタルすることになります。これらの数ショット トークンは、1 回目のコールと 1,000 万回のコールの入力レートで請求されます。微調整には別の利点があります。固定のトレーニング コストで動作を重みに一度焼き付けてから、実際のタスクのみを送信します。長いプリアンブルはその後のすべての呼び出しから消えます。問題は、カスタム モデルはトークンごとに割増料金を請求することが多く、一部のプロバイダーはそれをホストするために料金を請求するため、短いプロンプトは純粋な利益にはならないということです。

これにより、典型的な損益分岐点が設定されます。プロンプトの初期費用はほぼゼロですが、通話ごとの費用は高くなります。微調整には実際の初期費用がかかりますが、通話あたりのコストは低くなります。両方を累積支出としてプロットすると、特定のリクエスト数で交差します。その下では、プロンプトの方が安価です。それを超えると、微調整は前に進み、決して後ろを振り返ることはありません。この計算ツールは、通話ごとに節約できるトークン、トレーニング コスト、推論プレミアム、ホスティングなどの数値からクロスオーバーを見つけます。それらを入力すると、より安価なマシンを微調整するまでに必要なリクエストの数と、現在のボリュームで何ヶ月かかるかがわかります。

使い方

1. 基本モデル (入力、出力、トレーニングのレートを設定します) と毎月のリクエスト量を選択します。
2. 両方のアプローチで送信されるタスク入力トークンを入力し、微調整によってドロップできる少数のショット/指示トークンを個別に入力します。
3. 出力トークン、微調整された推論プレミアム、トレーニング トークン数 (データセット サイズ × エポック)、およびオプションのホスティングを追加します。
4. 各パスの損益分岐点リクエスト数と月次コストを読み取り、テーブルをスキャンしてクロスオーバー ポイントを探します。

番号があなたに嘘をついたとき

純粋なコストは決定の半分にすぎません。微調整により、特殊なタスクの品質と一貫性を高めることができ、プロンプトを短くすることで待ち時間も短縮されます。入力が短いほど、最初のトークンが速くなります。これらの利点により、特に遅延の影響を受けやすい製品や高品質のバー製品では、コストの損益分岐点に達するかなり前に微調整を行うことが正当化されます。逆に、タスクが変化し続ける場合は、再トレーニングするたびにトレーニング コストが発生するため、事前の 1 つの数字よりも損益分岐点がさらに高くなります。お金の問題についてはこのツールを使用し、品質、レイテンシ、および再トレーニングの頻度を比較検討します。プロンプトを縮小するだけの場合は、 プロンプトキャッシュ計算ツール これは、より安価な最初の実験です。固定プレフィックスをキャッシュすると、トレーニング コストをまったくかけずに、大幅な節約が得られます。

よくある間違い

推論プレミアムを無視します。 微調整されたモデルのトークンあたりのコストが高くなると、プロンプトが短くなったことで見た目よりも節約できなくなり、損益分岐点が外れてしまいます。 再訓練を忘れる。 タスクがずれて再トレーニングするたびに、前払いコストを再度支払うことになります。決して安定しないモデルは損益分岐点にならない可能性があります。 保存されたトークンを誇張する。 プリアンブルの微調整によって実際にどれだけの量が削除されるかについては正直に言ってください。コンテキストの大部分がまだ必要な場合でも、節約できる量はわずかです。 まずはフリー勝利をスキップします。 プロンプト キャッシュでは、多くの場合、トレーニング コストをゼロにしながらも、ほぼ同じ節約効果が得られます。微調整を行う前に試してみてください。

よくある質問

見積もりの​​み。微調整価格、プレミアム、ホスティング料金はプロバイダーや変更によって異なります。予算を立てる前に確認してください。