ナレッジベースの再埋め込み
再実行の微調整
エンジニアリングとテストの時間
現在の月次支出と新規の月次支出
| 原価要素 | 額 | 全体の % |
|---|
ベンダーロックインはほとんど目に見えない
プロバイダー間の API 価格の差は簡単にわかります。移行コストはかかりません。ほとんどのチームは、エンジニアリング時間のみを予算化し、次のことを忘れているため、3 ~ 5 倍過小評価しています。
- 埋め込みは移植可能ではありません。 すべてのドキュメントを新しいモデルのベクトル空間に再埋め込む必要があります。
- 微調整されたモデルは転送されません。 トレーニング データ、ハイパーパラメータ、チェックポイントはすべて最初から再実行されます。
- プロンプトは再加工が必要です。 あるモデルに合わせて調整されたシステム プロンプトは、別のモデルではパフォーマンスが低下することがよくあります。
- 回帰を見つけるには時間がかかります。 LLM 出力の QA は、確定的コードの QA よりも遅くなります。
これは永久にそのままにしておくという意味ではありません。投資回収期間は現実のものであり、コミットする前に計算する必要があるというだけです。プロバイダーを比較する LLMの価格比較。ヘッジだけをしたい場合は、を参照してください。 AIモデルルーターのコスト.